一 介绍 1、memcached & redis是什么？ NoSQl数据库，数据存到内存，读取速度快 应用场景：页面缓存，好处如下 1、减少数据库压力，提升访问速度 2、在数据挂掉的情况下，仍能保证业务正常运行一段时间，提升安全性 2、memcached与redis区别 1、类型： memcached：类型单一，只能存字符串"key为字符串…
第二节：存储库之redis
第五章：爬虫高性能相关
一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的利用率仍然会很高，之所以单线程下串行多个爬虫任务低…
第六章：Scrapy框架
一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或…