Name		Name	Last commit message	Last commit date
parent directory ..
dangdang		dangdang
pic_show		pic_show
README.md		README.md
master_main.py		master_main.py
scrapy.cfg		scrapy.cfg
slave_main.py		slave_main.py

README.md

DangDangBook

爬取当当网的图书条目，使用Scrapy-Redis实现一个分布式网络爬虫。

基于scrapy-redis做的分布式爬虫，可以解决单机爬虫的瓶颈。

数据库可以选择MongoDB或者MySQL。

运行

Master

在项目中找到master_main.py文件，直接运行
Slave

在项目中找到slave_main.py文件，直接运行

结果