spider_python

抓取北邮人论坛/水木社区/cc98论坛的校招信息的爬虫程序。 感谢lizherui等大神的启发。

爬虫默认每隔1小时抓取1次，每抓取10次清空所有数据。 每次更新的是相应版面首页出现关键词的信息。

Unix/Windows下均需要先在本机安装redis服务程序，然后在Unix下运行redis-server，在Windows下启动redis-server.exe。

安装示例：Mac OS X下安装redis

brew install redis

此外，程序依赖以下Python第三方包：

• APScheduler

• BeautifulSoup 3.2.1

• redis-py

• requests

安装示例：Mac OS X/Linux下安装Python第三方包

pip install apscheduler
pip install BeautifulSoup
pip install redis
pip install requests

然后直接运行main.py程序，访问http://127.0.0.1:8888

效果如下：

Enjoy it。