Skip to content

akirakai/spider_python

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

51 Commits
 
 
 
 
 
 

Repository files navigation

spider_python

抓取北邮人论坛/水木社区/cc98论坛的校招信息的爬虫程序。 感谢lizherui等大神的启发。

爬虫默认每隔1小时抓取1次,每抓取10次清空所有数据。 每次更新的是相应版面首页出现关键词的信息。

Unix/Windows下均需要先在本机安装redis服务程序,然后在Unix下运行redis-server,在Windows下启动redis-server.exe。

安装示例:Mac OS X下安装redis

brew install redis

此外,程序依赖以下Python第三方包:

安装示例:Mac OS X/Linux下安装Python第三方包

pip install apscheduler
pip install BeautifulSoup
pip install redis
pip install requests

然后直接运行main.py程序,访问http://127.0.0.1:8888

效果如下:

1

Enjoy it。

About

校招信息爬虫

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published