data_spider/pytools: 采集代理池和其他采集相关基础服务 @ acb3001efffdabcf388573afbfeeb713ec6ddca0

采集代理池和其他采集相关基础服务

1 Atzari

dzr acb3001eff fixed:优化redis模糊查询keys阻塞查询		8 mēneši atpakaļ
common	8154544c67 乐观锁更新配置	11 mēneši atpakaļ
services	acb3001eff fixed:优化redis模糊查询keys阻塞查询	8 mēneši atpakaļ
yaml	0644c90957 代理池新增代理分类属性，便于不同采集场景灵活切换	1 gadu atpakaļ
.gitignore	463057f971 提交项目	1 gadu atpakaļ
Dockerfile	463057f971 提交项目	1 gadu atpakaļ
README.md	85ea4ee5da 更新注释	1 gadu atpakaļ
base_server.py	463057f971 提交项目	1 gadu atpakaļ
build_tools.py	0644c90957 代理池新增代理分类属性，便于不同采集场景灵活切换	1 gadu atpakaļ
docker-compose.yml	9f07b89eeb 更新 redis 配置	1 gadu atpakaļ
gunicorn.conf.py	9f07b89eeb 更新 redis 配置	1 gadu atpakaļ
produce_task.py	0644c90957 代理池新增代理分类属性，便于不同采集场景灵活切换	1 gadu atpakaļ
requirements.txt	463057f971 提交项目	1 gadu atpakaļ
setting.py	0644c90957 代理池新增代理分类属性，便于不同采集场景灵活切换	1 gadu atpakaļ

		
				README.md
			
				pyspider - 通用采集服务

创建docker容器

docker build -t pytools:latest .

创建容器并启动

docker-compose up -d

销毁容器并关闭

docker-compose down

重启全部容器服务

docker-compose restart