采集代理池和其他采集相关基础服务

dzr 53213fc9d5 fix:更新yum源 hace 8 meses
common 8154544c67 乐观锁更新配置 hace 11 meses
services acb3001eff fixed:优化redis模糊查询keys阻塞查询 hace 8 meses
yaml 0644c90957 代理池新增代理分类属性,便于不同采集场景灵活切换 hace 1 año
.gitignore 463057f971 提交项目 hace 1 año
Dockerfile 53213fc9d5 fix:更新yum源 hace 8 meses
README.md 85ea4ee5da 更新注释 hace 1 año
base_server.py 463057f971 提交项目 hace 1 año
build_tools.py 0644c90957 代理池新增代理分类属性,便于不同采集场景灵活切换 hace 1 año
docker-compose.yml 9f07b89eeb 更新 redis 配置 hace 1 año
gunicorn.conf.py 9f07b89eeb 更新 redis 配置 hace 1 año
produce_task.py 0644c90957 代理池新增代理分类属性,便于不同采集场景灵活切换 hace 1 año
requirements.txt 463057f971 提交项目 hace 1 año
setting.py 0644c90957 代理池新增代理分类属性,便于不同采集场景灵活切换 hace 1 año

README.md

pyspider - 通用采集服务

创建docker容器

docker build -t pytools:latest .

创建容器并启动

docker-compose up -d

销毁容器并关闭

docker-compose down

重启全部容器服务

docker-compose restart