采集代理池和其他采集相关基础服务

dzr e43bebd5d0 基于 socket 的网络代理通信检测程序 4 月之前
common e43bebd5d0 基于 socket 的网络代理通信检测程序 4 月之前
conf 8a790de2ca 其它平台版本代理服务 4 月之前
services 3b96aac8c8 添加redis客户端模块 8 月之前
.gitignore 463057f971 提交项目 1 年之前
Dockerfile 53213fc9d5 fix:更新yum源 8 月之前
README.md a73b9b77a7 更新文档 8 月之前
base_server.py 3b96aac8c8 添加redis客户端模块 8 月之前
docker-compose.yml 4fd167c495 添加代理服务配置 8 月之前
gunicorn.conf.py 72ff4c329c fix:重构代理池 8 月之前
produce_task.py 5e2c5f17b5 删除无用任务类 8 月之前
py_proxy_linux f7d10c5c6c 代理服务 8 月之前
py_proxy_mac 8a790de2ca 其它平台版本代理服务 4 月之前
py_proxy_win.exe 8a790de2ca 其它平台版本代理服务 4 月之前
pytools_main.py 72ff4c329c fix:重构代理池 8 月之前
requirements.txt 463057f971 提交项目 1 年之前
routes.py 78167e78f4 移除代理服务 8 月之前
setting.py 79eab6e34a 更新配置 8 月之前

README.md

pyspider - 通用采集服务

创建docker容器

docker build -t pytools:latest .

创建容器并启动

docker-compose up -d

销毁容器并关闭

docker-compose down

重启全部容器服务

docker-compose restart

配置说明

conf/config.yaml - py_proxy_linux
conf/dev.yaml - pytools_main.py
conf/test.yaml - pytools_main.py