| 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485 |
- # -*- coding: utf-8 -*-
- """爬虫配置文件"""
- import os
- # MONGODB
- MONGO_IP = "172.17.4.87"
- MONGO_PORT = 27080
- MONGO_DB = "py_spider"
- MONGO_USER_NAME = ""
- MONGO_USER_PASS = ""
- # REDIS
- # ip:port 多个可写为列表或者逗号隔开 如 ip1:port1,ip2:port2 或 ["ip1:port1", "ip2:port2"]
- REDISDB_IP_PORTS = "172.17.4.232:7361"
- REDISDB_USER_PASS = "k5ZJR5KV4q7DRZ92DQ"
- REDISDB_DB = 2
- # # 适用于redis哨兵模式
- REDISDB_SERVICE_NAME = "quchoong"
- # 数据入库的pipeline，可自定义，默认MongoPipeline
- ITEM_PIPELINES = [
- "feapder.pipelines.mongo_pipeline.MongoPipeline",
- ]
- EXPORT_DATA_MAX_FAILED_TIMES = 5 # 导出数据时最大的失败次数，包括保存和更新，超过这个次数报警
- EXPORT_DATA_MAX_RETRY_TIMES = 5 # 导出数据时最大的重试次数，包括保存和更新，超过这个次数则放弃重试
- REDIS_KEY = "fwork"
- # SPIDER
- SPIDER_MAX_RETRY_TIMES = 5 # 每个请求最大重试次数
- REQUEST_TIMEOUT = 10
- # 浏览器渲染
- WEBDRIVER = dict(
- server_addr="http://172.17.4.232:6666/wd/hub", # selenium 远程服务地址
- version="", # 浏览器版本。不指定版本时，随机分发，版本详见群公告
- pool_size=1, # 浏览器的数量
- load_images=False, # 是否加载图片
- user_agent=None, # 字符串 或 无参函数，返回值为user_agent
- headless=True, # 是否为无头浏览器
- usages_local_driver=True, # 是否使用本地驱动，默认启动本地驱动
- proxy=None, # xxx.xxx.xx.xxx:xxxx 或 无参函数，返回值为代理地址
- driver_type="FIREFOX", # CHROME、FIREFOX
- timeout=30, # 请求超时时间
- executable_path=None, # 浏览器路径，默认为默认路径
- window_size=(1280, 800), # 窗口大小
- render_time=0, # 渲染时长，即打开网页等待指定时间后再获取源码
- custom_argument=["--ignore-certificate-errors"], # 自定义浏览器渲染参数
- service_log_path=os.devnull # 日志路径，默认置空
- )
- ITEM_FILTER_ENABLE = True # item 去重
- ITEM_FILTER_SETTING = dict(
- filter_type=5 # redis去重
- )
- # 设置代理
- PROXY_EXTRACT_API = "http://proxy.spdata.jianyu360.com/proxy/getallip" # 代理提取API ，返回的代理分割符为\r\n
- PROXY_ENABLE = True
- # 企业微信报警
- WECHAT_WARNING_URL = "https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=-4e26-a563-cd6b07b9db14" # 企业微信机器人api
- WECHAT_WARNING_PHONE = "swordFish" # 报警人 将会在群内@此人, 支持列表，可指定多人
- WECHAT_WARNING_ALL = True # 是否提示所有人， 默认为False
- # 时间间隔
- WARNING_INTERVAL = 360 # 相同报警的报警时间间隔，防止刷屏; 0表示不去重
- WARNING_LEVEL = "ERROR" # 报警级别， DEBUG / ERROR
- WARNING_FAILED_COUNT = 2 # 任务失败数 超过WARNING_FAILED_COUNT则报警
- LOG_NAME = os.path.basename(os.getcwd())
- LOG_PATH = "logs/%s.log" %(LOG_NAME) # log存储路径
- LOG_LEVEL = "INFO"
- LOG_COLOR = True # 是否带有颜色
- LOG_IS_WRITE_TO_CONSOLE = True # 是否打印到控制台
- LOG_IS_WRITE_TO_FILE = True # 是否写文件
- LOG_MODE = "a" # 写文件的模式
- LOG_MAX_BYTES = 10 * 1024 * 1024 # 每个日志文件的最大字节数
- LOG_BACKUP_COUNT = 2 # 日志文件保留数量
- LOG_ENCODING = "utf8" # 日志文件编码
- OTHERS_LOG_LEVAL = "ERROR" # 第三方库的log等级
- JIANYU_PROXY_URL = 'http://cc.spdata.jianyu360.com/crawl/proxy/socks5/fetch'
- JIANYU_PROXY_AUTHOR = 'Basic amlhbnl1MDAxOjEyM3F3ZSFB'
- JIANYU_SPLASH_URL = "http://splash.spdata.jianyu360.com/render.json"
|
