|
@@ -0,0 +1,17 @@
|
|
|
|
|
+from common.databases import mongo_table, redis_client
|
|
|
|
|
+
|
|
|
|
|
+
|
|
|
|
|
+'''Mongo'''
|
|
|
|
|
+MGO_DATABASE = 'shujuziyuan'
|
|
|
|
|
+'''判重样本'''
|
|
|
|
|
+MGO_REPETITION = mongo_table(
|
|
|
|
|
+ host='192.168.3.167',
|
|
|
|
|
+ port='27082',
|
|
|
|
|
+ db=MGO_DATABASE,
|
|
|
|
|
+ name='repetition_url'
|
|
|
|
|
+)
|
|
|
|
|
+'''关键词组与域名的集合表'''
|
|
|
|
|
+MGO_SEARCH = mongo_table(MGO_DATABASE, 'visit')
|
|
|
|
|
+'''redis'''
|
|
|
|
|
+REDIS = redis_client()
|
|
|
|
|
+REDIS_KEY = 'spider_visit'
|
