|
|
@@ -7,6 +7,8 @@ MGO_DATABASE = 'shujuziyuan'
|
|
|
MGO_REMOVAL_DUPLICATE = mongo_table(db=MGO_DATABASE, name='removal_duplicate')
|
|
|
'''新发现的域名'''
|
|
|
MGO_DOMAIN = mongo_table(db=MGO_DATABASE, name='new_domains')
|
|
|
+'''检索单位组织|关键词'''
|
|
|
+MGO_SEARCH = mongo_table(db=MGO_DATABASE, name='retrieve_search')
|
|
|
'''【组织|单位】'''
|
|
|
MGO_ORGS = mongo_table(db=MGO_DATABASE, name='retrieve_orgs')
|
|
|
'''关键词'''
|
|
|
@@ -19,7 +21,7 @@ MGO_COMPETING_GOODS = mongo_table(db=MGO_DATABASE, name='retrieve_competing_good
|
|
|
MGO_LUA_SPIDERS = mongo_table(db='editor', name='luaconfig')
|
|
|
'''redis'''
|
|
|
REDIS = redis_client()
|
|
|
-REDIS_KEY = 'retrieve_urls'
|
|
|
+REDIS_KEY = 'retrieves'
|
|
|
'''关键词'''
|
|
|
REQUIREMENT_PHRASE = [
|
|
|
'竞谈', '发包', '比价', '开标', '邀标', '采购', '招标', '中标', '废标', '成交', '单一', '询价',
|
|
|
@@ -27,9 +29,9 @@ REQUIREMENT_PHRASE = [
|
|
|
'议价', '中选', '答疑', '合同', '竞价', '变更', '更正', '预告', '集采', '抽取', '抽签',
|
|
|
'中止公告', '终止公告', '竞卖', '竞买', '论证', '拟建', '审批', '环评'
|
|
|
]
|
|
|
-'''需要剔除或者过滤的关键字'''
|
|
|
+'''剔除或者过滤的内容'''
|
|
|
SENSITIVE_WORDS = [
|
|
|
- '通知', '邮箱', '登录'
|
|
|
+ '通知', '邮箱', '登录', '注册', '亿元', '地址', '招聘', '试驾', '信用卡',
|
|
|
]
|
|
|
'''特殊编码'''
|
|
|
SPECIAL_ENCODINGS = [
|
