拟建爬虫修改 publishtime

FworkSpider/items/njpc_item.py

@@ -0,0 +1,140 @@
+from feapder import Item
+from untils.tools import int2long,substitute,text_search,CheckPrePareRequest
+import time
+from feapder.utils.log import log
+global xxc
+xxc = 0
+class DataNjpcItem(Item):
+    def __init__(self):
+        # 一类字段
+        self.href = ""  # 非竞品快照页地址
+        self.projectname = ""  # 项目名称
+        self.publishtime = ""  # 文章发布时间（日期格式 xxxx-xx-xx）
+        self.detail = ""  # 快照页源码清洗之后招投标文本
+        self.contentlhtml = ""  # 快照页源码
+        self.spidercode = ""  # 爬虫代码（编辑器爬虫平台定义）
+        self.site = ""  # 采集的站点（编辑器爬虫平台定义）
+        self.channel = ""  # 采集的版块（编辑器爬虫平台定义）
+        self.area = "全国"  # 省
+        self.city = ""  # 市
+        self.district = ""  # 区县
+
+        # 辅助字段 存储时的辅助字段
+        self.save = True  # 区县
+
+        # 以下字段为 二类字段，没有则不做存储，不在存储结构中
+        # 附件，默认为Null 正确的格式为 projectinfo.attachments = [{
+        #                       "fid":"附件id"
+        #                       "filename":"附件名称"
+        #                       "ftype":"文件类型"
+        #                       "org_url":"附件原始地址"
+        #                       "size":"附件大小"
+        #                       "url":"附件地址"}]
+        # 事项名称（审批事项）	approvecontent
+        # 项目代码(审批代码)	approvecode
+        # 批准文号	approvenumber
+        # 总投资	total_investment
+        # 资金来源	funds
+        # 业主单位	owner
+        # 申报方式（项目类型）	projecttype
+        # 建设地点	projectaddr
+        # 建设年限	projectperiod
+        # 开工时间	project_startdate
+        # 竣工时间	project_completedate
+        # 审批部门	approvedept
+        # 审批结果	approvestatus
+        # 项目联系人  project_person
+        # 项目联系电话  project_phone
+
+        # 建设规模及主要内容	project_scale_info
+        # 	project_scale
+        # 建筑面积	construction_area
+        # 占地面积	floor_area
+        # 建筑层数	building_floors
+        # 钢结构	steel_structure
+        # 外墙材料	exterior_wall_materials
+        # 车库停车位	parking_pace
+        # 电梯	elevator
+        # 空调	air_conditioner
+        # 新风系统	freshair_system
+        # 供暖方式	heating_method
+        # 装配式建筑	prefabricated_building
+        # 被动房	passive_house
+        # 其它建设内容描述	other_project_scale
+
+        # 三类字段，难以处理时可以不处理
+        # 业主及其联系方式	owner_info
+        # 业主单位/建设单位	owner
+        # 业主单位联系人	ownerperson
+        # 业主单位联系方式	ownertel
+        # 业主单位地址	owneraddr
+        # 设计院及其联系方式	designunit_info
+        # 设计单位	designunit
+        # 设计单位联系人	designunitperson
+        # 设计单位联系方式	designunittel
+        # 设计单位地址	designunitaddr
+        # 施工单位及其联系方式	constructionunit_info
+        # 施工单位	constructionunit
+        # 施工单位联系人	constructionunitperson
+        # 施工单位联系方式	constructionunittel
+        # 施工单位地址	constructionunitaddr
+    def pre_to_db(self):
+        # 生成入库时间戳（秒级）, 定义为long型
+        self.comeintime = int2long(time.time())
+        # 根据文章发布时间 生成发布时间的时间戳（秒级）, 定义为long型
+        '''
+        如果无法解析到发布时间、可以考虑补一个发布时间
+        '''
+        # if "-" in self.publishtime:
+        #     self.publishtime = int2long(int(time.mktime(time.strptime(self.publishtime, "%Y-%m-%d %H:%M:%S"))))
+        # else:
+        #     self.publishtime = int2long(int(time.mktime(time.strptime(self.publishtime, "%Y-%m-%d"))))
+
+        if "-" in str(self.publishtime) and ":" in str(self.publishtime):
+            self.publishtime = int2long(int(time.mktime(time.strptime(self.publishtime, "%Y-%m-%d %H:%M:%S"))))
+        elif "-" in str(self.publishtime) and ":" not in str(self.publishtime):
+            self.publishtime = int2long(int(time.mktime(time.strptime(self.publishtime, "%Y-%m-%d"))))
+        elif len(str(self.publishtime)) == 10 or len(str(self.publishtime)) == 13:
+            self.publishtime = int2long(int(str(self.publishtime)[:10]))
+        else:
+            raise ValueError("The publication time format is incorrect -> %r " %(self.publishtime))
+
+        # 数据获取失败处理：输出错误日志
+        if self.contentlhtml is None:
+            log.error(f"{self.href},此链接数据正文抓取失败")
+            self.save=False
+        if not self.projectname or not self.publishtime or not self.href:
+            log.error(f"部分数据抓取失败，数据详情：\n 链接：{self.href}\n 发布时间：{self.publishtime}\n标题:{self.title}")
+            self.save=False
+        if self.contentlhtml is not None and self.detail =='':
+            self.detail = substitute(self.contentlhtml)
+            '''
+            detail:去头、去尾
+            '''
+            if text_search(self.detail).total == 0:
+                # 无正文内容时，该内容直接标记true, 不在被统计、不入生产库
+                self.sendflag = "true"
+
+class NjpcListItem(Item):
+    def __init__(self):
+        # 一类字段
+        self.href = ""  # 非竞品快照页地址
+        self.projectname = ""  # 项目名称
+        self.publishtime = ""  # 文章发布时间（日期格式 xxxx-xx-xx）
+        self.spidercode = ""  # 爬虫代码（编辑器爬虫平台定义）
+        self.site = ""  # 采集的站点（编辑器爬虫平台定义）
+        self.channel = ""  # 采集的版块（编辑器爬虫平台定义）
+        self.area = "全国"  # 省
+        self.city = ""  # 市
+        self.district = ""  # 区县
+
+        # 辅助字段 存储时的辅助字段
+        self.save = True  # 区县
+        self.parser_name = ""  # 处理详情页爬虫的名称
+        self.parser_url = ""  # 处理详情页的url
+        self.failed = 0 #失败请求的计数
+
+
+    def pre_to_db(self):
+        pass
+