爬虫维护

中国石油集团石油管工程技术研究院/Zgsyjtsyggcjsyjy.py

@@ -1,6 +1,6 @@
 # -*- coding: utf-8 -*-
 """
-Created on 2024-10-29
+Created on 2024-12-02
 ---------
 @summary: 中国石油集团石油管工程技术研究院
 ---------
@@ -76,6 +76,7 @@ class Zgsyjtsyggcjsyjy(feapder.BiddingListSpider):
             list_item.area = area  # 城市默认:全国
             list_item.city = city  # 城市 默认为空
 
+            list_item.unique_key = ('href',)
             list_item.parse = "self.detail_get"
             list_item.deal_detail = []
             list_item.proxies = False

中国石油集团石油管工程技术研究院/zgsyjt_details_firefox.py

@@ -1,6 +1,6 @@
 # -*- coding: utf-8 -*-
 """
-Created on 2024-10-29
+Created on 2024-12-02
 ---------
 @summary: 中国石油集团石油管工程技术研究院
 ---------

医疗招标采购网/招标公告-列表页.py

@@ -124,7 +124,7 @@ class SeleniumFeapder(feapder.BiddingListSpider):
 
             list_item = BidingListItem()  # 存储数据的管道
             list_item.href = href  # 标书链接
-            list_item.unique_key = ('href',)
+            list_item.unique_key = ('href','title')
             list_item.channel = menu.get("channel")  # 最上方定义的抓取栏目 （编辑器定的）
             list_item.spidercode = menu.get("code")  # 最上方定义的爬虫code（编辑器定的）
             list_item.title = title  # 标题

甘肃/甘肃省公共资源交易网-政府采购-列表页.py

@@ -14,6 +14,8 @@ from collections import namedtuple
 class ZtbpcFeapder(feapder.BiddingListSpider):
     __custom_setting__ = dict(
         WEBDRIVER=dict(
+            pool_size=1,
+            headless=False,
             driver_type="FIREFOX"
         )
     )
@@ -91,4 +93,4 @@ class ZtbpcFeapder(feapder.BiddingListSpider):
 
 
 if __name__ == "__main__":
-    ZtbpcFeapder(redis_key="detail:firefox", user="gssggzyjyw_zfxxgk_zfcg").start()
+    ZtbpcFeapder(redis_key="detail:firefox").start()