开标记录任务超过数据内容大小限制的不处理

zgztb_cookie/detail_firefox.py

@@ -185,7 +185,7 @@ class DetailSpider(feapder.AirSpider):
             insert = {k: v for k, v in item.items() if k not in ignore}
             insert['comeintime'] = tools.ensure_int64(int(time.time()))
             self.to_db.add("data_bak", insert)
-            log.info(f"{msg}--采集成功")
+            log.info(f"{msg}--采集成功,状态:{state.value}")
 
     def get_response(self, request, response):
         """
@@ -250,6 +250,9 @@ class DetailSpider(feapder.AirSpider):
             # 情况2.1：结构化数据，直接提取数据
             resp_json = response.json
         else:
+            if business_keyword == 'openBidRecord':
+                return None, DataStreamReadStatus.LOSE
+
             # 情况2.2：非结构化数据
             if self._data_transmission_limit <= 3:
                 # 数据的内容越大（3M以上）首次解码耗时越长，且解码时会将无法识别的字符转换成替换字符