소스 검색

优化item入库检查逻辑

dongzhaorui 1 년 전
부모
커밋
5fab64945d
1개의 변경된 파일4개의 추가작업 그리고 2개의 파일을 삭제
  1. 4 2
      FworkSpider/feapder/buffer/item_buffer.py

+ 4 - 2
FworkSpider/feapder/buffer/item_buffer.py

@@ -90,9 +90,11 @@ class ItemBuffer(threading.Thread):
         if isinstance(item, Item):
             # 入库前的回调
             item.pre_to_db()
+            if item.dont_save:
+                # 不保存数据
+                return
 
-        if getattr(item, "save", True):  # save=False 不推送入库
-            self._items_queue.put(item)
+        self._items_queue.put(item)
 
     def flush(self):
         try: