浏览代码

优化item入库检查逻辑

dongzhaorui 1 年之前
父节点
当前提交
5fab64945d
共有 1 个文件被更改,包括 4 次插入2 次删除
  1. 4 2
      FworkSpider/feapder/buffer/item_buffer.py

+ 4 - 2
FworkSpider/feapder/buffer/item_buffer.py

@@ -90,9 +90,11 @@ class ItemBuffer(threading.Thread):
         if isinstance(item, Item):
             # 入库前的回调
             item.pre_to_db()
+            if item.dont_save:
+                # 不保存数据
+                return
 
-        if getattr(item, "save", True):  # save=False 不推送入库
-            self._items_queue.put(item)
+        self._items_queue.put(item)
 
     def flush(self):
         try: