dongzhaorui 3 سال پیش
والد
کامیت
72332bccd9
1فایلهای تغییر یافته به همراه4 افزوده شده و 1 حذف شده
  1. 4 1
      find_source/crawler/analysis/DomAnalysis.py

+ 4 - 1
find_source/crawler/analysis/DomAnalysis.py

@@ -50,7 +50,10 @@ class DomAnalysis(FilterUrl):
                 name = "{:.50s}".format(name)
             if tag.get('href') is None:
                 return
-            href = self.filter(tag.get('href'))
+            try:
+                href = self.filter(tag.get('href'))
+            except ValueError:
+                return
             data = {'name': name, 'host': href}
             if data not in items:
                 items.append(data)