dongzhaorui 3 роки тому
батько
коміт
72332bccd9
1 змінених файлів з 4 додано та 1 видалено
  1. 4 1
      find_source/crawler/analysis/DomAnalysis.py

+ 4 - 1
find_source/crawler/analysis/DomAnalysis.py

@@ -50,7 +50,10 @@ class DomAnalysis(FilterUrl):
                 name = "{:.50s}".format(name)
             if tag.get('href') is None:
                 return
-            href = self.filter(tag.get('href'))
+            try:
+                href = self.filter(tag.get('href'))
+            except ValueError:
+                return
             data = {'name': name, 'host': href}
             if data not in items:
                 items.append(data)