添加get_url-'拼接url与所带参数'方法

find_source/crawler/utils.py

@@ -1,4 +1,5 @@
 import re
+from urllib.parse import urlencode, urljoin
 
 from urllib3 import get_host
 
@@ -64,3 +65,15 @@ def label_split(val):
     result = re.split(r'[- _,，\\.|－「」【】?？！!/、] *', val)
     result = [v for v in result if len(v) > 0]
     return result
+
+
+def get_url(url: str, parameters: dict):
+    """
+    拼接url与所带参数
+
+    :param url: 链接
+    :param parameters: 参数
+    :return: 拼接后的url
+    """
+    _data = '?' + urlencode(parameters)
+    return urljoin(url, _data)