Brak opisu

liumiaomiao a15e4bee09 tijiao 2 tygodni temu
docs a15e4bee09 tijiao 2 tygodni temu
tables a15e4bee09 tijiao 2 tygodni temu
util cc17470933 tijiao 6 miesięcy temu
README.md 55deb415fd tijiao 1 rok temu
a2s-0.0.2-py3-none-any.whl e4fd28c25d tijiao 1 rok temu
app.py a15e4bee09 tijiao 2 tygodni temu
client.py ad9de30d7b tiijao 5 miesięcy temu
client_mysql.py a15e4bee09 tijiao 2 tygodni temu
client_mysql_new.py a15e4bee09 tijiao 2 tygodni temu
client_spider_mongo.py a15e4bee09 tijiao 2 tygodni temu
es.py 6b289b49f3 tijao 1 rok temu
fields_optimize.py 58a959dd44 数据对比 1 rok temu
pin.xlsx 5ce3dfd51d tijao 1 rok temu
quality_server.py c4cbd0e035 tijao 1 rok temu
result_export.py f4860512f8 没有字段,判断逻辑修改 1 rok temu
sample_data_export.py 3a497a6efa tijiao 6 miesięcy temu
score.py 3a497a6efa tijiao 6 miesięcy temu
test.py a15e4bee09 tijiao 2 tygodni temu
write_rule.py 6b289b49f3 tijao 1 rok temu

README.md

剑鱼数据质量检查

一、功能

1、标讯字段有选择性(错误)检查

2、标讯整体评估

二、函数说明

1、from tables import CatchContentObject

1.CatchContentObject为行中间结果存储而设立,后续需要其它公用的结果可以存储。举例:

正文标签清理,附件标签清理。当第一个字段使用以后,后续字段可以直接使用缓存

2.固定名称类型:

入参数名称:catch_content

入参数类型:CatchContentObject

2、check_params

1.多参数结果方案,虽然检查的是单字段,但是检查需求的字段数量是不同的。规范如下

def check0101(budget: float, bidamount: float)

budget 入参数的名称与标讯的名称保持一致。或等于catch_content

budget==>float 入参类型检查的必要条件,当前默认不启用参数类型检查

三、规则新建 1、规则格式

{
    "hash_id": 4,
    "rules": {
        "title" : {
            "0101" : {
                "name" : "<=5个字", 
                "parent_name" : "长度类型", 
                "parent_code" : "01"
            }, 
            "0102" : {
                "name" : ">=100个字", 
                "parent_name" : "长度类型", 
                "parent_code" : "01"
            }, 
            "0201" : {
                "name" : "非汉字占比>55%", 
                "parent_name" : "汉字占比", 
                "parent_code" : "02"
            }
        }, 
        "projectname" : {
            "0101" : {
                "name" : "<=5个字", 
                "parent_name" : "长度类型", 
                "parent_code" : "01"
            }, 
            "0102" : {
                "name" : ">=100个字", 
                "parent_name" : "长度类型", 
                "parent_code" : "01"
            }, 
            "0201" : {
                "name" : "非汉字占比>55%", 
                "parent_name" : "汉字占比", 
                "parent_code" : "02"
            }
        }, 
        "purchasinglist" : {
            "score" : {
                "name" : "标的物评估", 
                "parent_name" : "标的物", 
                "parent_code" : "01"
            }
        }
    }
}

四、调用方式 1、安装依赖

# 安装a2s(最新版)框架及其相关的依赖
# 下载地址:http://192.168.3.10:8080/simple/a2s/
pip install a2s nats-python 
protobuf  grpcio==1.28.1 grpcio-tools==1.28.1

2、调用方式

# 安装a2s(最新版)框架及其相关的依赖
# 下载地址:http://192.168.3.10:8080/simple/a2s/
pip install a2s nats-python 
protobuf  grpcio==1.28.1 grpcio-tools==1.28.1
见 client.py

五、接口返回值样例

样例:
{
	'title_qa': {
		'0101': '<=5个字'
	},
	'projectname_qa': {},
	'purchasinglist_qa': {
		'score': 0.83
	},
	'score': 99
}
key:  字段错误标记
value:错误代码及错误解释
score:该行数据的最终得分
特殊部分标的物打分:'purchasinglist_qa': {'score': 0.83},此处的score代表该行数据-标的物的总得分