data_quality_server

剑鱼数据质量检查

一、功能

1、标讯字段有选择性(错误)检查

2、标讯整体评估

二、函数说明

1、from tables import CatchContentObject

1.CatchContentObject为行中间结果存储而设立，后续需要其它公用的结果可以存储。举例：

正文标签清理，附件标签清理。当第一个字段使用以后，后续字段可以直接使用缓存

2.固定名称类型：

入参数名称：catch_content

入参数类型：CatchContentObject

2、check_params

1.多参数结果方案，虽然检查的是单字段，但是检查需求的字段数量是不同的。规范如下

def check0101(budget: float, bidamount: float)

budget 入参数的名称与标讯的名称保持一致。或等于catch_content

budget==>float 入参类型检查的必要条件，当前默认不启用参数类型检查

三、规则新建 1、规则格式

{
    "hash_id": 4,
    "rules": {
        "budget": {"0101": {
                "name": "互相校验（预算和中标金额的比例）",
                "parent_name": "金额错误",
                "parent_code": "01",
            }, "0102":{
                "name": "过大过小[100，10亿]",
                "parent_name": "金额错误",
                "parent_code": "01",
            }},
        "area": {"0101": {
            "name": "全国类数据",
            "parent_name": "全国类型",
            "parent_code": "01",
        }, },
        "multipackage": {"1000": "haha",
                         "0203": "yaya"},
    }
}

四、调用方式 1、安装依赖

# 安装a2s（最新版）框架及其相关的依赖
# 下载地址：http://192.168.3.10:8080/simple/a2s/
pip install a2s nats-python 
protobuf  grpcio==1.28.1 grpcio-tools==1.28.1

2、调用方式

# 安装a2s（最新版）框架及其相关的依赖
# 下载地址：http://192.168.3.10:8080/simple/a2s/
pip install a2s nats-python 
protobuf  grpcio==1.28.1 grpcio-tools==1.28.1
见 client.py