quality_tools/tools/读execl数据入mongo库/execl_into_mongo.py

import pandas as pd
from pymongo import MongoClient
from bson.objectid import ObjectId

# 连接到 MongoDB
client = MongoClient('mongodb://192.168.3.149:27180/')
db = client['data_quality']  # 替换为你的数据库名称
collection = db['standard_sample_data_all']  # 替换为你的集合名称



# 读取 Excel 文件中的 '标准样本数据汇总' 工作表
file_path = '/Users/miaobao/Downloads/标准样本数据汇总.xlsx'
sheet_name = '标准样本数据汇总'

# 使用 pandas 读取 Excel 文件
df = pd.read_excel(file_path, sheet_name=sheet_name, na_values=['', 'NA', 'N/A'], dtype={'budget': float, 'bidamount': float})


# 指定需要检查的列名
columns_to_check = ['_id', 'site','toptype','subtype','area','city','buyer','projectname','projectcode','budget','s_winner','bidamount','multipackage','label','href','jyhref']  # 替换为你需要检查的列名
df[columns_to_check] = df[columns_to_check].where(pd.notnull(df[columns_to_check]), '')

# 将 _id 列转换为 ObjectId 类型
df['_id'] = df['_id'].apply(lambda x: ObjectId(str(x)) if x != '' else x)

# 将 DataFrame 转换为字典列表
data = df.to_dict(orient='records')

# 插入数据到 MongoDB
if data:
    collection.insert_many(data)
    print("数据已成功插入到 MongoDB")
else:
    print("没有数据可插入")