旧系统业务数据批量导入新档案系统完整实操落地指南

前置准备

工具安装

需安装Python3.8及以上版本，下载地址为https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe，安装时勾选“Add Python to PATH”，完成后执行以下命令安装依赖：

``` pip install pandas openpyxl ```

模板与数据确认

1. 登录新档案系统测试环境，进入【档案管理】→【数据导入】，点击【下载CSV模板】，保存为“新档案导入模板.csv”；2. 从旧系统业务模块导出数据，选择CSV格式，编码设为UTF-8，保存为“档案旧数据.csv”；3. 核对旧数据字段与新模板字段，确认需映射的对应关系（如旧“部门”对应新“部门编码”）。

数据导出与预处理

旧数据可能存在空行、特殊字符等问题，需先处理：1. 用记事本或WPS打开“档案旧数据.csv”，删除开头结尾的空行；2. 替换特殊字符，比如将半角空格替换为空，将“&”替换为“和”；3. 确认所有必填字段无空值，如“档案编号”“档案名称”不得为空，若有空值需在旧系统补全。

数据转换脚本编写

新建记事本，复制以下代码，保存为“数据转换.py”，根据实际情况修改映射关系：

```python import pandas as pd 路径配置（需根据实际文件位置修改） OLD_DATA_PATH = "档案旧数据.csv" TEMPLATE_PATH = "新档案导入模板.csv" OUTPUT_PATH = "待导入档案.csv" 读取文件，指定UTF-8编码 old_df = pd.read_csv(OLD_DATA_PATH, encoding="utf-8") template_df = pd.read_csv(TEMPLATE_PATH, encoding="utf-8", nrows=0) 部门编码映射（必须对应新档案系统的有效编码，示例如下） DEPT_MAP = { "技术部": "001", "财务部": "002", "人事部": "003", "市场部": "004", "行政部": "005" } 初始化符合新模板结构的数据框 new_df = pd.DataFrame(columns=template_df.columns) 核心字段转换（按需新增/删除，严格匹配新模板字段名） new_df["档案编号"] = old_df["档案ID"] 旧系统字段名对应修改 new_df["档案名称"] = old_df["档案名称"].str.slice(0, 50) 截断超长名称避免导入失败 new_df["部门编码"] = old_df["部门"].map(DEPT_MAP).fillna("000") 未知部门默认填000 new_df["创建时间"] = pd.to_datetime(old_df["创建时间"]).dt.strftime("%Y-%m-%d %H:%M:%S") new_df["状态"] = "有效" 新系统必填字段，固定值 关键校验步骤（必须执行，否则导入易失败） if new_df.isnull().any().any(): missing_cols = new_df.columns[new_df.isnull().any()].tolist() print(f"存在缺失值，异常字段：{missing_cols}，请检查旧数据") exit(1) if new_df.duplicated(subset=["档案编号"]).any(): print("存在重复档案编号，请在旧系统合并或删除重复项") exit(1) 保存待导入文件，用UTF-8-sig编码适配Excel打开 new_df.to_csv(OUTPUT_PATH, encoding="utf-8-sig", index=False) print(f"待导入文件生成成功，路径：{OUTPUT_PATH}") ```

修改DEPT_MAP时，需将旧系统中所有部门名称完全对应到新档案系统的部门编码，无遗漏。

本地测试与异常修复

1. 登录新档案系统测试环境，进入【数据导入】，上传“待导入档案.csv”；2. 选择“测试导入”，查看系统返回的错误信息，比如“档案名称长度超过限制”，则调整脚本中str.slice(0,50)的数值；3. 若出现“部门编码不存在”，则修正DEPT_MAP中的映射关系，直到测试导入无错误提示。

正式导入与数据校验

1. 正式导入前必须备份新档案系统生产环境数据库（联系系统管理员执行）；2. 登录新档案系统生产环境，进入【数据导入】，上传调整后的“待导入档案.csv”；3. 选择“正式导入”，等待导入完成（不要中途关闭页面）；4. 校验：在【档案查询】中筛选前100条数据，与旧系统数据核对，确认档案编号、名称、部门编码、创建时间等字段完全一致，无缺失或错误。

常见问题解决

1. CSV乱码：保存待导入文件时必须用UTF-8-sig编码，禁止使用普通UTF-8；2. 日期格式错误：旧系统日期若为“2023/10/01”格式，pd.to_datetime可自动识别，若报错需手动转换为“年-月-日”格式；3. 导入失败：先查看系统提示的错误行，对应修改脚本中的字段值，重新生成文件后再次导入。