做数据分析的人谁没被PDF表格折磨过。尤其是月底和季度末领导甩过来二十几个PDF文档轻飘飘丢下一句“把里面的表格都汇总成一张Excel”这意味着一个下午的复制粘贴。我最早试过用PDF转Word转出来格式全崩表格线对不齐数字变乱码换在线转换工具免费的只能看前几页剩下的得开会员好不容易找到本地PDF编辑器导出Excel发现所有内容堆在同一个单元格里。后来我下定决心用Python手写一个PDF表格提取合并工具。今天就把整个开发过程拆开讲包括怎么设计、怎么写、以及我踩过的坑。这个项目看着不起眼真正写起来门道不少——表头不一致、无边框表格、跨页断行、列数对不齐每个问题都能让人卡半小时。这篇文章从环境准备讲起带你把“读取PDF表格→清洗数据→合并多个文件→输出Excel”这条链路完整跑通。不管是财务汇总、人事整理还是从论文里扒实验数据这套思路都能直接复用。1. 这个项目到底在解决什么1.1 最让人头疼的PDF表格处理场景先给几个很常见的场景你看看是不是也经历过。财务对账时银行月结单、报销单、回单全是PDF打开一个看一眼手工复制到Excel再删掉多余字符一条两条还好几十个文件下来手都麻了。人事那边更典型各分部报上来的花名册、工资表、考勤汇总格式各不相同但数据都要汇总到一张总表里。做科研的人也不轻松论文附录里的实验数据、统计表格经常要以PDF形式共享想二次分析只能重新录入。这些场景有个共同点数据本身是“表格化”的却封装在PDF里。PDF天生是给人阅读的版式文档结构看似规整却不像Excel那样有行列对象直接复制往往把列拆得七零八落。使用PDF转Word虽然能把表格“转”出来但多栏混排、合并单元格、特殊字符一出现几乎必乱在线工具则受限于页数、水印、会员不能批量也不能定时处理更别提把自己的业务规则加进去。所以核心痛点不是“能不能提取”而是“能不能按规则批量提取并合并”。手动操作效率和准确率都靠不住现成工具灵活性和可扩展性又不够。这种情况下写一个脚本是性价比最高的解法。1.2 为什么用Python而不是现成软件市面上专业软件不少Adobe Acrobat对单个PDF的表格识别做得不错WPS也内置了PDF转Excel但它们大多解决“单个文件”的转换一旦涉及几十个文件、需要统一表头、过滤无效行、按月汇总推送就力不从心了。Python的优势是三个词批量、可控、可自动化。脚本跑一次今天能用下个月加一个月度任务的参数照跑不误。技术选型上Python生态里解析PDF表格的库主要有四个我做了个对比方案依赖复杂度表格识别能力适用场景PyPDF2纯Python只能拿文本拿不到表格结构读取页数、抽取文字pdfplumber纯Python能识别常见有线表格对无边框表格也有办法多数业务表格提取首推camelot需要装Ghostscript依赖较重基于规则和视觉识别效果强印刷规整、线条清晰的PDFtabula需要Java环境精度不错手头已有Java能接受环境成本综合下来pdfplumber对上文提到的场景最合适。它的安装只涉及pip纯Python实现表格识别不依赖外部程序输出是二维数组方便后续清洗和合并再加上openpyxl写入Excel整个链路就通了。2. 环境准备搞懂pdfplumber怎么“看见”表格2.1 五分钟完成环境搭建先说环境要求。Python 3.8以上都行不用最新特性稳定就好。我用的是Windows系统macOS和Linux操作完全一样命令不变。打开终端装依赖pip install pdfplumber openpyxl就这么两个库。pdfplumber负责读取PDF表格openpyxl负责生成Excel文件。安装完成后可以用下面这段代码验证环境是否正常import pdfplumber with pdfplumber.open(demo.pdf) as pdf: page pdf.pages[0] table page.extract_table() print(table)如果打印出来的是一个列表说明环境没问题。我平时习惯在VS Code里写配置好Python解释器后F5调试很顺手。这里提醒一句如果电脑装了多个Python版本记得确认pip对应的是同一个解释器否则会出现“库装上了但import不到”的尴尬。2.2 表格识别原理PDF里的表格到底是什么搞清楚pdfplumber的原理后面调参就顺手多了。PDF文件里并没有“表格”这种对象它记录的是一堆文字位置、线条坐标、矩形范围。人眼看到的一张表在PDF内部只是若干条线和若干段文本的集合。pdfplumber做的事情是把这些线和文本组合起来推断出“哪里是列边界”“哪里是行边界”然后构成一个网格网格单元格里的内容就是表格数据。它默认的识别方式是优先借助页面上的横线和竖线来确定网格边界。因此如果一个表格没有线或者线条不完整默认策略就找不到边界。这时候需要用table_settings参数调整识别策略。table_settings { vertical_strategy: text, horizontal_strategy: text, } tables page.extract_tables(table_settings)vertical_strategy和horizontal_strategy有几种取值lines只用页面上检测到线条作为列或行边界。印刷清晰的表格适合。lines_strict比lines更严格要求线条必须是连续完整的部分断开的线会忽略。text不再依赖线条而是根据文字的坐标位置推测边界适合无边框表格。explicit手动指定页面区域适合那种只有局部是表格的页面。我在实际项目里最常用的组合是默认先跑lines提取不出来时再用text。这样既快速又有兜底。2.3 单元格返回格式和多表情况page.extract_table()返回的是一个二维列表第一行通常是表头之后每行对应表格里的一行数据。如果一页上有多个表格extract_table()只能拿到第一个必须用extract_tables()拿全部。tables page.extract_tables() for table in tables: for row in table: print(row)需要注意PDF在渲染时可能把同一行的高度计算得不一样导致某些行出现空单元格。另外单元格里存在换行时返回的字符串里会带\n后处理时必须做清洗否则合并进Excel后会出现“一行拆成两行”的错觉。这些细节在后面的清洗阶段都要处理。3. 核心思路提取、清洗、合并三步走3.1 整体设计不要一上来就写循环翻PDF拿到需求别急着写for循环。先把流程拆成三步提取、清洗、合并。提取阶段把每个PDF里的每个页面用pdfplumber解析得到原始二维数组。这个阶段不做太多业务判断只负责把“PDF结构”转成“Python数据”。清洗阶段做几件事去掉单元格里的换行和多余空格过滤掉全空的行把表头统一成标准列名。不要小看这一步我之前处理过一个PDF第一列看起来是“姓名”其实后面跟了一个不可见字符不清洗的话后面按列名对齐时就会失配。合并阶段把多个PDF清洗后的数据追加到一个大列表里最后统一写入Excel。这里要特别处理“表头不一致”的问题。举个例子A部门的表头写“工资”B部门的表头写“月薪”到了总表里应该都放到“月薪”这一列。这就需要一张映射表。所以整个项目的核心设计其实是一张“表头映射表”。它决定了你能合并多少种不同格式的PDF。3.2 表头映射合并的关键设计合并的难点不在于把数据放到一起而在于列对齐。不同PDF文件的列顺序可能不同列名也可能不同。我处理的这批文件里“姓名”出现过“姓名”“名字”“员工姓名”三种写法“月薪”出现过“工资”“月薪”“薪资”三种写法。乱七八糟。解决方案是建立一张映射表把各种叫法映射到内部的标准字段名。HEADER_MAP { 姓名: name, 名字: name, 员工姓名: name, 部门: dept, 部门名称: dept, 工资: salary, 月薪: salary, 薪资: salary, 入职日期: hire_date, 入职时间: hire_date, }这样解析PDF时先读表头行把每个表头名查一下映射表转换成内部字段。后续的数据行按照转换后的字段名存储。最后写Excel时只按标准字段名的固定顺序输出列就自然对齐了。如果遇到映射表里没有的表头怎么办我选择的策略是直接忽略这一列数据不丢只是放不进标准列里。如果你想把未知列也输出可以在读取时单独收集起来写入Excel的附加列按需处理。我的建议是先用忽略策略把流程跑通再根据真实数据回头补映射表这样效率最高。3.3 写代码之前的几个约定正式写代码前先约定几件事输入文件夹里只放PDF文件避免混入其他格式导致读取报错。每个PDF可以有多页每页可以有多个表格全部遍历。表格的第一行默认是表头如果第一行全是空值就跳过该表。表头里存在看不懂的列直接跳过不影响整体合并。数据行里的空单元格统一用空字符串占位保证列数一致。这些约定看着简单但在合并几十个文件时它能帮你少处理很多边界情况。4. 完整代码实现从PDF到Excel一次跑通4.1 项目文件结构我习惯把代码拆成两个文件一个放核心处理逻辑一个放配置和入口。这样后续如果要接命令行参数或者GUI不用动核心逻辑。pdf_merger/ ├── config.py # 表头映射、列顺序、输出配置 ├── extractor.py # 提取、清洗、合并、导出 └── input/ # 放PDF文件的目录 └── output/ # 输出Excel的目录config.py的代码很简单就是放常量# config.py HEADER_MAP { 姓名: name, 名字: name, 员工姓名: name, 部门: dept, 部门名称: dept, 工资: salary, 月薪: salary, 薪资: salary, 入职日期: hire_date, 入职时间: hire_date, } COLUMNS [name, dept, salary, hire_date] COLUMN_CN { name: 姓名, dept: 部门, salary: 月薪, hire_date: 入职日期, }4.2 提取函数PDF转二维数组extractor.py里先写提取函数。这个函数接收一个PDF文件路径遍历所有页面用默认策略提取表格提取不到时自动切换为text策略提高容错率。# extractor.py import re import os import pdfplumber import openpyxl from openpyxl.styles import Font, PatternFill, Border, Side, Alignment from openpyxl.utils import get_column_letter from config import HEADER_MAP, COLUMNS, COLUMN_CN def extract_tables_from_pdf(pdf_path): tables [] with pdfplumber.open(pdf_path) as pdf: for page in pdf.pages: page_tables page.extract_tables() if not page_tables: page_tables page.extract_tables( { vertical_strategy: text, horizontal_strategy: text, } ) tables.extend(page_tables) return tables注意tables.extend(page_tables)因为page.extract_tables()返回的是该页所有表格的列表这里直接追加。如果用它返回的二维数组再去构造容易绕晕。4.3 清洗函数把脏数据规整成标准记录提取出来的二维数组还不能直接用。要清洗单元格、识别表头、转换字段名。def clean_cell(cell): if cell is None: return text str(cell).strip() text re.sub(r\s, , text) return text def normalize_table(table): if not table: return [] header [clean_cell(c) for c in table[0]] if not any(header): return [] field_map [HEADER_MAP.get(h, ) for h in header] records [] for row in table[1:]: cleaned [clean_cell(c) for c in row] record {} for idx, field in enumerate(field_map): if not field: continue record[field] cleaned[idx] if idx len(cleaned) else records.append(record) return records清洗这一步re.sub(r\s, , text)会把多个空格、换行、Tab统一缩成一个空格。比如单元格里“张 三”和“张三”经过清洗后一致性会好很多。field_map存储每列对应的标准字段名遇到不认识的表头就留空后面跳过。4.4 合并与导出写入Excel并设置基本样式合并的逻辑很简单就是遍历所有PDF把清洗后的记录追加到同一个列表。重点在导出环节要按COLUMNS规定的顺序写Excel并且加一点最简单的样式让输出能直接交给业务同事看。def write_excel(records, output_path): wb openpyxl.Workbook() ws wb.active ws.title 汇总数据 header_font Font(boldTrue, colorFFFFFF) header_fill PatternFill(start_color4472C4, end_color4472C4, fill_typesolid) thin Side(stylethin, colorD9D9D9) border Border(leftthin, rightthin, topthin, bottomthin) for col_idx, field in enumerate(COLUMNS, start1): cell ws.cell(row1, columncol_idx, valueCOLUMN_CN[field]) cell.font header_font cell.fill header_fill cell.alignment Alignment(horizontalcenter, verticalcenter) for row_idx, rec in enumerate(records, start2): for col_idx, field in enumerate(COLUMNS, start1): cell ws.cell(rowrow_idx, columncol_idx, valuerec.get(field, )) cell.border border if row_idx % 2 0: cell.fill PatternFill(start_colorF2F2F2, end_colorF2F2F2, fill_typesolid) width_map {name: 18, dept: 16, salary: 14, hire_date: 18} for idx, field in enumerate(COLUMNS, start1): ws.column_dimensions[get_column_letter(idx)].width width_map[field] wb.save(output_path)这里做了最简单的斑马纹和表头底色。实际交付时往往还需要按部门分sheet、按月份筛选、设置数字格式可以在write_excel里继续扩展。4.5 主流程串联整个处理链最后是主流程。遍历输入目录下的PDF文件逐一提取、清洗、合并最后导出。def main(): input_dir input output_path output/汇总结果.xlsx os.makedirs(output, exist_okTrue) pdf_files [f for f in os.listdir(input_dir) if f.lower().endswith(.pdf)] pdf_files.sort() all_records [] for pdf_file in pdf_files: path os.path.join(input_dir, pdf_file) tables extract_tables_from_pdf(path) for table in tables: all_records.extend(normalize_table(table)) write_excel(all_records, output_path) print(f处理完成共提取 {len(all_records)} 条记录输出到 {output_path}) if __name__ __main__: main()整个流程跑下来核心逻辑其实只有几十行。复杂的是里面的边界判断和容错这也是我在多次处理真实文件时逐步加进去的。5. 常见问题与排坑实录5.1 表格线不全导致提取为空最常见的问题是某些PDF页面扫描质量不佳或者表格本身就用了“无边框底色”的设计pdfplumber默认按线条识别结果一个表格都提取不到。此时用text策略基本能解。但text策略也会带来列边界不准的问题一个单元格的内容可能被拆到两列。我一般会先用text策略提取然后观察输出如果列边界偏移大再根据具体页面调整text_tolerance参数。这个参数控制两个文本被判定为同一列还是不同列的距离阈值默认值是3偏大偏小都需要按实际页面微调。5.2 中文乱码与单元格内换行部分PDF里嵌入了特殊字体pdfplumber提取出的中文可能变成#xxxxx;或乱码。遇到这种情况先确认PDF是不是文本型PDF而不是扫描图片。文本型PDF提取乱码多数是字体编码映射问题可以升级pdfplumber版本或者换用camelot试一次。如果是扫描件pdfplumber提不出来需要先做OCR这就超出本文范围了。单元格内换行也很常见。清洗函数里的re.sub(r\s, , text)能处理大部分换行但遇到“姓名和电话在同一个单元格里用空格分隔”的情况还是得根据实际数据规则再拆一次。5.3 列数不一致、合并单元格、跨页断行列数不一致通常是因为页宽不同导致表格截断。我处理过一个案例前几页有四列最后一页莫名其妙多了一列“备注”合并时就乱了。我的策略是清洗时如果一行数据的列数和表头列数不一致多余列拼到最后一个字段里缺少的列填空字符串。这样至少保证数据不丢也能定位问题。合并单元格在提取时会变成两个单元格一个放着内容另一个是空值清洗后就是空字符串问题不大。真正麻烦的是跨页断行也就是一个表格被分页第二页上只有表头或者只有半个表。我建议遇到这种PDF时先用extract_text()把整页文字打出来看看结构再决定是手动合并页面上的碎片表格还是直接跳过第二页的表头。具体业务具体处理。5.4 性能优化与批量处理pdfplumber解析大PDF时比较慢几十页的文件会明显卡顿。我测试过一个120页的PDF单进程跑了将近40秒。如果你要处理大量大文件有两条路一是用multiprocessing按PDF文件并行文件之间没有依赖天然适合多进程二是只提取需要的页面不要遍历全部页面。# 多进程示例 from multiprocessing import Pool def process_one_file(pdf_file): path os.path.join(input_dir, pdf_file) tables extract_tables_from_pdf(path) records [] for table in tables: records.extend(normalize_table(table)) return records if __name__ __main__: with Pool(processes4) as pool: results pool.map(process_one_file, pdf_files) all_records [rec for sublist in results for rec in sublist]这段代码在4核机器上可以显著提速。注意input_dir等变量需要在子进程可访问的地方定义否则会报进程池参数序列化错误。5.5 排查技巧先探测再提取最后分享一个我自己很受用的技巧真正批量处理前先挑3个不同格式的PDF单独跑一遍把提取结果打印出来人工校验。这一步很重要。比如if __name__ __main__: test_file input/测试文件1.pdf tables extract_tables_from_pdf(test_file) for table in tables: for row in table: print(row)确认提取结果符合预期再跑全量。我在这个环节最少修过十几次映射表和清洗规则也救回过几次数十份文件的返工。这个工具的扩展空间其实不小比如加上命令行参数、做一个简单的Web上传页面或者接入定时任务月底自动跑一次。但最核心的“提取→清洗→合并”思路是通用的换任何业务场景只要改改表头映射基本都能复用。至少从我自己用的情况看这个脚本已经帮我省掉了每个月一下午的重复劳动。
用Python批量提取PDF表格并合并成Excel的完整方案
做数据分析的人谁没被PDF表格折磨过。尤其是月底和季度末领导甩过来二十几个PDF文档轻飘飘丢下一句“把里面的表格都汇总成一张Excel”这意味着一个下午的复制粘贴。我最早试过用PDF转Word转出来格式全崩表格线对不齐数字变乱码换在线转换工具免费的只能看前几页剩下的得开会员好不容易找到本地PDF编辑器导出Excel发现所有内容堆在同一个单元格里。后来我下定决心用Python手写一个PDF表格提取合并工具。今天就把整个开发过程拆开讲包括怎么设计、怎么写、以及我踩过的坑。这个项目看着不起眼真正写起来门道不少——表头不一致、无边框表格、跨页断行、列数对不齐每个问题都能让人卡半小时。这篇文章从环境准备讲起带你把“读取PDF表格→清洗数据→合并多个文件→输出Excel”这条链路完整跑通。不管是财务汇总、人事整理还是从论文里扒实验数据这套思路都能直接复用。1. 这个项目到底在解决什么1.1 最让人头疼的PDF表格处理场景先给几个很常见的场景你看看是不是也经历过。财务对账时银行月结单、报销单、回单全是PDF打开一个看一眼手工复制到Excel再删掉多余字符一条两条还好几十个文件下来手都麻了。人事那边更典型各分部报上来的花名册、工资表、考勤汇总格式各不相同但数据都要汇总到一张总表里。做科研的人也不轻松论文附录里的实验数据、统计表格经常要以PDF形式共享想二次分析只能重新录入。这些场景有个共同点数据本身是“表格化”的却封装在PDF里。PDF天生是给人阅读的版式文档结构看似规整却不像Excel那样有行列对象直接复制往往把列拆得七零八落。使用PDF转Word虽然能把表格“转”出来但多栏混排、合并单元格、特殊字符一出现几乎必乱在线工具则受限于页数、水印、会员不能批量也不能定时处理更别提把自己的业务规则加进去。所以核心痛点不是“能不能提取”而是“能不能按规则批量提取并合并”。手动操作效率和准确率都靠不住现成工具灵活性和可扩展性又不够。这种情况下写一个脚本是性价比最高的解法。1.2 为什么用Python而不是现成软件市面上专业软件不少Adobe Acrobat对单个PDF的表格识别做得不错WPS也内置了PDF转Excel但它们大多解决“单个文件”的转换一旦涉及几十个文件、需要统一表头、过滤无效行、按月汇总推送就力不从心了。Python的优势是三个词批量、可控、可自动化。脚本跑一次今天能用下个月加一个月度任务的参数照跑不误。技术选型上Python生态里解析PDF表格的库主要有四个我做了个对比方案依赖复杂度表格识别能力适用场景PyPDF2纯Python只能拿文本拿不到表格结构读取页数、抽取文字pdfplumber纯Python能识别常见有线表格对无边框表格也有办法多数业务表格提取首推camelot需要装Ghostscript依赖较重基于规则和视觉识别效果强印刷规整、线条清晰的PDFtabula需要Java环境精度不错手头已有Java能接受环境成本综合下来pdfplumber对上文提到的场景最合适。它的安装只涉及pip纯Python实现表格识别不依赖外部程序输出是二维数组方便后续清洗和合并再加上openpyxl写入Excel整个链路就通了。2. 环境准备搞懂pdfplumber怎么“看见”表格2.1 五分钟完成环境搭建先说环境要求。Python 3.8以上都行不用最新特性稳定就好。我用的是Windows系统macOS和Linux操作完全一样命令不变。打开终端装依赖pip install pdfplumber openpyxl就这么两个库。pdfplumber负责读取PDF表格openpyxl负责生成Excel文件。安装完成后可以用下面这段代码验证环境是否正常import pdfplumber with pdfplumber.open(demo.pdf) as pdf: page pdf.pages[0] table page.extract_table() print(table)如果打印出来的是一个列表说明环境没问题。我平时习惯在VS Code里写配置好Python解释器后F5调试很顺手。这里提醒一句如果电脑装了多个Python版本记得确认pip对应的是同一个解释器否则会出现“库装上了但import不到”的尴尬。2.2 表格识别原理PDF里的表格到底是什么搞清楚pdfplumber的原理后面调参就顺手多了。PDF文件里并没有“表格”这种对象它记录的是一堆文字位置、线条坐标、矩形范围。人眼看到的一张表在PDF内部只是若干条线和若干段文本的集合。pdfplumber做的事情是把这些线和文本组合起来推断出“哪里是列边界”“哪里是行边界”然后构成一个网格网格单元格里的内容就是表格数据。它默认的识别方式是优先借助页面上的横线和竖线来确定网格边界。因此如果一个表格没有线或者线条不完整默认策略就找不到边界。这时候需要用table_settings参数调整识别策略。table_settings { vertical_strategy: text, horizontal_strategy: text, } tables page.extract_tables(table_settings)vertical_strategy和horizontal_strategy有几种取值lines只用页面上检测到线条作为列或行边界。印刷清晰的表格适合。lines_strict比lines更严格要求线条必须是连续完整的部分断开的线会忽略。text不再依赖线条而是根据文字的坐标位置推测边界适合无边框表格。explicit手动指定页面区域适合那种只有局部是表格的页面。我在实际项目里最常用的组合是默认先跑lines提取不出来时再用text。这样既快速又有兜底。2.3 单元格返回格式和多表情况page.extract_table()返回的是一个二维列表第一行通常是表头之后每行对应表格里的一行数据。如果一页上有多个表格extract_table()只能拿到第一个必须用extract_tables()拿全部。tables page.extract_tables() for table in tables: for row in table: print(row)需要注意PDF在渲染时可能把同一行的高度计算得不一样导致某些行出现空单元格。另外单元格里存在换行时返回的字符串里会带\n后处理时必须做清洗否则合并进Excel后会出现“一行拆成两行”的错觉。这些细节在后面的清洗阶段都要处理。3. 核心思路提取、清洗、合并三步走3.1 整体设计不要一上来就写循环翻PDF拿到需求别急着写for循环。先把流程拆成三步提取、清洗、合并。提取阶段把每个PDF里的每个页面用pdfplumber解析得到原始二维数组。这个阶段不做太多业务判断只负责把“PDF结构”转成“Python数据”。清洗阶段做几件事去掉单元格里的换行和多余空格过滤掉全空的行把表头统一成标准列名。不要小看这一步我之前处理过一个PDF第一列看起来是“姓名”其实后面跟了一个不可见字符不清洗的话后面按列名对齐时就会失配。合并阶段把多个PDF清洗后的数据追加到一个大列表里最后统一写入Excel。这里要特别处理“表头不一致”的问题。举个例子A部门的表头写“工资”B部门的表头写“月薪”到了总表里应该都放到“月薪”这一列。这就需要一张映射表。所以整个项目的核心设计其实是一张“表头映射表”。它决定了你能合并多少种不同格式的PDF。3.2 表头映射合并的关键设计合并的难点不在于把数据放到一起而在于列对齐。不同PDF文件的列顺序可能不同列名也可能不同。我处理的这批文件里“姓名”出现过“姓名”“名字”“员工姓名”三种写法“月薪”出现过“工资”“月薪”“薪资”三种写法。乱七八糟。解决方案是建立一张映射表把各种叫法映射到内部的标准字段名。HEADER_MAP { 姓名: name, 名字: name, 员工姓名: name, 部门: dept, 部门名称: dept, 工资: salary, 月薪: salary, 薪资: salary, 入职日期: hire_date, 入职时间: hire_date, }这样解析PDF时先读表头行把每个表头名查一下映射表转换成内部字段。后续的数据行按照转换后的字段名存储。最后写Excel时只按标准字段名的固定顺序输出列就自然对齐了。如果遇到映射表里没有的表头怎么办我选择的策略是直接忽略这一列数据不丢只是放不进标准列里。如果你想把未知列也输出可以在读取时单独收集起来写入Excel的附加列按需处理。我的建议是先用忽略策略把流程跑通再根据真实数据回头补映射表这样效率最高。3.3 写代码之前的几个约定正式写代码前先约定几件事输入文件夹里只放PDF文件避免混入其他格式导致读取报错。每个PDF可以有多页每页可以有多个表格全部遍历。表格的第一行默认是表头如果第一行全是空值就跳过该表。表头里存在看不懂的列直接跳过不影响整体合并。数据行里的空单元格统一用空字符串占位保证列数一致。这些约定看着简单但在合并几十个文件时它能帮你少处理很多边界情况。4. 完整代码实现从PDF到Excel一次跑通4.1 项目文件结构我习惯把代码拆成两个文件一个放核心处理逻辑一个放配置和入口。这样后续如果要接命令行参数或者GUI不用动核心逻辑。pdf_merger/ ├── config.py # 表头映射、列顺序、输出配置 ├── extractor.py # 提取、清洗、合并、导出 └── input/ # 放PDF文件的目录 └── output/ # 输出Excel的目录config.py的代码很简单就是放常量# config.py HEADER_MAP { 姓名: name, 名字: name, 员工姓名: name, 部门: dept, 部门名称: dept, 工资: salary, 月薪: salary, 薪资: salary, 入职日期: hire_date, 入职时间: hire_date, } COLUMNS [name, dept, salary, hire_date] COLUMN_CN { name: 姓名, dept: 部门, salary: 月薪, hire_date: 入职日期, }4.2 提取函数PDF转二维数组extractor.py里先写提取函数。这个函数接收一个PDF文件路径遍历所有页面用默认策略提取表格提取不到时自动切换为text策略提高容错率。# extractor.py import re import os import pdfplumber import openpyxl from openpyxl.styles import Font, PatternFill, Border, Side, Alignment from openpyxl.utils import get_column_letter from config import HEADER_MAP, COLUMNS, COLUMN_CN def extract_tables_from_pdf(pdf_path): tables [] with pdfplumber.open(pdf_path) as pdf: for page in pdf.pages: page_tables page.extract_tables() if not page_tables: page_tables page.extract_tables( { vertical_strategy: text, horizontal_strategy: text, } ) tables.extend(page_tables) return tables注意tables.extend(page_tables)因为page.extract_tables()返回的是该页所有表格的列表这里直接追加。如果用它返回的二维数组再去构造容易绕晕。4.3 清洗函数把脏数据规整成标准记录提取出来的二维数组还不能直接用。要清洗单元格、识别表头、转换字段名。def clean_cell(cell): if cell is None: return text str(cell).strip() text re.sub(r\s, , text) return text def normalize_table(table): if not table: return [] header [clean_cell(c) for c in table[0]] if not any(header): return [] field_map [HEADER_MAP.get(h, ) for h in header] records [] for row in table[1:]: cleaned [clean_cell(c) for c in row] record {} for idx, field in enumerate(field_map): if not field: continue record[field] cleaned[idx] if idx len(cleaned) else records.append(record) return records清洗这一步re.sub(r\s, , text)会把多个空格、换行、Tab统一缩成一个空格。比如单元格里“张 三”和“张三”经过清洗后一致性会好很多。field_map存储每列对应的标准字段名遇到不认识的表头就留空后面跳过。4.4 合并与导出写入Excel并设置基本样式合并的逻辑很简单就是遍历所有PDF把清洗后的记录追加到同一个列表。重点在导出环节要按COLUMNS规定的顺序写Excel并且加一点最简单的样式让输出能直接交给业务同事看。def write_excel(records, output_path): wb openpyxl.Workbook() ws wb.active ws.title 汇总数据 header_font Font(boldTrue, colorFFFFFF) header_fill PatternFill(start_color4472C4, end_color4472C4, fill_typesolid) thin Side(stylethin, colorD9D9D9) border Border(leftthin, rightthin, topthin, bottomthin) for col_idx, field in enumerate(COLUMNS, start1): cell ws.cell(row1, columncol_idx, valueCOLUMN_CN[field]) cell.font header_font cell.fill header_fill cell.alignment Alignment(horizontalcenter, verticalcenter) for row_idx, rec in enumerate(records, start2): for col_idx, field in enumerate(COLUMNS, start1): cell ws.cell(rowrow_idx, columncol_idx, valuerec.get(field, )) cell.border border if row_idx % 2 0: cell.fill PatternFill(start_colorF2F2F2, end_colorF2F2F2, fill_typesolid) width_map {name: 18, dept: 16, salary: 14, hire_date: 18} for idx, field in enumerate(COLUMNS, start1): ws.column_dimensions[get_column_letter(idx)].width width_map[field] wb.save(output_path)这里做了最简单的斑马纹和表头底色。实际交付时往往还需要按部门分sheet、按月份筛选、设置数字格式可以在write_excel里继续扩展。4.5 主流程串联整个处理链最后是主流程。遍历输入目录下的PDF文件逐一提取、清洗、合并最后导出。def main(): input_dir input output_path output/汇总结果.xlsx os.makedirs(output, exist_okTrue) pdf_files [f for f in os.listdir(input_dir) if f.lower().endswith(.pdf)] pdf_files.sort() all_records [] for pdf_file in pdf_files: path os.path.join(input_dir, pdf_file) tables extract_tables_from_pdf(path) for table in tables: all_records.extend(normalize_table(table)) write_excel(all_records, output_path) print(f处理完成共提取 {len(all_records)} 条记录输出到 {output_path}) if __name__ __main__: main()整个流程跑下来核心逻辑其实只有几十行。复杂的是里面的边界判断和容错这也是我在多次处理真实文件时逐步加进去的。5. 常见问题与排坑实录5.1 表格线不全导致提取为空最常见的问题是某些PDF页面扫描质量不佳或者表格本身就用了“无边框底色”的设计pdfplumber默认按线条识别结果一个表格都提取不到。此时用text策略基本能解。但text策略也会带来列边界不准的问题一个单元格的内容可能被拆到两列。我一般会先用text策略提取然后观察输出如果列边界偏移大再根据具体页面调整text_tolerance参数。这个参数控制两个文本被判定为同一列还是不同列的距离阈值默认值是3偏大偏小都需要按实际页面微调。5.2 中文乱码与单元格内换行部分PDF里嵌入了特殊字体pdfplumber提取出的中文可能变成#xxxxx;或乱码。遇到这种情况先确认PDF是不是文本型PDF而不是扫描图片。文本型PDF提取乱码多数是字体编码映射问题可以升级pdfplumber版本或者换用camelot试一次。如果是扫描件pdfplumber提不出来需要先做OCR这就超出本文范围了。单元格内换行也很常见。清洗函数里的re.sub(r\s, , text)能处理大部分换行但遇到“姓名和电话在同一个单元格里用空格分隔”的情况还是得根据实际数据规则再拆一次。5.3 列数不一致、合并单元格、跨页断行列数不一致通常是因为页宽不同导致表格截断。我处理过一个案例前几页有四列最后一页莫名其妙多了一列“备注”合并时就乱了。我的策略是清洗时如果一行数据的列数和表头列数不一致多余列拼到最后一个字段里缺少的列填空字符串。这样至少保证数据不丢也能定位问题。合并单元格在提取时会变成两个单元格一个放着内容另一个是空值清洗后就是空字符串问题不大。真正麻烦的是跨页断行也就是一个表格被分页第二页上只有表头或者只有半个表。我建议遇到这种PDF时先用extract_text()把整页文字打出来看看结构再决定是手动合并页面上的碎片表格还是直接跳过第二页的表头。具体业务具体处理。5.4 性能优化与批量处理pdfplumber解析大PDF时比较慢几十页的文件会明显卡顿。我测试过一个120页的PDF单进程跑了将近40秒。如果你要处理大量大文件有两条路一是用multiprocessing按PDF文件并行文件之间没有依赖天然适合多进程二是只提取需要的页面不要遍历全部页面。# 多进程示例 from multiprocessing import Pool def process_one_file(pdf_file): path os.path.join(input_dir, pdf_file) tables extract_tables_from_pdf(path) records [] for table in tables: records.extend(normalize_table(table)) return records if __name__ __main__: with Pool(processes4) as pool: results pool.map(process_one_file, pdf_files) all_records [rec for sublist in results for rec in sublist]这段代码在4核机器上可以显著提速。注意input_dir等变量需要在子进程可访问的地方定义否则会报进程池参数序列化错误。5.5 排查技巧先探测再提取最后分享一个我自己很受用的技巧真正批量处理前先挑3个不同格式的PDF单独跑一遍把提取结果打印出来人工校验。这一步很重要。比如if __name__ __main__: test_file input/测试文件1.pdf tables extract_tables_from_pdf(test_file) for table in tables: for row in table: print(row)确认提取结果符合预期再跑全量。我在这个环节最少修过十几次映射表和清洗规则也救回过几次数十份文件的返工。这个工具的扩展空间其实不小比如加上命令行参数、做一个简单的Web上传页面或者接入定时任务月底自动跑一次。但最核心的“提取→清洗→合并”思路是通用的换任何业务场景只要改改表头映射基本都能复用。至少从我自己用的情况看这个脚本已经帮我省掉了每个月一下午的重复劳动。