停止喂养原始PDF给你的LLMs。你是在浪费钱、计算和上下文窗口。💸 不要用昂贵的视觉模型或重量级ML包解决文本解析问题,我正在构建一个轻量级、快速、完全本地的工具。 介绍DocDeconstruct —— 一个纯粹基于规则的、100%开源工具,将复杂的、数字原生PDF转换为干净的、AI准备好的Markdown。没有API、没有云依赖、完全私有(MIT许可)。 这是管道如何处理繁重工作的: * 结构重建: 根据字体大小和重量分组文本来检测层次结构(标题vs.正文)同时使用几何x-间隔来映射真实的阅读顺序跨多列布局。 不要再乱序的句子了。 * 清洁表格: 使用pdfplumber来提取原始数据并将其格式化为干净的、GitHub风格的Markdown表格而不是破坏布局行。 * 媒体映射: 直接从PDF字节流中提取嵌入的栅格图像并使用清晰的命名约定(page-x-img-y)保存它们本地。 现在深入 trenches 构建核心Python引擎和Next.js UI。 我打算在v1中严格遵循规则(暂时没有OCR或布局模型)来保持极速和在免费Vercel hobby等级上部署。 我很想听听你的想法。这方面的哪些边缘案例会打破你的当前RAG PDF解析器? 如果你想在GitHub仓库公开时立即收到通知,请在下面留下评论!
[正在开发中] 为LLM/RAG构建一个轻量级的,纯基于规则的PDF-to-Markdown转换器。没有云AI,没有API,100%本地。正在寻求对我的架构的反馈!
评论 (0)