문서-마크다운 변환기와 MCP 서버 및 양방향 내보내기
all2md는 Thomas Villani에 의해 개발되어 복잡한 문서 형식을 LLM 섭취 및 자동화된 문서 워크플로우를 위한 구조화된 Markdown으로 변환합니다. 이 도구는 40개 이상의 형식 간의 양방향 변환을 수행하고, 내장된 Model Context Protocol 서버를 실행하며, 높은 충실도의 파싱을 위한 RAG-native 청크 및 AST 기반 변환을 제공합니다. 고급 PDF 테이블 복구, 선택적 OCR 지원 및 CLI 배치 유틸리티를 포함합니다. 주요 사용자는 LLM 및 RAG 빌더, Python 개발자 및 프로그래밍 문서 준비를 처리하는 파워 유저입니다.
복잡한 파일을 LLM 준비가 된 Markdown으로 변환하여 RAG 수집을 위한
이 도구는 PDF, DOCX, PPTX, HTML, 이메일 및 스프레드시트를 포함한 40개 이상의 파일 형식을 모델 컨텍스트 수집을 위해 설계된 깔끔한 GitHub Flavored Markdown으로 변환합니다. 이 파이프라인은 문서 구조를 보존하고 프로그래밍 방식의 변환을 허용하기 위해 추상 구문 트리를 사용하며, Markdown을 DOCX 및 PDF와 같은 리치 형식으로 다시 쓸 수 있어 모델 생성 콘텐츠의 왕복 편집을 가능하게 합니다.
복잡한 레이아웃에 대한 측정 가능한 충실도로 구조화된 출력 생성
PDF 처리는 테이블 복구, 다중 열 레이아웃 분석 및 헤더/푸터 제거에 중점을 두어 단순한 파서에 비해 불필요하거나 '발명된' 텍스트의 양을 줄입니다. 이 프로젝트는 Docling 및 pymupdf4llm에 대한 벤치마킹을 보고하고 낮은 발명 텍스트 비율을 강조합니다. RAG 네이티브 청킹은 의미론적, 제목 및 토큰 분할을 포함한 11가지 전략을 제공하며, 검색 워크플로우를 위해 섹션 및 페이지 출처를 보존합니다.
개발자 친숙성을 요구하지만 확장 가능한 형식별 설치를 제공합니다
이 도구는 Python 라이브러리 및 PC, macOS 및 Linux용 CLI로 제공되며 Python 3.x 환경을 목표로 합니다. 설치 관리자는 특정 형식에 필요한 코덱만 설치되도록 모듈 종속성 시스템을 사용하며, 스캔된 PDF에 대해 Tesseract 또는 EasyOCR과 같은 OCR 추가 기능은 선택 사항입니다. 플러그인 API 및 AST 변환을 통해 개발자는 사용자 정의 형식을 추가하거나 프로그래밍 방식으로 파싱 동작을 조정할 수 있습니다.
MCP 및 배치 도구를 통해 AI 어시스턴트 파이프라인에 적합
내장된 모델 컨텍스트 프로토콜 서버는 변환 파이프라인을 AI 어시스턴트에 직접 연결하며, 이 프로젝트는 Claude Desktop과 같은 클라이언트를 위한 원클릭 MCPB 번들을 제공합니다. 명령줄 유틸리티는 디렉토리 감시, 배치 변환, 의미론적 검색 및 문서 차이를 지원하여 수집을 자동화합니다. 이러한 통합은 구조화된 Markdown을 검색 시스템에 공급하고 개발자가 변환된 콘텐츠를 다운스트림 모델 프롬프트 또는 RAG 저장소에 통합할 수 있도록 도와줍니다.
모델 수집 파이프라인을 구축하는 개발자를 위한 실용적인 선택
검색 및 컨텍스트 레이어를 구축하는 팀을 위해 이 도구는 소스 충실도와 출처에 대한 측정 가능한 제어를 제공합니다. 모듈식 코드 우선 설계는 스크립트 파이프라인 및 배치 작업에 적합합니다. 비기술 사용자는 가파른 설정 곡선에 직면할 가능성이 높습니다. 실용적인 조언: GitHub Flavored Markdown을 출력하고 문서를 모델 컨텍스트 저장소에 가져올 때 출처를 유지하기 위해 의미론적 또는 제목 기반 청크화를 선호하십시오. 배치 실행 전에 이미지 기반 PDF에 대한 OCR 추가 기능을 활성화하십시오.
