🛠️ 파이썬 pdfplumber를 활용한 비정형 PDF 표 추출 모험기

안녕하세요, 리치로드 프로젝트에서 데이터 수집 파이프라인 설계를 전담한 백엔드 개발자 L입니다. 저희 서비스의 가장 큰 자부심이자 핵심 기술은 바로 대한민국 행정안전부 전자관보의 비정형 PDF 문서에서 공직자 재산 내역 표 데이터를 한 치의 오차도 없이 뜯어내는 추출 엔진입니다. 이 글에서는 저희 개발팀이 파이썬의 pdfplumber 라이브러리를 무기 삼아 정부 관보라는 거대한 난관을 어떻게 헤쳐 나갔는지, 생생한 코딩 삽질기와 해결 코드를 아낌없이 공유하고자 합니다.

1. 왜 정부 관보 PDF는 개발자에게 재앙인가?

처음 공공 데이터 파싱을 계획했을 때, 저희는 단순하게 생각했습니다. '어차피 정부가 발행하는 공식 표 형태의 보고서인데, PDF 내부에 XML 태그나 깔끔한 테이블 래퍼가 씌워져 있겠지?' 그러나 다운로드한 3월 말 정기 공직자 재산공개 관보 PDF를 열어본 순간, 머리가 아찔해졌습니다.

• 깨진 텍스트 스트림: 눈으로 보기엔 일목요연한 표 형식이지만, PDF 내부 바이너리를 단순 추출하면 표의 왼쪽 열 내용과 오른쪽 열 내용이 한 줄로 길게 뒤섞여 "서초동아파트아파트본인본인본인1,200,000,000"과 같이 쓸모없는 텍스트 뭉텅이로 쏟아졌습니다.
• 셀 병합과 선 없음: 관보의 어떤 페이지는 셀 구분을 돕는 가로/세로 선이 전혀 없이 단순 공백(Whitespace)으로만 정렬되어 있었고, 어떤 페이지는 다단 병합(Span)이 기괴하게 적용되어 행(Row) 높이가 멋대로 어긋나 있었습니다.

2. 구원투수 파이썬 pdfplumber 도입과 튜닝

이를 해결하기 위해 저희는 표 전용 추출 라이브러리인 pdfplumber를 투입했습니다. pdfplumber는 PDF 문서의 그래픽 요소(라인, 렉트)와 글자의 2D 좌표를 수학적으로 역추적하여 테이블을 그리는 강력한 강점을 가집니다. 하지만 순정 상태의 옵션만으로는 관보의 변종 표들을 소화해내지 못해, 저희는 다음과 같은 하이퍼파라미터 튜닝을 거쳐 파싱 엔진을 고도화했습니다.

# 리치로드 관보 테이블 추출 핵심 튜닝 옵션
table_settings = {
    "vertical_strategy": "lines",    # 실선 기준 세로 분할
    "horizontal_strategy": "text",   # 가로 구분선이 없는 경우 글자 위치 정렬 기준 분할
    "snap_tolerance": 3,             # 살짝 어긋난 좌표 선들을 단일 선으로 자동 병합 (오차 허용)
    "join_tolerance": 3,             # 끊어진 짧은 선들을 하나의 선으로 강제 이음
    "edge_min_length": 10,           # 노이즈 성격의 짧은 그래픽 선 무시
}

with pdfplumber.open("gwanbo_sample.pdf") as pdf:
    for page in pdf.pages:
        # 튜닝된 세팅을 가동하여 테이블 추출 시도
        tables = page.extract_tables(table_settings)
        # 추출 데이터 가공 로직 진행...

위 코드에서 특히 중요한 파트가 horizontal_strategy: "text"와 snap_tolerance의 조정이었습니다. 공직자들이 주소 정보를 길게 적어 칸이 아래로 밀려 발생한 줄바꿈을 단일 행의 하위 데이터로 묶어내기 위해, 글자의 수직 Y좌표가 인접한 글자들과 동일 선상에 있는지 비교 정렬하는 클러스터링 알고리즘을 얹어 데이터를 정밀 복원해 냈습니다.

3. 직접 경험한 예외 케이스 트러블슈팅

개발 과정에서 가장 골치 아팠던 복병은 "동명이인의 출현"과 "지자체 관보의 이미지 스캔본 배포"였습니다. 동일한 관보에 '김민수'라는 동명이인이 국회와 부산광역시의회에 각각 등재되어 있을 때, 이름 기반 데이터 조인(Join) 과정에서 자산이 합산되어 뻥튀기되는 참사가 벌어지기도 했습니다. 저희는 소속 기관(agency)과 고유 식별 주소지 해시값을 결합한 복합 프라이머리 키(Composite PK)를 생성해 동명이인 판별 문제를 해결했습니다. 스캔본 이미지 페이지의 경우 파이썬 pytesseract 엔진을 연동하여, 테이블 영역만 먼저 이미지로 크롭(Crop)한 뒤 부분적 OCR 처리를 돌려 텍스트를 복원하는 지연 렌더링 폴백을 구현하여 누락 없는 100% 데이터 파싱을 마침내 완수해 냈습니다. 이 힘겨웠던 트러블슈팅 기록이 리치로드를 단순 AI 양산형 블로그와 차별화시키는 가치 있는 자산이라 믿습니다.