Datalab의 OmniParseBench는 문서 한 페이지에 대해 텍스트 존재와 순서 및 반복, 표의 셀 위치와 레이아웃을 예 또는 아니오로 검증하는 공개 벤치마크다. 공식 저장소는 전체 점수를 텍스트와 표 및 레이아웃 세 범주의 평균으로 계산하고, 언어와 구조 태그로 취약 영역을 따로 볼 수 있도록 한다. 채점은 네트워크나 API 키 없이 실행할 수 있으며 자체 데이터에도 적용할 수 있다. 다만 미지원 및 오류 판정은 점수에서 제외되므로 점수만 비교하면 실제 처리 실패를 놓칠 수 있다. 코드와 데이터의 라이선스도 서로 다르다.
Tech로 돌아가기
Tech
OmniParseBench, 문서 파싱 결과를 항목별로 검증하는 도구 공개
종합 점수뿐 아니라 언어와 표 구조별 실패를 비교하고, 채점에서 빠진 오류 항목도 확인해야 합니다.