오늘 GeekNews 최신 글 1위입니다. GeekNews 페이지에는 “Diffusion으로 OCR 디코딩 가속하기”가 약 15시간 전 등록됐고, 원문은 Trillion Labs가 8월 28일 공개한 연구입니다. news.hada.io
핵심 아이디어가 상당히 좋습니다.
일반 autoregressive OCR은:
토큰 1 → 토큰 2 → 토큰 3 → ...
처럼 한 토큰씩 생성합니다.
Trillion Labs 방식은 동일 GLM-OCR 0.9B 모델 안에 두 가지 경로를 둡니다.
Diffusion
→ 여러 토큰을 한 번에 초안
AR
→ 초안을 검증
일치하는 부분
→ 한번에 Commit
별도의 draft 모델을 추가하지 않고 한 모델의 diffusion 경로가 drafter, AR 경로가 verifier 역할을 합니다. blog.trillionlabs.co
결과
H100 1장, batch 1 조건에서 같은 checkpoint의 AR과 비교했을 때:
decode-only:
739 tok/s → 2,846 tok/s, 약 3.85배
end-to-end:
442 tok/s → 816 tok/s, 약 1.85배
전체 페이지 pipeline은 약 1.34배 빨라졌습니다. OmniDocBench 품질은 95.16으로 상위권 모델과 유사한 수준을 유지했습니다. blog.trillionlabs.co
한 번의 forward에서 평균 9.6 tokens를 확정하며, greedy decoding에서는 최종 출력이 기존 AR 결과와 byte 단위로 동일하도록 검증합니다. Draft가 틀렸을 경우 결과 품질을 떨어뜨리는 대신 AR이 해당 위치를 수정하므로 단지 속도 이득이 줄어드는 구조입니다. blog.trillionlabs.co
특히 중요한 제한
batch가 커져 GPU utilization이 높아지면 이점이 줄어듭니다.
batch 1에서는 end-to-end 약 1.85배였지만 각 방식의 최대 처리량을 비교하면 1.08배까지 줄었습니다. 즉 이 기법은 대규모 batch 처리보다는 사용자가 문서를 한 장 넣고 즉시 결과를 기다리는 low-latency inference에서 특히 가치가 큽니다. blog.trillionlabs.co
또 현재 technical report·weights·code는 아직 TBD로 명시돼 있어 독립 재현은 기다려야 합니다. blog.trillionlabs.co
실무 시사점
여기서 OCR을 넘어 가져갈 아이디어가 있습니다.
빠른 모델이 여러 개를 먼저 제안하고, 정확한 경로가 검증해 한꺼번에 확정한다.
이는 코드 생성·structured extraction·문서 파싱처럼 출력 형식이 강하게 제한된 작업에서도 speculative decoding의 효과가 클 수 있다는 방향을 보여줍니다.
특히 실시간 문서 ingest 파이프라인에서는 모델 자체를 줄이지 않고 latency를 줄이는 방법이라는 점에서 의미가 있습니다.