오늘 GeekNews 최신 페이지에서 가장 눈에 띄는 AI 활용 글은 TwelveLabs Jockey로 강의 18편을 검수한 실제 운영 사례입니다. 개인 사례이므로 일반화된 벤치마크로 볼 수는 없지만, AI QA pipeline을 설계하는 방식은 상당히 참고할 만합니다. news.hada.io
먼저 Jockey 자체는 오늘 새로 나온 모델이 아닙니다. TwelveLabs는 7월 15일부터 Jockey를 research preview로 제공하고 있으며, 전체 영상·이미지 collection을 대상으로 검색·분석·multi-turn reasoning·structured output을 수행하는 agent layer입니다. docs.twelvelabs.io
실제 사용 결과
글 작성자는 18개 강의를 사람이 두 번씩 정주행하면 10시간 이상 걸리는 검수를 다음 구조로 바꿨습니다.
촬영 원본 분석 → 편집 지시 → 편집본 AI QA → 사람이 지적 구간만 최종 확인
실제 사용에서는 AI가 화면의 정적 구간, 설명 없이 지나간 용어, 말투·톤 변화, 재녹음 접합부 등을 타임스탬프로 잡는 능력은 유용했다고 평가했습니다. 인간 cold-viewer가 별도로 지적한 문제들과도 상당 부분 겹쳤습니다. chessire.tistory.com
반대로 한글 화면 문구 OCR, BGM 검출, 비슷한 영상 여러 개가 한 knowledge store 안에 있을 때 어느 영상의 정보인지 구분하는 문제에서는 신뢰도가 낮았습니다. 타임스탬프 역시 수초 정도의 오차가 있었습니다. chessire.tistory.com
가장 유용한 실패 사례는 잘못 업로드된 1분16초짜리 영상을 AI가 전체 편집본으로 오인하면서 없는 자막이 있다고 판단한 사건입니다. 정상 파일로 다시 올리고 정답을 암시하지 않은 관찰형 질문을 사용하자 실제 화면 요소를 제대로 식별했습니다. chessire.tistory.com
실무적으로 가져갈 원칙
이 사례의 핵심은 영상 AI보다 AI QA 시스템의 설계 방식입니다.
첫 단계에서 입력 무결성을 검증해야 합니다.
파일 크기, duration, checksum, 예상 asset ID 등을 확인하지 않고 AI에게 판정을 맡기면 AI는 잘못된 입력을 기준으로 그럴듯한 결론을 만들 수 있습니다.
그리고:
“빨간 박스 잘 들어갔어?”
보다
“화면에서 관찰되는 편집 요소를 타임스탬프별로 나열해라.”
처럼 정답을 숨긴 blind observation이 평가용 프롬프트로 더 적절합니다. chessire.tistory.com
작성자는 최종적으로 영상 전체를 AI에게 맡긴 것이 아니라 10시간 이상의 정주행을 AI가 지적한 구간만 사람이 보는 수십 분 수준으로 줄였다고 설명합니다. 단일 사례의 수치이지만, AI 검수의 현실적인 역할을 잘 보여줍니다. chessire.tistory.com