오늘 GeekNews 최신 글 상단에서는 Upstage Solar Pro 4, 읽기 전용 MCP 지식 서버 구축 사례, LLM을 이용한 PCB 설계 평가 등이 새로 올라왔습니다. 그중 가장 직접적인 AI 제품 뉴스인 Solar Pro 4를 원문까지 확인했습니다. news.hada.io
Upstage는 8월 11일 Solar Pro 4를 공개했습니다. 목표 자체가 일반 챗봇보다 문서 읽기 → 도구 호출 → 코드 실행 → 파일 생성을 여러 단계로 이어가는 에이전트 업무입니다. upstage.ai, upstage.ai
기술 사양은 512K context와 최대 128K output, 영어·한국어·일본어 지원이며 reasoning effort를 조절할 수 있습니다. upstage.ai
Upstage 자체 평가에서는 Solar Pro 3 대비:
- Terminal-Bench v2.1: 12 → 57
- τ³-Banking: 9 → 23
- 긴 문서 평가 AA-LCR: 31 → 71
로 개선됐다고 발표했습니다. 다만 일부 벤치마크는 Upstage 내부 평가 환경에서 측정됐으므로 독립 벤치마크와 동일하게 해석해서는 안 됩니다. upstage.ai
가격은 정가 기준 100만 토큰당 입력 $0.30 / 캐시 입력 $0.06 / 출력 $1.20입니다. upstage.ai
여기서 더 중요한 포인트
Solar Pro 4에서 흥미로운 것은 모델 크기보다 평가 방식입니다.
Upstage는 실제 공개 데이터를 바탕으로 사무 업무를 만들어:
Excel 분석 → 보고서 → PowerPoint
처럼 한 단계의 값이 다음 산출물까지 일관되게 유지되는지를 평가한다고 설명합니다. upstage.ai
이 방향은 에이전트 제품에서 중요합니다.
기존 모델 평가:
질문 → 정답
에이전트 평가:
입력 → 계획 → 도구 호출 → 중간 결과 → 파일 생성 → 최종 검증
따라서 앞으로 기업용 AI에서는 benchmark score보다 Task Completion Rate가 훨씬 중요한 KPI가 될 가능성이 큽니다.
실무 적용
AI 에이전트를 평가할 때는 다음 지표를 추가할 가치가 있습니다.
- 최종 작업 완료율
- tool-call 실패율
- 재시도 횟수
- 중간 데이터 일관성
- hallucination 발생률
- 사람의 수정 시간
- 업무 하나를 끝내는 총비용
특히 마지막 지표가 중요합니다. 토큰이 싼 모델이라도 세 번 재시도해야 한다면 실제 운영 비용은 더 비쌀 수 있습니다. Upstage 역시 에이전트에서는 개별 토큰 가격보다 업무 완료까지의 총비용을 강조하고 있습니다. upstage.ai