IT기술 · AI 모델·도구 | TechPulse 편집 | 자료 확인·작성: 2026년 10월 16일 한국시간
긴 문서를 입력할 수 있는 능력과 그 안의 관계를 정확히 추적하는 능력은 따로 확인해야 합니다. 문맥 창 크기만 보고 근거 누락이 없다고 기대하기보다, 정답을 확인할 수 있는 질문과 근거 위치를 함께 준비하는 편이 실용적입니다.
GraphWalks가 보여 주는 질문
DeepMind의 GraphWalks 평가는 최대 128K 구간 650문항과 256K~1M 구간 200문항을 나눕니다. 이는 긴 입력에서 관계를 추적하는 특정 과제이며, 모든 장문 문서의 정답률을 뜻하지 않습니다. DeepMind Argon 평가 방법 PDF
모델 표의 문맥 길이는 수용량이고, 관계 추적 평가는 그 안에서 특정 일을 수행하는 결과입니다. 실제 계약서·회의록·코드에서는 문서 구조, 버전 충돌, 표의 단위 같은 다른 어려움도 생깁니다. 한 시험을 통과했다는 사실만으로 그 어려움까지 사라진다고 말할 수 없습니다.
근거가 있는 답을 받기 위한 질문 구조
질문에 “결론만 알려 줘” 대신 “답·근거 문서·위치·적용 조건·충돌하는 문장”을 함께 요구해 보세요. 인용이 있어도 실제 위치에서 같은 뜻인지 사람이 대조해야 합니다. 존재하지 않는 절 번호를 그럴듯하게 쓰는 답을 걸러내는 데 도움이 됩니다.
| 검수 항목 | 확인 질문 |
|---|---|
| 위치 | 지정한 페이지·절·문장을 실제로 찾을 수 있는가? |
| 버전 | 서로 다른 시행일이나 수정본을 섞지 않았는가? |
| 조건 | 예외·대상·단위를 결론에서 유지했는가? |
| 충돌 | 자료끼리 다르면 한쪽만 숨기지 않았는가? |
| 공백 | 자료에 없는 답은 확인 불가라고 구분했는가? |
정답을 아는 작은 검수 묶음 만들기
자료를 잘 아는 사람이 검증용 질문을 먼저 작성합니다. 한 곳에서 바로 찾는 질문, 떨어진 두 부분을 연결하는 질문, 문서에 답이 없는 질문을 섞습니다. 답이 없는 문제는 무리한 추측을 구분하는 데 유용합니다. 민감한 자료 대신 공개 문서로 먼저 시험할 수 있습니다.
다음은 자체 실험 설계 예시이지 측정 결과가 아닙니다. 같은 문서를 대상으로 근거를 앞부분·중간·끝부분에서 찾게 하고, 문서 버전이 바뀌었을 때 답도 바뀌는지 살핍니다. 일부 위치에서 실패했다면 입력 전체를 무조건 늘리기보다 필요한 구간을 추려 다시 확인합니다.
틀린 답의 원인도 분리하기
| 문제 | 관찰할 증거 | 보완 방향 |
|---|---|---|
| 근거를 못 찾음 | 정답 위치가 입력에 포함됐는가 | 파일 처리·검색 범위 확인 |
| 조건을 누락 | 인용은 맞고 결론이 넓어졌는가 | 예외·적용 대상 별도 추출 |
| 판본을 혼합 | 문서명과 날짜가 일치하는가 | 버전별로 분리 |
| 없는 답을 생성 | 원문에 근거 자체가 없는가 | 미확인 응답 기준 명시 |
이렇게 기록하면 모델을 바꿔야 하는 문제인지, 자료 정리가 필요한 문제인지 구분하기 쉬워집니다. 문맥 길이를 늘리는 선택은 이 진단 뒤에 해도 늦지 않습니다.
완료 기준
긴 답변의 완성도는 길이보다 다시 확인할 수 있는 근거에 있습니다. 중요한 결론마다 원문 위치를 연결하고, 미확인 항목을 남겨 다음 검수자가 이어갈 수 있게 만드는 것이 좋습니다.
출처와 확인 범위
- DeepMind Argon 평가 방법 PDF · 2026-10-16 확인
- DeepMind 공식 모델 비교표 · 2026-10-16 확인
- Gemini 4 Argon 모델 사양 · 2026-10-16 확인
공식 사양·업체 평가·독립 평가를 구분해 직접 정리했습니다. 계산과 점검 양식은 본문에 표시한 가정 또는 편집 제안입니다. 자체 모델 실행 결과로 제시하지 않았으며 가격·제공 범위·순위는 이후 바뀔 수 있습니다.
답글 남기기