IT기술 · AI 모델·도구 | TechPulse 편집 | 자료 확인·작성: 2026년 10월 16일 한국시간
AI가 PC를 잘 조작하는지 보려면 점수의 단위부터 확인해야 합니다. 일부 단계를 해낸 점수와 긴 작업 전체를 끝낸 비율은 같은 뜻이 아닙니다. Argon 평가 문서는 이 차이를 실제로 보여 주므로 자동화 도입의 판단 기준으로 삼을 만합니다.
공식 문서가 구분한 두 평가
DeepMind는 Argon의 OSWorld 2.0 결과를 오프라인 부분집합의 부분 점수로, Agent’s Last Exam 결과를 작업 성공의 이진 통과율로 보고합니다. OSWorld 수치는 세 번의 실행 중 최댓값이며, Claude의 온라인·오프라인 합산 결과는 같은 표에 넣지 않았습니다. DeepMind Argon 평가 방법 PDF
| 구분 | 어떤 질문에 가깝나 | 확인할 조건 |
|---|---|---|
| 부분 점수 | 작업 단계를 얼마나 수행했나? | 부분집합·채점 방식 |
| 전체 통과율 | 요구한 최종 상태를 만들었나? | 완료 기준·시간 예산 |
| 반복 실행 결과 | 실행마다 얼마나 흔들리나? | 평균·최대·시도 횟수 |
따라서 서로 다른 평가의 백분율을 같은 축에 올려 종합 점수처럼 평균 내면 안 됩니다. 숫자에 %가 붙었다고 분모와 채점 기준이 같은 것은 아닙니다.
실제 브라우저 업무의 완료는 어디까지일까?
예를 들어 블로그 이미지 교체라면 파일을 올리는 것, 대표 이미지를 지정하는 것, 저장하는 것, 공개 화면에서 로딩을 확인하는 것이 각각 다릅니다. 앞의 세 단계가 됐더라도 공개 이미지가 깨지면 사용자가 요청한 일은 끝나지 않은 셈입니다.
| 작업 예시 | 중간 상태 | 최종 확인 |
|---|---|---|
| 문서 입력 | 편집기에 문장이 있음 | 저장 후 다시 열어 동일한가 |
| 이미지 교체 | 업로드 완료 | 공개 본문·대표 이미지 로딩 |
| 데이터 조회 | 표가 보임 | 기간·필터·단위가 요청과 같은가 |
| 설정 변경 | 체크박스 선택 | 저장된 값과 실제 동작 일치 |
우리 업무용 자동화 시험표
편집부 제안: 일상적으로 반복하는 작업을 고르고, 성공 상태의 화면이나 값부터 적습니다. 그런 다음 같은 초기 상태에서 시도하되, 사람이 개입한 횟수와 개입 이유를 함께 기록합니다. 인증·권한 요청에서 멈춘 경우도 별도 상태로 남기세요.
- 전체 완료·부분 완료·사용자 조작 필요·실패를 분리합니다.
- 재시도는 성공한 시도만 남기지 않고 모두 기록합니다.
- 대기 시간과 사람의 복구 시간을 포함합니다.
- 잘못된 저장이나 중복 실행이 없는지 확인합니다.
자동화가 중간에 멈췄다는 이유만으로 무조건 나쁜 결과는 아닙니다. 사람의 확인이 필요한 지점에서 정확히 멈추는 행동도 운영 요구사항일 수 있습니다. 시험표에는 빠른 완료뿐 아니라 허용 범위를 지켰는지도 넣어야 합니다.
도입 판단
외부 벤치마크는 후보를 좁히는 데 쓰고, 실제 도입은 “요청한 최종 상태를 재현할 수 있는가”로 판단하세요. 서로 다른 시험의 순위를 합치는 대신, 업무별 완료 기준을 작게 정의하면 실패 원인도 더 잘 보입니다.
출처와 확인 범위
- DeepMind Argon 평가 방법 PDF · 2026-10-16 확인
- DeepMind 공식 모델 비교표 · 2026-10-16 확인
공식 사양·업체 평가·독립 평가를 구분해 직접 정리했습니다. 계산과 점검 양식은 본문에 표시한 가정 또는 편집 제안입니다. 자체 모델 실행 결과로 제시하지 않았으며 가격·제공 범위·순위는 이후 바뀔 수 있습니다.
답글 남기기