개인 비서 AI 4종 비교, 1위는 Grok Bot? How I AI 비교 테스트 정리

개인 비서형 AI 에이전트, 실제로 일을 맡기면 누가 제일 잘할까요?

AI 팟캐스트 How I AI의 진행자가 'How I AI Personal Agent Bench'라는 비교 테스트를 공개했습니다. Grok Bot, Muse, ChatGPT Dot, Claude Duet 네 에이전트에게 아홉 가지 과제를 맡겨 비교했고, 진행자는 Grok Bot이 1위라고 발표했습니다. 이 글은 리서처K 숏폼 영상의 글 버전입니다.

숏폼으로 보기

▲ 이미지를 누르면 유튜브 숏폼으로 이동합니다: https://youtube.com/shorts/T_30By0-M0g

어떤 비교였나

• 비교 대상: Grok Bot, Muse, ChatGPT Dot, Claude Duet
• 과제: Slack 답장 쓰기, 숏폼 클립 만들기, 버그 수정, 썸네일 만들기, 받은편지함 할 일 정리, 가족 신문 만들기, 숙제 설명, 신발 쇼핑, 출시 영상 만들기 등 아홉 가지
• 진행 방식: 진행자가 평소처럼 짧은 프롬프트를 주고, 방송 중에 직접 결과를 평가했습니다. 블라인드 평가는 아니었습니다.

진행자가 발표한 결과

• 순위: Grok Bot 1위, Muse 2위, ChatGPT Dot 3위, Claude Duet 4위
• 점수: 본편에서 Grok Bot은 93%, Claude Duet은 79%로 소개됐습니다.
• Grok Bot이 이긴 과제: 썸네일 만들기, 받은편지함 할 일 정리, 신발 쇼핑
• 진행자의 정리: 업무 일은 Grok Bot, 생활 일은 Muse에게 맡기라고 권했습니다.

진행자는 X 게시물에서 Grok Bot이 "큰 차이로(by A LOT)" 이겼다고 표현했습니다. 다만 공개된 수치로 확인되는 차이는 1위와 4위 사이의 14%p이고, Muse와 Dot의 퍼센트 점수는 공개 자료에서 확인되지 않았습니다.

짚고 갈 점

이 결과는 진행자 한 사람이 직접 진행한 비교이며, 공인된 표준 벤치마크가 아닙니다. 최종 순위와 퍼센트는 진행자의 평가 녹취를 Claude에 넣어 받은 것이고, 진행자 스스로도 점수 산정 방식을 정확히 모른다고 말했습니다. 에이전트마다 연결된 서비스(Slack, GitHub, 캘린더 등)와 기존 메모리도 달랐습니다. 과제별 세부 내용은 본편 영상에서 확인하세요.

출처

• 본편 영상(How I AI): https://www.youtube.com/watch?v=hnCoQ5wB-GU
• 비교 테스트 공개 X 게시물: https://x.com/clairevo/status/2115440745738027198
• 에피소드 정리 글: ChatPRD 블로그 - Grok vs Dot vs Muse vs Claude Duet

새 AI 소식이 궁금하다면 유튜브 리서처K(@AgenticAIChoi) 구독과 좋아요 부탁드립니다.