개인 비서형 AI 에이전트, 실제로 일을 맡기면 누가 제일 잘할까요? AI 팟캐스트 How I AI의 진행자가 'How I AI Personal Agent Bench'라는 비교 테스트를 공개했습니다. Grok Bot, Muse, ChatGPT Dot, Claude Duet 네 에이전트에게 아홉 가지 과제를 맡겨 비교했고, 진행자는 Grok Bot이 1위라고 발표했습니다. 이 글은 리서처K 숏폼 영상의 글 버전입니다. 숏폼으로 보기 ▲ 이미지를 누르면 유튜브 숏폼으로 이동합니다: https://youtube.com/shorts/T_30By0-M0g 어떤 비교였나 비교 대상: Grok Bot, Muse, ChatGPT Dot, Claude Duet 과제: Slack 답장 쓰기, 숏폼 클립 만들기, 버그 수정, 썸네일 만들기, 받은편지함 할 일 정리, 가족 신문 만들기, 숙제 설명, 신발 쇼핑, 출시 영상 만들기 등 아홉 가지 진행 방식: 진행자가 평소처럼 짧은 프롬프트를 주고, 방송 중에 직접 결과를 평가했습니다. 블라인드 평가는 아니었습니다. 진행자가 발표한 결과 순위: Grok Bot 1위, Muse 2위, ChatGPT Dot 3위, Claude Duet 4위 점수: 본편에서 Grok Bot은 93%, Claude Duet은 79%로 소개됐습니다. Grok Bot이 이긴 과제: 썸네일 만들기, 받은편지함 할 일 정리, 신발 쇼핑 진행자의 정리: 업무 일은 Grok Bot, 생활 일은 Muse에게 맡기라고 권했습니다. 진행자는 X 게시물에서 Grok Bot이 "큰 차이로(by A LOT)" 이겼다고 표현했습니다. 다만 공개된 수치로 확인되는 차이는 1위와 4위 사이의 14%p이고, Muse와 Dot의 퍼센트 점수는 공개 자료에서 확인되지 않았습니다. 짚고 갈 점 이 결과는 진행자 한 사람이 직접 진행한 비교이며, 공인된 표준 벤...
Claude Sonnet 4.5 업그레이드 상세 분석 이전 버전과 무엇이 달라졌는가 이 내용은 앤트로픽사의 공식 홈페이지 블로그를 참고하여 작성된 것입니다. 1 코딩 능력의 혁신적 도약 Sonnet 4 업계 선도 Sonnet 4.5 세계 1위 SWE-bench 점수: 77.2% 고성능: 82.0% 실질적 의미: 30시간 이상 연속으로 복잡한 코딩 작업을 수행할 수 있게 되었습니다. 대규모 코드베이스를 분석하고 수정하는 작업을 중간에 문맥을 잃지 않고 완수할 수 있습니다. 2 컴퓨터 사용 능력: 45% 성능 향상 Sonnet 4 42.2% 4개월 전 Sonnet 4.5 61.4% OSWorld 벤치마크 이제 가능한 작업 브라우저 직접 조작 및 웹사이트 탐색 스프레드시트 데이터 입력 및 처리 복잡한 다단계 작업 자동화 여러 웹사이트에서 정보 수집 및 비교 분석 3 추론과 수학: 전문가 수준 도달 이전 Opus 4.1보다도 더 나은 성능을 보이며, 다음 분야에서 특히 강화되었습니다: 💰 금융 복잡한 재무 분석 및 리스크 평가 ⚖️ 법률 소송 자료 분석 및 법률 문서 작성 🏥 의학 의학 지식 및 임상 추론 🔬 STEM 과학, 기술, 공학, 수학 분야 4 제품 기능 업그레이드 Claude 앱의 새로운 기능 코드 실행: 대화 중 직접 파이썬 코드를 실행하고 결과를 확인 파일 생성: 스프레드시트, 프레젠테이션, 문서를 대화만으로 생성 주요 제품별 업데이트 Claude Code: 체크포인트 기능, VS Code 확장 출시 Claude API: 컨텍스트 편집 기능과 메모리 도구 추가 Claude Agent SDK: 개발자용 에이전트 구축 인프라 공개 5 실전 검증된 성과 Cognition Labs 코드 편집 오류율 9% → 0% Hai Security 취약점 분석 시간 44% 단축 정확도 25% 향상 Devin 계획 성능 18% ...