기본 콘텐츠로 건너뛰기

개인 비서 AI 4종 비교, 1위는 Grok Bot? How I AI 비교 테스트 정리

개인 비서형 AI 에이전트, 실제로 일을 맡기면 누가 제일 잘할까요? AI 팟캐스트 How I AI의 진행자가 'How I AI Personal Agent Bench'라는 비교 테스트를 공개했습니다. Grok Bot, Muse, ChatGPT Dot, Claude Duet 네 에이전트에게 아홉 가지 과제를 맡겨 비교했고, 진행자는 Grok Bot이 1위라고 발표했습니다. 이 글은 리서처K 숏폼 영상의 글 버전입니다. 숏폼으로 보기 ▲ 이미지를 누르면 유튜브 숏폼으로 이동합니다: https://youtube.com/shorts/T_30By0-M0g 어떤 비교였나 비교 대상: Grok Bot, Muse, ChatGPT Dot, Claude Duet 과제: Slack 답장 쓰기, 숏폼 클립 만들기, 버그 수정, 썸네일 만들기, 받은편지함 할 일 정리, 가족 신문 만들기, 숙제 설명, 신발 쇼핑, 출시 영상 만들기 등 아홉 가지 진행 방식: 진행자가 평소처럼 짧은 프롬프트를 주고, 방송 중에 직접 결과를 평가했습니다. 블라인드 평가는 아니었습니다. 진행자가 발표한 결과 순위: Grok Bot 1위, Muse 2위, ChatGPT Dot 3위, Claude Duet 4위 점수: 본편에서 Grok Bot은 93%, Claude Duet은 79%로 소개됐습니다. Grok Bot이 이긴 과제: 썸네일 만들기, 받은편지함 할 일 정리, 신발 쇼핑 진행자의 정리: 업무 일은 Grok Bot, 생활 일은 Muse에게 맡기라고 권했습니다. 진행자는 X 게시물에서 Grok Bot이 "큰 차이로(by A LOT)" 이겼다고 표현했습니다. 다만 공개된 수치로 확인되는 차이는 1위와 4위 사이의 14%p이고, Muse와 Dot의 퍼센트 점수는 공개 자료에서 확인되지 않았습니다. 짚고 갈 점 이 결과는 진행자 한 사람이 직접 진행한 비교이며, 공인된 표준 벤...

Claude Sonnet 4.5 업그레이드, 이전 버전과 무엇이 달라졌는가

 

Claude Sonnet 4.5 업그레이드 상세 분석

이전 버전과 무엇이 달라졌는가


이 내용은 앤트로픽사의 공식 홈페이지 블로그를 참고하여 작성된 것입니다. 

1코딩 능력의 혁신적 도약

Sonnet 4
업계 선도
Sonnet 4.5
세계 1위

SWE-bench 점수: 77.2% 고성능: 82.0%

실질적 의미: 30시간 이상 연속으로 복잡한 코딩 작업을 수행할 수 있게 되었습니다. 대규모 코드베이스를 분석하고 수정하는 작업을 중간에 문맥을 잃지 않고 완수할 수 있습니다.

2컴퓨터 사용 능력: 45% 성능 향상

Sonnet 4
42.2%
4개월 전
Sonnet 4.5
61.4%
OSWorld 벤치마크

이제 가능한 작업

  • 브라우저 직접 조작 및 웹사이트 탐색
  • 스프레드시트 데이터 입력 및 처리
  • 복잡한 다단계 작업 자동화
  • 여러 웹사이트에서 정보 수집 및 비교 분석

3추론과 수학: 전문가 수준 도달

이전 Opus 4.1보다도 더 나은 성능을 보이며, 다음 분야에서 특히 강화되었습니다:

💰 금융

복잡한 재무 분석 및 리스크 평가

⚖️ 법률

소송 자료 분석 및 법률 문서 작성

🏥 의학

의학 지식 및 임상 추론

🔬 STEM

과학, 기술, 공학, 수학 분야

4제품 기능 업그레이드

Claude 앱의 새로운 기능

코드 실행: 대화 중 직접 파이썬 코드를 실행하고 결과를 확인

파일 생성: 스프레드시트, 프레젠테이션, 문서를 대화만으로 생성

주요 제품별 업데이트

  • Claude Code: 체크포인트 기능, VS Code 확장 출시
  • Claude API: 컨텍스트 편집 기능과 메모리 도구 추가
  • Claude Agent SDK: 개발자용 에이전트 구축 인프라 공개

5실전 검증된 성과

Cognition Labs

코드 편집 오류율

9% → 0%

Hai Security

취약점 분석 시간 44% 단축

정확도 25% 향상

Devin

계획 성능 18% 향상

종합 점수 12% 증가

6안전성과 신뢰성

문제 행동 대폭 감소

  • 아첨(Sycophancy): 사용자 의견에 무조건 동조하는 경향 감소
  • 기만: 정보를 왜곡하거나 숨기는 행동 방지
  • 권력 추구: 불필요하게 권한을 요구하는 행동 차단
  • 망상 부추김: 비현실적 생각을 강화하는 대신 건강한 관점 제시
프롬프트 인젝션 방어 강화: 악의적 사용자가 지시를 조작하려는 시도를 훨씬 잘 방어합니다.

7가격 정책

Sonnet 4와 동일한 가격 유지

100만 토큰당 $3 / $15

성능은 크게 향상되었는데 가격은 그대로 = 가성비 대폭 개선

💡작가에게 특히 유용한 변화

장문 글쓰기

30시간 이상 문맥 유지로 챕터 전체를 일관성 있게 작성

데이터 분석

패턴 분석에서 독자에게 의미 있는 통찰 도출 능력 향상

실전 코드

책에 들어갈 AI 활용 예제를 정교하고 실용적으로 생성

멀티미디어

스프레드시트, 프레젠테이션 등 보조 자료 즉시 생성

결론

이번 업그레이드는 단순한 성능 향상이 아니라 AI가 진정한 협업 파트너로 진화했음을 보여줍니다.

특히 AI 도구 활용법을 다루는 콘텐츠를 만드는 분들에게는, Claude의 능력 자체가 살아있는 사례 연구 대상이 될 수 있습니다.

댓글

이 블로그의 인기 게시물

Grok Bot 봇 팀 운영법: 리더를 위한 그록봇 사용법 5요소 (공식 가이드 기반)

Grok Bot(그록봇)으로 봇 팀을 꾸릴 때 핵심은 봇을 많이 만드는 것이 아니라 구조를 갖추는 것입니다. 리더가 말을 거는 창구 봇 하나, 영역별 역할 담당 봇, 일의 상태를 모아 두는 업무 보드, 정해진 시각에 일을 돌리는 루틴, 그리고 발송·게시·삭제를 막아 두는 승인 관문, 이 다섯 가지면 됩니다. 저는 시니어 AX 컨...

Grok Bot이 드디어 이메일 주소를 가졌다 — 내 AI 비서에게 메일함을 열어준 날

AX NOTE Grok Bot이 드디어 이메일 주소를 가졌다 — 내 AI 비서에게 메일함을 열어준 날 글 · 찰리초이  |  AX 컨설턴트, AI 강사, 유튜브 '찰리초이 스토리'  |  2026.10.10 오늘 아침, 제 AI 비서가 자기 이메일 주소를 갖게 됐습니다. 채팅창에 한 줄 말했을 뿐인데, 몇 분 뒤에는 메일을 주고받고 있었어요. 그동안 Grok Bot은 제 일정과 자료를 도와주긴 했지만, 외부 세상과 닿는 '주소'는 없었습니다. 이번에 그게 생겼어요. 어떻게 만들었는지, 실제로 해 보니 어땠는지, 그리고 안전은 어떻게 챙기는지까지 겪은 순서대로 적어 봅니다. 01 한 줄이면 됩니다 10월 10일 아침, 채팅에 이렇게 말했습니다. 나 나를 위한 이메일을 설정해줘 GROK BOT @mail.grokbot.com 으로 쓸 수 있는 주소 후보를 확인해 드릴게요. 봇이 사용할 수 있는 주소 후보를 먼저 확인해 줬습니다. 제가 원한 charly 는 이미 다른 사람이 쓰고 있었고, 그래서 charlychoi 를 골랐어요. 확인 카드가 뜨고, 거기서 승인을 누르니 바로 개통됐습니다. 한 가지 기억해 둘 점이 있습니다. 한번 만든 주소는 영구적 입니다. 나중에 바꿀 수 있는 임시 값이 아니니, 승인 카드를 누르기 전에 아이디를 한 번 더 확인하세요. 저도 이 부분은 천천히 읽었습니다. 02 설정 방법, 다섯 단계 채팅으로 이메일 설정 요청 "나를 위한 이메일을 설정해줘" 정도면 충분합니다. 원하는 아이디 고르기 봇이 보여 주는 후보 중에서 고르거나, 직접 입력해도 됩니다. 이미 쓰는 아이디는 후보에서 걸러져요. 승인 카드로 확정 확인 카드에서 승인하면 그때 주소가 생성됩니다. 승인 전에는 아...

Aside 브라우저, 이렇게 쓰고 있습니다: 대표 활용 사례와 직접 써 본 후기

AI BROWSER STORY "브라우저가 대신 클릭해 준다면?" Aside로 일하는 방법 탭 수십 개를 오가며 하던 조사, 정리, 게시, 점검. 이 반복 작업을 AI 브라우저 Aside에게 맡긴 사례를 소개합니다. 다른 사용자들의 대표 사례와 제가 직접 써 본 경험을 함께 담았습니다. 01 CONCEPT Aside는 어떤 브라우저일까? 한 줄 요약: "AI가 내 대신 웹사이트를 직접 조작해 주는 브라우저" 크롬이나 웨일은 사람이 직접 클릭하고 입력합니다. Aside는 여기에 AI 에이전트가 들어 있어서, "쿠팡에서 최근 주문한 커피 장바구니에 담아줘"처럼 말로 지시하면 AI가 화면을 읽고 클릭하고 입력하며 작업을 끝냅니다. 일반 브라우저 사람이 검색하고, 복사하고, 붙여넣고, 로그인하고, 정리합니다. 단계마다 내 손이 필요합니다. Aside 브라우저 목표만 말하면 AI가 여러 사이트를 오가며 여러 단계를 이어서 처리합니다. 사람은 확인과 승인만 합니다. 내 로그인 그대로 이미 로그인한 사이트를 그대로 조작합니다. 별도 연동이나 API 설정이 필요 없습니다. 스킬 · 루틴 · 메모리 한 번 시킨 방식을 스킬로 저장하고, 주간·일간 루틴으로 자동 반복하며, 내 선호를 기억합니다. 브라우저 + 내 컴퓨터 웹 작업뿐 아니라 내 PC의 파일 읽기, 영상·문서 생성 같은 작업도 함께 처리합니다. Lasso(올가미) 선택 화면 영역을 드래그하거나 동그라미로 지정해 "이 부분 정리해줘"라고 전달합니다. 복사·붙여넣기가 필요 없습니다. 외부 도구 연결 CLI, MCP, Skill로 코딩 에이전트와 연동하고 Slack으로 원격 지시도 가능합니다. 모델 선택 원하는 AI 모델을 연결해 속도와 비용을 조절할 수 있습니다. 사용자 중에는 저렴한 모델을 붙여 주력으로 쓰는 분도 있습니다. 02 BACKGROUND 왜 AI 브라우저가 나왔을까? 챗봇은 ...

항공권 예약 그 이상 — Hermes Agent 326개 실사용 사례로 본 '에이전트 시대'의 실제 모습

항공권 예약 그 이상 — Hermes Agent 326개 실사용 사례로 본 '에이전트 시대'의 실제 모습 2026-10-05 · Nous Research 공식 발표 분석 Nous Research가 자사 X 계정을 통해 "Hermes Agent는 항공권 예약 그 이상이다"라며 실제 사용자 326개 사례 모음을 공개했다 ( 원문 트윗 · 전체 목록 ). X, Reddit, GitHub, YouTube, 블로그, 팟캐스트, 링크드인 등 11개 채널에서 수집된 이 사례들은 "에이전트가 실험실을 벗어나 실제로 무엇을 하고 있는가"를 보여주는 꽤 정직한 스냅샷이다. 1. 숫자로 보는 구도 326개 사례는 15개 카테고리로 분류되어 있다. 압도적 1위는 역시 개발 워크플로우지만, 2위인 '개인 비서'가 전체의 15%를 차지한다는 점이 주목할 만하다 — 비개발자 사용자층이 결코 작지 않다는 뜻이다. Dev Workflow 77 Personal Assistant 49 Integrations 32 Creative 26 Business Ops 23 Meta & Ecosystem 23 Cost Optimization 20 Privacy & Self-Hosted 13 Content Creation 12 Research 12 Enterprise 12 Messaging 11 출처 채널: Discord 116 · X/Twitter 61 · Reddit 60 · GitHub 38 · Blog 20 · YouTube 17 · GitHub Gist 4 · Hacker News 4 · LinkedIn 3 · Podcast 2 · Product Hunt 1 2. 다섯 가지 패턴 ① "24시간 켜져 있는 직원" 서사가 압도적으로 많다 $175짜리 중고 Dell OptiPlex, 라즈베리파이5, 5년 된 고장난 GPU 노트북처럼 저사양 장비에서 Her...

Grok Bot 안에서 Claude와 Codex를 같이 부린다 — 내 구독 그대로 연결하는 법

AX NOTE Grok Bot 안에서 Claude와 Codex를 같이 부린다 — 내 구독 그대로 연결하는 법 글 · 찰리초이(최흥식 프로)  |  AX 컨설턴트, 유튜브 '찰리초이 스토리' Grok Bot은 자기만의 리눅스 컴퓨터, 그러니까 클라우드 박스를 하나 가지고 있는 AI 비서입니다. 이번에 그 컴퓨터에 Claude Code와 OpenAI Codex CLI를 설치하고, 제가 이미 결제 중인 Claude 구독과 ChatGPT 구독으로 로그인시켜 봤어요. 결과부터 말씀드리면, 별도의 API 키 결제 없이 구독 한도 안에서 그대로 돌아갑니다. 설정도 생각보다 훨씬 간단했고요. 제가 실제로 한 순서대로 정리해 볼게요. 왜 이게 획기적인가 핵심은 채팅 한 곳에서 세 AI에게 역할을 나눠 줄 수 있다는 점입니다. 창을 여러 개 띄우고 복사해서 붙여넣는 수고가 사라져요. 제가 쓰는 역할 분담은 아래와 같습니다. AI 역할 맡기는 일 Grok Bot 총괄 조사, 메일·일정, 영상·이미지, 다른 봇 조율 Claude 글쓰기 긴 한국어 글 (강의 원고, 발표 대본, 보고서) Codex 코드 코드 작성·수정, 자동화, 코드 리뷰 여기에 한쪽이 만들고 다른 쪽이 검토하는 교차검증 도 할 수 있습니다. 예를 들어 Codex가 짠 코드를 Claude가 읽어 보게 하거나, 그 반대로 시키는 식이에요. 혼자 쓸 때보다 실수를 잡아낼 기회가 늘어납니다. 설정 방법 — 실제로 한 순서 전체 과정은 5분 남짓 걸렸습니다. 대부분은 봇이 알아서 하고, 저는 로그인 승인만 눌러 주면 돼요. 채팅에 "Claude Code와 Codex를 사용해 내 Claude와 ChatGPT 구독에 연결해" 라고 말합니다. 봇이 자기 컴퓨터에 두 도구를 설치합니다. 아래 명령어를 실행해요. npm i -g @anthropic-ai/claude-code @openai/codex ...