▲ 썸네일을 누르면 YouTube 영상으로 이동합니다. 답변을 넘어 접수 확인까지: 피클로 살펴본 AI 에이전트의 완수 조건 AI에게 맡기는 단위가 달라진다 일을 맡겼는데 다시 챙겨야 한다면 위임의 효과는 작다. 신청 방법을 알아낸 뒤 로그인하고, 서류를 채우고, 회신을 기다리는 과정이 그대로 남기 때문이다. 개인 AI 에이전트 피클의 사례에서 눈여겨볼 대목은 답변의 유창함보다 실행의 범위다. 브라우저와 이메일, 문서와 일정을 오가며 하나의 목표를 실제 결과까지 이어 간다. 여기서 위임의 단위는 질문 한 개가 아니라 완료 상태다. “신청 절차를 알려 달라”는 요청은 안내문으로 끝날 수 있다. “접수를 마치고 결과를 확인해 달라”는 요청에는 인증, 필수 항목 점검, 제출 증거 확보와 후속 확인까지 들어간다. 같은 신청 업무라도 무엇을 끝으로 정의하느냐에 따라 에이전트가 수행해야 할 일이 크게 달라진다. 완료의 기준을 행동에서 결과로 옮겨야 한다. 발송했다는 기록, 접수됐다는 회신, 실제 입금 확인은 서로 다른 단계의 증거다. 접수 버튼 이후에도 남아 있는 업무 참가 신청 과정에서 피클은 브라우저로 접수 페이지에 들어가 이메일 로그인을 진행한다. 연결된 수신함의 일회용 인증 번호는 직접 찾아 입력하고, 문자로 전달되는 인증 번호는 사용자에게 받아 입력한다. 필요한 정보를 채우고 약관 동의를 거쳐 신청한 뒤에는 완료 화면을 보관한다. 이후 문제 공개와 참가 혜택을 확인할 일정도 등록한다. 이 흐름은 자율 실행에도 사용자와의 연결 지점이 있다는 사실을 보여준다. 모든 단계를 혼자 처리해야만 위임이 성립하는 것은 아니다. 사용자 입력이 필요한 구간을 구분하고, 입력을 받은 뒤 진행하던 작업을 이어 가는 능력이 중요하다. 완료 화면을 남기는 행동도 의미가 있다. 사용자가 같은 페이지를 다시 열지 않아도 신청 상태를 판단할 근거가 생기기 때문이다. 업무별로 달라지는 완료의 증거 업무 실행 단계 결과 확인 참가 신청 정보 입력과 신청 제출 완료 화면 보...
참고: 이 데이터는 Hugging Face에서 운영하는 LMSYS Chatbot Arena 에서 최근에 각동 LLM 모델들을 평가한 자료를 Claude 3로 분석하여 설명한 내용입니다. 아래 그래프나 도표는 모두 이 LMSYS Chatbot Arena 사이트에서 발췌한 것입니다. https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard LMSYS Chatbot Arena는 다양한 LLM(Large Language Model)의 성능을 종합적으로 평가하고 비교하기 위한 오픈 플랫폼입니다. 이 플랫폼에서는 크라우드소싱을 통해 수집한 사용자들의 선호도 평가 데이터를 바탕으로 모델 간 상대적 우열을 가리고 있습니다. 40만명이 넘는 사람들의 선호도 투표를 모아 Elo 랭킹 시스템으로 LLM을 순위화했습니다. 부연 설명: LMSYS Chatbot Arena Leaderboard 는 대규모 언어모델(LLM)의 성능을 평가하기 위한 플랫폼입니다. 이 플랫폼은 크라우드소싱 방식으로 운영되며, 누구나 참여할 수 있는 오픈 플랫폼입니다. 40만명 이상의 사람들이 직접 LLM들에 대한 선호도를 투표했습니다. 이 투표 결과를 바탕으로 Elo 랭킹 시스템을 적용하여 LLM들의 순위를 매겼습니다. Elo 랭킹 시스템은 전통적으로 체스 등 두 플레이어 간 경기에서 실력 차이를 수치화하는 데 사용되는 방식입니다. 이 경우에는 사람들의 선호도 투표를 통해 LLM 간 상대적 성능 차이를 Elo 점수로 계산했습니다. 결론적으로 종합하면 현재로서는 Claude 3 opus와 GPT-4 계열 모델이 여러 평가 지표에서 최고 성적을 거두며 LLM 시장을 선도하고 있다고 평가할 수 있겠습니다. Bard, Claude 3 sonnet 등이 그 뒤를 바짝 추격하고 있으며, 구형 모델들과는 분명한 격차를 보이고 있습니다. 주요 평가 항목과 그 의도를 살펴보면 다음과 같습니다: 1. 일대일 대결 승률 ...