▲ 썸네일을 누르면 YouTube 영상으로 이동합니다. 답변을 넘어 접수 확인까지: 피클로 살펴본 AI 에이전트의 완수 조건 AI에게 맡기는 단위가 달라진다 일을 맡겼는데 다시 챙겨야 한다면 위임의 효과는 작다. 신청 방법을 알아낸 뒤 로그인하고, 서류를 채우고, 회신을 기다리는 과정이 그대로 남기 때문이다. 개인 AI 에이전트 피클의 사례에서 눈여겨볼 대목은 답변의 유창함보다 실행의 범위다. 브라우저와 이메일, 문서와 일정을 오가며 하나의 목표를 실제 결과까지 이어 간다. 여기서 위임의 단위는 질문 한 개가 아니라 완료 상태다. “신청 절차를 알려 달라”는 요청은 안내문으로 끝날 수 있다. “접수를 마치고 결과를 확인해 달라”는 요청에는 인증, 필수 항목 점검, 제출 증거 확보와 후속 확인까지 들어간다. 같은 신청 업무라도 무엇을 끝으로 정의하느냐에 따라 에이전트가 수행해야 할 일이 크게 달라진다. 완료의 기준을 행동에서 결과로 옮겨야 한다. 발송했다는 기록, 접수됐다는 회신, 실제 입금 확인은 서로 다른 단계의 증거다. 접수 버튼 이후에도 남아 있는 업무 참가 신청 과정에서 피클은 브라우저로 접수 페이지에 들어가 이메일 로그인을 진행한다. 연결된 수신함의 일회용 인증 번호는 직접 찾아 입력하고, 문자로 전달되는 인증 번호는 사용자에게 받아 입력한다. 필요한 정보를 채우고 약관 동의를 거쳐 신청한 뒤에는 완료 화면을 보관한다. 이후 문제 공개와 참가 혜택을 확인할 일정도 등록한다. 이 흐름은 자율 실행에도 사용자와의 연결 지점이 있다는 사실을 보여준다. 모든 단계를 혼자 처리해야만 위임이 성립하는 것은 아니다. 사용자 입력이 필요한 구간을 구분하고, 입력을 받은 뒤 진행하던 작업을 이어 가는 능력이 중요하다. 완료 화면을 남기는 행동도 의미가 있다. 사용자가 같은 페이지를 다시 열지 않아도 신청 상태를 판단할 근거가 생기기 때문이다. 업무별로 달라지는 완료의 증거 업무 실행 단계 결과 확인 참가 신청 정보 입력과 신청 제출 완료 화면 보...
대형언어모델의 수학 능력에 대한 의문 OpenAI, Anthropic, DeepMind 등 유명 AI 연구소들이 개발한 GPT-4, Claude, Gemini 등 최신 대형언어모델들은 수학 문제 풀이에서 인상적인 성과를 보여주고 있습니다. 하지만 이들의 수학 실력이 과연 진짜 추론에 의한 것인지, 아니면 단순히 학습 데이터를 암기해서 답을 맞추는 것인지에 대한 의문이 제기되어 왔습니다. GSM8k와 GSM1k를 통한 Scale AI의 실험 이에 대해 Scale AI의 연구진들이 흥미로운 실험을 진행했습니다. 기존의 수학 벤치마크인 **GSM8k(Grade School Math 8,000)와 유사하지만 완전히 새로운 문제 1,000개로 구성된 GSM1k(Grade School Math 1,000)**를 만들어, 다양한 언어모델들의 성능을 평가한 것입니다. GSM8k는 초등학교 수준의 산술 문제 8,000개로 이루어진 공개 데이터셋입니다. 만약 모델이 GSM8k에서는 좋은 점수를 얻지만 GSM1k에서는 낮은 점수를 얻는다면, 이는 암기에 의존한다는 증거가 될 수 있습니다. 일부 모델에서 관찰된 과적합 현상 실험 결과, Mistral이나 Phi 등 일부 모델 군에서는 이런 '과적합(overfitting)' 현상이 뚜렷하게 관찰되었습니다. 과적합이란 모델이 학습 데이터에 지나치게 맞춰져, 새로운 데이터에 잘 일반화되지 못하는 현상을 말합니다. 예를 들어, 모델이 GSM8k의 문제와 정답을 그대로 암기해 높은 점수를 얻었지만, 유사하지만 새로운 문제인 GSM1k에서는 성능이 크게 떨어진다면 과적합되었다고 볼 수 있습니다. 최신 모델들의 진정한 추론 능력 시사 반면 Claude, GPT, Gemini 등 최신 모델들은 GSM8k와 GSM1k에서 비슷한 높은 성능을 보여, 진정한 추론 능력이 있음을 시사했습니다. 특히 Claude 3 는 과적합 징후가 거의 없이 우수...