찰리초이 스토리 블로그

  대형언어모델의 수학 능력에 대한 의문  OpenAI, Anthropic, DeepMind 등 유명 AI 연구소들이 개발한 GPT-4, Claude, Gemini 등 최신 대형언어모델들은 수학 문제 풀이에서 인상적인 성과를 보여주고 있습니다. 하지만 이들의 수학 실력이 과연 진짜 추론에 의한 것인지, 아니면 단순히 학습 데이터를 암기해서 답을 맞추는 것인지에 대한 의문이 제기되어 왔습니다. GSM8k와 GSM1k를 통한 Scale AI의 실험  이에 대해 Scale AI의 연구진들이 흥미로운 실험을 진행했습니다. 기존의 수학 벤치마크인 **GSM8k(Grade School Math 8,000)와 유사하지만 완전히 새로운 문제 1,000개로 구성된 GSM1k(Grade School Math 1,000)**를 만들어, 다양한 언어모델들의 성능을 평가한 것입니다. GSM8k는 초등학교 수준의 산술 문제 8,000개로 이루어진 공개 데이터셋입니다. 만약 모델이 GSM8k에서는 좋은 점수를 얻지만 GSM1k에서는 낮은 점수를 얻는다면, 이는 암기에 의존한다는 증거가 될 수 있습니다. 일부 모델에서 관찰된 과적합 현상  실험 결과, Mistral이나 Phi 등 일부 모델 군에서는 이런  '과적합(overfitting)'  현상이 뚜렷하게 관찰되었습니다. 과적합이란 모델이 학습 데이터에 지나치게 맞춰져, 새로운 데이터에 잘 일반화되지 못하는 현상을 말합니다. 예를 들어, 모델이 GSM8k의 문제와 정답을 그대로 암기해 높은 점수를 얻었지만, 유사하지만 새로운 문제인 GSM1k에서는 성능이 크게 떨어진다면 과적합되었다고 볼 수 있습니다. 최신 모델들의 진정한 추론 능력 시사  반면  Claude, GPT, Gemini  등 최신 모델들은 GSM8k와 GSM1k에서 비슷한 높은 성능을 보여, 진정한 추론 능력이 있음을 시사했습니다. 특히  Claude 3 는 과적합 징후가 거의 없이 우수...