기본 콘텐츠로 건너뛰기

Aside는 단순한 브라우저가 아니다 (활용 예시)

실제 출판 사례 · Aside × Amazon KDP 읽는 브라우저에서, 일하는 에이전트로. 내 종이책 한 권이 보여 준 변화. 출판 방법을 알려 주는 AI를 넘어, 원고 준비부터 실제 심사 제출까지 연결한 경험. 236쪽 KDP에서 변환된 인쇄 내지 18개 인쇄용 텍스트로 추가한 외부 URL Live 2026년 11월 4일 판매 중 확인 『Claude AI for Writers & Professionals』 3판 페이퍼백 · 2026.11.03~04 작업 기록 기준 브라우저는 웹사이트를 열어 주는 도구라고 생각했다. 검색하고, 읽고, 필요한 내용을 복사하는 도구 말이다. 그런데 내 책을 아마존 KDP에 출판하는 작업을 Aside에 맡기면서 그 생각이 달라졌다. 이번 사례는 영어 도서 『Claude AI for Writers & Professionals』 3판의 종이책, 정확히는 페이퍼백 출판이다. 핵심은 AI가 출판 방법을 설명해 줬다는 데 있지 않다. 원고와 기존 판본의 조건을 확인하고, 인쇄용 파일을 준비하고, KDP 화면에서 업로드와 설정을 진행해 실제 심사 제출까지 연결했다는 데 있다. Aside는 내가 볼 웹페이지를 찾아 주는 데서 멈추지 않았다. 내가 끝내야 할 일을 진행하는 작업 공간이 되었다. 이 글의 흐름 01 왜 복잡한가 02 실제 수행 과정 03 설명에서 실행으로 04 확인된 출판 결과 05 사람이 결정할 일 06 브라우저의 재정의 01 종이책 출판은 파일 하나 올리는 일이 아니다 KDP 종이책 출판은 겉으로 보면 간단하다. 책 정보를 입력하고, 원고와 표지를 올리고, 가격을 정해 제출하면 된다. 하지만 실제로 해 보면 각 단계의 조건이 서로 연결돼 있다. 책 제목·저자·판차 등 도서 정보와 원고의 내용이 일치해야 한다. 책 크기, 흑백·컬러, 종이, 재단 여백, 표지 마감을 정해야 한다. 내지가 인쇄 규격에 맞아야 하고, 변환된 페이지 수를 확인해야 한다. 앞표지만이 아니라 뒷표지와 책등까지 포함한 인쇄용 표지가 필요...

대형언어모델의 수학 능력, 단순 암기인가 진짜 추론인가?

 

대형언어모델의 수학 능력에 대한 의문 OpenAI, Anthropic, DeepMind 등 유명 AI 연구소들이 개발한 GPT-4, Claude, Gemini 등 최신 대형언어모델들은 수학 문제 풀이에서 인상적인 성과를 보여주고 있습니다. 하지만 이들의 수학 실력이 과연 진짜 추론에 의한 것인지, 아니면 단순히 학습 데이터를 암기해서 답을 맞추는 것인지에 대한 의문이 제기되어 왔습니다.

GSM8k와 GSM1k를 통한 Scale AI의 실험 이에 대해 Scale AI의 연구진들이 흥미로운 실험을 진행했습니다. 기존의 수학 벤치마크인 **GSM8k(Grade School Math 8,000)와 유사하지만 완전히 새로운 문제 1,000개로 구성된 GSM1k(Grade School Math 1,000)**를 만들어, 다양한 언어모델들의 성능을 평가한 것입니다. GSM8k는 초등학교 수준의 산술 문제 8,000개로 이루어진 공개 데이터셋입니다. 만약 모델이 GSM8k에서는 좋은 점수를 얻지만 GSM1k에서는 낮은 점수를 얻는다면, 이는 암기에 의존한다는 증거가 될 수 있습니다.

일부 모델에서 관찰된 과적합 현상 실험 결과, Mistral이나 Phi 등 일부 모델 군에서는 이런 '과적합(overfitting)' 현상이 뚜렷하게 관찰되었습니다. 과적합이란 모델이 학습 데이터에 지나치게 맞춰져, 새로운 데이터에 잘 일반화되지 못하는 현상을 말합니다. 예를 들어, 모델이 GSM8k의 문제와 정답을 그대로 암기해 높은 점수를 얻었지만, 유사하지만 새로운 문제인 GSM1k에서는 성능이 크게 떨어진다면 과적합되었다고 볼 수 있습니다.

최신 모델들의 진정한 추론 능력 시사 반면 Claude, GPT, Gemini 등 최신 모델들은 GSM8k와 GSM1k에서 비슷한 높은 성능을 보여, 진정한 추론 능력이 있음을 시사했습니다. 특히 Claude 3는 과적합 징후가 거의 없이 우수한 성적을 거뒀습니다.

GSM8k 예제 생성 확률과 과적합의 상관관계 추가 분석 결과, 모델이 GSM8k 예제를 생성할 확률과 GSM8k/GSM1k 성능 차이 사이에 양의 상관관계가 있는 것으로 나타났습니다. 이는 많은 모델들이 GSM8k를 부분적으로 기억하고 있을 가능성을 시사합니다.

데이터 오염 외의 과적합 요인 가능성 하지만 데이터 오염만으로 과적합을 모두 설명할 수는 없어 보입니다. 가장 과적합된 모델 중 하나인 Math-Shepherd-Mistral은 GSM8k 생성 확률이 상대적으로 낮았기 때문입니다. 연구진은 보상 모델링 과정에서 올바른 풀이 방식에 대한 정보가 유출되었을 가능성을 제기했습니다.

과적합 문제 고려와 새로운 벤치마크의 중요성 이번 연구는 언어모델의 수학 실력을 평가할 때 과적합 문제를 반드시 고려해야 함을 보여줍니다. 아울러 충분히 강력한 모델은 데이터 오염에도 불구하고 일반화된 추론 능력을 갖출 수 있음을 시사합니다. GSM1k와 같은 새로운 벤치마크를 통해 모델의 진정한 능력을 더욱 정확히 가늠할 수 있을 것으로 기대됩니다.

(** 참고 아래 내용은 AI 타임즈에서 최근에 포스팅한 내용을 Claude 3 Opus로 분석하여 조금더 이하기 쉽게 요약한 내용임을 밝힙니다.  (https://www.aitimes.com/news/articleView.html?idxno=159380)  **)

댓글

이 블로그의 인기 게시물

[새로와진 Gmail U/I 입니다] 사용 방법 소개

오늘  Gmail이 새롭게 업데이트 되었습니다. U/I가 새롭게 변경이 되었고, 새로운 기능들이 몇가지 추가 되었습니다. 일반 개인 지메일 사용자는 오른쪽 상단 톱니바뀌 아이콘을 선택하면 '새 Gmail 사용해 보기' 를 선택하여 사용이 가능합니다. G Suite 사용자는 관리자 콘솔에 접속후 앱 >G Suite > Gmail에 대한 설정 >고급 설정 에서 '새 Gmail 얼리 어뎁터 프로그램' 에서 액세스를 허용함으로 체크 해야 합니다. 적용되는데는 최소 1시간 이상 소요된다고 합니다. 새롭게 Gmail U/I 가 시작되면 아래와 같은 환영합니다 메시지가 표시됩니다. 새롭게 변경된 U/I에서는 오른쪽에 '캘린더", "구글 메모 킵", "새로운 Task"앱 이 표시가 됩니다. 이제는 지메일 안에서 '캘린더', '구글 킵'을 사용할 수 있게 되었습니다. Task는 이번에 새롭게 기능 개선이 된 새로운 Task 앱입니다. 신 Task 시작시 환영 메시지입니다. 그외에도 '다시 알림' 기능이 추가 되었습니다. 해당 메일 메시지를 선택 후 해당 메시지를 다시 알림을 설정하여 나중에 다시 알림을 받을 수 있는 기능입니다. 자세한 정보는 구글 블로그 -  https://www.blog.google/products/g-suite/new-security-and-intelligent-features-new-gmail-means-business/ 참고하시기 바랍니다. ----------------- G Suite/Chromebook 전문 블로그 - charlychoi.blogspot.kr

[G Suite 업데이트] 새롭게 통합된 (Gmail/Chat/Meet/Drive) Gmail ('Home for Work')

  새롭게 통합된 (Gmail/Chat/Meet/Drive) Gmail  지난 7월16일자에 이미 발표한 ‘Home for Work 이란 이름으로 Gmail 이 새롭게 통합된 환경으로 설계된 버전이 릴리스 ’ 된다고 하였습니다. 이 통합된 Gmail 버전이 지난 8월12일 기준으로 최대 15일안에 모든 G Suite 서비스에 적용될 예정이라고 발표 하였습니다.  드디어 이 버전이 활성화 되었습니다. 이 버전에 대한 소개입니다.  이 버전이 활성화된 경우는 G Suite 계정으로 로그인 시 아래와 같은 도움말이 표시됩니다. “Gmail 새로운 소식 확인하기’    그리고 Chat, 채팅방, 영상통화 메뉴가 Gmail 안에 표시됩니다.  이 새로워진 Gmail 버전의 가장 큰 특징은 ‘Gmail 메인 화면에서, Google Chat, 채팅방에서 공유된 파일들 목록 보기, 채팅방 멤버들과 할일 목록 만들기’ 입니다. 뿐만아니라, 채팅방에 공유된 구글 문서는 별도의 드라이브 창을 열지 않고 바로 문서를 열고 편집 작업이 가능하게 되었습니다. (현재는 Gmail 화면에서 열수 있는 문서 포맷은  스프레드시트, 슬라이드는 안되고 구글문서만 가능합니다)  Gmail 안에서 채팅방 멤버들에게 공유할 ‘할일(Task)’ 목록 만들기 가능  Gmail 안에서 지메일/채팅 검색 기능으로 쉽게 채팅 기록 또는 채팅방에 공유된 문서들 찾기 가능 이제 부터는 채팅을 위하여 별도의 Google Chat ( ‘chat.google.com’)이나, 화상회의를 위해서 Google Meet (meet.google.com), 채팅방에서 채팅하기 위하여 별도의 창을 띄우지 않고 Gmail 안에서 모든 작업이 가능해졌습니다.  

[행아웃 업데이트] 행아웃 그룹 초대가 쉬워졌습니다.

그동안 행아웃에서 대화 그룹을 만들고 그룹 멤버들 초대하려면, 멤버들 이메일 주소로 일일히 초대를 해야만 했었으나, 이번 업데이트를 통해서 Google 그룹을 이용하여 한번에 행아웃 초대가 가능해 졌습니다. Google Apps 를 사용하지 않는 개인 지메일 사용자들은 행아웃 초대시 행아웃 초대를 위한 링크를 만들어, 초대하고자 하는 사용자들에게 링크를 메일로 보내서 쉽게 초대 할 수 있게 되었습니다. 행아웃에서 그룹 초대 하는 방법   (1). 행아웃 대상자를 선택                                (2).. 다른 멤버 추가 버튼 클릭  (3). 그룹 만들기                                            (4). 설정 (5). 링크로 참여하기-> 링크복사 (6). Google 그룹 메일로, 행아웃 초대 링크를 보냅니다.   (7). 행아웃 그룹에서 멤버를 삭제하기 -------------------------------------------- Google Apps 전문 블로그 - charlychoi.blogspot.kr

[Gmail 업데이트 소식] Gmail에서 Smart Compose를 사용하여 이메일 작성 속도 향상

이메일을 사용하면 친구, 동료 및 가족과 정보를 쉽게 공유 할 수 있지만 메시지 작성에는 시간이 걸릴 수 있습니다. 작년에 Google은 수신 이메일에 신속하게 답변 할 수 있도록 Gmail에 Smart Reply를 도입했습니다. 오늘, 인공 지능으로 구동되는 새로운 기능인 Smart Compose를 발표하여 이메일을 처음부터 초안 작성하는 데 도움을줍니다. 자신감을 가지고 신속하게 이메일 초안 작성 인사말에서 종료 (및 그 사이의 일반적인 문구)까지 Smart Compose는 이메일의 문장 전체를 제안하므로 쉽게 작성할 수 있습니다. 백그라운드에서 작동하기 때문에 평상시와 같이 이메일을 작성할 수 있으며 입력하는 동안 Smart Compose가 제안 문구를 제공합니다. 원하는 제안이 있으면 "탭"버튼을 클릭하여 사용하십시오. Smart Compose는 반복적 인 글쓰기를 줄이고 맞춤법 및 문법 오류 가능성을 줄여 시간을 절약 해줍니다. 심지어 관련 문맥 어구를 제시 할 수도 있습니다. 예를 들어 금요일 인 경우 "좋은 주말 되십시오!"라고 제안 할 수 있습니다.  시작하기 앞으로 몇 주 안에 Smart Compose는 소비자 용 Gmail에 새로 선보일 예정이며, 향후 몇 개월 내에 G Suite 고객에게 제공 될 예정입니다. 시작하려면 설정> '새로운 Gmail 사용해보기'로 이동하여  새 Gmail을 사용 하도록 설정했는지 확인하십시오. 설정에서 일반 탭으로 이동하여 아래로 스크롤하여 '실험용 액세스'를 사용하도록 설정합니다. 전환하려는 경우 뒤로, 항상 선택 취소 할 수 있습니다. 자세한 정보는 구글 블로그 참고 -  https://www.blog.google/products/gmail/subject-write-emails-faster-smart-compose-gmail --------------------------...

Grok Bot 업데이트 정리: 컴퓨터 작업 3배(회사 발표)부터 채팅 카드·음성 통화·이메일·알림까지

"Grok @Bot got much faster." 일론 머스크(@elonmusk)가 이렇게 인용한 Grok Bot 업데이트가 2026년 10월 17일 오전 4시 55분(KST) @bot 공식 계정에 올라왔습니다. 리서처K 쇼츠로 정리한 주요 업데이트 5가지를, 회사 발표와 외신 보도를 구분해서 적어 봅니다. ▶ YouTube에서 쇼츠 보기 1. 속도: 컴퓨터 작업 평균 3배 (회사 수치) @bot 공식 게시물에 따르면 Grok Bot의 컴퓨터 작업은 평균 3배 빨리 끝나고, 그 밖의 답장은 절반도 안 되는 시간에 도착합니다. 다만 '3배'는 회사가 밝힌 자체 수치이고 측정 방법은 공개되지 않았습니다. 확인일 기준 Grok Bot 공식 changelog에는 10월 7일 "Bots work faster on their computer" 항목만 있고 배수는 적혀 있지 않습니다. 2. 채팅 카드 새 디자인 채팅 카드가 더 깔끔한 레이아웃으로 바뀌었습니다(@bot 공식). 새 글꼴과 테마도 함께 적용됐다는 내용은 외신 iPhone in Canada가 보도했습니다. 3. 음성 통화 개선 음성 통화가 더 빠르고 안정적이 됐고, 지난 대화를 더 잘 기억합니다(@bot 공식). 4. 이메일 플러스 별칭 이메일 주소에 플러스 별칭(이름+태그@…)을 붙일 수 있어서, 특정 주소로 온 메일에만 루틴이 실행되도록 나눌 수 있습니다(@bot 공식). 5. 알림은 지금 쓰는 기기로만 알림이 여러 기기로 흩어지지 않고, 지금 쓰고 있는 기기로만 갑니다(@bot 공식). 정리 이번 Grok Bot 업데이트의 핵심은 속도입니다. 다만 3배라는 숫자는 회사 발표이니, 내 작업에서 얼마나 빨라졌는지는 직접 써 보며 확인해 보시길 권합니다. 위 5가지는 @bot 스레드에서 리서처K가 고른 주요 항목이고, 스레드 전체에는 이 밖의 내용도 있습니다. AI 에이전트를 업무에 어떻게 쓸지 고민이시라면 찰리초...