찰리초이 스토리 블로그

  Kanana ² / BENCHMARK  FIELD NOTE · LOCAL LLM · RAG 8GB Mac에서 오프라인 RAG는 어디까지 가능한가 Kanana-2(2.3B)를 실제 문서 RAG 환경에서 측정했다. 검색은 놀라울 만큼 정확했고, 속도도 충분했다. 다만 “같은 질문에 같은 답”이라는 가장 기본적인 신뢰성은 아직 과제로 남았다. Kanana-2 SLM 품질·성능 테스트 MacBook M3 · 8GB · Ollama · Metal 완전 오프라인 한 줄 결론 Kanana-2는 8GB Mac에서 사내 문서 RAG를 돌리기 위한 속도·검색 품질은 충족한다. 그러나 소형 모델의 샘플링 비결정성 때문에, 실사용 전에는 낮은 온도 설정과 거절 재시도 같은 보정이 필요하다. THE NUMBERS 결과를 먼저 보면 이렇다. 25개 문항으로 검색, 생성, 거절, 의역, 요약을 함께 시험했다. 모델은 Q4_K_M 양자화 상태로 M3 통합 GPU에 100% 오프로드했고, 실제 프로덕션과 동일한 RAG 파이프라인에서 측정했다. 이번 측정은 Claude Code 를 이용해서 테스트를 한 결과입니다.  검색 정확도 100 % grounded 질문 20/20 중앙 응답 시간 2.3 초 검색 + 생성 전체 생성 속도 47 tok/s 한국어 답변 평균 59토큰 반복 재현성 75 % 동일 입력 20회 반복 01 / QUALITY 검색은 정확했고, 대부분의 답변은 근거를 지켰다. 정답 문서가 있어야 하는 20문항에서 올바른 도메인 문서는 모두 top-4 안에 들어왔다. 특히 원문과 표현이 거의 겹치지 않는 의역 질문도 3/3으로 통과했다. “회사를 그만두려면 언제까지 알려야 하나요?”처럼 규정 원문과 다른 어휘로 묻는 경우에도 의미 검색이 잘 작동했다는 뜻이다. 핵심 품질 지표 검색 정확도 정답 문서가 있는 질문 100% 핵심 키워드 포함 정답 17 / 20 85% 인용 표기 준수 [n] 형식 90% 범위 밖 거절 near-miss 포함 80% 환각을 한...

  인공지능 시대의 한글: 언어적 특성이 AI 기술 발전에 미치는 영향에 대한 심층 분석 작성일: 2025년 10월 9일 (한글날) 작성: Google Gemini 2.5 Pro Deep Research with @찰리초이 서론: 인공지능 시대, 한글의 재조명 본 보고서는 한국어, 즉 한글이 인공지능(AI) 기술의 활용과 발전에 있어 어떠한 영향을 미쳤는지 심층적으로 분석하는 것을 목표로 한다. 한글은 그 과학적으로 설계된 표음 문자 체계로 인해 음성 인식 분야에서 명백한 이점을 제공하는 동시에, 복잡한 교착어적 형태론은 전통적인 자연어 처리(NLP) 파이프라인에 상당한 도전 과제를 제기해왔다. 이러한 언어적 특성은 한국의 AI 연구자들이 언어학적 정보에 기반한 정교한 토큰화 전략을 개척하도록 이끌었다. 본 보고서는 한글이 AI 개발에 있어 양날의 검과 같이 작용해왔음을 논증하고자 한다. 즉, 언어 구조적 난제를 극복하는 과정에서 오히려 세계적 수준의 계산 효율성을 달성하게 되었으며, 이는 독자적인 한국형 AI 생태계를 형성했을 뿐만 아니라, 비영어권 중심의 글로벌 AI 기술 개발에 중요한 시사점을 제공한다. 보고서는 먼저 한글의 언어학적 구조를 해부하는 것에서 시작하여, AI 기술의 핵심 전처리 단계인 '토큰화 딜레마'에 대한 심도 있는 기술적 분석으로 이어진다. 이 과정에서 영어, 중국어, 일본어가 직면한 과제와 비교 분석을 수행할 것이다. 이후, 한글의 음성학적 이점을 검토하고, 네이버 하이퍼클로바 X와 카카오 KoGPT와 같은 한국의 대표적인 거대 언어 모델(LLM)의 아키텍처를 분석한다. 마지막으로, 이러한 분석 결과를 종합하여 한국 AI 기술의 미래와 그것이 갖는 경제적, 전략적 함의를 논의하며 결론을 맺는다. 제 1부: 한국형 AI의 언어학적 기반 제 1절: 자연어 처리를 위한 한글의 구조적 청사진 이 절에서는 인공지능과 한국어의 상호작용을 이해하는 데 필수적인 핵심 언어학적 원리들을 규명한다. 각 특징의 단순한 정의를 넘어, 그것이...