찰리초이 스토리 블로그

  Kanana ² / BENCHMARK  FIELD NOTE · LOCAL LLM · RAG 8GB Mac에서 오프라인 RAG는 어디까지 가능한가 Kanana-2(2.3B)를 실제 문서 RAG 환경에서 측정했다. 검색은 놀라울 만큼 정확했고, 속도도 충분했다. 다만 “같은 질문에 같은 답”이라는 가장 기본적인 신뢰성은 아직 과제로 남았다. Kanana-2 SLM 품질·성능 테스트 MacBook M3 · 8GB · Ollama · Metal 완전 오프라인 한 줄 결론 Kanana-2는 8GB Mac에서 사내 문서 RAG를 돌리기 위한 속도·검색 품질은 충족한다. 그러나 소형 모델의 샘플링 비결정성 때문에, 실사용 전에는 낮은 온도 설정과 거절 재시도 같은 보정이 필요하다. THE NUMBERS 결과를 먼저 보면 이렇다. 25개 문항으로 검색, 생성, 거절, 의역, 요약을 함께 시험했다. 모델은 Q4_K_M 양자화 상태로 M3 통합 GPU에 100% 오프로드했고, 실제 프로덕션과 동일한 RAG 파이프라인에서 측정했다. 이번 측정은 Claude Code 를 이용해서 테스트를 한 결과입니다.  검색 정확도 100 % grounded 질문 20/20 중앙 응답 시간 2.3 초 검색 + 생성 전체 생성 속도 47 tok/s 한국어 답변 평균 59토큰 반복 재현성 75 % 동일 입력 20회 반복 01 / QUALITY 검색은 정확했고, 대부분의 답변은 근거를 지켰다. 정답 문서가 있어야 하는 20문항에서 올바른 도메인 문서는 모두 top-4 안에 들어왔다. 특히 원문과 표현이 거의 겹치지 않는 의역 질문도 3/3으로 통과했다. “회사를 그만두려면 언제까지 알려야 하나요?”처럼 규정 원문과 다른 어휘로 묻는 경우에도 의미 검색이 잘 작동했다는 뜻이다. 핵심 품질 지표 검색 정확도 정답 문서가 있는 질문 100% 핵심 키워드 포함 정답 17 / 20 85% 인용 표기 준수 [n] 형식 90% 범위 밖 거절 near-miss 포함 80% 환각을 한...