카카오, Kanana-2 SLM 벤치마킹 결과 보고서

 Kanana² / BENCHMARK 

FIELD NOTE · LOCAL LLM · RAG

8GB Mac에서
오프라인 RAG는 어디까지 가능한가

Kanana-2(2.3B)를 실제 문서 RAG 환경에서 측정했다. 검색은 놀라울 만큼 정확했고, 속도도 충분했다. 다만 “같은 질문에 같은 답”이라는 가장 기본적인 신뢰성은 아직 과제로 남았다.

Kanana-2 SLM 품질·성능 테스트MacBook M3 · 8GB · Ollama · Metal완전 오프라인

한 줄 결론

Kanana-2는 8GB Mac에서 사내 문서 RAG를 돌리기 위한 속도·검색 품질은 충족한다. 그러나 소형 모델의 샘플링 비결정성 때문에, 실사용 전에는 낮은 온도 설정과 거절 재시도 같은 보정이 필요하다.

THE NUMBERS

결과를 먼저 보면 이렇다.

25개 문항으로 검색, 생성, 거절, 의역, 요약을 함께 시험했다. 모델은 Q4_K_M 양자화 상태로 M3 통합 GPU에 100% 오프로드했고, 실제 프로덕션과 동일한 RAG 파이프라인에서 측정했다. 이번 측정은 Claude Code 를 이용해서 테스트를 한 결과입니다. 

검색 정확도100%

grounded 질문 20/20

중앙 응답 시간2.3초

검색 + 생성 전체

생성 속도47 tok/s

한국어 답변 평균 59토큰

반복 재현성75%

동일 입력 20회 반복

01 / QUALITY

검색은 정확했고, 대부분의 답변은 근거를 지켰다.

정답 문서가 있어야 하는 20문항에서 올바른 도메인 문서는 모두 top-4 안에 들어왔다. 특히 원문과 표현이 거의 겹치지 않는 의역 질문도 3/3으로 통과했다. “회사를 그만두려면 언제까지 알려야 하나요?”처럼 규정 원문과 다른 어휘로 묻는 경우에도 의미 검색이 잘 작동했다는 뜻이다.

핵심 품질 지표

검색 정확도정답 문서가 있는 질문100%

핵심 키워드 포함정답 17 / 2085%

인용 표기 준수[n] 형식90%

범위 밖 거절near-miss 포함80%

환각을 한 번 더 막는
생성 단계

검색이 무관한 청크를 가져온 경우에도, 모델은 사실을 지어내지 않고 “확인되지 않습니다”라고 응답했다. 검색 레이어의 오탐을 생성 레이어가 방어하는 구조가 실제로 관찰됐다.

무관한 질문만 보면 거절 정확도 100%

질문 유형별 정답률25문항 기준

사실 검색

6 / 7

숫자·기한

4 / 5

복수 정보

2 / 2

교차 도메인

2 / 2

의역 질의

3 / 3

요약

0 / 1

THE IMPORTANT CAVEAT

가장 큰 문제는 일관성이었다.

검색은 정답 청크를 1순위로 가져왔는데도, 모델은 일부 질문에서 “제공된 자료에서 확인되지 않습니다”라는 안전한 거절 문구를 선택했다. 같은 질문과 같은 컨텍스트를 다섯 번 반복했을 때, 문항별 정답률은 40%까지 떨어졌다.

사업비 대표이사 결재 기준2 / 5

비밀번호 변경 주기3 / 5

02 / PERFORMANCE

대화형 경험으로는 충분히 빠르다.

검색과 생성을 모두 합친 중앙 응답 시간은 2,283ms였다. 첫 로딩만 감수하면 이후에는 한국어 답변 하나가 약 1.2~1.3초 안에 생성된다. 모델을 작게 가져가면서도 대화 흐름이 끊기지 않는 수준이다.

중앙 응답 시간의 구성24회 생성 호출

32ms검색

425ms프롬프트 처리

1,218ms생성

2,283ms응답 완료

컨텍스트를 약 4배(156→607 토큰) 늘려도 디코딩 속도는 52.2 tok/s에서 49.6 tok/s로 약 5%만 낮아졌다. 테스트 범위에서는 문서 근거를 더 붙이는 일이 응답성을 크게 해치지 않았다. 다만 현재 활성 컨텍스트가 4,096으로 제한돼 있어, 향후 top-k를 키운다면 여유를 먼저 확보해야 한다.

03 / NEXT MOVES

다음 단계는 모델 교체보다 작은 제어 장치다.

현재 관측된 문제는 대형 모델로 단번에 바꾸기보다, RAG의 목적에 맞게 생성 규칙을 좁히는 편이 훨씬 실용적이다.

1. 01

   생성 온도를 0.1~0.2로 낮춘다

   근거 기반 질의응답은 창의성이 필요 없다. 낮은 온도로 “안전한 거절 문구”의 과다 선택을 줄이는 것이 최우선이다.

2. 02

   높은 검색 점수의 거절은 1회 재시도한다

   충분한 근거가 검색됐는데도 거절하면 한 번 더 확인해, 관측된 40~60% 오류를 실사용에서 크게 낮출 수 있다.

3. 03

   num_ctx 여유를 확보한다

   문서량과 top-k가 커지기 전에 컨텍스트 창을 모델 지원 한도에 맞춰 명시적으로 확장한다.

4. 04

   요약 프롬프트를 더 엄격하게 만든다

   문서 밖 지식을 보태지 말고 원문의 문장을 최대한 활용하도록 지시해 자유형 요약의 일반 지식 혼입을 줄인다.

재현 가능한 벤치마크

평가 하네스, 7개 도메인 샘플 코퍼스, 25개 질문셋과 결과는 GitHub에서 확인할 수 있습니다.

github.com/charlychoi/kanana2-benchmark ↗

Kanana-2 SLM Evaluation ReportLocal · Offline · Reproducible2026.07.31