Kanana ² / BENCHMARK FIELD NOTE · LOCAL LLM · RAG 8GB Mac에서 오프라인 RAG는 어디까지 가능한가 Kanana-2(2.3B)를 실제 문서 RAG 환경에서 측정했다. 검색은 놀라울 만큼 정확했고, 속도도 충분했다. 다만 “같은 질문에 같은 답”이라는 가장 기본적인 신뢰성은 아직 과제로 남았다. Kanana-2 SLM 품질·성능 테스트 MacBook M3 · 8GB · Ollama · Metal 완전 오프라인 한 줄 결론 Kanana-2는 8GB Mac에서 사내 문서 RAG를 돌리기 위한 속도·검색 품질은 충족한다. 그러나 소형 모델의 샘플링 비결정성 때문에, 실사용 전에는 낮은 온도 설정과 거절 재시도 같은 보정이 필요하다. THE NUMBERS 결과를 먼저 보면 이렇다. 25개 문항으로 검색, 생성, 거절, 의역, 요약을 함께 시험했다. 모델은 Q4_K_M 양자화 상태로 M3 통합 GPU에 100% 오프로드했고, 실제 프로덕션과 동일한 RAG 파이프라인에서 측정했다. 이번 측정은 Claude Code 를 이용해서 테스트를 한 결과입니다. 검색 정확도 100 % grounded 질문 20/20 중앙 응답 시간 2.3 초 검색 + 생성 전체 생성 속도 47 tok/s 한국어 답변 평균 59토큰 반복 재현성 75 % 동일 입력 20회 반복 01 / QUALITY 검색은 정확했고, 대부분의 답변은 근거를 지켰다. 정답 문서가 있어야 하는 20문항에서 올바른 도메인 문서는 모두 top-4 안에 들어왔다. 특히 원문과 표현이 거의 겹치지 않는 의역 질문도 3/3으로 통과했다. “회사를 그만두려면 언제까지 알려야 하나요?”처럼 규정 원문과 다른 어휘로 묻는 경우에도 의미 검색이 잘 작동했다는 뜻이다. 핵심 품질 지표 검색 정확도 정답 문서가 있는 질문 100% 핵심 키워드 포함 정답 17 / 20 85% 인용 표기 준수 [n] 형식 90% 범위 밖 거절 near-miss 포함 80% 환각을 한...
AX CONSULTING · VIBE CODING 바이브코딩, 빠르게 만들수록 더 먼저 지켜야 할 10가지 고객사 자료, API Key, 업무 데이터를 다루는 AX 컨설턴트라면 속도보다 먼저 확인해야 할 안전수칙이 있습니다. AI가 만든 결과를 안심하고 전달하기 위한 실무 기준을 정리했습니다. 바이브코딩은 아이디어를 빠르게 화면과 기능으로 바꿔줍니다. 하지만 파일 하나를 프로젝트 폴더에 넣는 일, 환경변수 이름 앞에 접두사를 붙이는 일, AI가 “완료했습니다”라고 말하는 일을 가볍게 넘기면 보안 사고나 잘못된 산출물로 이어질 수 있습니다. 핵심은 단순합니다. 민감한 정보는 밖으로 나가지 않게 하고, AI의 답변은 실행 결과로 검증하며, 애매한 판단은 사람이 확정한다. 아래 원칙을 프로젝트 시작 전과 고객사 전달 전에 점검해 보세요. 1. 고객사 원본 자료는 함부로 올리지 않습니다 계약서, 제안서, 회의록, 녹취록, 직원·고객 정보, 급여·근태·매출 자료, 내부 규정, 고객 DB와 원본 엑셀·PDF는 모두 민감할 수 있습니다. 웹 기반 AI 도구에 첨부한 파일은 외부 서비스로 전송되고, 프로젝트 폴더에 잠시 둔 원본은 나중에 커밋·배포·로그 출력으로 이어질 수 있습니다. 가장 흔한 실수 테스트를 빨리 하려고 실제 엑셀을 /data 폴더에 넣고 AI에게 읽게 한 뒤, 폴더 전체를 저장소에 올리는 경우입니다. 저장소가 비공개여도 배포 URL이나 빌드 로그가 별도의 노출 지점이 될 수 있습니다. 원본은 고객사가 허용한 환경에서만 처리합니다. 개발과 테스트는 더미 데이터 또는 가명 처리 샘플로 시작합니다. 고객사 실데이터가 필요한 최종 검증은 승인 범위 안에서 최소한으로 진행합니다. 애매하면 업로드하기 전에 PM 또는 보안 담당자에게 먼저 확인합니다. 2. API Key와 비밀번호는 코드에 쓰지 않습니다 API Key, 토큰, 비밀번호는 시스템의 열쇠입니다. 한 번 공개 저장소나 배포된 브라우저 코드에 들어가면 비용 발생과 데이터 접근으로 이어질 수 있습...