찰리초이 스토리 블로그

  Kanana ² / BENCHMARK  FIELD NOTE · LOCAL LLM · RAG 8GB Mac에서 오프라인 RAG는 어디까지 가능한가 Kanana-2(2.3B)를 실제 문서 RAG 환경에서 측정했다. 검색은 놀라울 만큼 정확했고, 속도도 충분했다. 다만 “같은 질문에 같은 답”이라는 가장 기본적인 신뢰성은 아직 과제로 남았다. Kanana-2 SLM 품질·성능 테스트 MacBook M3 · 8GB · Ollama · Metal 완전 오프라인 한 줄 결론 Kanana-2는 8GB Mac에서 사내 문서 RAG를 돌리기 위한 속도·검색 품질은 충족한다. 그러나 소형 모델의 샘플링 비결정성 때문에, 실사용 전에는 낮은 온도 설정과 거절 재시도 같은 보정이 필요하다. THE NUMBERS 결과를 먼저 보면 이렇다. 25개 문항으로 검색, 생성, 거절, 의역, 요약을 함께 시험했다. 모델은 Q4_K_M 양자화 상태로 M3 통합 GPU에 100% 오프로드했고, 실제 프로덕션과 동일한 RAG 파이프라인에서 측정했다. 이번 측정은 Claude Code 를 이용해서 테스트를 한 결과입니다.  검색 정확도 100 % grounded 질문 20/20 중앙 응답 시간 2.3 초 검색 + 생성 전체 생성 속도 47 tok/s 한국어 답변 평균 59토큰 반복 재현성 75 % 동일 입력 20회 반복 01 / QUALITY 검색은 정확했고, 대부분의 답변은 근거를 지켰다. 정답 문서가 있어야 하는 20문항에서 올바른 도메인 문서는 모두 top-4 안에 들어왔다. 특히 원문과 표현이 거의 겹치지 않는 의역 질문도 3/3으로 통과했다. “회사를 그만두려면 언제까지 알려야 하나요?”처럼 규정 원문과 다른 어휘로 묻는 경우에도 의미 검색이 잘 작동했다는 뜻이다. 핵심 품질 지표 검색 정확도 정답 문서가 있는 질문 100% 핵심 키워드 포함 정답 17 / 20 85% 인용 표기 준수 [n] 형식 90% 범위 밖 거절 near-miss 포함 80% 환각을 한...

  AX CONSULTING · VIBE CODING 바이브코딩, 빠르게 만들수록 더 먼저 지켜야 할 10가지 고객사 자료, API Key, 업무 데이터를 다루는 AX 컨설턴트라면 속도보다 먼저 확인해야 할 안전수칙이 있습니다. AI가 만든 결과를 안심하고 전달하기 위한 실무 기준을 정리했습니다. 바이브코딩은 아이디어를 빠르게 화면과 기능으로 바꿔줍니다. 하지만 파일 하나를 프로젝트 폴더에 넣는 일, 환경변수 이름 앞에 접두사를 붙이는 일, AI가 “완료했습니다”라고 말하는 일을 가볍게 넘기면 보안 사고나 잘못된 산출물로 이어질 수 있습니다. 핵심은 단순합니다. 민감한 정보는 밖으로 나가지 않게 하고, AI의 답변은 실행 결과로 검증하며, 애매한 판단은 사람이 확정한다. 아래 원칙을 프로젝트 시작 전과 고객사 전달 전에 점검해 보세요. 1. 고객사 원본 자료는 함부로 올리지 않습니다 계약서, 제안서, 회의록, 녹취록, 직원·고객 정보, 급여·근태·매출 자료, 내부 규정, 고객 DB와 원본 엑셀·PDF는 모두 민감할 수 있습니다. 웹 기반 AI 도구에 첨부한 파일은 외부 서비스로 전송되고, 프로젝트 폴더에 잠시 둔 원본은 나중에 커밋·배포·로그 출력으로 이어질 수 있습니다. 가장 흔한 실수 테스트를 빨리 하려고 실제 엑셀을 /data 폴더에 넣고 AI에게 읽게 한 뒤, 폴더 전체를 저장소에 올리는 경우입니다. 저장소가 비공개여도 배포 URL이나 빌드 로그가 별도의 노출 지점이 될 수 있습니다. 원본은 고객사가 허용한 환경에서만 처리합니다. 개발과 테스트는 더미 데이터 또는 가명 처리 샘플로 시작합니다. 고객사 실데이터가 필요한 최종 검증은 승인 범위 안에서 최소한으로 진행합니다. 애매하면 업로드하기 전에 PM 또는 보안 담당자에게 먼저 확인합니다. 2. API Key와 비밀번호는 코드에 쓰지 않습니다 API Key, 토큰, 비밀번호는 시스템의 열쇠입니다. 한 번 공개 저장소나 배포된 브라우저 코드에 들어가면 비용 발생과 데이터 접근으로 이어질 수 있습...

  학습용 가이드 · Anthropic 공식 문서 기반 Claude Code 공식 모범 사례 쉽게 이해하기 이 문서는 Anthropic의 공식 문서 Claude Code 모범 사례 를 바탕으로, 내용을 더 쉽게 이해할 수 있도록 설명과 예시를 추가해 재구성한 학습용 가이드입니다. 공식 문서: code.claude.com/docs/ko/best-practices 목차 한 줄 요약 챗봇이 아니라 "자율 코딩 작업자"다 완료 기준을 먼저 줘라 검증 기준의 종류 Before/After: 검증 기준 제공 탐색 → 계획 → 코딩 순서 Plan Mode가 필요한 경우 탐색 → 계획 → 구현 예시 구체적인 맥락을 넣어라 Before/After: 맥락 제공 풍부한 콘텐츠를 제공하라 CLAUDE.md는 짧은 운영 카드다 좋은 CLAUDE.md 예시 권한은 자동화의 브레이크다 CLI 도구를 적극 활용하라 MCP 서버로 외부 시스템 연결 Hooks: 반드시 실행되는 규칙 Skills: 반복 업무 저장 Subagents로 context 절약 Claude에게 질문도 잘 시켜라 세션 관리는 품질 관리다 체크포인트와 rewind 활용 비대화형 모드로 자동화하기 여러 세션 병렬 실행 대량 작업은 fan-out으로 적대적 리뷰 단계 추가 흔한 실패 패턴과 해결책 실무 시나리오별 완성 프롬프트 AI 개발팀 운영 모델 작업 전 체크리스트 바로 쓰는 기본 템플릿 최종 정리 0 한 줄 요약 Claude Code를 잘 쓰는 핵심은 AI에게 코딩을 맡기는 것 이 아니라, AI가 검증 가능한 방식으로 일하게 만드는 것 입니다. 좋은 AI 코딩 운영 = 목표 + 맥락 + 검증 기준 + 권한 제한 + 리뷰 구조 1 Claude Code는 챗봇이 아니라 "자율 코딩 작업자"다 일반 챗봇은 질문에 답하고 멈춥니다. 하지만 Claude Code는 다음 일을 할 수 있습니다. 파일 읽기 코드 수정 터미널 명령 실행 테스트 실행 빌드 확인 에러 로그 분석 여러 파일에 걸친 리팩터링...