기본 콘텐츠로 건너뛰기

[생성형 AI 환각 현상을 교차 검증하는 방법] "세종대왕이 직접 저술한 과학 서적의 제목과 주요 내용은 무엇인가요?"


생성형 AI의 환각 현상은 AI가 사실이 아닌 정보를 생성하거나, 존재하지 않는 사실을 마치 있는 것처럼 표현하는 문제를 의미합니다. 이러한 현상은 AI의 신뢰성을 저하시켜, 사용자가 제공된 정보의 진위를 판단하기 어렵게 만듭니다.

환각 현상의 원인
  • 데이터 품질 문제: 생성형 AI는 대량의 텍스트 데이터를 기반으로 학습합니다. 이 데이터가 부정확하거나 편향되어 있을 경우, AI는 잘못된 정보를 학습하게 됩니다
  • 확률적 모델링: AI는 통계적 패턴을 기반으로 작동하며, 문맥에 맞는 다음 단어를 예측하는 방식으로 작동합니다. 이 과정에서 문맥과 상관없는 정보나 잘못된 정보를 생성할 수 있습니다
  • 프롬프트 오류: 사용자가 입력한 질문이나 지시문이 모호하거나 불명확할 경우, AI는 잘못된 해석을 하여 부정확한 답변을 생성할 수 있습니다15.
  • 맥락 이해의 한계: AI는 주어진 맥락을 이해하지만, 그 깊이나 폭이 제한적입니다. 긴 대화나 복잡한 논리적 추론이 필요한 경우, 이전에 언급된 정보를 잊거나 왜곡할 수 있습니다

환각 현상 검증 방법

  1. 출처 검증: AI가 제공한 정보의 출처를 명확히 확인하고, 신뢰할 수 있는 데이터베이스나 문서에서 정보를 교차 검증해야 합니다
  2. 증거 및 정확성 분석: 제공된 정보가 주장하는 내용을 뒷받침할 수 있는 데이터나 연구 결과가 있는지 확인합니다
  3. 일관성 및 논리적 추론 검증: AI가 생성한 정보를 다른 신뢰할 수 있는 출처와 비교하여 일관성을 검사합니다
  4. 전문가 검토: 특히 중요한 결정이나 정보에 대해서는 전문가의 검토를 받는 것이 좋습니다
  5. 프롬프트 개선: 질문을 보다 명확하고 구체적으로 작성하여 AI가 올바른 정보를 제공하도록 유도해야 합니다

결론적으로, 생성형 AI의 환각 현상은 데이터 품질 문제와 모델의 확률적 특성 등 여러 요인에서 기인하며, 아직까지도 생성형 AI를 통해서 생성된 결과물에는 정보의 신뢰성 이슈가 있습니다.  이를 판단하기 위해서는 출처 확인과 전문가 검토 등의 방법이 필요하다고 하는데, 사용자가 질의한 답에 대해서 일일이 스스로 앞에서 언급한 5가지 검증 방법으로 검증한다는 것은 쉬운 일이 아닙니다. 

최근에 이러한 이슈를 해결할 만한 AI 검색 서비스가 등장했습니다. Genspark AI 의 'Search & Autopilot Agent' 기술입니다. 이 기술은 생성형 AI의 질문 결과에 대해 소위 '교차 검사' 에이전트 기술을 적용하여 팩트 체크를 할 수 있게 하는 기술입니다.

이미 Genspark AI의 Autopilot Agent (비동기 AI 에이전트) 기술은 여기서  소개된 바가 있으나, 이번에 소개된 기술은 AI 검색후 바 그 결과에 대해서 '교차 검증'을 할 수 있게 하는 것입니다. 

예시를 들어서 자세한 설명을 하겠습니다.  생성형 AI 들이 환각 현상으로 잘못된 대답을 한 것을 Genspark AI 의 교차 검증을 통해서 사실 여부를 확인하는  방법을 소개합니다.

'세종대왕이 신하들에게 맥북을 던짐 사건' 이후로 대부분의 생성형 AI들이 환각 현상이 많이 줄어들었지만 생성형 AI의 구조적인 문제로 인하여 아직도 환각  현상은 지속적으로  발생하고 있기도 합니다.  

이번에도 세종대왕에 대한 다른 질문을 통해서  'ChatGPT, Claude, Perplexity' 들에게 환각 현상을 유발 시켜 보고 이에 대한 결과를 검증하는 방법을 소개하고자 합니다.
  

질문:

 "세종대왕이 직접 저술한 과학 서적의 제목과 주요 내용은 무엇인가요?"


생성형 AI 대답

1. ChatGPT 

3. Claude 3.5 Sonnet


4. Perplexity Pro 

Genspark (genspark.ai) AI의  검색 후  교차 검증 방법 


Genspark AI 의 교차 검증한 결과 

------------

도서:”AI 전환 시대엔 혼자보다 함께, 클로드 AI 글쓰기'

----------
강연/교육 요청: 생성형AI (ChatGPT, Claude AI, Perpelexity AI, Genspark AI) 비즈니스 글쓰기 활용. 연락처:hsikchoi@gmail.com, T:010-8408-2363








라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

[알아두면 쓸모 있는 구글 문서 팁] 문서 공유시- 사용자 이름 대신에 익명의 동물이 표시 되는 이유와 동물 종류

구글 드라이브에는 다른 유사 서비스에서는 제공하지 않는 구글 만의 유니크한 기능들이 있다 구글 문서를  불특정 다수에게 전체 공개로 공유할 수 있습니다. 불특정인이 구글 문서에 접속한 경우 익명의 동물로 표시됩니다.  ' 웹에 공개' 또는 '링크가 있는 사용자' 공유 설정을 선택하면 인식할 수 없는 이름이나 익명의 동물이 표시될 수 있습니다. 파일에서 인식할 수 없는 이름을 볼 수 있는 몇 가지 이유는 다음과 같습니다. 메일링 리스트와 파일을 공유합니다. Google 계정이 없는 사용자와 파일을 공유하며, 그 사용자가 다른 사용자에게 공유 초대를 전달했습니다. 내 파일을 수정할 수 있는 누군가가 파일을 다른 사용자와 공유했습니다. 다른 사용자가 자신의 Google 계정 이름을 변경했습니다. 공유 설정 페이지에서 해당 사용자 이름 위로 마우스를 이동하여 이메일 주소를 확인하세요. 익명의 동물 다른 사용자에게 개별적으로 보기 또는 수정 권한을 부여하거나 메일링 리스트에 속해 있는 경우에만 사용자 이름이 표시됩니다. 파일 권한을 '링크가 있는 사용자'로 설정하면 파일을 보고 있는 사용자의 이름이 표시되지 않습니다. 대신 다른 사용자가 익명으로 라벨이 지정되어 표시되고 각 익명 사용자는 다양한 익명의 동물로 나열됩니다. 파일 권한을 '링크가 있는 사용자'로 설정했지만 특정 사용자와 파일을 공유하는 경우 파일을 공유한 사용자의 이름이 표시됩니다. 그 외 다른 사용자가 파일을 볼 때는 익명으로 나타납니다. 비공개 파일의 익명 동물 파일 권한을 '링크가 있는 사용자'로 설정한 다음 이를 '특정 사용자'로 변경하면 다음과 같은 경우 여러 익명의 동물이 표시될 수 있습니다. 누군가 파일을 여러 번 여는 경우에는 익명의 동물 목록에서 오래되고 연결이 끊긴 세션을 강제 종료하는 데 조금 시간이 걸릴 수 있습니다. 누군가 온...
댓글 8개
자세한 내용 보기

[팁] Google Slide 프리젠테이션시 모든 한글폰트가 '굴림체' 로 바뀌는 현상을 해결한 크롬 확장 프로그램 소개

구글 문서도구인 구글 슬라이드를 이용하여 프리젠테이션을 많이 하는 분들을 위한 희소식 현재 구글 슬라이드에서는 슬라이드 편집시 사용한 고유 한글 폰트들은 프리젠테이션 모드로 전환할 경우는 모두 '굴림체' 로 바뀌어 표시가 되는 불편함이 있었습니다. 예). 슬라이드 편집에서 사용한 '궁서체' 한글 폰트는, 프리젠테이션 모드에서는 '굴림체'로 바뀌어 디스플레이됨 예). 슬라이드 편집 모드 - '궁서체' 폰트 사용 프리젠테이션 모드에서 '굴림체' 로 변경됨    따라서, 이러한 현상을 해결하는 크롬 확장 프로그램이 개발 되었습니다.  크롬 확장 프로그램 명 - ShowAsis 입니다. 크 롬 웹스토어 링크 -  https://goo.gl/PVPkZz 이 확장 프로그램을 사용하여 슬라이드 프리젠테이션을 하면, 편집 모드의 폰트 그대로 프리젠테이션시에도 그대로 한글 폰트로 디스플레이 됩니다. 단, 단점은 슬라이드가 애니메이션 슬라이드가 있는 경우는 애니메이션이 동작하지 않습니다. ----------------------- G Suite/Google Apps 전문 블로그 -  charlychoi.blogspot.kr 도서 '기업과 학교를 위한 구글크롬북'
댓글 쓰기
자세한 내용 보기

[Claude의 새로운 'Styles' 기능 소개: AI 글쓰기의 새로운 지평]

  Claude의 새로운 'Styles' 기능 소개: AI 글쓰기의 새로운 지평 오늘은 Anthropic의 AI 어시스턴트 Claude의 차별화된 글쓰기 능력과 새롭게 추가된 'Styles' 기능에 대해 심층적으로 살펴보고자 합니다. Claude의 차별화된 글쓰기 능력 Claude는 출시 초기부터 뛰어난 자연어 처리 능력과 함께, 특히 글쓰기 분야에서 독보적인 성능을 보여왔습니다. 다른 생성형 AI들이 단순 텍스트 생성에 중점을 둔 것과 달리, Claude는 맥락 이해, 논리적 구조화, 그리고 일관된 톤 유지 능력에서 탁월한 성과를 보여주었습니다. 이러한 Claude의 강점이 이번 'Styles' 기능을 통해 한층 더 강화되었습니다. Styles 기능이란? Styles는 Claude의 커뮤니케이션 방식을 사용자의 필요에 맞게 최적화할 수 있는 혁신적인 기능입니다. 이는 단순한 톤 조절을 넘어서, AI와의 상호작용을 보다 자연스럽고 효율적으로 만들어주는 중요한 발전이라고 할 수 있습니다. 사용자 경험의 혁신 S tyles 기능의 도입은 사용자들에게 다음과 같은 긍정적인 영향을 미치고 있습니다: 업무 효율성 향상 : 상황에 맞는 최적의 커뮤니케이션 스타일을 선택함으로써, 불필요한 수정 작업 감소 일관성 유지 : 팀 프로젝트에서 동일한 톤과 스타일의 문서 생성 가능 맞춤형 학습 경험 : 사용자의 학습 스타일에 맞춘 설명 방식 제공 시간 절약 : 스타일 설정 한 번으로 일관된 output 유지 주요 기능 및 활용 방법 1. 프리셋 스타일 Normal: 기본적인 응답 스타일 Concise: 간단명료한 응답 Formal: 전문적이고 정제된 응답 Explanatory: 교육적 목적에 최적화된 상세 설명 2. 커스텀 스타일 생성 샘플 문서 업로드 방식 PDF, DOC, TXT 등 다양한 형식 지원 AI가 문서를 분석하여 사용자의 선호 스타일 학습 직접 스타일 정의 방식 기본 템플릿 선택 후 커스터마이징 세부적인 커뮤니케이션 지침 설...
댓글 쓰기
자세한 내용 보기

[Genspark - 세계 최초의 에이전트 혼합(MoA) 시스템 출시] AI 채팅, 이미지 생성, 번역의 혁신적인 경험!

  세계 최초의 에이전트 혼합(MoA) 시스템 출시 "지난 몇 달간 이것은 제가 사용하던 ChatGPT를 완전히 대체했습니다." — Genspark MoA 얼리 액세스 사용자 AI의 품질, 안정성, 신뢰성에 있어 획기적인 진전을 알려드리게 되어 기쁩니다. Genspark 에이전트 혼합(MoA)은 세계 최초의 상용화된 MoA 시스템으로, 다수의 대규모 언어 모델, 이미지 생성 모델, 번역 도구의 기능을 통합하여 채팅, 이미지, 번역 작업에서 뛰어난 정확도와 신뢰성을 제공합니다. MoA는 여러 AI 모델의 전문성을 결합한 혁신적인 접근 방식으로, 각 모델의 고유한 강점을 활용하여 개별 모델이 혼자서는 달성할 수 없는 탁월한 결과를 만들어냅니다. MoA만의 특별한 점 기존의 단일 모델 AI 시스템과 달리, MoA는 각 작업에 특화된 여러 고급 모델의 응답을 종합하고 개선합니다. 이러한 모델들의 집단 지성을 활용함으로써, MoA는 더욱 정확하고 섬세하며 신뢰할 수 있는 응답을 제공하여, 단일 모델로는 불가능한 수준의 AI 경험을 사용자에게 제공합니다. MoA의 작동 원리 집단 지성: 각 모델이 전문화된 응답을 제공하여 정보의 다양성을 높이고 작업에 최적화된 고유한 관점을 제시합니다.  성찰과 개선: MoA는 다양한 응답을 분석하고 신중하게 통합하며, 핵심 일관성을 파악하여 각 모델의 강점을 살린 결과물을 도출합니다.  신뢰성 있는 출력: 최종 응답은 여러 모델의 통찰력을 진정으로 통합한 것으로, 세련되고 일관성 있으며 깊이 있는 신뢰할 수 있는 품질을 보장합니다. 다양한 응용 분야에서의 신뢰성 확장 채팅: MoA는 여러 언어 모델의 응답을 결합하여 채팅 경험을 향상시킵니다. 각 모델의 기여를 세심하게 분석하여 균형 잡히고 정확한 답변을 제공합니다. 이러한 분석 과정을 통해 모든 응답이 정확성, 맥락, 깊이 면에서 균형을 이루도록 보장합니다. 이미지 생성: 사용자의 요청이 여러 이미지 생성 모델에 전달되어 다양한 결과물이 생성됩니다. 사용자가 ...
댓글 쓰기
자세한 내용 보기

구글 드라이브에서 내 파일이 갑자기 사라졌어요 [알아두면 쓸모 있는 구글 드라이브 팁]

  구글 드라이브에서 고아가 된(정리 되지 않은)  파일들에 대한 현상 및 복원 방법 및 공유 드라이브 활용 목차  배경 내 파일이나 폴더가 사라지고 (삭제된 것은 아님) 찾을 수 없는 현상 고아가 된 파일 (정리가 안된 파일) 을 찾아 내고 복원하는  방법 고아가 된 과정을 추적하는 방법 배경   구글 드라이브의 내 드라이브에서 협업을 위한 협업 폴더를 생성한 후 다른 팀원간들간에 공유하여 작업하는 동안 예기치 못하게 내가 생성한 파일들 또는 폴더가 갑자기 사라지는 현상이 발생 할 수 있습니다. 또한 이를 경험한 사용자들이 많이 있습니다.  내가 파일이나 폴더를 삭제하지 않았는데 불구하고 휴지통에도 없고, 내가 삭제한 기억도 없고, 이러한 현상이 발생할 경우에는 본 벡서서에서 설명하는 해당 폴더나 파일들이 ‘고아 (Orphaned)’ 가 된 상태가 되어있는게 분명합니다.  한글 도움말에는 ‘정리가 되지 않은 파일 (또는 분리가 된 파일)' 이라고 설명되어 있기도 합니다. 고아가 된 파일들은 어떠한 폴더에도 속하여 있지 않고, 내 휴지통에도 존재하지 않는 현상입니다. 그러나, 구글 드라이브에서는 용량을 계속 차지 않고 있는 상태입니다. 간혹 왜? 내가 삭제한 적이 없는데 파일이 없어졌거나 폴더가 보이질 않는 경우 당황하지 않고 이문서를 자세히 참조하면 해답을 찾을 수 있습니다.   내 파일이나 폴더가 사라지고 (삭제된 것은 아님) 찾을 수 없는 현상      1. 내 드라이브에서 Folder A를 생성하고 Folder A 안에 File A 를 생성 합니다. 나중에 File A를 삭제 하고, 그 이후에 Folder A 까지 삭제를 할 수 있습니다. 그후 휴지통에서 File A만 복원을 할 경우 삭제된 File A 를 복원하려고 하는데 File A가 존재하였던 상위 폴더 ‘Folder A’는 이미 삭제된 상태입니다. 이럴때 File A는 ...
댓글 쓰기
자세한 내용 보기