기본 콘텐츠로 건너뛰기

[복잡한 한글 자연어 질문에 대한 Claude 3 Opus vs. ChatGPT-4 비교 실험 결과]



오늘은 생성형 AI를 글쓰기 도구로 활용할때 Claude 3 Opus와 ChatGPT-4의 성능을 비교해 보는 흥미로운 실험을 진행해 보았습니다.

요즘 생성형AI 기술의 발전으로 글쓰기에 AI를 활용하는 사례가 늘고 있는데요, 과연 어떤 AI 도구가 더 우수한 글쓰기 능력을 보여줄까요? 이번 실험에서는 동일한 프롬프트를 사용하여 두 AI 모델의 응답을 비교해 보았습니다.

실험 결과, 간단한 질문에 대해서는 두 모델 모두 큰 차이를 보이지 않았습니다. 하지만 복잡한 자연어 질문에 대해서는 질문 이해도와 응답의 품질에서 차이를 나타냈는데요.

ChatGPT-4에게 두 모델의 응답을 비교하도록 요청한 결과, 다음과 같은 피드백을 받았습니다:

"종합적으로 볼 때, 응답 A(Claude 3 Opus)가 사용자의 질문 의도를 더 잘 이해하고 있으며, 생성형 AI를 활용한 에세이 작성에 대한 실질적이고 구체적인 가이드를 제공하고 있습니다. 이를 통해 사용자는 AI와 협업하여 에세이를 효과적으로 작성할 수 있는 방법을 더 잘 이해할 수 있을 것입니다."

위 결과는 제가 아래와 같은  예시문을 Claude 3 Opus (A)와 ChatGPT-4 (B)에게 똑같이 질문을 한 응답 결과를 가지고, ChatGPT-4에게 이 두개의 결과(A와 B로 지칭하여) 를 비교하여 어느 응답이  더 사용자 질문의 의도에 맞는지 물어본 결과입니다.

실험 순서


1. 아래 프롬프트를 Claude 3 Opus 와 ChatGPT-4에게 동시에 질문을 해봄

'당신은 실용문중에서 에세이 전문 작가로서 베스트셀러 작가입니다. 일반인이 에세이를 쓰려고 할때 생성형 AI 프롬프트 기술을 적용하는 방법을 알아 내려고 합니다. 이떄 에세이를 쓰고자하는 사람들이 처음에 알아야 할 사항이 무엇이지 어떻게 하면 프롬프트 기법을 잘 활용할 수 있을지 안내 해주세요'


Claude3 Opus 응답

ChatGPT-4 응답

에세이 작성에 생성형 AI 프롬프트 기술을 활용하고자 하는 분들을 위해 다음과 같은 안내를 드리고자 합니다.

1. 주제 선정 및 아웃라인 작성

- 에세이의 주제와 전달하고자 하는 메시지를 명확히 정립합니다.

- 주제에 맞는 적절한 소제목을 선정하고, 전체적인 흐름을 고려하여 아웃라인을 작성합니다.

- 이 단계에서 AI에게 주제와 소제목을 제시하고, 관련 아이디어나 키워드를 생성해 달라고 요청할 수 있습니다.

2. 섹션별 콘텐츠 생성

- 아웃라인에 따라 각 섹션별로 AI에게 콘텐츠 생성을 요청합니다.

- 이때 AI에게 제공하는 프롬프트는 최대한 상세하고 구체적으로 작성하는 것이 좋습니다.

- 예를 들어, "서론 부분에서 독자의 관심을 끌 수 있는 흥미로운 도입부를 작성해 주세요."와 같이 요청할 수 있습니다.

3. 생성된 콘텐츠 검토 및 수정

- AI가 생성한 콘텐츠를 꼼꼼히 검토하고, 필요한 부분은 직접 수정하거나 추가 작성합니다.

- 생성된 콘텐츠가 원하는 방향과 다소 다를 경우, 추가 프롬프트를 제공하여 재생성을 요청할 수 있습니다.

- 예를 들어, "앞서 생성된 내용에서 더 감성적인 어조로 바꿔 주세요."라고 요청할 수 있습니다.

4. 전체 에세이 완성 및 교정

- 각 섹션별로 생성 및 수정된 콘텐츠를 하나의 완성된 에세이로 연결합니다.

- 문장 간 연결, 문법, 맞춤법 등을 꼼꼼히 검토하고 교정합니다.

- 필요한 경우 AI에게 전체 에세이의 문체 통일이나 오탈자 검사를 요청할 수 있습니다.

5. 피드백 및 추가 수정

- 완성된 에세이를 trusted readers에게 공유하고 피드백을 받습니다.

- 피드백을 바탕으로 에세이를 추가 수정 및 보완합니다.

- 수정 과정에서도 필요한 부분은 AI의 도움을 받을 수 있습니다.

가장 중요한 점은 AI를 유용한 도구로 활용하되, 최종 책임은 인간 작가에게 있다는 사실을 인지하는 것입니다. AI에게 의존하기보다는 협력하는 마음가짐으로 창의적인 에세이 작성에 도전해 보시기 바랍니다. 초반에는 다소 어려움이 있을 수 있지만, 점차 요령이 느껴지실 겁니다. 멋진 에세이 꼭 완성하시길 응원하겠습니다!

생성형 AI 프롬프트 기술을 에세이 작성에 활용하는 것은 매우 효과적인 방법일 수 있습니다. 여기에는 몇 가지 주요 단계와 팁이 있으며, 이를 통해 에세이 작성을 시작하는 사람들이 이 기술을 잘 활용할 수 있도록 도와드리겠습니다.

### 1. 목적과 주제 정하기

- **목적 결정**: 에세이를 쓰고자 하는 목적을 명확히 합니다. 예를 들어, 의견을 표현하고 싶은지, 정보를 제공하고 싶은지, 아니면 독자를 설득하고 싶은지 등입니다.

- **주제 선정**: 관심 있는 주제를 선택하고, 그 주제에 대해 충분히 알고 있는지 확인합니다. AI를 사용하여 주제에 대한 추가 정보를 수집하고 분석할 수도 있습니다.

### 2. 프롬프트 생성 기술 이해

- **기초 지식 습득**: 생성형 AI의 작동 원리를 이해합니다. AI는 주어진 프롬프트를 바탕으로 텍스트를 생성하기 때문에, 프롬프트의 질이 결과의 질을 결정합니다.

- **프롬프트 작성 연습**: 명확하고, 구체적이며, 직접적인 프롬프트 작성을 연습합니다. 예를 들어, “고대 로마의 정치적 구조에 대해 설명해줘”와 같은 프롬프트는 구체적이고 정보를 요구하는 좋은 예입니다.

### 3. AI를 사용한 초안 작성

- **프롬프트 사용**: 선택한 주제에 대한 프롬프트를 생성형 AI에 입력합니다. 처음에는 넓은 범위에서 시작하여 점차 세부적인 요소로 좁혀가는 것이 좋습니다.

- **초안 검토**: AI가 생성한 내용을 검토하고, 주제에 맞는지, 논리적인지, 그리고 원하는 목적에 부합하는지 확인합니다.

### 4. 수정 및 개선

- **인간의 감성 추가**: AI가 생성한 텍스트는 때로 무미건조할 수 있습니다. 자신의 개성과 감성을 추가하여 독자와의 연결을 강화합니다.

- **구조와 흐름 점검**: 전체적인 에세이의 구조와 흐름이 자연스러운지 점검합니다. 필요한 경우, 주제 문장이나 결론 부분을 재작성하여 글의 완성도를 높입니다.

### 5. 피드백과 수정

- **피드백 수집**: 다른 사람들로부터의 피드백을 받습니다. 이는 글의 명확성, 설득력, 그리고 독창성을 향상시키는 데 도움이 될 수 있습니다.

- **최종 수정**: 피드백을 바탕으로 최종적인 수정을 진행합니다. 문법 오류, 맞춤법, 그리고 문장 흐름 등을 최종 검토합니다.

생성형 AI를 활용하여 에세이를 작성하는 것은 효과적인 방법이 될 수 있으며, 위의 단계를 통해 기술의 이해와 활용 능력을 개발할 수 있습니다. 이 과정을 통해, 당신의 에세이 작성 능력뿐만 아니라 AI 기술을 다루는 법도 함께 향상될 것입니다.




2. 위 두개의 결과를 익명 (A와 B로 지칭)으로 해서 ChatGPT-4에게 다음 (A)는A의 답변이고, 다음 (B)는B의 답변입니다. 객관적으로 이 두 답변이 질문한 내용에대해서 어느것이 더 질문한 사람의 의도를 이해하고 잘 답변을 하였는지 비교 분석을 해주세요”  라고 질문한 결과 입니다.

프롬프트


'당신은 실용문중에서 에세이 전문 작가로서 베스트셀러 작가입니다. 일반인이 에세이를 쓰려고 할때 생성형 AI 프롬프트 기술을 적용하는 방법을 알아 내려고 합니다. 이떄 에세이를 쓰고자하는 사람들이 처음에 알아야 할 사항이 무엇이지 어떻게 하면 프롬프트 기법을 잘 활용할 수 있을지 안내 해주세요' 라고 프롬프트 명령어를 작성하여 '생성형AI-A' 와 "생성형AI-B' 에게 동일한 질문한 결과를 비교해주세요. 다음 (A)는A의 답변이고, 다음 (B)는B의 답변입니다. 객관적으로 이 두 답변이 질문한 내용에대해서 어느것이 더 질문한 사람의 의도를 이해하고 잘 답변을 하였는지 비교 분석을 해주세요:[A. 응답문][B. 응답문]"

ChatGPT-4 대답

두 AI 모델(A와 B)의 답변을 비교해 본 결과, 두 모델 모두 에세이 작성에 생성형 AI 프롬프트 기술을 적용하는 방법을 잘 설명하고 있습니다. 그러나 각각의 접근 방식과 제공하는 정보의 세부적인 차이가 있습니다.

1).  응답의 구조와 상세성 :

   -  응답 A : 단계별 접근 방식을 세세하게 설명하고 있으며, 각 단계에서 구체적인 예시를 제공하여 사용자가 AI와 어떻게 상호작용해야 할지 명확하게 안내합니다. 또한, AI와의 협력을 강조하면서도 최종적인 책임이 인간 작가에게 있음을 명시하여, AI 도구 사용의 균형을 잘 설명하고 있습니다.

   -  응답 B : 각 단계를 명확하게 정의하고 설명하는 데 집중하고 있습니다. B의 응답은 프롬프트 작성의 중요성과 AI의 초기 초안 사용에서 개인의 감성 추가까지의 과정을 잘 설명하고 있습니다. 이 접근 방식은 AI와 인간 작업의 조화를 강조하며, 사용자에게 AI 사용의 기술적 측면에 대한 이해를 제공합니다.

2).  사용자 가이드의 명확성 :

   -  응답 A : 사용자가 에세이를 작성할 때 필요한 특정 도구 사용에 초점을 맞추고 있으며, AI를 활용한 글쓰기의 실용적인 측면을 강조합니다. 이는 사용자가 실제 작업 환경에서 AI를 어떻게 활용할 수 있는지에 대한 구체적인 안내를 제공합니다.

   -  응답 B : 프롬프트 작성 기술의 기초부터 시작하여, AI를 사용한 초안 작성 및 개선까지의 과정을 포괄적으로 다루고 있습니다. 이는 사용자가 AI를 활용하는 데 있어 필요한 기본적인 이해를 높이는 데 초점을 맞추고 있습니다.

3).  질문 의도의 이해 :

   - 두 응답 모두 질문의 의도를 잘 이해하고 있으며, 사용자가 에세이 작성에 생성형 AI를 효과적으로 적용할 수 있도록 유용한 정보를 제공합니다. 그러나 응답 A는 AI 활용의 전체 과정을 더욱 상세하게 설명하고 사용자가 실제 상황에서 적용할 수 있는 실질적인 팁을 제공하는 점에서 더 우수합니다.

종합적으로 볼 때,  응답 A 가 사용자의 질문 의도를 더 잘 이해하고 있으며, 생성형 AI를 활용한 에세이 작성에 대한 실질적이고 구체적인 가이드를 제공하고 있습니다. 이를 통해 사용자는 AI와 협업하여 에세이를 효과적으로 작성할 수 있는 방법을 더 잘 이해할 수 있을 것입니다.

물론 Claude 3 에게 같은 비교 질문을 해도 같은 결과입니다. A(Claude)가 더 사용자 질문 의도에 더 잘 이해한다는 답변입니다.

** 위 실험은 이번에 Claude 3 Opus 로 책을 쓰면서 책 내용에 삽입한 내용의 일부를 발췌한 것입니다.  **


이번 실험을 통해 AI 글쓰기 도구들 간에도 성능 차이가 존재한다는 점을 확인할 수 있었습니다. 물론 이는 제한된 예시에 대한 결과이므로 일반화하기에는 무리가 있겠지만, AI와 협업하여 글을 쓸 때는 각 도구의 특성을 이해하고 상황에 맞게 활용하는 것이 중요할 것 같네요.

여러분도 글쓰기에 AI를 활용해 보면서, 인간과 AI가 협력하는 새로운 글쓰기 방식을 경험해 보시는 것은 어떨까요? 다양한 실험을 통해 AI 글쓰기의 가능성과 한계를 탐구해 보는 것도 흥미로울 것 같습니다.

댓글

이 블로그의 인기 게시물

[알아두면 쓸모 있는 구글 문서 팁] 문서 공유시- 사용자 이름 대신에 익명의 동물이 표시 되는 이유와 동물 종류

구글 드라이브에는 다른 유사 서비스에서는 제공하지 않는 구글 만의 유니크한 기능들이 있다 구글 문서를  불특정 다수에게 전체 공개로 공유할 수 있습니다. 불특정인이 구글 문서에 접속한 경우 익명의 동물로 표시됩니다.  ' 웹에 공개' 또는 '링크가 있는 사용자' 공유 설정을 선택하면 인식할 수 없는 이름이나 익명의 동물이 표시될 수 있습니다. 파일에서 인식할 수 없는 이름을 볼 수 있는 몇 가지 이유는 다음과 같습니다. 메일링 리스트와 파일을 공유합니다. Google 계정이 없는 사용자와 파일을 공유하며, 그 사용자가 다른 사용자에게 공유 초대를 전달했습니다. 내 파일을 수정할 수 있는 누군가가 파일을 다른 사용자와 공유했습니다. 다른 사용자가 자신의 Google 계정 이름을 변경했습니다. 공유 설정 페이지에서 해당 사용자 이름 위로 마우스를 이동하여 이메일 주소를 확인하세요. 익명의 동물 다른 사용자에게 개별적으로 보기 또는 수정 권한을 부여하거나 메일링 리스트에 속해 있는 경우에만 사용자 이름이 표시됩니다. 파일 권한을 '링크가 있는 사용자'로 설정하면 파일을 보고 있는 사용자의 이름이 표시되지 않습니다. 대신 다른 사용자가 익명으로 라벨이 지정되어 표시되고 각 익명 사용자는 다양한 익명의 동물로 나열됩니다. 파일 권한을 '링크가 있는 사용자'로 설정했지만 특정 사용자와 파일을 공유하는 경우 파일을 공유한 사용자의 이름이 표시됩니다. 그 외 다른 사용자가 파일을 볼 때는 익명으로 나타납니다. 비공개 파일의 익명 동물 파일 권한을 '링크가 있는 사용자'로 설정한 다음 이를 '특정 사용자'로 변경하면 다음과 같은 경우 여러 익명의 동물이 표시될 수 있습니다. 누군가 파일을 여러 번 여는 경우에는 익명의 동물 목록에서 오래되고 연결이 끊긴 세션을 강제 종료하는 데 조금 시간이 걸릴 수 있습니다. 누군가 온...

[팁] Google Slide 프리젠테이션시 모든 한글폰트가 '굴림체' 로 바뀌는 현상을 해결한 크롬 확장 프로그램 소개

구글 문서도구인 구글 슬라이드를 이용하여 프리젠테이션을 많이 하는 분들을 위한 희소식 현재 구글 슬라이드에서는 슬라이드 편집시 사용한 고유 한글 폰트들은 프리젠테이션 모드로 전환할 경우는 모두 '굴림체' 로 바뀌어 표시가 되는 불편함이 있었습니다. 예). 슬라이드 편집에서 사용한 '궁서체' 한글 폰트는, 프리젠테이션 모드에서는 '굴림체'로 바뀌어 디스플레이됨 예). 슬라이드 편집 모드 - '궁서체' 폰트 사용 프리젠테이션 모드에서 '굴림체' 로 변경됨    따라서, 이러한 현상을 해결하는 크롬 확장 프로그램이 개발 되었습니다.  크롬 확장 프로그램 명 - ShowAsis 입니다. 크 롬 웹스토어 링크 -  https://goo.gl/PVPkZz 이 확장 프로그램을 사용하여 슬라이드 프리젠테이션을 하면, 편집 모드의 폰트 그대로 프리젠테이션시에도 그대로 한글 폰트로 디스플레이 됩니다. 단, 단점은 슬라이드가 애니메이션 슬라이드가 있는 경우는 애니메이션이 동작하지 않습니다. ----------------------- G Suite/Google Apps 전문 블로그 -  charlychoi.blogspot.kr 도서 '기업과 학교를 위한 구글크롬북'

[ChatGPT 모델 옵션 완벽 분석: 나에게 맞는 최적의 모델은?]

  ChatGPT 모델 옵션 완벽 분석: 나에게 맞는 최적의 모델은? GPT-4, GPT-4o, o3, o4-mini... 헷갈리는 모델들, 속 시원히 정리해 드립니다! ChatGPT를 사용하다 보면 다양한 모델 옵션 때문에 어떤 것을 선택해야 할지 고민될 때가 많습니다. 특히 글쓰기, 창의적인 작업, 일상 업무 등 다양한 용도로 AI를 활용하는 경우, 각 모델의 특성을 이해하고 상황에 맞게 선택하는 것이 중요합니다. 이 글에서는 ChatGPT에서 제공하는 주요 모델들의 의미와 특징, 장단점을 자세히 살펴보고, 여러분의 필요에 맞는 최적의 모델을 선택할 수 있도록 가이드를 제공합니다. 모델별 개요와 특징 ChatGPT에 표시되는 여러 모델은 크게  GPT 계열 (대규모 언어 모델 기반)과  o-시리즈 (강화학습으로 추론 능력을 향상시킨 모델)로 나눌 수 있습니다. 각 모델의 상세 내용을 살펴보겠습니다. 1. GPT-4 (기존 GPT-4 모델) 의미 및 특징 2023년 초 출시된 GPT-4는 GPT-3.5 대비 월등한 성능을 보인 OpenAI의 주력 언어 모델입니다. 뛰어난 텍스트 생성 능력과 이미지 입력 처리(멀티모달) 기능을 처음 도입했으며, 출시 당시 여러 시험에서 상위 10% 성적을 기록할 만큼 높은 지능 수준을 입증했습니다. 복잡한 문제 해결과 자연스러운 창작에 강점이 있었습니다. 장점 높은 출력 품질 : 복잡한 질문에도 깊이 있는 답변 생성 풍부한 표현력 : 창의적인 아이디어 제시에 유리 멀티모달 : 이미지 이해 및 설명 가능 (초기 버전) 단점 느린 응답 속도 높은 비용 및 자원 소모 : 사용량 제한 존재 지원 종료 예정 : 최신 모델로 대체 진행 중 2. GPT-4o (GPT-4 Omni 모델) 의미 및 특징 GPT-4를 개선한  옴니(Omni) 모델 로, 텍스트, 이미지, 오디오 등 모든 유형의 입력/출력을 단일 모델로 처리합니다. 이름의 'o'는 "모든 것(omni)"을 의미하며, GPT-4 대비 성능 향상 및...

Claude Max 요금제, 과연 월 $100의 가치가 있을까? Pro 사용자들의 불만과 Research 기능의 실체

  Claude Max 요금제, 과연 월 $100의 가치가 있을까? Pro 사용자들의 불만과 Research 기능의 실체 클로드가 한국 사용자들에게도 Research 서비스를 오픈했군요, Max (월 100달러) 가입을 유도하는 문구가 클로드 사이트 접속시 유난하게 보입니다.  최근 Anthropic의 Claude가 새로운 'Max' 요금제(월 $100)를 출시하며 기존 Pro 사용자들 사이에서 논란이 일고 있습니다. 특히, Max 요금제의 핵심 기능으로 내세우는 'Research' 기능의 실효성과 더불어, 기존 Pro 요금제(월 $20)의 사용 환경이 이전보다 악화되었다는 불만이 터져 나오고 있습니다   ( https://shorturl.at/RAlpf  ).  이는 Anthropic이 수익 극대화를 위해 의도적으로 Pro 사용자들을 Max 요금제로 유도하려는 전략이 아니냐는 의구심마저 낳고 있습니다. 점점 더 팍팍해지는 Claude Pro: 의도된 불편함인가? 가장 큰 불만은 Claude Max 출시 이후 기존 Pro 요금제의 사용 경험이 눈에 띄게 저하되었다는 점입니다. 사용자들은 이전보다 ▲더 잦은 사용량 제한 ▲짧아진 세션 유지 시간 ▲엄격해진 토큰 크기 제한 등을 체감하고 있다고 입을 모읍니다. 과거 월 $20로 누렸던 비교적 자유로운 사용 환경과 성능을 기대하기 어려워졌다는 것입니다.  이는 마치 Max 요금제로의 업그레이드를 강요하는 듯한 인상을 줍니다. Pro 요금제는 '일상적인 생산성'을 위한 옵션으로 남겨두고, 조금 더 깊이 있는 작업이나 활용을 원하는 사용자는 울며 겨자 먹기로 월 $100짜리 Max 요금제를 선택하도록 유도하는 전략으로 비칠 수 있습니다. 월 $100의 가치? Claude Max 'Research' 기능 살펴보기 Claude Max의 핵심 기능인 'Research'는 방대한 정보를 빠르게 분석하고 요약해 주는, 소위 '딥 리서치' 기능입...

Gemini 2.5 Pro, '책 쓰기'의 새로운 지평을 열다: 『AI Deep Research 완전 정복』 탄생 비화

  Gemini 2.5 Pro, '책 쓰기'의 새로운 지평을 열다: 『AI Deep Research 완전 정복』 탄생 비화 AI 시대를 맞아 많은 작가들이 생성형 AI를 글쓰기 파트너로 활용하려 시도합니다. 하지만 솔직히 말해, 짧은 글이나 아이디어 구상을 넘어  '책 한 권' 을 쓰는 여정에서 AI와 성공적으로 협업하기란 쉽지 않은 과제였습니다. 가장 큰 어려움은 바로  '맥락 유지' 였죠. 이야기가 길어질수록 AI가 앞서 나눈 대화나 설정된 스토리를 잊어버리고 엉뚱한 방향으로 가기 일쑤였으니까요. 그런데 이번에 『AI Deep Research 완전 정복』 을 집필하면서, 저는  Gemini 2.5 Pro 와 함께 이 한계를 뛰어넘는 놀라운 경험을 했습니다. 단순히 'AI의 도움을 받았다'는 차원을 넘어,  진정한 '협업'을 통해 책 한 권을 완성 할 수 있었던 그 놀라움과 감탄을 여러분과 나누고 싶습니다. 긴 호흡의 집필, 흔들림 없는 맥락 유지 능력에 감탄하다! 책 쓰기는 마라톤과 같습니다. 수백 페이지에 달하는 긴 여정 동안 일관된 톤과 스토리를 유지하는 것이 핵심이죠. 기존의 생성형 AI들은 이 '긴 호흡'에 약점을 보이는 경우가 많았습니다. 세션이 끊기거나, 대화가 길어지면 이전 맥락을 놓쳐 작가가 끊임없이 방향을 다시 잡아줘야 했죠. 하지만  Gemini 2.5 Pro는 달랐습니다.  책 전체의 구조와 흐름, 등장인물의 설정과 같은 방대한 정보를 놀랍도록  안정적으로 기억하고 유지 했습니다. 마치 지치지 않는 조수처럼, 제가 설정한 큰 그림 안에서 일관성을 유지하며 다음 이야기를 함께 써 내려갔습니다. 덕분에 저는 전체 맥락을 바로잡는 데 에너지를 쏟는 대신, 내용의 깊이와 창의적인 표현에 더 집중할 수 있었습니다. 책 한 권을 쓰는 긴 과정 내내  세션을 유지하며 맥락을 이해하는 능력 , 이것이야말로 Gemini 2.5 Pro가 보여준 첫 번째 놀라움이었습니다....