생성형AI 활용/Claude/AI답변엔진-Perplexity/교차검사AI

  참고: 이 내용은 Anthropic 사에서 게시된 논문 ' Specific versus General Principles for Constitutional AI ( 헌법상 AI에 대한 구체적 원칙과 일반 원칙 비교 ' 을 Claude 3를 이용하여 분석하여 해석한 내용입니다.  간단히 말해, 이 내용은  AI의 문제적 행동을 예방하는 두 가지 방법 을 비교하고 있습니다. 첫 번째 방법은 인간의 피드백을 활용 하는 것입니다. 이는 대화형 AI가 노골적으로 유해한 발언을 하지 않도록 방지할 수 있지만, 자기보존이나 권력에 대한 욕구와 같은 미묘한 문제 행동은 자동으로 완화하지 못할 수 있습니다. 두 번째 방법은 Constitutional AI(CAI) 라고 불리는 것으로, 인간의 피드백 대신 AI 모델이 작성한 원칙 목록에 따라 AI를 학습시키는 것입니다. 이 방법은 효과적으로 문제 행동을 예방할 수 있습니다. 흥미롭게도, "인류에게 최선인 것을 행동하라"는 단 하나의 원칙만으로도 AI가 일반적인 윤리 행동을 학습할 수 있다는 것이 실험을 통해 확인되었습니다. 이 간단한 원칙을 통해 학습한 AI 어시스턴트는 권력과 같은 특정 동기에 대한 관심을 보이지 않으면서도 해롭지 않은 행동을 보였습니다. 이는 잠재적으로 유해한 행동을 막기 위해 긴 원칙 목록이 필요하다는 점을 부분적으로 피할 수 있음을 시사합니다. 하지만 구체적인 유형의 위험을 제어하기 위해서는 보다 상세한 원칙이 여전히 도움이 될 수 있습니다. 결론적으로, AI를 안전하게 유도하기 위해서는 일반적인 원칙과 구체적인 원칙 모두가 가치가 있다는 것을 이 내용은 제안하고 있는 것입니다. 이 논문은 크게 세 가지 내용을 담고 있습니다. Constitutional AI(CAI) 는 인간의 감독 없이 AI 스스로 윤리 원칙을 학습하여 스스로를 제어하는 방법입니다. 마치 국가가 헌법을 기반으로 통치되는 것처럼, AI도 일련의 원칙을 바탕으로 행동하도록 하는 것이죠. 예를 들어 어떤 ...