🔎 #484. 튜링테스트를 통과한 GPT-4.5

안녕하세요?
매일 1개의 프롬프트를 배달해드리는 Daily Prompt입니다.

오늘은 GPT가 튜링테스트를 통과했다는 소식을 다룹니다.

튜링테스트를 통과한 GPT-4.5

최근 UC 샌디에이고 연구팀의 실험에서 GPT-4.5가 3자 버전 튜링 테스트를 통과했습니다. [관련 기사/영문]

3자 버전 튜링 테스트란?

• 기존 튜링 테스트: 한 심문자가 인간과 AI를 따로 대화한 후 판단하는 방식
• 3자 버전 튜링테스트: 심문자가 인간과 AI와 동시에 실시간으로 대화하며 판단하는 방식

실험은 UC 샌디에이고의 학생들이 문자 채팅 앱을 통해 참여했으며, 일부는 심판, 일부는 인간 증인 역할을 맡았습니다. 각 심판은 인간 및 컴퓨터와 동시에 5분간 채팅을 진행했습니다.

이번 테스트의 핵심 결과:

• GPT-4.5는 '내성적이며 인터넷 문화에 정통하고 슬랭을 사용하는 젊은 사람'이라는 구체적인 페르소나를 부여받았을 때 73% 확률로 인간으로 인식됨
• 메타의 LLama 3.1-405B, GPT-4o, 1960년대 초기 챗봇 ELIZA도 함께 테스트했지만 GPT-4.5가 가장 뛰어난 성적을 기록
• 작년 GPT-4는 겨우 54%의 성과를 냈던 것과 비교하면 이번 결과는 매우 우수한 결과

실험 결과 중 가장 흥미로운 점은 AI에게 주어진 '페르소나'였습니다.

• 기본 지시사항만 받은 GPT-4.5의 성공률: 36%
• 구체적인 페르소나를 부여받은 GPT-4.5의 성공률: 73%

관련하여 전문가들의 의견은:

• 전문가들은 튜링 테스트가 AI의 지능을 온전히 평가하지 못한다고 지적합니다. 인간과의 대화에서 구별하기 어렵다는 이유만으로 AI가 실제 인간처럼 사고하거나 이해한다고 보기는 어렵기 때문입니다.
• 구글의 소프트웨어 엔지니어 프랑수아 숄레는 튜링 테스트가 실제로 실행 가능한 구체적 평가라기보다는 '사고 실험'에 가깝다고 말합니다. 즉, 개념적으로 인간과 기계 간의 경계를 탐구하는 아이디어 수준의 실험이기 때문입니다.
• 연구팀의 분석에 따르면, 인간 심판들은 예상과 달리 지능보다는 사회성을 더 많이 판단 기준으로 삼았습니다. 따라서 튜링 테스트는 근본적으로 '지능을 직접 측정하는 것이 아니라 인간다움을 평가하는 것'이라고 결론지었습니다.

마무리

1. 페르소나 프롬프트의 재발견: GPT가 업데이트될수록 단순 역할 부여 프롬프트가 무의미하다고 생각했습니다. 상세한 페르소나 부여가 더 좋은 답변을 얻는 데 매우 유효할 수 있겠다는 생각이 듭니다.
2. 인간 vs GPT: 연구 결과로도 증명되었듯, 이제 인간과 GPT가 쓴 글은 구분하기 어렵습니다. AI가 쓴 글을 인간이 구분하지 못하더라도 인간인 우리의 잘못이 아니라, GPT가 똑똑해진 탓으로 돌려야겠습니다.
3. 인간다움이란 무엇인가?: AI가 인간을 완벽히 흉내 낼 수 있다고 해도, 그것만으로는 진정한 인간이 될 수 없다면 인간을 '인간답게' 만드는 본질은 무엇일까요? 만약 스스로를 인식하고 사고하는 능력에서 인간의 본질을 찾는다면, 데카르트가 말한 '나는 생각한다, 고로 존재한다'는 명제는 AI 시대에 더욱 날카롭게 다가옵니다.

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

Stained glass vision

0:00

/122.04

1×

프롬프트 (by @jae_hong__an) :