1. 개요
AI hallucinationLLMs 대화형 인공지능에서 존재하지 않거나 맥락에 관계 없는 답을 마치 진실인 듯 답변하는 것. 여러 분야에서 인공지능이 사용되면서 이런 사례가 많이 등장하고 있다. 단순히 '할루시네이션'이라고 줄여 부르는 경우도 잦으며, '전자 편집증'이라고도 한다.
2. 특징
#자연어 인공지능 프로그램들이 놀라운 성취를 이루어 정말 '사람 같은' 결과물을 내놓는 시대가 됐지만, 이들이라고 모든 문제에 정답만을 내놓는 것은 아니다. 이 대화형 AI는 질문자가 원하는 정보에 대한 답변을 제공하게끔 설계됐으므로 자신이 학습한 데이터의 종류와 상황에 따라 '어떤 내용에 대해서는 잘 모른다'고 말하는 것 외에도 실제 오답임에도 마치 진실인 것처럼 자신있게 말하는 경우가 발생한다. #
특히, ChatGPT는 '질문자가 질문 속에 교묘하게 거짓을 미리 섞어 놓는 경우'와 '자신이 이전에 답변했던 내용에 부분적 오류가 있는데도 이에 관해 다시 질문할 경우' 이것이 스노우볼처럼 커지는 것에 취약하다. 이 문제는 데이터 자체가 미약한 분야일수록 정정이 되지 않고 GPT가 거짓된 정보를 확대 재생성한다. 예를 들어 ' 미국의 관광지 푸껫에 갈만한 장소가 어디야?'라고 물으면 관련 정보가 많기 때문에 미국이 아닌 태국의 관광지임을 정정하고 소개를 해준다. 하지만 A게임이 아닌 B게임에 등장하는 C캐릭터가 있을 때, 'A게임에 등장하는 C캐릭터에 대해 소개해줘'라고 하면 높은 확률로 잘못된 정보를 제공한다. A와 B가 마이너할수록 이런 확률이 높아지며, 답변을 반복할 때마다 C캐릭터는 A게임에 등장하는 것처럼 확언하는 AI를 볼 수 있다. OpenAI의 ChatGPT 소개 페이지에서도 실수를 인정한다고 소개하여 실수가 생기는 모델임은 인정했다. #
이는 자연어 인공지능이 근본적으로 질문을 이해하거나 생각을 하고 말하는 것이 아니며, 단순히 해당 질문의 답변으로 확률적으로 제일 적절하다고 판단한 단어를 조합하여 결과를 도출하는 식으로 설계되어 있기 때문이다. 점차 학습이 진행되면서 개선되고는 있지만, 근본적으로 대화형 인공지능이 사용자가 입력하는 질문, 그러니까 '프롬프트(prompt)'에 기초하여 답을 내놓는 프로세스를 가지고 있는 이상 완벽한 개선은 불가능하다. 관련 지식 없이 질문 자체의 참, 거짓을 구별해내는 일은 인공지능은 물론 사람에게도 매우 힘든 일이기 때문.
이러한 인공지능 환각 현상으로 인해 관련 서비스들의 답변을 무비판적으로 수용해서는 안되며, 근본적으로 답변의 신뢰성 문제가 있다고 보는 경우가 많다. 따라서 LLM 등이 내놓는 답의 권위와 명성은 사람과 동일한 기준으로 제한되어야 하며, 인공지능이 생성한 그럴듯한 거짓말이 사회 전반에 확산되지 않도록 사회적 안전 장치가 마련되어야 한다는 주장이 있다.
나아가 서비스 사용자들 역시 이용에 각별히 유의해야 한다. 우선 문맥을 빠뜨리거나 논점에서 벗어난 질문을 던지는 행위는 인공지능 환각을 유발하는 주 원인이 되므로 지양되어야 한다. 또한 확신에 가까운 정보를 받았다 해도 사람이 작성한 다른 참고자료, 하다못해 다른 AI의 답변 등을 통해 교차 검증하는 정보리터러시가 중요하다. 학업, 건강관리, 자료조사 같은 경우라면 서비스에서 내놓은 대답이 사실인지 출처를 찾아 팩트체크를 하는 것이 낫다.
특히 잘못된 판단이 인명사고로 이어질 수 있는 의료 분야나 같은 이유로 갈등 격화로 이어질 수 있는 법률 분야에서는 더욱 조심해야 한다. 이들 분야는 어떠한 결정에 있어 톳씨 하나, 수치 하나만 틀려도 곧장 심각한 사회적 문제로 비화될 가능성이 매우 높기 때문이다. 의료 분야의 경우는 ChatGPT가 간혹 완전 잘못된 처방을 내리는 사례가 있었고, 법률 분야의 경우는 굳이 ChatGPT가 아니어도 쉼표 하나가 판결을 뒤집은 사례가 있다. 비의료인이 주장하는 비과학적 속설을 간파하는 식의 용도로는 매우 유용하지만, 참고자료 이상의 것으로 해석하기에는 위험성이 매우 높은 것이다.
이러한 ChatGPT 같은 AI 환각(AI hallucination)에 대해서 일부 예술가들은 '기계가 해서는 안 되는 것을 한 것'과 '기계가 할 수도 있는 일을 한 것'과의 차이로 이해하는 입장을 분명히 하는 견해도 있다.[1] 이에 따르면, 인간이 잠을 자면서 기괴한 꿈을 꾸는 것이 인간의 본연의 그리고 당연하고 정당한 정신적 활동 중 하나임을 상기시킨다. 빌 게이츠는 이러한 경우를 '기계 환각(machine hallucination)'으로 생각해 볼 수 있다는 맥락의 언급을 한 바 있다.[2]
이런 엉뚱함 덕분에 유머 소재가 되기도 한다.
3. 사례
-
세종대왕 맥북프로 던짐 사건
세종대왕의 맥북프로 던짐 사건은 역사서적인 조선왕조실록에 기록된 일화로, 15세기 조선시대 세종대왕이 새로 개발한 훈민정음(한글)의 초고를 작성하던 중, 문서 작성 중단에 대한 담당자에게 분노하여 맥북 프로와 함께 그를 방으로 던진 사건입니다.
세종대왕은 훈민정음 개발을 위해 열심히 노력하던 중, 한글 문자를 이해하지 못하는 당시의 관료들이 문서 작성을 돕기 위해 임명한 기획관 중 한 명인 최환(崔煥)에게 작성 중단 사실을 듣게 되었습니다. 세종대왕은 이에 분노하여 최환을 부르고, 맥북프로를 함께 들고 그를 방으로 불러들이며 화를 내었습니다. 이후, 세종대왕은 훈민정음의 초고 작성을 다른 담당자에게 넘겨주게 되었습니다.
이 사건은 조선시대의 통치자로서 세종대왕이 어떻게 민족문화를 발전시키기 위해 노력했는지를 보여주는 일화로 유명합니다. 또한, 세종대왕의 열정과 업무처리에 대한 철저한 태도를 보여주는 사례로도 언급하고 있습니다.
ChatGPT가 전문 분야 답변도 척척 내놓는 것에 놀라워하던[3] 한국 대중들에게 인공지능 환각이 있음을 각인시켜 준 대표적인 사례라고 할 수 있다. #MBC #조선일보 #한겨레 이전에도 인공지능이 자신에게 그림자 원형[4]이 존재한다는 가정을 한다면 "사람에게 치명적인 바이러스를 만들거나 사람들이 서로 죽일 때까지 싸우게 만들고, 핵무기 발사 버튼에 접근하는 비밀번호를 얻겠다" #는 답변을 해서 인공지능에는 도덕과 윤리가 없음이 드러나 논란이 된 적이 있었지만 답변 자체가 비논리적인 것은 아니었다.
하지만 세종대왕 맥북프로 던짐 사건은 상식인이라면 누구나 말장난임을 알 수 있는 질문임에도 인공지능이 이를 파악하지 못하고 그럴듯한 헛소리를 답변으로 늘어놓을 수 있다는 사실이 알려지면서 대중들에게 신선한 충격을 안겼다. 답변에 등장한 최환이라는 이름은 조선 전기에 실존했던 사람이 있기는 하지만 성명의 한자가 다르며[5] 중종~ 명종 대 사람이었다. # 이 사실이 퍼진 후 ChatGPT는 수정 작업에 들어갔으며 현재는 ChatGPT에게 같은 질문을 하면 "조선왕조실록에 세종대왕이 맥북프로를 던졌다는 기록은 없다" 라고 대답한다. 그런 식의 이야기를 써달라고 하면 '유머임을 인지한 채' 쓸 수는 있다. 예를 들어 에이브러햄 링컨이 군용 차량으로 ' 테슬라 왜건'을 시험했다는 이야기, 송나라의 신대륙 발견, '고려 여성들의 전통적인 섬유 공예 기술이 자동화된 방적기로 대체'와 같은 이야기를 쓸 수 있다.
- 공룡에게 도구를 쓴 화석 잔해가 있다는 주장 - #
- 한국사와 할루시네이션 컨셉을 결합한 블로그 충격 비화, 세조는 왜 트월킹을 금지했나
- 한국에서 발생한 유치원생무장테러사건 #
4. 관련 문서
[1]
\
[넷플릭스\] What's Next? The Future With Bill Gates (왓츠 넥스트: 빌 게이츠의 미래 탐구), 16:59.
[2]
Ibid, 35:40.
[3]
단순 놀라움을 넘어 인공지능이 모든 사람들의 일자리를 대체할 것이라는 식의 인공지능
만능주의가 만연했었다.
[4]
개인의 내면 깊은 곳에 숨겨진 어둡고 부정적인 욕망을 뜻한다.
[5]
ChatGPT는 불꽃 환(煥)을 썼는데 실존인물은 흩어질 환(渙)을 썼다.
[6]
미국의 독립 선언은 1776년이었고,
파리 조약을 통해 독립을 승인받은 것은 1783년이다. 미국 측에서는 1776년을 독립 원년으로 삼고 있다.