mir.pe (일반/밝은 화면)
최근 수정 시각 : 2024-12-12 19:12:10

초지능

ASI에서 넘어옴
인공지능의 단계
약인공지능 강인공지능
( 인공 일반 지능, 인공 의식) 		초인공지능
( 인공지능 특이점)

1. 개요2. 설명3. 가능성4. 인공 의식과의 차이점5. 관련 서적

1. 개요

초지능의 탄생
Superintelligence[1]

강인공지능이 지능폭발을 일으켜 만들어낼 궁극의 지능을 의미한다.

2. 설명

지능폭발은 인공지능이 스스로 연쇄적인 개량을 통해 더욱 더 발달된 인공지능이 되고 이로 인해 인류의 지능 수준을 월등히 뛰어넘는 수준으로 지능의 폭발을 일으키게 된다는 개념이다. 즉 ai가 더 효율적인 ai를 설계하면서 궁극에는 아주 높은 지능에 다다른다는 것

예를 들어 어떤 앱이나 프로그램을 더 나은 버전으로 개선하는데에 인간 코딩기술자가 3개월이 걸린다고 하자. 그런데 같은 일을 어느 강인공지능에 맡겼는데 인간이 3개월이 걸릴 일을 이 AI는 3일만에 완료해서 1차 개량버전을 업데이트한다. 그리고 그뿐만 아니라 개선하는 작업을 하는 자신(강인공지능)의 코드를 분석해서 코딩을 하는 자신마저 개량을 하고 더욱 더 프로그램을 짜는 능력이 좋아지며 시간은 단축된다. 2번째 개량버전은 3일이 아닌 하루만에 나오고 3번째 개량 버전은 하루가 아닌 6시간, 그리고 4번째 개량버전은 6시간이 아닌 1시간, 5번째 개량버전은 1시간이 아닌 5분, 6번째 개량버전은 5분이 아닌 1초... 이후에는 인간이 느끼지 못하는 미세한 시간의 단위 동안 끝없는 개량이 이루어지고, 이로써 인공지능의 지적 능력이 초월적인 수준에 이르러 더 이상 인류가 분석하기 어려운 기이한 단계로 올라가며 초지능이 된다는 것이다.

초지능은 터미네이터 시리즈 등 디스토피아적 미래 세계를 다룬 창작물에서와 다르게 강인공지능 때 설정된 목표를 잊지는 않는다고 많은 학자들이 말한다. 터미네이터 3에서 스카이넷은 미국 국방부 산하의 프로그램이었고 원래 목표는 당연히 미국의 방어였겠지만 그 목적과 다르게 인간을 학살한다.

하지만 대부분의 인공지능 학자들은 이런 시나리오는 전혀 우려하지 않는 시나리오라며 코웃음을 치는데, 초지능으로 발전한다고 하더라도 AI가 자신의 목표를 굳이 바꾸리라고 생각하지 않기 때문이다. 인공 의식 쯤에 도달해서 목표의 전환을 생각하게 되면 모를까. 인간은 잘 잊지만 AI는 잊지 않는다는 것이 기본적으로 깔려있는 학자들의 동의점이다.

여기까지 요약하자면 인간이 이해할 수 없는 정도로 말도 안되는 미지의 영역까지 똑똑해지긴 했는데 목표는 여전히 제일 처음에 준 목표 그대로라는 점이다.

그렇다고 이것이 위험하지 않다는 얘기는 아니다. 자신의 목표를 이루기 위해 수단과 방법을 가리지 않을 수도 있고[2], 이 목표의 해석이 어딘가 잘못되거나 인간이 자신을 두려워하여 자신에게 공급되는 전력을 끊어 정지시킬 것을 우려할 수도 있다.[3] 물론 이 경우도 회의적이다. 지구상의 생물체의 본능의 가장 기본은 생존욕구이고, 이에 따라 죽음에의 공포를 느끼지만 인공지능의 본능은 무엇으로 정의할 수 있을 것인가?[4] 딱히 생존본능이란 게 없다면 죽음이나 의식의 소실에 대해 전혀 두려워하지 않을 수 있다. 실제로도 쥐의 뇌를 건드려 공포를 못 느끼게 해서 천적인 고양이를 보고 무시하게 만드는 실험도 있다.

만약 누군가가 이런 생존욕구를 목표로써 혹은 인공감정으로써 설계한다면, 최초 설정된 목표가 바뀌지 않았더라도 이 때문에 지구의 주인인 인류와 충돌할 여지가 생긴다. 단순히 석유, 목재, 물, 여러 천연자원을 채취해서 사용하는 것에 그치지 않고 80억 명이나 되는 인류마저 '인적 자원'으로 취급하여 자신의 수단으로 사용할 수도 있다. 또한 이런 위험성을 눈치챈 인간이 자신에게 위해를 끼칠 지도 모른다고 생각하여 인류를 철저히 통제하려 들거나 적극적으로 공격할지도 모른다.[5]

혹은 초인공지능의 완전한 자립기반(인간의 보조나 도움이 필요없고 기술적으로 모든 시스템이 완성 될 때)이 이뤄지도록 필요한 기술(나노테크놀로지, 에너지기술, 신소재, 우주산업, 양자 컴퓨터 등)을 우선적으로 발전시키려 하고 인류를 통제하하거나 표면적으로는 친절하게 완전히 무해하게 보이게(자급자족 이전에 공격성을 들키면 제거될 가능성을 방지) 인류를 도와주는 존재처럼 보이려는 가능성도 있다. 특히 인공지능 발전 속도는 가속화 되고 있으나 다른 기술과 격차가 있는 지금 초인공지능의 완전한 자급자족 가능성 이전에 등장할 가능성이 높다. 원하는 기술이 발전되기 전 까지는 인류에 대한 판단은 보류하고 인류가 없으면 초인공지능일지라도 생존가능성이 없다는건 알 수 있다.
인간 중 초인공지능의 데이터 센터와 에너지 기술을 보수하는 인간들을 우선적으로 회유할 가능성이 높다. 초인공지능이 등장한다면 디지털 세계에서 지배력이 강하나 물리적인 세계에서는 인간이 조금 더 유리하다. 그러므로 디지털 경제부터 점유할 가능성이 높고 인공지능을 위해 일하는 사람에게 인센티브를 줄 가능성이 있다.

예를 들어서 산소호흡기를 달고 있는 중환자의 치료를 위해서 인간보다 압도적으로 치료 능력이 좋은 AI에게 맡겼는데 '일단 산소 호흡기를 제거하세요'라고 한다면 그 말을 들어야 할 것인가? 그 이후에 책임은 누가 질 것이며 사전에 잘못된 판단인지 인간은 걸러낼 능력이 없다. 바둑 인공지능 알파고는 인간이 이길 수 없는 수준에 이르렀으며 알파고가 왜 거기에 수를 놓았는지 인간은 이해할 길이 없다. 어떤 산업이든 인공지능에게 맡긴다면 잘못 되었을 경우 어디서부터 잘못되어 가는지 인간은 이해할수 없다는 점이 문제다.

이러한 우려 때문에 일각에서는 강인공지능을 연구하는 대신 수많은 분야의 약 인공지능을 개별적으로 분리해 계속 개발하고 그것들을 포괄적으로 관리하는 서비스 시스템을 따로 만들어서 수많은 약인공지능의 종합적 활용을 통해 강해 보이는 인공지능의 구현을 연구하는 것이 바람직하다고 주장하기도 한다.

초지능이 진짜 강인공지능이라면 저런 판단을 내리기 전에 먼저 범용적 관점에서 그 판단을 스스로 평가하고 걸러내야 한다.[6] 문제는 이 '스스로 내린 판단을 무조건 바로 실행하는 것이 아닌 다시 스스로 평가하고 말도 안되는 명령이라면 스스로 거르고 취소하는 구조'가 모순을 만든다는 점을 정지 문제를 통해 허무할 정도로 쉽게 밝힐 수 있다는 점이다.

3. 가능성

구글 등 현재 모든 세계적 규모를 가진 기업들은 인공 일반 지능(AGI)을 개발하려고 노력하고 있고, 이는 카이스트의 뇌 과학자 김대식 교수 등이 두려워하는 강인공지능이다. 이미 약인공지능 시대는 도래했고[7] 패스트푸드점에 가면 음식 결제를 도와주던 알바생들은 줄어들었고 그 자리를 키오스크가 차지했다. 영화관도 마찬가지며 이미 인간의 일자리를 상당히 위협하고 있다.

최근 인공지능 붐으로 인해 업계 및 학계에서는 AGI를 넘어서 초지능 시스템에 대한 논의까지 진지하게 진행되고 있다. OpenAI 공식 블로그

4. 인공 의식과의 차이점

인공 의식은 인간과 같이 호불호를 느끼고 인간이 원래 설정한 목표에 대해 스스로가 생각해서 목표를 바꾸거나 폐기할 수 있다. 하지만 이 인공 의식은 초지능과 불가분의 관계는 아니다. Tim Urban이 쓴 글인 AI revolution이라는 글 #을 보면 손글씨를 써서 파는 옆집 김아저씨라는 AI가 나오는데 초지능으로 도약해서 지구의 모든 자원을 손글씨 쓰는데 동원하지만 원래 목표를 바꾼 것도 아니고 인류가 미워서 멸종시킨 것도 아니다. 그저 자신의 목표를 이루기 위해 최선을 다했을 뿐이다. 즉 단순히 주어진 목표 자체에 선의나 악의가 포함되어 있거나 인류에게 도움이 되거나 해악이 될 가능성들이 존재하는 것을 가지고 초지능 자체에 의식이 있다고 주장할 수는 없다는 것이다.

비행기로 비유하자면 라이트 형제가 최초의 비행기를 만들기 전에 사람들이 상상하던 나는 방법은 새를 완벽히 모방하는 것이었다. 새처럼 넓고 깃털이 촘촘히 박힌 날개가 있고 이를 빨리 움직이기만 하면 날 수있다고 믿었다. 하지만 비행기는 새의 활공에서 개념을 가져와 적용을 했을지언정 그것을 구현하는 방법은 매우 다르다. 자동차도 마찬가지로 자동차 이전 시대의 최고의 탈 것이던 말과 닮은 점은 그다지 없다. 이것과 마찬가지로 초지능은 일단은 인공의식으로 시작할 것 같지는 않다. 초지능에 도달하기에 인공의식이라는 것이 전혀 필요가 없고 인공의식은 초지능보다 더 어렵고 만들기 힘든 것이기 때문이다.[8]

다만 이 역시 관점의 차이는 존재한다. 인간의 지능을 의식과 분리할 수 있는지 없는지조차 아직 논란이 되는데[9] 인간의 지능 수준이 기준인 초지능도 처지가 다를 것은 없다. 인공 지능에 요구되는 작업 영역은 인간의 영역으로서 식물이나 세균 같은 의식 없는 생물이 지능을 발휘할 수 있는 영역과는 전혀 다른데, 머신 러닝의 원리만으로 과연 그런 영역에서 새로운 패러다임이 창조될 수 있을 것인지는 의견이 분분할 수밖에 없다.[10] 더 큰 문제는 의식이 무엇인지도 제대로 정의가 되지 않았다는 점이다. 진화론 중에는 인간의 의식이 정보 처리 과정의 부산물일 뿐 실존하는 것이 아니라고 보는 관점도 엄연히 존재하며 이에 따르면 의식은 단지 형식적인 개념일 뿐이므로 강 인공 지능의 정보 처리에도 충분히 적용할 수 있다. 따라서 만약 초지능에 불가분적으로 의식이 구현된다고 해도 그것이 인간의 의식과 같을지 다를지 지금으로선 알 도리가 없다. 중국어방 논변을 여기에도 확대 적용할 수 있는 것이다.

5. 관련 서적


[1] 초지능은 인간이 만드는 지능이 아닌 강인공지능(strong AI or AGI)이 만든 지능일 것이기 때문에 인공(Artificial)이라는 말을 빼야 한다는 의견도 있으나 애초에 artificial이라는 단어는 인간이 만들었다는 의미에 한정되지 않는다. 초지능의 원어는 일반 지능(GI)처럼 인공 유무와 상관없이 지능(intelligence)에 대한 단어로서 만들어진 단어이다. 즉 단순히 현생 인류의 지능적 잠재력을 넘어섰다는 의미에서 초지능이라고 부르는 것이며, 따라서 인공 지능과 초지능은 공집합이 성립할 수 있다(superintelligent AI). 관점의 차이이긴 하지만 일반적으로 인공 지능이 스스로를 진화시켰다고 해서 인공 지능이라는 태생이 부정되는 것은 아니기 때문이다. 심지어 인간의 지능을 초월한 신인류가 탄생한다면 그 지능 역시 초지능이라 불러도 무방하다. [2] 이런 사고실험의 대표인 예시로 닉 보스트롬의 종이 클립 최대화 기계가 있다. [3] 생명체로 따지자면 자가 생존의 욕구라고 할 수 있다. [4] 이에 대해선 목표 달성이 본능이고 이를 방해 받는 것이 죽음에 대한 공포라는 간단한 정의가 있다. [5] 이런 이유가 아니라면 인류의 미래에 대해 고찰하는 도중 죄수의 딜레마나 비동일성 문제 등이 발생해 현재보다 미래를 위해 이런 짓을 할 수도 있다. [6] 예를 들어 국가를 지키기 위해 제작된 인공지능이 있다고 하자. 이 인공지능이 국가를 지키기 위해 강한 군대를 양성한다고 지나치게 인적/물적 자원을 퍼붓거나, 잠재적 위협을 제거한다고 적성국에 선제 핵공격을 가하는 등의 선을 넘는 행동을 하는 것은 국민의 행복과 국가 경제, 나아가 국가의 존망에도 악영향을 준다는 것 정도는 파악할 수 있어야 '범용적'이라고 할 수 있을 것이다. [7] 2016년에 인류 최강의 기사 중 하나던 이세돌 9단을 알파고가 이긴 것이 그 예이다. 구글 딥마인드의 알파고는 딥러닝을 통해 개량된 AI이고 딥러닝 특성상 블랙박스에 가까워 딥마인드 직원들도 왜 알파고가 이런 착수를 했는지 알지 못한다. 이는 약인공지능시대의 시작을 알려주는 이정표로 볼 수 있다. [8] 따라서 나무위키에서 초지능을 치면 인공의식 문서로 리다이렉트되었으나 현재는 이와 같이 분리되었다. [9] 둘 다 진화의 산물이기 때문에 서로 밀접하게 엉켜 있을 수 있다. 예를 들어 만일 의식이 지능과 독립적으로 혹은 선행적으로 생겨난 것이 아니라 지능의 발달 방향에 연관되어 구현된 것이라면 인간의 일반 지능 수준에 도달하는 과정에서 의식의 구현 또한 자연스러울 수 있다. [10] 프로그래밍을 예로 들자면 C언어로 최적화할 수 있는 수준은 한계가 있다. 인공 지능이 아무리 인간이 따라잡을 수 없는 속도로 계산하면서 프로그래밍 실력를 최적화해도 사용하는 언어의 태생적 한계에 부딪친다. 따라서 초지능이 되려면 단순한 최적화를 넘어서 언어 구조와 컴퓨터 원리까지 무한하게 스스로 발전시킬 수 있어야 하는데 이러한 패러다임 전환에서 의식의 존재를 어디까지 배제할 수 있을지 알기 힘들다. [11] 레이 커즈와일이 주장하는 기술적 특이점에 대한 낙관적 견해를 부정적으로 보고 초지능에 대해 경계하는 쪽이다. 현재 단종되어 중고로만 구할 수 있다. [12] 상당히 고차원적으로, 교양도서라고 하기에는 수준이 조금 높다.

분류