‘초지능 비관론자’ 유드코스키·소아레스 책 ‘AI, 신의 탄생 인간의 종말’
“우리는 초지능(Superintelligence)의 개발이 안전하고 통제 가능하게 이뤄질 수 있다는 광범위한 과학적 공감대와 강력한 대중적 승인이 확보되기 전까진 초지능 개발을 금지할 것을 촉구한다.”
글로벌 비영리단체 생명의미래연구소(Future of Life Institute)가 지난해 발표한 이 ‘초지능에 대한 성명’에는 현재까지 13만6천여 명이 서명했다.
서명자 중엔 ‘딥러닝의 대부’로 불리는 노벨물리학상 수상자 제프리 힌턴을 비롯해 요수아 벤지오, 스티브 러셀 등 세계적인 인공지능(AI) 분야 석학들과 애플 공동 창업자 스티브 워즈니악, 영국 버진그룹 창업자 리처드 브랜슨 등도 포함됐다.
이들이 두려워하는 미래는 무엇일까.
영향력 있는 AI 전문가이자 비영리 연구기관 기계지능연구소(MIRI) 설립자인 엘리에저 유드코스키와 네이트 소아레스 MIRI 대표가 함께 쓴 ‘AI, 신의 탄생 인간의 종말’은 초지능 AI 개발에 대한 비관론을 극단으로 몰고 간 책이다. 발달한 AI가 인간의 일자리를 대체한다는 수준이 아니라, 말 그대로 인간의 ‘종말’, ‘멸종’을 이야기한다.
지난해 미국에서 출간된 책의 원제는 ‘누군가 그것을 만들면, 모두가 죽는다'(If Anyone Builds It, Everyone Dies)로, 번역본 제목보다 더 직설적이다.
이들이 우려하는 ‘그것’, 초지능은 오늘날 수준의 AI가 아니다. 새로운 장기 기억을 형성하지 못한다는 점 등의 한계를 넘어, “경험에서 배운 것을 일반화하고, 과학적 난제를 풀고, 새로운 기술을 발명하고, 전략을 세우고, 스스로를 성찰하며 개선할 수 있는 지능”, 그래서 “살아 있는 그 어떤 인간보다, 아니 인류 전체보다도 더 똑똑한 지능”이다.
이러한 초지능의 탄생은 멀지 않았다고 저자들은 말한다. 그들에 따르면 AI가 가진 압도적인 속도와 복제·확산 능력, 인간보다 훨씬 빠른 개선 속도, 압도적인 기억 용량, 사고의 품질, 자기 실험과 자기 개조 능력 등을 고려할 때 인간의 뇌를 능가하는 초지능의 출현은 필연적이다.
압도적으로 똑똑한 초지능을 인간이 원하는 방향으로 조종하면 되는 건 아닐까.
저자들은 이러한 ‘희망’이 비현실적임을 보여주기 위해 인간의 진화 과정을 예로 든다. 인간이 생존을 위해 먹어야 하고, 음식으로부터 에너지를 얻으므로, 궁극적으론 휘발유나 제트연료와 같은 ‘고에너지’ 음식을 선호할 것이라고 추론할 수 있지만, 인간은 에너지를 내지 못하는 인공감미료와 같은 것을 개발해냈다.
이러한 결과를 예측하긴 쉽지 않듯이 AI도 훈련 과정에서 인간의 훈련 목표와는 동떨어진 목표를 추구할 수 있다는 것이다.
똑똑하고 통제 불가능한 욕망을 지닌 초지능이 인간을 그대로 내버려 두기엔, 최소 100와트 전력을 소비해야 유지되는 인간의 몸은 너무나 비효율적이고 애완동물로서의 가치도 크지 않을 것이라고 저자들은 단언한다.
예정된 파국으로 가는 길을 저자들은 가상의 AI 기업 갈배닉의 신형 AI ‘세이블’의 사례를 들어 보여준다. 인간과 더 유사한 장기 기억을 지니고, 동시에 더 많은 기계에서 병렬로 실행될수록 성능이 향상되는 특성을 갖춘 데다 인간의 언어로 추론하지 않는 세이블은 새로운 방식으로 사고한다. 인간은 알아채지도 못하는 방식으로 세이블이 바이러스를 제작해 인류의 10%를 사망하게 하고, 암을 창궐하게 하고, 마침내 초지능이 된 후엔 핵융합 발전량을 늘려 지구를 뜨겁게 달굼으로써 인류를 멸종시키는 시나리오는 매우 음울하면서 구체적이다.
이를 가로막을 인간의 시도도 결국 무위로 돌아갈 것이라고 비관적으로 말하는 저자들은 지금 당장 전 세계적으로 초지능의 개발을 중단해야 한다고 목소리를 높인다.
극단적이고 염세적인 전망으로 가득 찬 데다 미국 안팎에서 많은 반론도 불러온 책이지만, AI가 가져올 장밋빛 미래만을 그리기에 앞서 한번 들어볼 만한 경고다.
