사람으로 이루어진 제국

Empire of AI는 2023년 11월 17일 금요일, 태평양 시간으로 정오 무렵에 시작합니다. Sam Altman(샘 올트먼)이 화상 회의에 접속하자 이사회 다섯 명 중 네 명이 그에게 해임을 통보합니다. 프롤로그는 닷새 전부를 따라갑니다. Ilya Sutskever(일리야 수츠케버)가 아무것도 설명하지 못하는 전체 회의, 임원들의 위협, 직원들의 연판장, Microsoft의 제안, 수츠케버의 번복, 올트먼의 복귀까지입니다. 그런 다음 책은 2015년 Rosewood 호텔의 저녁 식사로 돌아가고, 마지막 부에 이르러서야 이사회 논의의 안쪽에서 같은 닷새에 다시 도착합니다.

Karen Hao(캐런 하오)는 2019년부터 OpenAI를 취재해 왔습니다. 그해 그는 사흘 동안 회사 사무실에 머물며 이 회사에 관한 첫 프로필 기사를 썼습니다. 이 책은 약 260명을 대상으로 한 약 300건의 인터뷰를 바탕으로 하며, 그중 90명 이상이 OpenAI의 전현직 직원입니다. 여기에 메모와 이메일, Slack 메시지가 더해집니다. 올트먼과 OpenAI는 협조하지 않기로 했습니다. 이 점은 양쪽으로 드러납니다. 하오는 어느 회의에서 누가 무슨 말을 했는지 알고 있고, 올트먼은 대부분 그와 함께 일한 사람들의 눈을 통해 보입니다.

저는 10점 만점에 7.5점을 줍니다. Sam Altman과 OpenAI, 그리고 둘을 빚어낸 반목을 이해하고 싶다면 읽어야 할 책이며, 제가 짐작만 하던 것을 확신하게 해 주었습니다. 역사상 어느 회사 못지않게 중요할지도 모르는 회사도 여전히 당신이나 저 같은 사람들이 이끈다는 것입니다. 조금 더 똑똑하고, 조금 더 영리하고, 조금 더 멀리 볼 뿐입니다.

두 권의 책, 하나의 이야기

저는 Sebastian Mallaby(세바스천 맬러비)가 쓴 Demis Hassabis(데미스 허사비스) 전기 The Infinity Machine을 읽은 직후에 이 책을 읽었고, 그 순서가 옳았습니다. 맬러비는 DeepMind의 기원을, 그리고 그 길에서 현대 머신러닝의 기원을 시간 순서대로 들려주며, 그 결과를 우리가 이제 막 겪기 시작한 트랜스포머 기반 언어 모델에까지 이릅니다. 하오는 나머지 절반을 들려줍니다. 같은 시기, 같은 사람들(Musk, Sutskever, Amodei, Hinton, Suleyman)을 런던이 아니라 샌프란시스코에서 바라봅니다. 두 책은 서로의 사각지대를 비추는 거울입니다. 맬러비는 허사비스의 협조를 얻었고 올트먼은 그의 경쟁자들을 통해 그렸습니다. 하오는 올트먼의 협조를 얻지 못했고, 허사비스는 등장하더라도 멀리서 그립니다.

어떤 장면은 두 책 모두에 나오고, 그 덕분에 더 좋아집니다. 맬러비가 런던에서 전하는 Musk의 허사비스에 대한 두려움은 하오의 첫 장에서 OpenAI가 존재하는 이유 자체로 등장합니다. 머스크는 AI의 미래가 Larry Page에게 좌우되기를 원하지 않았고, 올트먼은 Google이 아닌 누군가가 먼저 만드는 편이 좋겠다는 이메일을 그에게 보냈습니다. 한 전직 DeepMind 연구자는 하오에게 OpenAI의 창립이 “꽤 온화한 사람에 대한 반쯤 히스테리적인 반응”이었다고 말합니다. 맬러비가 언어를 지능으로 가는 길로 여기지 않던 DeepMind를 보여 준다면, 하오는 그 생각을 바꾼 메모를 보여 줍니다. 2019년 OpenAI를 떠나 DeepMind로 옮긴 안전 연구자 Geoffrey Irving이 언어 모델을 확장해야 한다는 논거를 가지고 갔습니다(7장). 두 책이 함께 다루는 사람들과 아이디어는 모든 연결에 출처를 달아 Who contributed to AI에 그려 두었습니다.

강조점의 차이는 큽니다. 맬러비는 기술을 설명하며, 모든 아이디어를 두 번씩 설명하고, 사람들은 이 분야의 역사를 위해 존재합니다. 하오의 관심은 사람과 정치, 그리고 기술이 어떻게 작동하는지보다 누가 그 값을 치르는지에 있습니다. 둘 다 정당한 선택입니다. 하오의 선택은 더 나은 스릴러와 더 약한 사상사를 낳습니다.

이야기하는 방식

하오는 긴장감을 위해 쓰고, 저는 그 점이 좋았습니다. 이 이야기들은 서로 얽혀 있고 인간적으로도 무척 흥미로워서 드라마로 들려줄 가치가 있습니다. Rosewood 저녁 식사, 2018년 머스크의 최후통첩과 퇴장, GPT-2 시연에 이어 자신의 생물학 시험을 통과한 GPT-4에 마음을 연 Bill Gates, GPT-3 팀의 3분의 1을 데리고 떠나 Anthropic을 세운 Amodei 남매, 그리고 ChatGPT 자체가 그렇습니다. ChatGPT는 Anthropic이 곧 챗봇을 내놓는다는 소문 때문에 2022년 11월에 서둘러 출시되었고, 내부에서는 “조용한 연구 프리뷰”로 규정되었으며, 직원들은 주말 동안 수천 명이 써 볼지 수만 명이 써 볼지를 두고 내기를 했습니다. 닷새 만에 사용자가 백만 명이 되었습니다.

구성은 독자에게 덜 친절합니다. 책은 네 부로 되어 있고 대체로 순서를 따르지만, 몇몇 시기를 두 번 들려줍니다. 2장과 3장은 2015년부터 2019년까지를 한 기관의 이야기로 들려주고, 5장은 다시 돌아가 같은 시기를 연구의 이야기로 들려줍니다. 4장은 OpenAI를 완전히 떠나 조면기에서 다트머스, 딥러닝에 이르는 AI의 역사에 관한 에세이가 됩니다. 9장은 2021년의 케냐, 베네수엘라의 붕괴, 콜롬비아, 2023년의 나이로비 사이를 오갑니다. 13장은 워싱턴 쪽에서 2023년을 다시 다룹니다. 엄격하게 시간 순서를 따른 맬러비의 서술을 읽은 뒤라, 저는 때때로 시간선의 어디에 있는지 놓쳤습니다. 읽기를 멈출 정도는 아니었지만, 책 끝에 연표나 등장인물 목록이 있었다면 도움이 되었을 텐데 이 책에는 둘 다 없습니다.

언어에 건 내기

가장 좋은 내용 중 일부는 GPT를 만든 결정들을 다룬 5장에 있습니다. 하오에 따르면 OpenAI 내부에서 일리야 수츠케버가 쓰던 표현은 “지능은 압축이다”였습니다. 설득력 있는 텍스트를 생성하도록 훈련된 모델은 세상에 대해 배운 것을 그 본질로 압축해야 한다는 뜻입니다. 이어서 Dario Amodei(다리오 아모데이)는 연구를 여러 내기의 포트폴리오로 운영하는데, 그가 남겨 둔 내기가 GPT-2였습니다. GPT-2는 이 분야에서 “순수 언어” 가설이라 부르던 것을 대표했습니다. 충분한 텍스트만으로, 다른 것 없이 훈련한 시스템이 범용 지능에 이를 수 있다는 가설이며, 지각과 행동도 필요하다는 “접지” 가설과 맞섭니다. 아모데이는 언어 모델을 확장하는 것이 아마도 가장 빠른 길이지만, 필요한 유일한 것은 아닐 가능성이 크다고 보게 됩니다.

맬러비와 나란히 놓으면 이것이 지난 십 년의 결정적인 갈림길입니다. DeepMind의 2010년 사업 계획서는 언어가 곧 표현된 지능이라는 생각을 물리쳤고, 허사비스는 모델이 세상을 이해하려면 세상 안에서 행동해야 한다고 여러 해 동안 믿었습니다. OpenAI는 반대쪽에 걸었고, 첫 라운드를 이겼습니다. 압축과 순수 언어가 하나의 내기, 곧 텍스트로 충분하다는 내기의 두 절반이라는 것은 하오의 해석이 아니라 제 해석입니다. 하오는 일부 직원이 언어 쪽 내기를 옹호하며 헬렌 켈러와 시각장애인을 빗댄 논거를 “혐오스럽다”고 부르고, 4장에서는 규모 확장이 자연법칙이 아니라 “자기실현적 예언”이라고 주장합니다. 그래도 책은 이 갈림길을 분명하게 보여 줍니다.

전반부의 다른 세 대목은 별도의 노트가 되었습니다. 실리콘밸리 밖에서는 아무도 쓸모가 생기기 전에 이것에 돈을 대지 않았을 것이라는 한 중국 연구자의 견해(A billion without a plan), 올트먼이 사무실 벽에 칠해 둔 Rickover의 말(One person can make a difference), 그리고 AGI가 어떤 느낌이어야 하는지에 대한 OpenAI의 그림으로서의 영화 Her(The interface that disappears)입니다.

사명은 어떻게 움직이는가

제가 가장 오래 기억할 대목은 18장 “A Formula for Empire”에 있습니다. 하오는 OpenAI의 사명이 세 가지 성분으로 이루어진 공식처럼 작동한다고 주장합니다. 원대한 야망으로 인재를 모으고, 대안을 위험해 보이게 만들어 자본을 모으며, 회사에 유리할 때마다 다시 해석할 수 있을 만큼 모호합니다. 세 번째 성분의 증거로, 하오는 사명이 단계마다 무엇을 뜻한다고 이야기되었는지를 매번 회사 자신의 말로 나열합니다.

이 장은 올트먼이 나폴레옹 어록집을 칭찬하는 장면으로 시작합니다. 특히 나폴레옹이 혁명의 표어를 다시 해석해 자신의 권력을 공고히 한 방식을 높이 삽니다. 이 비유는 날카롭고, 하오도 그렇게 의도합니다. 저는 이 표를 다르게 읽습니다. 모든 단계에는 당시로서는 말이 되는 이유가 있습니다. 훈련 비용이 커졌으니 비영리 조직에 자본이 필요했고, 자본은 수익을 요구했으니 모델에 사업이 필요했으며, 경쟁자가 나타났으니 사업에 속도가 필요했습니다. 2015년의 이상주의는 하나의 결정으로 버려진 것이 아닙니다. 연산과 돈과 경쟁이라는 현실에 의해, 합리적인 한 걸음씩, 대부분 여전히 그 이상을 섬기고 있다고 믿은 사람들에 의해 닳아 없어졌습니다. 그것은 올트먼을 포함해 그 안의 어느 한 사람보다도 큰 과정이며, 저는 창업자 중 누구였더라도 같은 일이 일어났으리라고 생각합니다.

같은 과정이 11장의 더 작은 이야기에서도 보입니다. 2020년의 한 메모에서 올트먼은 OpenAI가 “작고, 집중하고, 신뢰가 높고, 헛소리가 적고, 강도 높은” 조직으로 남기를 바랐고, 2022년 말에는 신규 채용을 백 명 안팎으로 제한하자고 주장했지만 다른 임원들은 그 다섯 배를 원했습니다. OpenAI는 2022년 10월 외부 워크숍 때 약 300명이었고, 1년 뒤에는 800명 가까이 되었습니다. 큰 집단은 결국 스스로를 유지하는 데 점점 더 많은 일을 쓰게 되며, 이는 정부 부처나 기업이나 마찬가지입니다. 이 관찰에 대한 제 나름의 생각은 Small, focused, high-trust에 적어 두었습니다.

제가 갈라서는 지점

하오의 입장은 분명하며, 저자의 말에서 그렇게 밝힙니다. 이 책은 “기업에 관한 책이 아니라” “권력에 관한 성찰”이며, 하오는 AI의 비용을 안고 사는 세계 곳곳의 공동체에 들어가 지냈습니다. 프롤로그에서 하오는 그 은유를 분명히 말합니다. AI 기업들은 식민지적 의미의 제국입니다. 자기 것이 아닌 자원을 차지하고, 다른 이들의 노동을 착취하며, 근대성이라는 관념과 경쟁 제국과의 경주로 이를 정당화합니다. 이는 정직한 취재를 낳지만, 어떤 대목에서는 책이 AI를 만드는 사람들에 대한 기록이라기보다 그들에 대한 고발처럼 읽힙니다. 다른 곳에서 치르는 비용을 다룬 몇몇 장은 말하려는 바보다 길게 느껴졌고, 더 압축할 수 있었습니다.

그중 하나는 저도 덜어 내지 않겠습니다. 7장 “Science in Captivity”는 Timnit Gebru(팀닛 게브루)를 따라갑니다. 에티오피아에서 태어나 십 대에 에리트레아 난민으로 미국에 온 연구자로, Google의 윤리적 AI 팀을 공동으로 이끌었습니다. 그는 Joy Buolamwini와 함께 “Gender Shades”를 써서, 상업용 얼굴 분석이 피부색이 어두운 여성에게서 가장 자주 실패한다는 것을 보여 주었습니다. GPT-3가 등장하자 그는 Reddit과 Common Crawl의 나머지로 훈련한 모델이 그 독성을 흡수할 것이라고 경고했고, Emily M. Bender와 함께 “On the Dangers of Stochastic Parrots”를 썼습니다. Google은 그에게 논문 철회를 지시했습니다. 그는 조건을 내걸고 받아들여지지 않으면 떠나겠다고 했습니다. 2020년 12월 2일, Google은 그의 사직을 즉시 수리한다고 통보했고, 그는 자신이 해고되었다고 발표했습니다. 하오의 더 큰 논점은 과학에 관한 것입니다. 이 일 이후, 그리고 ChatGPT 이후, 업계는 모델을 무엇으로 훈련했는지 공개하지 않게 되었고, 훈련 데이터를 볼 수 없다면 모델을 정직하게 시험할 수 없습니다. 저는 GPT 초기, 모두가 가중치 속 편향을 이야기하던 시절의 논쟁을 기억합니다. 제 작업에서는 그 문제가 그 뒤로 뒤로 물러났습니다. 답하기 전에 도구로 사실을 찾아보는 모델은 가중치만으로 답하는 모델보다 훨씬 자주 사실을 맞힙니다. 그것이 가중치에 편향이 없다는 뜻은 아니지만, 편향이 얼마나 중요한지는 바꾸어 놓았습니다. 어느 쪽이든, 닫힌 훈련 데이터에 관한 하오의 논점은 유효합니다.

칠레에 관한 장인 “Plundered Earth”(12장)는 읽기 힘들었습니다. 하오는 칠레의 이야기를 식민지 과거, 시카고 보이스, 피노체트의 민영화, 불평등, 그리고 Gabriel Boric(가브리엘 보리치)의 당선을 통해 들려주고, 칠레를 제국에 구리와 리튬, 땅, 그리고 산티아고 주변 데이터센터를 위한 물을 대는 글로벌 사우스의 나라들 사이에 놓습니다. 저는 칠레를 좋아하고 그곳에 아는 사람들도 있는데, 그것은 이 나라를 보는 하나의 관점일 뿐 전체가 아닙니다. 칠레는 유엔 인간개발지수에서 라틴아메리카 1위입니다. 칠레 정부는 투자를 원하기 때문에 데이터센터를 유치하며, 하오 자신의 취재도 스스로 결정하는 나라를 보여 줍니다. 세리요스의 주민 투표, 2024년 Google이 산티아고에 수랭식 데이터센터를 지을 수 없다고 판결한 환경 법원, 그리고 이제 활동가들과 함께 데이터센터 전략을 작성하는 정부 부처가 그렇습니다. 세계적 기준으로 칠레는 데이터센터와 광산을 두기에 합리적인 곳이며, 긴 가뭄 속의 물 문제는 정당한 우려입니다. 여기서는 하오의 취재원들이 하오의 틀보다 더 신중합니다. 원주민 활동가 Sonia Ramos는 자기 조상이 광부였으며 문제는 규모라고 말하고, 우루과이 연구자 Daniel Pena도 데이터센터에 대해 같은 말을 합니다.

규모가 바로 제가 갈라서는 지점입니다. 올트먼, 허사비스, 그리고 다른 이들이 거는 내기는, 세계의 자원을 더 많은 지능을 만드는 데 쓰면 그것이 없으면 풀 수 없는 문제들을 풀어 결국 보상받으리라는 것입니다. 에너지가 그중 가장 큰 문제입니다. 하오에 따르면 올트먼은 자신의 가장 큰 데이터센터들의 에너지 문제가 핵융합의 돌파구와 함께 저절로 풀릴 것이라고 즐겨 말했고, 핵융합 기업 Helion은 그의 가장 큰 개인 투자처입니다. 하오는 AGI가 우리의 환경 문제를 해결하리라는 주장은 증명할 수 없다고 말하는 한 연구자의 말을 인용합니다. 맞습니다. 틀렸을 수도 있습니다. 그러나 그것은 일관된 전략이며, 이 책이 주는 것보다 더 많은 공감을 받을 만합니다. 제국이 정의상 순손실인 것은 아닙니다. 소수의 손에 집중된 권력은 해악을 가능하게 하며, 그것은 논의할 가치가 있습니다. 문제는 축적된 권력으로 무엇을 하느냐이지, 축적 그 자체가 아닙니다. 저는 자본에 관해 이 논지의 한 버전을 A billion without a plan에서 펼쳤습니다.

제국은 어떻게 무너지는가

에필로그는 하오의 대안을 제시합니다. 뉴질랜드 최북단의 마오리어 라디오 방송국 Te Hiku Media는 공동체가 동의하에 기증한 310시간의 녹음으로 마오리어 최초의 음성 인식 모델을 만들었고, 자체 GPU 두 대로 훈련했습니다. 하오는 이를 웹에서 가져온 68만 시간으로 훈련한 OpenAI의 Whisper와 대비합니다. 이어 스탠퍼드 연구자 Ria Kalluri의 강연에서 빌려 와, 권력의 세 축으로 지식, 자원, 영향력을 꼽습니다. 하오의 설명에 따르면 AI 기업들은 인재를 집중시키고 열린 과학을 잠식하며 모델을 검증에서 차단함으로써 지식을 통제하고, 자금과 데이터, 노동, 연산, 에너지, 토지를 모아 자원을 통제하며, 이데올로기와 세상의 상상력을 사로잡는 시연을 통해 영향력을 통제합니다. 세 번째 축에 대한 하오의 처방은 대중 교육이며, 하오는 ELIZA를 만든 Joseph Weizenbaum의 말로 책을 맺습니다. 프로그램의 내부 작동이 이해할 수 있을 만큼 쉬운 말로 설명되면 “그 마법은 무너져 내린다.”

이 세 축은 유용한 렌즈이며, 저도 쓰겠습니다. Te Hiku는 좋은 이야기이고, 사람들이 스스로 내놓기로 한 데이터로 훈련한 작은 모델은 미래의 일부입니다. 제가 가장 중요하다고 보는 세부 사항은 놓치기 쉽습니다. Te Hiku는 자기 GPU를 샀기 때문에 어떤 거대 기술 기업의 클라우드에도 의존하지 않았습니다. 하드웨어의 소유야말로 자원이라는 축에서 보통 사람들이 실제로 바꿀 수 있는 부분입니다.

맞춤형 모델을 훈련하는 것이 그 한 가지 방법입니다. 모델을 실행하는 것이 다른 방법이며, 누군가 모델에게 무언가를 물을 때마다 점점 더 많은 연산이 여기에 쓰입니다. 이것이 제가 Archipelag.io로 풀고 있는 문제입니다. 소수의 하이퍼스케일러가 아니라 개인과 공동체가 운영하는 GPU에서 AI 작업이 실행되는 네트워크로, 가까운 호스트를 우선하고 모든 작업이 어디에서 실행되었는지 기록합니다. 지금은 공개 베타이며, 다음 프런티어 모델을 훈련하지는 않을 것입니다. 그러나 사람들이 AI를 실행하는 인프라에 대한 접근을 빌리기만 하는 것이 아니라 그 일부를 소유하게 해 주며, 소유에 따르는 것들을 함께 가져옵니다. 호스트를 맡는 사람들의 수입, 집 가까이에 머무는 데이터, 그리고 조건을 마음대로 바꿀 수 있는 단 한 명의 집주인이 없다는 것입니다. 웹은 출판에 대해 같은 일을 했습니다. 웹 이전에는 독자에게 닿으려면 인쇄기나 방송 면허가 필요했고, 웹 이후에는 컴퓨터만 있으면 누구나 페이지를 올릴 수 있었으며, 웹은 수백만 명이 바로 그 일을 하면서 자라났습니다. Tim Berners-Lee의 회고록에 대한 서평에서 쓴 대로입니다. 분산된 시민 컴퓨팅은 추론을 위한 같은 한 수입니다.

저는 그 처방에 전적으로 동의합니다. 이 시스템들이 어떻게 작동하는지 설명하는 것이 누구든 할 수 있는 가장 좋은 일이며, 이 사이트가 하려는 일이기도 합니다. 제가 갈라서는 곳은 그 진단이 집중 그 자체를 문제로 삼는 지점, 그리고 작은 모델을 큰 모델의 보완이 아니라 대체물로 내놓는 지점입니다.

누가 읽어야 하는가

Sam Altman과 OpenAI, 그리고 이 기술 뒤의 사람들과 반목에 관심 있는 모든 사람에게 권합니다. 가능하다면 하오가 대부분 주어진 것으로 여기는 기술을 설명해 주는 The Infinity Machine을 먼저 읽고 나서 읽기를 권합니다. 세부 묘사는 대단하며, 저는 올해 읽은 대부분의 책보다 이 책에서 기억할 만한 일화를 더 많이 얻었습니다. 조금 더 초점이 분명했으면 좋았겠습니다. 올트먼 주변 사람들에게 닿을 수 있었던 하오라면, 사람들에 관해서만 쓴 더 단단한 책은 한층 더 웅장했을 것입니다.

제게 남는 것은 하오가 비판으로 끌어내는 한 가닥의 실입니다. 이 책은 두 개의 제사로 시작합니다. 설명되면 무너지는 마법에 관한 Weizenbaum의 말, 그리고 올트먼의 블로그에서 가져온 한 줄입니다. 10장에서 하오는 둠어(Doomer)와 부머(Boomer)가 같은 성경을 설교한다고 씁니다. 한쪽은 지옥불을, 다른 쪽은 천국을 말합니다. 18장에서 하오는 2013년 올트먼의 그 문장으로 돌아갑니다. 가장 성공한 창업자들은 “종교에 더 가까운 무언가”를 만들려 하며, 회사는 결국 그것을 이루는 가장 쉬운 방법이라는 것입니다. 그리고 17장에서 하오는 한 팟캐스트에서 그가 “지능은 그저 물질의 창발적 속성”이라고 한 말을 과장 광고로 인용합니다. 저는 그 확신을 공유하며, 그에 관해 An emergent property of matter에 썼습니다. 하오가 종교를 경고 신호로 본다면, 저는 이 회사들이 무엇이 되어 가고 있는지에 대한 정직한 묘사로 봅니다. 인간 노동의 가치가 떨어지면서, 이 회사들을 묶어 두는 것은 그들이 돈을 주고 사는 일이 아니라 그들이 믿는 것이 될 것입니다. OpenAI는 그 첫 번째 회사 중 하나이며, 그 사명은 계속 움직일 것입니다.