Ранняя история OpenAI — Часть 3

Это последняя часть рассказа о создании одной из самых интересных компаний нашего времени. Предыдущая часть закончилась на середине переговоров о том, как адаптироваться к новым условиям и кто поведет OpenAI в светлое будущее.

Ссылка на Часть 1, если хотите читать с самого начала.

Я немного расширил таймлайн, чтобы было понятно где события находятся относительно нашего времени:

• Январь 2014 - Google купил DeepMind
• Май 2015 - Сэм Альтман отправил первое письмо
• Июнь 2015 - Илон посрался с Ларри на ДР
• Июль 2015 - OpenAI завербовали Илью Сутскевера
• Август 2015 - заседание комитета по этике DeepMind
• Ноябрь 2015 - создание OpenAI
• Весь 2016 - сбор команды и поиск финансирования
• Начало 2017 - оценили, сколько денег нужно для AGI
• Середина 2017 - вышла статья Attention Is All You Need
• Середина 2017 - переговоры по переходу к новой структуре

Вы сейчас здесь

• Середина 2017 - ребята честно обменялись мнениями
• Начало 2018 - предложение обьединиться с Tesla
• Начало 2018 - Илон уходит из OpenAI
• Середина 2018 - релиз GPT-1
• Февраль 2019 - релиз GPT-2
• Март 2019 - For-profit раунд на $60M от Khosla/Hofmann
• Март 2019 - The Bitter Lesson
• Июнь 2020 - релиз GPT-3
• Июль 2020 - Майкрософт инвестирует $1B
• Середина 2020 - Kaplan Scaling Laws
• Декабрь 2020 - уволились Дарио и Даниэлла Амодей, Пол Кристиано, Крис Олаф, Джэк Кларк, Том Браун, Сэм МакКандлиш
• Начало 2021 - основан Anthropic (90% тех кто уволился из OpenAI)
• Ноябрь 2022 - релиз разговорного ChatGPT на основе GPT-3.5
• Март 2023 - Илон основал xAI
• Март 2023 - релиз GPT-4
• Ноябрь 2023 - отставка и возвращение Сэма Альтмана
• Середина 2024 - ушли Илья Сутскевер, Ян Лейке, Мира Муратти, Джон Шульман

В этой части я расскажу, чем же закончились переговоры в 2017. И дойду до момента перед сделкой с Майкрософт в середине 2019 — думаю как раз именно там заканчивается ранняя история.

Финальные условия переговоров

В сентябре 2017, Илон описывает как он хочет организовать управление компанией:

Три места в совете директоров должны избираться обычными акционерами. Фактически это места для Ильи, Грэга и Сэма, если они не утратят доверие значительной части акционеров или добровольно не уйдут из компании.	

Я считаю, что раунд Серии А, где у меня супербольшинство голосов, должен давать право назначать еще четыре места. Я не планирую назначать их сразу. Изначально я буду иметь полный контроль над компанией, но со временем это изменится. Примерная цель — создать совет из 12 человек (возможно, ближе к 16, если совету предстоит решать судьбу мира), где каждый участник хорошо разбирается в технологиях, имеет хотя бы базовые знания об ИИ и обладает сильными моральными принципами.

Эти дополнительные места отведены для новых ключевых инвесторов или союзников. Однако конкретные члены совета могут быть добавлены (или удалены) только в случае согласия всех членов совета, кроме одного.

При совете из шестнадцати человек у нас будет 7 из 16 голосов, что даёт мне 25% влияния — мой минимально комфортный уровень. Это кажется справедливым. 

Если все остальные, кого мы пригласили в совет, окажутся против нас — значит мы делаем что то не так. По моему опыту, советы директоров (при условии, что в них входят умные и порядочные люди) обычно рациональны и разумны. Практически никогда не бывает жесткой борьбы, где один голос в итоге играет решающую роль. Так что нам не стоит ожидать чего то такого.

Предложение выглядит адекватно, учитывая сколько денег просят OpenAI. Илон на время забирает контроль и планирует привлечь в компанию важных союзников. Напомню, что за полтора года работы у OpenAI всего одно крупное достижение — они обыграли Денди в Доту.

В конце письма есть еще вот такая приятная похвала от Илона:

В заключение хочу сказать, что меня впечатлило качество обсуждения по вопросам инвестиций и структуры совета. У меня хорошие предчувствия по поводу нашего будущего.

Как будто другой человек писал, да?

Илья ультует в двоих

Неделю спустя, из следующего письма, стало ясно почему тон Илона поменялся с недовольного на прятный. Илья и Грег совместно написали иcкреннее и трогательное письмо где прямо высказали все свои опасения:

Ни я ни Грэг никогда раньше не учавствовали в переговорах с настолько высокими ставками. А если OpenAI в будущем придет к успеху, то и вообще никто в мире. К тому же для нас всех эти обсуждения были крайне личными.

Вчера мы хотели принять окончательное решение, но поняли, что допустили ошибку. У нас есть несколько важных вопросов, которые мы так с вами и не обсудили. Мы не подняли их, потому что боялись: боялись навредить отношениям, боялись, что вы начнёте меньше нас уважать, или боялись потерять вас как партнёров.

Есть шанс, что наши опасения неразрешимы. Мы надеемся, что это не так, но понимаем, что точно потерпим неудачу, если не обсудим их прямо сейчас. Мы верим, что сможем разобраться с ними и продолжить работать вместе.

То есть они побоялись высказать всё, что хотели на самом деле. Мечта каждого психотерапевта, чтобы его клиент не побоялся признать свои ошибки и таки отправил это письмо. Дальше продолжение отдельно для Илона:

Мы очень хотим работать с тобой. Мы уверены, что объединение усилий даст нам наибольшие шансы на успех. Наше желание работать с тобой настолько велико, что мы готовы отказаться от доли в компании, личного контроля и сделать себя легко увольняемыми — что угодно.

Но мы осознали, что упустили из вида последствия для мира, связанные с тем, кто будет контролировать компанию. Мы не задумывались всерьёз о том, какое влияние OpenAI сможет оказывать, если наша миссия окажется успешной.

Структура, которую ты предложил выше, оставляет тебе возможность получить односторонний и абсолютный контроль над AGI. Ты говорил, что у тебя нет желания контролировать финальную версию. Но в ходе переговоров мы поняли, что ты хочешь быть СЕО, чтобы было видно кто у руля. Ты показал, что абсолютный контроль для тебя крайне важен.

Мы боимся, что когда мы достигнем реального прогресса, ты предпочтешь сохранить этот абсолютный контроль. Несмотря на текущие намерения поступить иначе. Мы не согласны, что возможность уволиться — это наша главная сила. Поскольку, как только компания начнет уверенно двигаться к AGI, сама компания будет важнее любого отдельного человека.

Цель OpenAI — создать хорошую версию будущего. Ты обеспокоен, что Демис Хассабис стремится создать с помошью AGI диктатуру. Мы разделяем эту озабоченность. Поэтому создание структуры, которая позволила бы стать диктатором тебе, если ты этого захочешь, — плохая идея. Особенно учитывая, что можно создать другую структуру, исключающую эту возможность.

Если мы решим купить Cerebras, предполагаю, что это будет сделано через Tesla. Но зачем поступать так, если это можно сделать через OpenAI? Tesla обязана действовать в интересах своих акционеров, максимизируя прибыль, что не соответствует миссии OpenAI. 

TLDR простой: нам не нравится, что в структуре компании оставлен бэкдор для ее захвата. Единственной гарантией фактически остается честное слово Илона.

Теперь небольшая часть для Сэма:

Успех OpenAI как некоммерческой организации во многом стал возможен благодаря тебе и Илону. Ты играл роль настоящего противовеса для него и это приносило огромную пользу. Мы с Грегом, по крайней мере пока, не справляемся с этой ролью так же эффективно. Это особенно заметно по текущим переговорам: мы готовы были проигнорировать долгосрочные вопросы контроля над AGI, тогда как ты смог успешно отстоять свою позицию.

Когда мы с Грегом заходим в тупик, у тебя всегда есть верный ответ. Ты тщательно и глубоко продумал новую структуру. Мы с Грегом разбираемся в технической части, но не понимаем так же хорошо как ты, как решения по структуре будут влиять на компанию в ближайшие месяцы и годы.

Но в ходе переговоров мы не могли полностью доверять тебе. Потому что не понимаем твою функцию потерь [другими словами, систему ценностей или целевую функцию; я решил оставить технический термин, так как забавно, что они именно его испольовали].

Мы не понимаем, почему тебе так важно быть СЕО. Ты несколько раз озвучивал разные причины, и нам сложно понять, что на самом деле тобой движет. Действительно ли создание AGI для тебя важнее всего? Как это сочетается с твоими политическими целями?

Тут прямо не говорится, но видимо Альтману не нравилась идея потерять позицию CEO. Ведь у него есть довольно уникальное видение мира после прихода AGI. И мое предположене, что ему хочется его реализовать и что без роли руководителя компании это будет сделать сложно.

Письмо, кстати, все еще не закончено. Вот концовка с призывом к разрешению конфликта:

Во время переговоров мы были похожи на тех, кто игнорирует вопросы с серьезными долгосрочными последствиями, потому что на самом деле не верит в возможность создания AGI. Поэтому крайне важно встретиться и обсудить их. Без этого наше сотрудничество не будет успешным. 

Можем ли мы все четверо встретиться сегодня? Если мы будем честны друг с другом — мы сможем найти компромиссное решение. И компания сможет противостоять серьёзным вызовам, которые ждут ее в будущем.

Через 10 минут Маск ответил:

Чуваки, с меня хватит. Это последняя капля. Либо вы увольняетесь, либо продолжаете с OpenAI как некоммерческой организацией. 

Я больше не буду давать деньги, пока вы чётко не подтвердите свою готовность остаться. Иначе я просто долбоёб, бесплатно финансирующий ваш стартап. 

Это не ультиматум принять ранее обсуждавшиеся условия. Я больше не предлагаю переходить к новой структуре. Либо вы остаеётесь НКО, либо уходить делать собственные проекты.

Обсуждения закончены.

(если что, перевод художественный, он не матерился)

У нас нет прямого ответа от Сэма, только саммари от Шивон:

Он (Сэм) потерял значительную долю доверия к Грегу и Илье. В ходе этого процесса, их сообщения были непоследовательными и иногда выглядели по-детски. 

Сэм сказал Грегу и Илье, что ему нужно взять паузу на 10 дней, чтобы всё обдумать. Он хочет понять, насколько он может им доверять и насколько хочет продолжать с ними работать. Он пообещал вернуться после этого и решить, сколько времени готов уделять проекту.

Что произошло?

Ребята почти приняли первоначальные условия Илона.

Но !вдруг поняли, что предоставление ему абсолютного контроля над OpenAI противоречит миссии. И когда Илья и Грэг снова подняли опасную тему — получили еще более жесткую реакцию, чем в первый раз. Илон ничего не сказал про дыру в соглашении и отказался продолжать разговор.

Если бы они согласились на условия — неотвеченые вопросы никуда бы не делись. И всплыли бы позже, с намного большим уроном. Но почему Сэм сказал, что Грэг и Илья иногда коммуницировали как дети?

Переговоры часто связаны с борьбой за статус и влияние. В них каждый отстаивает свои стратегические интересы. И если ты открыто вываливаешь свой мыслительный процесс на стол — это может восприниматься как детская наивность. Ты ставишь свои интересы в уязвимое положение, т.к. отдаешь инициативу и ценную информацию другой стороне.

Это может восприниматься как манипуляция. Потому что прагматичный участник переговоров ожидает, что ты хочешь получить что то в качестве компенсации за проявленную уязвимость. Но сходу не понятно, что именно.

Пока вы оба прагматичны, вам легко моделировать интересы друг друга. "Хочу заработать денег" — мотивация ясная, понятно как с этим работаь. А "Я идеалист, переживающий за судьбу мира" — непредсказуемое нечто. Поэтому отход от понятного прагматизма ставит другую сторону в неприятное положение и может восприниматься как непрофессионализм.

Несмотря на это, я думаю, что Сэм и Илон повели себя некрасиво. Судя по интервью с Ильей, он ученый, идеалист и визионер. Он искренне верит в создание AGI. В письме мне понравилось, что неуверенность и понижение своего статуса он привязал к чёткой причине потенциального разрыва сделки. И завершил его ясным запросом на разрешение ситуации. Я думаю, что Илья и Грэг были искренни в своих словах.

А Сэм и Илон их загазлайтили, выставили виноватыми. И Илон прекратил переговоры.

Почему так и что в итоге?

Почему Илон не захотел пойти на откровенный разговор и не попытался решить проблему? С имеющейся у нас информацией, можно только гадать. Предположу, что ему не понравилось отсутствие доверия к его действиям. Думаю ход мыслей был примерно таким:

Если вы мне не доверяете, то какого черта мы вообще сотрудничаем? Мы делаем один из самых важных проектов в истории человечества. И если мы уже не доверяем своим самым близким союзникам, в будущем это перерастёт в настоящую катастрофу. 

Я чувствую ответственность за этот проект и хочу быть уверен, что мы делаем всё возможное ради успеха, а не распыляемся на чьи то еще цели. Продолжать разговор не имеет смысла.

Я не думаю, что Маск действовал с коварным замыслом обмануть всех и отжать компанию. Его цель, скорее, была убедить крупных инвесторов, что вложения гарантированы его именем. Маск кажется способен привлечь неограниченное колличество ресурсов, но только под свою репутацию.

В тоиге команда OpenAI согласилась остаться нонпрофитом и попробовать выжить. Грег и Илья считали, что со значительными усилиями можно привлечь $100M через пожертвования. Сэм упомянул, что Холден (Холден Карнофски из Open Philanthropy и GiveWell) потенциально готов занести $100M, только чтобы OpenAI не меняли структуру.

Дальше в переписке дыра в пол-года.

Фундаментальная проблема за это время никуда не делась: НКО деньги привлекать сложно, а они очень нужны. Переписка возобновилась в январе 2018, когда Сэм попросил у Илона совет по поводу ICO.

Илон все еще недоволен

ICO это как размещение акций на бирже через IPO, только в крипте и с меньшим количеством регуляций. В 2017-2018 годах был пик популярности ICO, и некоторые компании привлекали суммы в $100М+. Сэм рассматривал размещение как потенциальный план, но был неуверен по поводу возможных непредвиденных последствий в будущем.

Маску идея не понравилась:

OpenAI движется к неминуемому провалу. Необходимы немедленные и радикальные действия, иначе все, кроме Google, окажутся в положении полной нерелевантности.

На мой взгляд, ICO приведет к потере доверия к OpenAI и тем, кто с этим связан. Единственный путь, который я вижу: значительное расширение OpenAI и серьезное развитие Tesla AI. Это потребует привлечения в совет директоров авторитетных людей, которые смогут найти деньги.

Хочу прояснить: я уважаю ваши способности и достижения, но я недоволен тем как вы управляете компанией. Поэтому мне было сложно взаимодействовать с вами в последние месяцы.

Либо мы исправим ситуацию и мое вовлечение значительно возрастет. Либо не исправим и я сведу свое участие практически к нулю и публично отгорожусь от OpenAI. Мне не нравится, когда внешнее восприятие моего влияния и затраченного времени не соответствует реальности.

Ответ Грэга:

Я всегда восхищался твоим умением фокусироваться на самом важном. И я полностью согласен, что нам нужно менять курс. Считаю, что лучшее будущее наступит благодаря значительному расширению OpenAI. Наша миссия фундаментально верна, и с приближением AGI это будет нашей суперспособностью.

Моральное превосходство — наше главное преимущество. Поэтому, чтобы его сохранить, мы должны:
 - Оставаться некоммерческой организацией. ИИ радикально изменит общество, и наша главная обязанность — служить человечеству.
 - Всерьез работать над AI Safety, а не заниматься профанацией как все остальные. Не важно, кто выиграет, если мы все умрём. Мы хотим создать безопасный AGI и не готовы рисковать всем ради гонки за лидерство.

Мы единственные движемся к тому, чтобы в ближайшие три года создать базу для безопасности AGI.

По поводу ICO — нам тоже перестала нравиться эта идея. Мы с Ильей знаем как убеждать влиятельных людей, что создание AGI реально в ближайшие ≤ 10 лет. Эти люди заинтересованы в пожертвованиях НКО, но еще больше — в инвестировании. Сэм прорабатывает новую структуру без публичного размещения, и нам интересно услышать твое мнение.

Грэг скидывает кандидатов для нового совета директоров (и потенциальных инвесторов) и спрашивает, есть ли у Илона на уме кто то еще. Скидывает план по найму команды до 900 человек за 3 года и описывает какого прогресса OpenAI достигли с текущими ресурсами:

У нас самая сильная и профессиональная команда в отрасли, и это признано всеми. За последние пять лет в глубинном обучении было два главных примера работающих систем:

 - AlphaZero [DeepMind]
 - Dota 1v1 [OpenAI]

И много разных прорывов в способностях моделей:

 - ProgressiveGAN [NVIDIA]
 - Unsupervised translation [Facebook]
 - WaveNet [DeepMind]
 - Atari/DQN [DeepMind]
 - GAN [Ian Goodfellow at grad school — now at Google]
 - Machine translation [Ilya at Google — now at OpenAI]
 - Variational autoencoder [Durk at grad school — now at OpenAI]
 - AlexNet [Ilya at grad school — now at OpenAI]

Мы хорошо выглядим, в сравнении с остальными.

Андрей

Параллельно с этим, в переписку добавляется общение Илона с Андреем Карпати. Кто не знает, это легенда индустрии с самыми крутыми обучалками по дип лернингу, которые взрастили новое поколение дата сатанистов. Он был сооснователем OpenAI, но в июне 2017 ушел работать директором по ИИ в.. Tesla с прямым подчинением Маску.

В 2016 году DeepMind потратили ~$250M, без учета вычислительных мощностей. Сегодня, с ростом команды, это уже примерно $0.5B. Но для Alphabet с чистой прибылью в $20B, это относительно небольшие траты. И помимо DeepMind у них есть Brain, Research, Cloud, TensorFlow и TPU. Они делают треть всех исследований в области и даже организуют свою собстенную AI конфу.

Прогресс в ИИ в основном обусловлен системными штуками — вычислениями, данными, инфраструктурой. Любые алгоритмические достижения могут быть почти мгновенно скопированы. Вдобавок, без масштаба они перестают быть серьезным конкурентным преимуществом. Так что какой смысл в крутой команде, когда у тебя нет ресурсов? Для достижения AGI необходимо (а возможно и просто достаточно) много железа.

OpenAI прожигает деньги. Их структура не способна масштабировать компанию, чтобы всерьез конкурировать с Google. А без серьезной конкуренции ты фактически бесплатно помогаешь им, потому что любые достижения им легко скопировать и внедрить уже на масштабе.

For-profit структура могла бы помочь с привлечением денег. Однако создание продукта с нуля и давление инвесторов будет отвлекать команду от ресерча по AGI. Поэтому нужно найти уже существующий и успешный бизнес. Apple и Amazon подошли бы, но боюсь их корпоративная ДНК несовместима с OpenAI.

Самый многообещающий вариант — это присоединение к Tesla. У нас уже есть продукт который значительно выиграет от технологий OpenAI. С работающим решением для полностью автономного вождения, через 2-3 года мы сможем продавать много автомобилей и грузовиков. Транспортная отрасль достаточно велика, чтобы мы могли увеличить капитализацию Tesla и использовать доп. выручку для финансирования поиска AGI в нужном масштабе.

Я не вижу других способов обеспечить устойчивый поток капитала в масштабе Google за ближайшие десять лет.

Маск полностью поддерживает:

Андрей полностью прав. Мы бы хотели, чтобы было иначе, но, на наш взгляд, Tesla — единственный путь, который хотя бы теоретически может конкурировать с Google. Даже в этом случае вероятность стать достойным противовесом Google невелика. Она просто не равна нулю.

При согласии, Маск пообщал бюджет в $1B сразу при подписании, который затем рос бы экспоненциально. Однако команда OpenAI не хотела работать на Tesla. И верила в успех привлечения денег через персональный подход.

Ну и ни для кого не секрет, что договориться не удалось. И Илон официально покинул компанию в конце февраля.

Новый Устав

В апреле 2018 ребята добавили в миссию несколько важных уточнинй:

Миссия OpenAI — сделать так, чтобы AGI (под которым мы понимаем высокоавтономные системы, превосходящие людей в большинстве экономически значимых творческих задач), приносил пользу всему человечеству. 

Мы стремимся напрямую создать безопасный и полезный AGI. Но нам также ок, если с нашей помощью этой цели достигнет ко то другой. Поэтому мы берем на себя следующие обязательства:

Доступность выгод

Мы обязуемся использовать влияние от внедрения AGI, чтобы обеспечить его использование на благо всех людей и не допускать применения технологий, вредящих человечеству или чрезмерно концентрирующих власть.

Наш главный долг — перед человечеством. Мы понимаем, что для выполнения нашей миссии потребуется значительные ресурсы. Мы будем усердно работать над минимизацией конфликтов интересов среди сотрудников и заинтересованных сторон, чтобы не ставить под угрозу общую выгоду.

Долгосрочная безопасность

Мы коммитимся проводить исследования по безопасности AGI, и активно внедрять их в сообществе разработчиков. Мы обеспокоены тем, что на поздних этапах разработки AGI может начаться конкурентная гонка, в которой не будет времени адекватные меры предосторожности. 

Поэтому, если кто то разделяющий наши ценности приблизится к созданию AGI раньше нас, мы прекратим конкуренцию и начнем помогать этому проекту.

Техническое лидерство

Чтобы справляться с влиянием AGI на общество, OpenAI необходимо оставаться на переднем крае технологических возможностей — одной лишь политической власти будет недостаточно.

Мы считаем, что ИИ окажет значительное влияние на общество еще до появления AGI, и будем стремиться быть лучшими в областях, которые напрямую связаны с нашей миссией.

Ориентация на кооперацию

Мы хотим активно сотрудничать с другими организациями и создать глобальное сообщество для совместного решения вызовов, связанных с AGI.

Мы обязуемся предоставлять обществу помощь в адаптации на пути к новому миру. Сегодня это включает публикацию большей части наших исследований в открытый доступ. Но в будущем, мы будем делиться меньшим числом работ по способносям моделей. А важность обмена исследованиями в области безопасности, политики и стандартов возрастет.

Тут сильно замено, как изначальная миссия обросла кучей поясняющего текста вокруг. Что такое AGI, почему важна безопасность, кому мы служим, и всякое такое.

Описание такое же идеаллистичное, как и в 2016: за ответственность перед человечеством за хорошее будущее и против плохого. Несколько лет работы над созданием ИИ подтвердили интуитивные догадки, что создать AGI вполне возможно.

После выхода из совета директоров, Илон не перестал общаться с командой. В конце 2018 Сэм похвастался прогресом по разным направлениям и предложил встретиться. Забавно, что самому интересному он уделил всего пару предложений:

Мы быстро прогрессируем в обработке языка. Надеюсь, в следующем году мы сможем генерировать короткие рассказы и создать качественного диалогового бота.

К тому моменту они уже создали GPT-1 (середина 2018) и готовились выпустить GPT-2 (начало 2019). Но пока не понимали, насколько они близки к успеху. Илон после встречи еще разок окатил ребят из ведра с ледяной водой:

Повторюсь, моя оценка вероятности того, что OpenAI сможет конкурировать с DeepMind/Google без кардинальных изменений в руководстве и ресурсах — 0%. Даже не 1%. Как бы мне ни хотелось обратного.

Привлечение нескольких сотен миллионов не решит проблему. Вам нужны миллиарды ежегодного финансирования, причем прямо сейчас. Без этого, можете забыть об успехе.

К сожалению, будущее человечества сейчас в руках Google. OpenAI напоминает мне Безоса и Blue Origin. Они безнадежно отстают от SpaceX, и ситуация только ухудшается, но эго Безоса убеждает его в обратном. Очень надеюсь, что я ошибаюсь.

Развязка и выводы

В марте 2019 OpenAI наконец перешли к новой структуре и привлекли первый раунд от Винода Кхосла и Рида Хоффмана. Илон от доли отказался. К этому моменту ребята уже обучили GPT-2. И им было что показать потенциальным инвесторам для крупного раунда, который решит все проблемы с финансированием.

В переписке Сэм скинул анонс (вот мой перевод), где по порядку рассказал про структуру. В целом, никаких сюрпризов. Несколько крупных корпораций вкладываются под условия ограниченной доходности в 50-100 раз. Любая прибыль выше этой отметки останется в OpenAI, а инвесторы взамен получают доступ к технологиям.

Самая интересная мысль — компания дает совету директоров нонпрофита возможность принимать решения, идущие вразрез с интересами новых инвесторов.

Мы создали OpenAI так, чтобы выполнение нашей миссии — создание и внедрение безопасного и полезного AGI — всегда стояло выше, чем получение прибыли для инвесторов. Все инвесторы и сотрудники подписывают соглашения, которые подтверждают, что обязательства перед Уставом всегда на первом месте, даже если это ущемляет их финансовые интересы.

Вот такого уже точно не было в идеях из 2016.

Вся эта история показывает, как чертовски сложно создать что-то, что может всерьёз конкурировать с Google. И при этом остаться верным первоначальной миссии. Компания встала перед ситуацией, где не осталось другого выхода. И они нашли единственное работающее решение.

Формально, они сохранили свои светлые идеалы. Но я думаю, что в этом процессе OpenAI потеряли что то неуловимо ценное — отсутствие внутреннего конфликта интересов.

Да, ты можешь красиво и непротиворечиво сформулировать правила в Уставе. Но когда ставки так высоки, если ты не полностью готов следовать духу правил — ты найдешь способы как их исказать или поменять. Стимулы работают. Я на своем опыте много раз наблюдал, как наличие конфликта интересов подмывает твою волю. И с каждым новым столкновением, противостоять ему становится все сложнее и сложнее.

А чё в итоге то.. Илон Маск мудак или нет?

Честно, я не знаю. Я отношусь к нему с огромным уважением и пока писал этот пост, менял свое мнение уже три раза. Я не думаю, что он чёртов гений и заранее интуитивно предвидел, что OpenAI ради успеха рискнут продать душу корпорациям.

Но я могу понять его недоумение, когда он увидел оценку компании в $157B, их интерес к оборонным контрактам и желание опять поменять структуру, чтобы стать обычной корпорацией.

Без помощи Илона на ранней стадии, компании бы не было. Он вложился ради супер понятной идеи — создать противовес Google. Создать компанию, у которой будет moral higround. А сейчас же, у меня от всей истории вайбы классической сцены из Star Wars:

Я очень надеюсь, что это всего лишь красивое совпадение. Что Сэм Альтман и текущая команда все еще верят в то, что они на верном пути. И что их вера крепка. Потому что конфликт интересов растет и искушение темной стороны точит их волю каждый день.

На этом я закончу. Дальше в истории OpenAI было много интересного: сделка с Майкрософт, раскол Дарио Амодея и неожиданный успех ChatGPT у массового пользователя.

Я хотел рассказать про период, о котором нам известно больше всего, благодаря опубликованой переписке. И даже с учетом этого, все равно пришлось спуститься на уровень домыслов и догадок.

Надеюсь вам было интересно. Если это так, то вот ссылка, ведущая на верх страницы. Не знаю, зачем она вам может понадобиться, просто на всякий случай =)

Спасибо за внимание!