Как OpenAI планирует безопасность на пути к сверхинтеллекту
Публичный пост
С бумом ChatGPT и дргуих ИИ, все актуальнее становится вопрос о безопасности ИИ. В какой-то момент мы создадим сильный искусственный интеллект, который сможет делать все, что могут делать люди (в интеллектуальном плане). Такой сверхинтеллект будет невозможно контролировать, если к этому не подготовиться заранее. Месяц назад OpenAI выпустили заявление о том, как они планируют развивать свои модели, чтобы дать возможность ученым, исследующим безопасность ИИ, подготовиться и найти способы ограничить будущий сверхинтеллект.
Скотт Александер (Astral codex ten/slate star codex) написал огромный взвешенный пост про разные стороны сложившейся ситуации. Он разбирает действия OpenAI в прошлом, их обещания и реалистичность предлагаемых мер с разных сторон. В статье нет фатализма и нет фанатизма, и мне она показалась очень интересной. Очень рекомендую!
Экономист Робин Хэнсон, на которого я тоже частенько кидаю ссылки, дает свой взгляд на проблему, где он обсуждает реалистичность контроля над ИИ (особенно учитывая как плохо мы его понимаем) и предлагает не тормозить прогресс. Эта статья покороче, и тоже очень интересная!
У меня есть следующая теория заговора: вся эта история с AI Alignment и тот факт, что в эту сторону активнее всех движется именно OpenAI, говорит о том, что ее СЕО защищает собственные корыстные интересы.
Следите за руками:
Изначально OpenAI группой инвесторов, в числе которых помимо прочих Питер Тилль, Маск и много других людей. Организация некоммерческая, существует на донаты от инвесторов, декларирует, что it’ll be important to have a leading research institution which can prioritize a good outcome for all over its own self-interest. На дворе 2015 год.
Затем в 2019 что-то случилось, и OpenAI уже хотят получать прибыль. Но это не жадная капиталистическая прибыль, а хорошая, потому что формально их зарабатывает наша дочка, а все лишние деньги идут на изучение того, как использовать ИИ во благо общества. По случайному совпадению, всего через 3 месяца Microsoft заключает с OpenAI программу партнерства, и с тех пор их ИИ учится только на железе от Azure.
И затем в статье из заголовка Альман пишет: мы не сможем зарегулировать ИИ заранее, давайте во-первых сделаем его доступным массовой публике, а во-вторых создадим комитет, который будет решать, можно выпускать очередную модель ИИ в релиз, или же нельзя. Не правда ли, удобно - свою модель Альтман уже запустил, а остальные пусть проходят через комитеты и доказывают, что она достаточно безопасна. Да и вообще, параграфы какие-то взаимоисключающие получаются - так ИИ опасен или нет?
В общем, мне кажется, что Альтман пытается усидеть на двух стульях. Если государство таки зарегулирует ИИ - значит, он точно будет участвовать в работе этого регулятора в том или ином качестве. Если не зарегулирует - значит, начнем разгонять дискуссии про AI alignment и повернем общественное мнение против компаний, которые будут релизить новые большие языковые модели в паблик. Недавний пост от OpenAI и OpenResearch (также принадлежит Альтману) это успешно доказывает: статья буквально кричит "посмотрите что происходит, это срочно нужно регулировать". Стоит ли доверять человеку, который называет рекламные проспекты научными статьями (а статью о GPT-4 иначе не назовешь), а коммерческие по своей сути организации - некоммерческими? Я не уверен.
P.S.: если кому-то интересно нырнуть в подробности истории про Альтмана, то можете зайти ко мне в телеграм-канал и почитать посты по тегу #альтман, пост написан по материалам оттуда)
О, вот еще интересная статья в тему "Sparks of Artificial General Intelligence: Early experiments with GPT-4": https://arxiv.org/abs/2303.12712
Добавишъ ссылку на огромный взвешенный пост Александера?
Вспомнился мем:
Ну и как этот ваш AI может мне навредить? Неправильное решение средней задачи с литкода предложит? Допустит ошибку в рабочем email-е ? 😎