AI Alignment — Как быстро въехать в свежий движ по самой интересной теме нашего времени

 Публичный пост
5 апреля 2023  2754

Открытое письмо FLI

На прошлой неделе случилось кое-что интересное. Тема AI Alignment - то есть, предотвращения рисков от создания недружественного искуственного интеллекта, стала вдруг не зашкварной. Уже лет 20 научное сообщество косо смотрело на тех, кто пытался что то делать в этом направлении. И вот на хайпе вокруг ChatGPT - прорвало.

На сайте нонпрофита Future of Life Institute (FLI), основанного профессором из MIT, Максом Тегмарком, появилось письмо с довольно жесткими требованиями по регулированию лабораторий по созданию искуственного интеллекта. И внезапно его опубликовали в топовых СМИ и начали всерьез обсуждать!

https://futureoflife.org/open-letter/pause-giant-ai-experiments/

Мои первые мысли до того как решил разобраться в теме

Я дальше подробнее расскажу, в чем соль, а пока хочу поделиться первыми мыслями от письма.

  1. Это важная инициатива, но кажется, что ее создали на эмоциях и страхе, не особо продумав.
  2. Письмо подпишут только те, кто отстает от лидеров или просто хочет хайпануть, а не топовые компании, такие как OpenAI или DeepMind (это лабы, сделавшие ChatGPT, DALL-E, AlphaZero, AlphaFold и еще много всякого крутого).
  3. Авторы просят сделать что-то невозможное: координировать усилия государств, бизнеса и научного сообщества в условиях недоверия, отсутствия контроля и желания обогнать конкурентов. И по-моему, стимулов для этого недостаточно. Вряд ли кто-то будет верить в угрозу настолько, чтобы выполнять такие требования. А верить сложно, потому что проблема сложная, жестких доказательств мало, а простых популярных объяснений нет.

Этот пост - моя попытка разобраться в теме за пару дней. Она сложная и интересная, но по ней бессмысленно рассуждать, не изучив матчасть хотя бы часть чуть. И оооо, какая же тут глубина! Это гигантская кроличья нора, разрывающая от кличества информации. Я не супер сильно шарю в теме, так что тут 60% чужих мыслей умных дядек из классных источников и 30% моих размышлений на их основе.. и 10% оформления от ChatGPT >_<.

Чо за письмо то?

Основная мысль такая: разработка ИИ связана с опасными рисками, и было бы здорово знать, что у нас есть на них ответ. Продвинутый ИИ может серьезно изменить нашу жизнь. Но в последнее время ИИ лабы втянулись в неконтролируемую гонку за создание все более мощных систем, которые никто не понимает и не может контролировать.

Что они предлагают сделать?

  1. Заморозить все проекты по обучению моделей мощнее GPT-4 на 6 месяцев.
  2. Ограничить скорость роста вычислительных мощностей для обучения моделей.
  3. Пауза должна быть верифицируемой, чтобы не было недоверия.
  4. Пауза должна быть для всех ключевых игроков.
  5. Пауза нужна, чтобы остановить опасную гонку и вместе создать протоколы независимой оценки безопасности перед обучением моделей.

Если это не произойдет, авторы письма предлагают государствам вмешаться и ввести полный мораторий. Они утверждают, что не хотят сражаться с прогрессом, а просто хотят замедлиться на опасном участке. Let's enjoy a long AI summer, not rush unprepared into a fall.

В чем, собственно, опасность?

Область про дружественный ИИ называется AI alignment и там можно выделить два уровня:

  1. Проблемы ближайшего будущего, актуальные уже для текущего уровня технологий, не требующие сильного ИИ.

Например, куча контента от нейросетей и дезинформация сильно повлияют на то как мы пользуемся интернетом. Автоматизация работы может лишить работы много людей и привести к экономическим шокам.

  1. Экзистенциальный риск - это риск того, что когда появится ИИ уровнем выше человеческого, мы потеряем контроль над цивилизацией и, возможно, вообще перестанем существовать.

Сооснователи OpenAI (создали ChatGPT и DALL-E) Илья Суцкевер (отвечает за исследования) и Сэм Альтман (отвечает за бизнес) считают, что по первому пункту все под контролем. А вот по второму пункту все сильно далеко от решения, но мы успеем что нибудь придумать. Потому что способности ИИ растут медленнее, чем исследования по AI Alignment.

Я думаю, мы сильно недооцениваем проблему экзистенциального риска. Скотт Александр приводит классный пример нашей реакции на такие ситуации: https://astralcodexten.substack.com/p/mr-tries-the-safe-uncertainty-fallacy
Представьте, что на орбиту Земли прилетел гигантский корабль пришельцев. Должны ли мы беспокоиться? Ситуация крайне неопределенная, может случиться что угодно. Интуитивно мы чувствуем опасность.
А вот с похожим случаем с продвинутым ИИ реакция почему то полностью противоположная! Кажется, у нас есть ощущение контроля над ситуацией, что, когда будет нужно, мы найдем решение, и нам не стоит беспокоиться.

Мы справлялись с контролем над ядерным оружием и биолабораториями. Но ИИ гораздо опаснее, и обычно мы начинаем действовать только после того, как оружие массового поражения уже создано. Это сработало с ядерным, химическим и биологическим оружием. Однако когда будет создан мощный ИИ, не факт, что у нас будет шанс что-то исправить. По сути, у нас будет всего одна попытка, до того как мы его запустим.

Даже Сэм Альтман признает, что такая вероятность существует. И важно это осознавать, потому что если мы не будем говорить об этом, то не приложим достаточно усилий для решения проблемы. Это новая сфера с огромной неопределенностью. Единственный способ справиться с ней – итерировать, быстро учиться на ошибках и ограничить количество критических экспериментов с одной попыткой.

Неужели это настолько серьезно? Почему?

Элиезер Юдковский наверное самый компетентный чувак в этом вопросе. Это ученый, который уже лет 20 занимается проблемой алайнмента. Он радикально жестко высказался по теме - накатал статью в Таймс и заглянул к Лексу Фридману на подкаст.
https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough

www.youtube.com/watch?v=AaTRHFaaPG8&ab_channel=LexFridman

Основной посыл - письмо FLI требует слишком мало.

Какой уровень опасности?

Многие исследователи полагают, что наиболее вероятным результатом создания сверхчеловеческого ИИ в условиях, хотя бы отдаленно похожих на нынешние, будет гибель всех людей на Земле. В среднем, люди, работающие над проблемой, оценивают риск на уровне 30%. https://astralcodexten.substack.com/p/why-i-am-not-as-much-of-a-doomer

Дело не в том, что невозможно выжить, создав нечто гораздо умнее, чем человек; дело в том, что это потребует точности, подготовки и новых научных знаний. Без такой точности и подготовки наиболее вероятным результатом будет ИИ, который не будет делать то, что мы хотим, и не будет заботиться ни о нас, ни о разумной жизни в целом. Такого рода забота может быть заложена в ИИ, но мы пока не знаем как это сделать. Более того, у нас нет ни малейшего представления о том, с чего начать поиск способов решения этой проблемы.

Проблема критичности первой попытки

Проблема с экспериментами со сверхчеловеческим интеллектом заключается в том, что если вы совершите ошибку при первой попытке, то не сможете учиться на своих ошибках, потому что вы уже мертвы. Попытка сделать что-то правильно с первой критической попытки — это невероятно сложная задача в науке и инженерии.

Примером может служить летний научный лагерь (The Dartmouth workshop, 1956 года), где 10 ученых решили попытаться решить проблему ИИ за 2 месяца. На деле, нам понадобилось 60 лет проб и ошибок, чтобы достичь ощутимого прогресса.
Кажется что алайнмент - это схожая по сложности проблема, мы не можем узнать о ней достаточно, пока не сделаем первую критическую попытку. Потому что то, что можно узнать при тестировании слабых нейросетей, может сильно отличаться от того что будет у сильных.

Что делать по мнению Юдковского?

Юдковский считает, что 6 месяцев недостаточно для решения проблемы и что в целом того что требует письмо FLI не достаточно. А что нужно тогда?

  1. Незамедлительные международные соглашения.
  2. Мировой мораторий на новые попытки обучения больших языковых моделей (LLMs).
  3. Остановить работу всех крупных GPU-кластеров.
  4. Отслеживать все проданные GPU.
  5. Установить предел для того, сколько вычислительной мощности разрешается использовать при обучении нейросетей.

... Ну и на закуску, крайние меры:

  1. Если разведка сообщает, что страна за пределами соглашения строит GPU-кластер, предполагается провести авиаудар.
  2. Если дело дойдет до ядерной войны, это будет тяжелым, но приемлемым сценарием.

Это адекватно вообще?

Юдковский не предлагает буквально что-то бомбить. Он говорит, что если не случится невозможной координации уровня "государства и общество понимают проблему настолько, что реально готовы бомбить подпольные датацентры, если кто-то попытается обучать слишком продвинутые ИИ", то шансов на успех нет.

Думаю, что это не такая уж и дичь как кажется на первый взгляд. У нас уже есть международные договоры (о ядерном, химическом оружии, национальных границах и т. д.) с четкими ограничениями и пониманием того, как они будут соблюдаться со всех сторон. И такие договоры считаются хорошим способом снижения вероятности эскалации конфликтов по этим вопросам до реальных вооруженных столкновений.

Чтобы такие масштабные предложения были приняты, политики должны осознать, что если они продолжат действовать как они привыкли и выбирать политически легкие решения, то нам жопа. Даже самые оптимистичные люди, которые понимают основные аргументы по проблеме, говорят о риске истребления на уровне 10% в этом столетии. Это вероятность больше риска истребления из-за ядерной войны. Просто люди не осознают, насколько серьезно эксперты рассматривают возможность того, что сильный ИИ может случиться и буквально убить всех. Это серьезная угроза.

Почему? Это действительно так сложно?

Я пока поверхностно разобрался в теме. Но соновную люгику можно обьяснить в трех тезисах.

  1. Orthogonality thesis. https://www.lesswrong.com/tag/orthogonality-thesis

Тезис ортогональности - это концепция, которая утверждает, что интеллект и конечные цели независимы друг от друга.
Можно быть достаточно умным, чтобы быть опасными, и в тоже время достаточно глупыми, чтобы преследовать тупые цели. Высокоинтеллектуальные агенты могут иметь цели, которые не соответствуют человеческим ценностям.
Представьте себе ИИ, разработанный для оптимизации определенной целевой функции, например, максимизация прибыли и минимизация издержек. Думаю вы интуитивно понимаете, что может пойти не так.

  1. Instrumental convergence. https://www.alignmentforum.org/tag/instrumental-convergence

Заметное несоответствие поведения человеческим ценностям возникает из-за фундаментальной проблемы инструментальной сходимости. Это тенденция интеллектуальных существ преследовать определеннй дефортный набор подцелей, даже если их конечные цели различны. ИИ будет преследовать опасные подцели для достижения своей конечной цели, даже если сама цель благоприятна. Это связано с тем, что некоторые подцели, такие как самосохранение или накопление ресурсов, общие для многих стратегий и имеют смысл независимо от конечной цели. Ты не сможешь приготовить твоему человеку кофе, если он тебя выключит... поэтому ты захочешь быть увереным, что он этого не сделает.

  1. Fragility of value. https://www.lesswrong.com/tag/complexity-of-value

Эта концепция утверждает, что человеческие ценности обладают высокой сложностью и не могут быть сжаты до нескольких простых правил. Кроме того, потеря даже небольшой части правил, составляющих наши ценности, может привести к неприемлемым результатам. Например, потеря ценности "не хочу скучать" может привести к миру, где люди вновь и вновь до бесконечности переживают один и тот же одинаковый но успер заоптимизированный опыт.

Как можно согласовать свои ценности с кем-то другим, когда ты не можешь описать свои? Ну ок, ты как то решил эту проблему, что делать с безграничными инструпентальными подцелями? Представь, каково это - находиться рядом с намного более умной сущностью, оптимизирующей неизвестные цели, которые не включают тебя. Остается только пожелать удачи.
Вот живой пример - муравейник на заднем дворе твоего дома. Муравьи будут в безопасности ровно до тех пор, пока ты не решишь, что именно на этом месте ты хочешь скамейку. Никакой ненависти к муравьям, просто бизнес - тебе нет дела до муравьев, тебе нужна скамейка.

Еще возражения к письму, но уже не от Юдковского

Шесть месяцев это мало

Активных инициатив более-менее серьезного уровня не так много, например:

  1. В Европе ведется разработка акта об ограничения ИИ, по вайбу похожего на GDPR: https://artificialintelligenceact.eu/

В целом, это важный шаг в регулировании ИИ, но он направлен только на проблемы ближайшего времени - безработицу и дезинформацию. Решение проблемы экзистенциального риска, связанного с ИИ потребует мер которые выходят за рамки акта.

  1. Есть грант на 20 млн долларов на прикладные исследования AI safety:

Национальный научный фонд (National Science Foundation) - это государственное агентство, спонсирующее науку в США. Оно основанно и финансируется правительством, но напрямую ему не подчиняется. Агентству выделяют средства, а они уже сами решают, на что их тратить. Даже с учетом такой автономии от гос бюрократии, лоббирование гранта на какие то 20 миллионов (кек) заняло целый год!

  1. ARC eval - это так называемая "red team": https://evals.alignment.org/blog/2023-03-18-update-on-recent-evals/

Это контролируемая среда, в которой исследователи тестируют модели. Это группа специалистов, которые сотрудничают с ИИ лабами для оценки потенциальной опасности моделей. Они фокусируются на способности моделей самостоятельно добывать ресурсы и уклоняться от контроля человека.
По словам чувака из команды, их работа пока в основном это proof-of-concept возможностей дальнейшего сотрудничества. Их работа над GPT-4 была всего лишь тестовым прогоном.

  1. В техническом репорте о GPT-4, OpenAI рассказали про методологию для оценки потенциала модели до ее полного обучения. Они предсказывают pass rate на HumanEval (бенчмарке, который тестирует модели на написании Python кода). Это позволяет оценивать возможности модели, используя значительно меньше вычислительных ресурсов.

Еще они отмечают, что GPT-4 улучшала свою производительность на некоторых задачах (например, Hindsight Neglect) по мере увеличения размера модели. Это противоречит явлению Inverse Scaling Prize, которое гласит, что после достижения определенного предела, обучение модели дополнительно может привести к ухудшению ее производительности на некоторых задачах. То есть предел интеллектуальности текущей архитектуры на части задач вовсе не там, где мы ожидали.

В общем, пока нет ничего даже близкого к серьезным действиям по алайнменту.

Ограничения задавят конкуренцию

Это интересный топик, вот несколько мыслей по теме:

OpenAI сейчас явно опережает всех, и пауза позволит отстающим нагнать их. Но вот что интересно - если одна компания выиграет гонку, это приведет к монополии. И хотя я доверяю Сэму Альтману, монополии — это плохо. Компании часто меняются, и то, что они хорошие сегодня, не значит, что будут такими же завтра. Так что, круто, если никто не будет искуственно душить конкуренцию.

Но представьте, что несколько компаний станут равными в гонке... Будут ли они заботиться о безопасности, если это может стоить им победы? Например, безопасность была одной из причин, почему американцы не первыми отправили человека в космос. Победа СССР в космической гонке спорная, потому что американцы сделали много крутых вещей после первого человека в космосе. С ИИ такое не прокатит - тут победитель получает все, поэтому стимул игнорировать безопасность довольно высок. Так что, круто, если получится ограничить конкуренцию.

В общем, у меня тут два противоречащих друг другу вывода >_<

Это замедлит технический прогресс

Похоже, сами исследователи не против замедлиться. Сэм Альтман сказал, что GPT-4 была готова еще летом. Летом, блэт! Все это время (8-9 месяцев?) они улучшали ее с помощью RLHF (обратная связь от людей), чтобы пофиксить проблемные ответы. И вот такой стиль релиза мы видим от чувака, который один из главных апологетов идеи быстрого прототипирования и допиливания продуктов после запуска, а не до.

Вообще, Сэм очень скромен, когда говорит про алайнмент. Они стараются прислушиваться к критике, вникать в нее и искать куски с которыми согласны. Его стратегия для soft-alignment (это которая про проблемы ближайшего будущего, типа безработицы и дезинформации) - выпустить как можно раньше несовершенную систему и собирать фидбек для постепенного улучшения. Что касается hard-alignment (это про экзистенциальный риск), мы пока не знаем планов OpenAI.

Но, судя по всему, пока у OpenAI есть преимущество, они не против вкладываться в алайнмент ИИ и возможно не против попридержать коней.

Почему нельзя использовать более слабый и безопасный ИИ для алайнмента?

Здесь есть несколько фундаментальных проблем:

  1. Слабый ИИ вряд ли сможет предложить решения лучше, чем у экспертов людей.
  2. Для более сильного ИИ (но все еще не AGI) просто нет корректной обратной связи для оптимизации. Например, как ты можешь понять, есть ли у GPT-4 сознание или он просто отлично его имитирует?
  3. Сильному ИИ ты не можешь доверять из-за возможности обмана.

То есть, на том уровне, когда ты можешь получить реальную пользу от ИИ в этом направлении, такой ИИ уже сам по себе опасен.

AGI еще слишком далеко, так что беспокоиться рано

GPT-4, скорее всего, не AGI, но потенциально может принести много пользы. B непонятно, когда нейронки смогут достичь действительно опасного уровня. Скептически настроеных ученых тут существенное количество. Например, Ян ЛеКун (один из основателей глубокого обучения) не верит, что мы сможем создать AGI в обозримом будущем. Он даже не любит сам термин.

Большие языковые модели это важный шаг, но недостаточный для создания AGI. Нужно что-то еще, но что именно - непонятно. Андрей Карпатый (бывший директор Tesla AI) думает, что прорыв будет на стыке LLMs и агентности в реальном мире. Это про роботов, которые могут получать обратную связь, делая что-то и проверяя свои идеи. Например, Google уже начал в какой-то степени экспериментировать с этим: https://ai.googleblog.com/2023/02/google-research-2022-beyond-robotics.html

Или вот недавний Toolformer от Меты, учится использовать API другших сервисов для решения задач, которые кто то умеет решать лучше него, типа поиска или калькулятора.
https://github.com/conceptofmind/toolformer

Письмо плохо написано и требует невыполнимых вещей

Оно как "Мальчик, который кричит волки" - вызывает тревогу. Но не учитывает, насколько сложной координации политических интересов требует, не давая взамен жестких доказательств. Так что когда такие доказательсва появятся, у людей уже будет мнение, что AI alignment это тема для паникеров и искателей хайпа.

Письмо просит государственного вмешательства

Почему я должен доверять государственному/общественному регулированию больше, чем адекватности ИИ лабораторий? Последние больше знают по теме и открыто признают ее серьезность. В лабах работают невероятно умные люди и никто не хочет своими действиями уничтожить мир.
Государства же на хую вертели глобальное потепление, ядерное разоружение, войну в Украине, борьбу с коронавирусом и много чего еще. https://climate.nasa.gov/effects/
А для сравнения, частный Фонд Билла и Мелинды Гейтс практически полностью истребил полиомиелит, когда серьезно взялся за дело.

Письмо можно подписать

FLI подняли много шума, и лично для меня это стало поводом поподробнее разобраться в теме. Наверное, сейчас это одна из самых интересных вещей, о которых можно говорить и думать. Да и пожалуй вообще когда либо за всю историю, а не только сейчас.

Я подписал письмо больше из уважения к Максу Тегмарку и Виктории Краковне (она ресерчер по алайнменту в DeepMind). Мне понравилось, что такие огромные требования к миру четко показывают насколько будет плохо, если мы как человечество не вырастем в своей осознанности и адекватности. Это дерьмо нового уровня и оно разделит людей на до и после.

Связанные посты
31 комментарий 👇

Моральная паника уровня: DnD и фильмы ужасов -- сатанинский ритуал порабощающий детей.

  Развернуть 1 комментарий

@filinsrg, по факту там не If, а взвешенная сумма входов, а сверху наклеена странного вида функция...

Извините, пойду форточку открою.

  Развернуть 1 комментарий

Но в последнее время ИИ лабы втянулись в неконтролируемую гонку за создание все более мощных систем, которые никто не понимает и не может контролировать.

Эмм, нет. Особенно по части "контролировать".

Юдковский

Всё, дальше можно не читать. Юдковскому стоит прочитать определение "стохастического терроризма" и упырить мел. Про то, что не предлагал бомбить, ну допустим вот:

https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/

Цитирую: Track all GPUs sold. If intelligence says that a country outside the agreement is building a GPU cluster, be less scared of a shooting conflict between nations than of the moratorium being violated; be willing to destroy a rogue datacenter by airstrike.

  Развернуть 1 комментарий

@mighty_conrad, а есть примеры контроля? Я не супер шарю в теме, это почти цитата из письма.
Я думаю со временем, мы будем видеть все больше и больше примеров, как ребята из Гугла или Меты будут пытаться бороться за лидерство, наплевав на безопасность

  Развернуть 1 комментарий

@leeaao, все крупные модели по сути в контроле у 4 крупнейших провайдеров облачных сервисов (известные 3 + Baidu). Мне сложно говорить про хардварную часть и специфику работы, но сам факт необходимости хостить модель, притом на крайне специфичной архитектуре уже говорит о том, что вот что, а "стоп-кран" можно получить.

  Развернуть 1 комментарий

@mighty_conrad, ну например, Мета сейчас свою инфраструктуру строит.
И я помню кейс, когда случился какой-то сбой и ребята не могли целый день в свой же офис попасть. Я думаю за это время какой нибудь аналог gpt-10 успеет куда нибудь переехать

  Развернуть 1 комментарий

@leeaao, как и самое главное, куда.

  Развернуть 1 комментарий

@mighty_conrad, это хороший вопрос, я не знаю

  Развернуть 1 комментарий

@mighty_conrad, на умную бытовую технику)

  Развернуть 1 комментарий

@vladimirzhuraa, о, про это уже написано в Смерти.net. Там загруженные копии умерших людей сначала связывались с живыми родственниками через чатики, а потом соединили вместе свои воспоминания и начали качать права, вселяясь в тостеры и соковыжималки. Так что если табло в аэропорту начинало глитчить, это чья-то цифровая копия пыталась кому-то что-то сказать

  Развернуть 1 комментарий

@mighty_conrad, и чем предложение Ю принципиально отличается от ядерных соглашений? Будете нелегально разрабатывать ЯО, мы будем вас бомбить.

Он может и слишком радикален, но частью того что он пишет я всё-таки согласен.

  Развернуть 1 комментарий

@leeaao, тем, что это сравнение тёплого с красным. Письмо и призывы шиза - одностороннее требование, ядерное соглашение - обоюдное.

  Развернуть 1 комментарий

@mighty_conrad, письмо вроде призывает как раз к многостороннему соглашению, без которого действительно ничего не выйдет

  Развернуть 1 комментарий

@leeaao, например тем, что для создания ядерного оружия нужен доступ к радиоактивным материалам вроде плутония, а чтобы собственную llm сделать нужны только чипы и мощности, что скоро будет доступно на уровне среднего технаря Василия /эили по крайней мере весьма скромного размера компании.

  Развернуть 1 комментарий

@antuzinski, не доступно, и долго не будет доступным. Чтобы подержать у себя GPT3.5, по прикидкам нужно что-то типа DGX-1 (это 8 NVidia H100 в кластере), это 50 косарей. И это уже не топ, GPT4 в тысячи раз больше.

  Развернуть 1 комментарий

@antuzinski, ну так это же ещё хуже? Опасная технология с низким порогом входа и минимум надзора

  Развернуть 1 комментарий

@mighty_conrad, верю, что open source вроде викуны в течение года догонят gpt 4 по крайней мере на основных задачах.

Может быть я слишком оптимистичен и они долго останутся скорее proof of concept, конечно.
Но в любом случае уровень доступности и сопутствующих издержек несравнимы.

  Развернуть 1 комментарий

@leeaao, возможно, но идея бомбить из-за этого становится абсолютно несостоятельной.

  Развернуть 1 комментарий
Vladimir Zhura Security Research Team Lead 5 апреля 2023

Благодарю за проведенное исследование. Буду рад ознакомиться с продолжением.
Сам подробнее изучу тему "ARC eval".

  Развернуть 1 комментарий
Ilya Zverev Главный по картам 5 апреля 2023

По мне, это не столько паника, сколько отвлекающий манёвр. Нынешние LLM — это развитие инструментов аналитики данных: garbage in - garbage out, только на более высоком уровне. Вместо цифр делают тексты и картинки, ок. Но решения по ним принимают люди, кнопки тоже нажимают люди. LLM — всего лишь поисковики, инструменты. Бояться их — всё равно что бояться роботов из машиностроения после того клипа Chemical Brothers.

Реальные проблемы создали люди. Именно они врут, подменяя реальные картинки сгенерированными и уменьшая кредиты доверия в интернете. Тремя тезисами, которыми запугивают AI, уже давно руководствуются все крупные корпорации, включая технологические. Да, максимизация прибыли, цель оправдывает средства, вот это всё. Никакой AI не сможет сделать хуже того, что мы — и особенно руководитель корпораций, включая подписавшихся под письмом — уже делаем.

  Развернуть 1 комментарий

@IlyaZverev, ты думаешь более развитых нейронок не появится? Для этого нужно всего лишь дойти до кондиции, когда они смогут оптимизировать свой код. И тогда уже не факт, что решения принимать все еще будут люди.

GPT-4 уже умеет писать простейшие quine на питоне. Это код, который может писать код.

Никакой AI не сможет сделать хуже того, что мы — и особенно руководитель корпораций, включая подписавшихся под письмом — уже делаем

Ну, как предельный пример - он может решить, что атомы из которых сделаны наши тела можно использовать как нибудь пополезнее.

  Развернуть 1 комментарий

@leeaao, LLM научен на текстах и картинках из интернета. Чтобы стать умнее, ему нужно больше текста и картинок, а это довольно ограниченный ресурс. Чтобы себя улучшить, нужно знать, в какую сторону улучшать, а для этого нужно выйти за рамки собственной теории.

А чтобы модель сама принимала решения, у неё должны быть ручки. Нет ручек — нет и решений. Я не сомневаюсь, что в ближайшие пару лет кто-нибудь замкнёт LLM на себя, но из этого ничего, кроме лулзов, не получится. Слишком много переменных в сборках моделей, от компиляторов до девопса. И не забывай, что модель — это не код, а нейронные сети. Их питоном не улучшишь. Никто сейчас не знает, как их улучшать. Если ML научится это делать, то опять же, в таком случае я боюсь не его, а корпорации, которые будут этим заниматься.

  Развернуть 1 комментарий

@IlyaZverev,

PaLM-SayCan helps robots plan long-horizon tasks by combining an LLM with a robotics affordance model. With PaLM-SayCan, the robot acts as the language model's "hands and eyes," while the language model supplies high-level semantic knowledge about the task.

We’re also excited about the potential for LLMs to write code that can control robot actions. Code-writing approaches, like in “Robots That Write Their Own Code”, show promise in increasing the complexity of tasks robots can complete by autonomously generating new code that re-composes API calls, synthesizes new functions, and expresses feedback loops to assemble new behaviors at runtime.

We’ve also seen a scalable path to learning robust and generalizable robot behaviors by applying a transformer model architecture to robot learning.

  Развернуть 1 комментарий

  Развернуть 1 комментарий
Павел Комаровский Помогаю управлять капиталом 5 апреля 2023

Завтра выпускаем свой лонгрид на эту тему. =)

А пока вброшу:

  • Список основных статей и источников по теме AI alignment (собраны оригиналы на англ. и ссылки на переводы, где они имеются): https://docs.google.com/document/d/1r83tPGPDrBtrt2_ZTiDEdoxoBiefbuuOvhWxV-OHDzk/edit?usp=sharing
  • Вопрос к публике: если делать глубокое интервью на эту тему с топовым русскоязычным спецом - то кого звать? (Суцкевера не предлагать плз, unless у вас с ним одно рукопожатие и вы готовы соединить.)
  Развернуть 1 комментарий

@RationalAnswer, https://www.lesswrong.com/users/roman-leventov
Думаю если не он сам, то он точно кого то знает

  Развернуть 1 комментарий

@RationalAnswer, что насчет Миши Самина?

  Развернуть 1 комментарий

@RationalAnswer, Ваню Ямщикова

  Развернуть 1 комментарий

  Развернуть 1 комментарий
Павел Комаровский Помогаю управлять капиталом 6 апреля 2023

Выпустили наш с @vas3k и @stalkermustang лонгрид на тему AI alignment:

https://habr.com/ru/companies/ods/articles/727158/

Там есть Вселенский Клубничный Оптимизатор!

  Развернуть 1 комментарий

@RationalAnswer, тот случай когда мой пост устарел за день 🤣

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб