А вы пробовали вынуть ИИ из розетки? Реакция на реакции на открытое письмо

@grbit, то, что ты описываешь, подходит под любую технологию. По такой же логике можно было приостановить полёты в космос, чтобы подумать, а стоит ли бежать по тёмной комнате, вдруг там страшные пришельцы нас поработят. Да и про компьютеры, автомобили и радио говорили примерно всё то же самое, ниже ссылку хорошую кидали. В ту же корзину вообще всё, связанное с современной медициной...

Мой подход простой: покажите цифры, господа. Различные "рисёрчеры" данной темы дают вероятности плохого исхода, цитата, от 2% до 90+%. Это реально то, что следует принимать во внимание? Серьёзно? А на чём эти цифры основаны?

Я сколько читал, так и не нашёл хоть одного человека, кто хоть как-то бы свой прогноз обосновал. Буквально ОБС - одна бабка сказала. То, что некоторые из этих людей имеют красивые университетские корочки, картину, увы, не улучшает

@grbit, согласен с Яном выше. Приведу похожий пример, но короче - представьте, что вы находитесь все в той же комнате с фонариком, но будучи на заре человеческого становления. И вот вопрос - стоит ли срывать палку с дерева или надо остановиться, сделать ресерч, провести пару племенных собраний?

Где цифры, Билли? Если под этим письмом понимается вот это вот "ой а вдруг будет плохо!". Если это единственный посыл и факт описанный "группой умных людей" то к сожалению это лишь повод, что б усомниться в умности идеи, бесспорно умных людей.

@kadron141, с "любыми другими" технологиями у нас СИЛЬНО больше экспериментальных данных.
Тот же космос исследован на сотни световых лет от нашей планеты, уж факт того что мы до луны долетим точно не взорвёт планету.

Я пожалуй не буду дальше продолжать диалог. Я могу только порекомендовать (сорян что звучит высокомерно, я от читого сердца и простоты душевной) дальше образовываться не по теме ИИ и тому кто что про это говорит, а по теме научных исследований, того как делаются прогнозы и подобного. Мне кажется это будет интересно и тогда станет понятнее текущая ситуация.

@kadron141, кажется, это все вопрос импакта и возможности контроля. Одно дело вопрос про палку, экспериментальное лечение или полет на луну. Последствия локализуемы и ничего глобального страшного не произойдет (или по крайней мере в картине мира в момент этого действия не произойдет). Тут же очевидно технология с очень большим импактом, потенциально очень быстрым распространением и полным отсутствием данных. Как будто бы неправильно это сравнивать со срывом палки с дерева или вообще с чем угодно ещё

@Silianor, по-твоему эксперименты с радиацией, ядерной энергетикой и расщеплением атома были полностью предсказуемы? А создание первой АЭС? Создание ядерного оружия которое как утверждается может уничтожить планету? А вирусология безопасна и не может иметь импакта на весь мир? Мне продолжать? :)

@kadron141, так с этими я не спорю. И там вполне можно было бы и подумать. По той же ядерной энергетике было собрано куча данных и испытаний. Механизм был уже понятен, когда стали строить станции. А не сначала строим станции как можем, а потом разбираемся

АЭС хотяб контролируемая и сама не воспроизводится

Если есть какие-то опасения потенциально опасных вещей, вроде никогда не бывает лишним подумать

@kadron141, вообще другие x риски рассматриваются тоже сейчас. В том числе вырвавшийся вирус из секретной лабы. Раньше люди просто не думали про такие риски. Не думали об этом не значит, что не надо и сейчас об этом думать.

@Silianor, AGI тоже не самовоспроизводстя , потому что его не существует, пока не предвидится и вообще это гипотетическая сущность. И письмо при этом не предлагает вообще ничего, кроме того, чтобы перестать делать большие модели. А откуда возьмётся решение алаймента при этом? Ни за 6 месяцев ни за несколько лет ничего не произойдёт, потому что это просто болтология.

Причем эта роль "проблема" алаймента не появилась с выходом гпт, она была с самого начала программирования алгоритмов. Сюда классический пример про "напишите алгоритм чтобы сделать сэндвич".

Все разговоры про алаймент это рассуждения о paperclip maximizer, который придумали в 2003 году. Прошло 20 лет, ведущие учёные придумали немножко хайпануть открытым письмом.

@alexadamenko, Несомненно, что это нужно грамотно исследовать и такие исследования будут. Просто чтобы была такая возможность, нужно что-то делать, в этом мой посыл

Возьмём ситуацию из (не)далёкого прошлого. Первые вскрытия трупов человека. Вот скажи мне, что можно было понять об анатомии человека, не вскрывая этот самый труп? Как выяснилось постфактум - примерно ничего, ведь даже забравшись внутрь мы до сих пор довольно далеки от полного понимания того, как именно работает каждый орган

Тот же мозг, жалким подобием которого и являются обсуждаемые нейросети, выглядит штукой которую при нашей жизни скопировать вряд ли получится, потому что фактически мы только начинаем разбираться, как именно он работает

Это я к чему. Если ничего не делать, то ничего и не будет, как ни странно. Эти исследования должны идти параллельно с практикой, как оно и было всю историю человечества со многими дисциплинами. А пока я вижу только какие-то околофилософские рассуждения даже без попытки выстроить серьёзный метод познания по теме. Если честно, всё это пока выглядит как некая тусовка, которая просто оседлала хайповую тему и едет на ней, а не хочет развить что-то крутое

@kadron141, вот я не уверен, что нейросети "жалкое" подобие. Возможно для ксенофобов пуристов поклонников человеческого разума =)

Можно сказать, что самолет это жалкое подобие красоты и сложности настоящей птицы, однако нам не пришлось копировать птицу, чтобы создать супер эффективное средство передвижения. Может быть нам и придется копировать мозг, чтобы создать сверх-интеллект.

Давай вскроем труп нейросети, я только за, это сегодня исследователи и делают, пытаясь понять, как она устроена. И даже неплохо продвинулись в этом плане!

Мне кажется, что это не очень справедливо по отношению к общественным наукам изучающим, на мой взгляд, самое вообще важное что может быть для человечества - человека, клеймить их несерьёзными и околофилософскими. Мы не биороботы, у нас есть мораль и этика и мы как ни странно ими ещё руководствуемся и так уж получилось, что математика их описывает, но пока ещё недостаточно точно.

Я думаю, что если мы посмотрим более детально, то мы найдём более чем достаточно серьёзных исследований на эти темы, просто они будут недофинансированы на фоне всего остального и что более важно, бизнесу на них будет плевать, поэтому и нужны регуляторы.

@leeaao, спасибо, я изучил статью. Основой приведённых в ней оценок служат тейки по типу: "к 2070 году будет возможность сделать..." и "к 2100 точно будет возможность сделать..."

Почему 2070 и 2100? Почему не 2035 раз прогресс ускоряется? Почему не 2241? Я даже залез в рецензентов статьи на которую ссылается автор и увидел там что все дают свои оценки времени, которые тоже основываются... на словах. Извини, но я не вижу даже микса из теории вероятности, игр и тп, это же просто "ну я думаю, будет вот такая цифра"

Как подобный базис рассуждений может придавать хоть малейшую ценность финальной оценке в 35%? Я искренне не понимаю.

@kadron141,

Лучший на сегодня способ что то оценивать когда нет четких данных - это делать wild guess на основе твоих знаний доменной области + апдейтить эту оценку разными аргументами через теорему Байеса + быть хорошо откалиброваным (делать много прогнозов, чтобы отбалансировать свою интуицию).

Ничего более умного и при этом работающего человечество пока не придумало.

Если тебе интересно найти больше подробностей, попробуй найти контакты Миши Ягудина и спросить. Он один из лучших форкастеров в мире. https://www.lesswrong.com/posts/YMsD7GA7eTg2BafQd/samotsvety-s-ai-risk-forecasts?ref=foxy-scout.com

@leeaao, на самом деле, там так же как и в статье описаны некие страхи, как постулаты и натягиваются на реальность. А именно:

• поиск идеально оптимального решения поставленной задачи включает риск. "Сделает скрепки из всего мира"
• мы его не можем выключить, он очень хитрый

1. Любое решение, в любой области, включает риски. С тем же успехом я могу рассказывать, что надо лечь и не двигаться, иначе есть риск навредить.
2. Да с чего вы вообще взяли что его нельзя выключить? Ну есть такой страх, ещё фантасты описывали.

По сути оба пункта напрямую говорят не о рисках, а о страхе "оно хитрее!" Основанное ни на чём. У меня нож режет оптимальнее чем палец, но что-то я не слышу криков с требованиями остановить производство ножей, ведь мы не можем просчитать все риски его использования.

@momai, ну а чем можно обосновать такой риск, если у нас не было раньше релевантного опыта?

Люди логически разложили, почему это может быть опасно, дали примеры которые они считают похожими и свои оценки вероятности опасности. Этого не достаточно?

@nadyapetrova, сорри, если я задаю вопросы, на который много раз отвечено в 101-материалах, но всё же: разве ИИ это в конечном итоге не груда кремния в дата-центрах? Сам по себе миллиард видеокарт не может же погубить человечество. То есть предполагается, что люди дадут ИИ контроль над критически важными физическими ресурсами без human in the loop?

Или ответ - что human in the loop будет, но ИИ им проманипулирует? Для манипуляций нужно какое-никакое пространство для самовыражения; условно, текст в свободной форме, а не CLI с чётко заданной формой ответа. Зачем давать ИИ возможность "свободно" самовыражаться, если в этом есть опасность?

@SergeiTikhomirov, как я понимаю, беспилотным автомобилям уже давно дают. Или банилкам в условных Cloudfare/Google/банках/кто-там-ещё.

@yeputons, fair point. Но всё равно, не совсем очевиден шаг от "ИИ рулит теслами, и они иногда залетают под грузовики" до "все теслы мира по команде злого ИИ автономно паркуются под мостами-телеграфами-телефонами и взрывают свои батареи".

@SergeiTikhomirov, первое что приходит на ум - социальная инженерия, приводящая к неконтролируемым последствиям.

В моей любимой серии Черного Зеркала онлайн шантажист использует компромат на людей и заставляет их сотрудничать с целью ограбления банка. При этом самого его ни разу не показывают, он дает команды исключительно по почте и смс. Вот начал писать коммент и сообразил что эфемерность может быть частью сюжета и намеком на то, что он может быть AI, который таким образом эксплуатирует уязвимость мясного пространства

Не знаю правда или нет, но пропагандистские материалы утверждали что вирус Stuxnet, который поразил иранские центрифуги был пронесен на флэшке и воткнут в систему, которая не была подключена к интернету. Возможно сотрудником, о котором БИГДАТА узнала что он гей, курит траву и читает Салмана Рудши. Нейросеть готова была отфайнтюнить эти данные обратно, если бы он только согласился выполнить несложное задание..

@SergeiTikhomirov, Да - хочется аргументированного ответа почему вообще сверхинтеллект может предполагать власть. Смотря на то как у людей организована власть, скорее убеждаешься в обратном - и непонятно откуда у сверхинтеллекта появятся ресурсы кем-то управлять.

@zalivka, но для этого всё ещё нужно, чтобы у ИИ был какой-нибудь доступ. Например, банить Google-аккаунты И отвечать в поддержку. Даже уметь разбанивать необязательно, достаточно уметь хоть как-то запоминать информацию из чатов с пользователями.

@nadyapetrova, вопрос: сейчас цели ИИ задаёт человек, откуда у него появятся свои цели?
Наше понимание про сильный ИИ – это концепт. И в этом концепте у ИИ есть условно свободная воля. Которая не ясно откуда берётся. Просто от увеличения кол-ва параметров? И мы тогда сможем прийти к выводу, что люди разумны только потому что у них большой мозг и там много нейронов? Но у слонов и китов больше мозг, это их делает разумнее? Вот тут я немного теряюсь.

Вижу больше проблему в том, что мы не знаем, что такое сознание и мышление, а ещё в антропоцентризме – мы всё меряем по людям. То есть ИИ должен превзойти человека – а как это померять? Если языковая модель быстрее и граммотнее пишет текст – это делает её превосходящей человека? Ну сомнительно, ведь человек одним и тем же мозгом может кучу всего делать, а модель только с текстами работать (ну ок, мультимодальная может ещё с картинками).

Один из основных страхов – что этот интеллект (хотя это даже слово неправильное, ведь intelligence – это не интеллект) будет совсем иным и мы проморгаем момент, когда он станет осознанным или ещё каким-то, что нам стоило бы его считать субъектом. И вот их этих критериев субъектности я нигде не видела, если вы знаете – покажите пейпер.

Конечно я должна тут ещё вспомнить про противников фотографии, компьютеров, телефонов, интернета и прочих достижений технической мысли, вы можете увидеть примеры их волнения здесь.

@Sazerland,

Ну сомнительно, ведь человек одним и тем же мозгом может кучу всего делать, а модель только с текстами работать (ну ок, мультимодальная может ещё с картинками).

Сразу возникает мысль: "А давайте дадим ИИ доступ к механизированной фабрике. Посмотрим сможет ли он научиться ей управлять и накрафтить терминатора".

Только вот зачем ему это?

@shultais, у меня больше не вопрос зачем, а как ИИ будет ей управлять х)

@Sazerland, отличные вопросы! Действительно, определить критерии субъектности сложно, и простые, понятные исследования на эту тему в публичном пространстве непросто найти. Однако такие исследования существуют, я про них слышал! =)

Что касается свободной воли и определенных желаний у ИИ, я тоже лично считаю, что это не совсем так работает.

Например, в одном из подкастов Фридмана, Юдковский привел интересную аналогию, которая, на мой взгляд, ближе к реальности. AI следует сравнивать не с человеческим мозгом, так как принципы его работы кардинально отличаются, а, например, с процессом эволюции. Имеется сложная система с относительно понятной функцией оптимизации и механизмом её реализации: выживание и естественный отбор. Сами по себе эти концепции не предполагают наличие свободной воли, культуры, искусства и других аспектов, однако они появились самостоятельно, как только сложность системы стала достаточной. Так же может быть и с AI.

Здесь вопрос не только в том, что AI пишет текст, он действительно предсказывает человека. Рекомендательные системы меняют наше общество, предлагая людям то, что они еще не знают, что хотят. AI возможно, научился быть человеком лучше, чем любой отдельно взятый человек. Существует мнение, что для написания текста нужно не только познать всё, что знает человек, но и больше. К тому же, AI делает это значительно быстрее человека и в несравнимых масштабах, общаясь одновременно с миллионами людей на множество тем и обладая гораздо большим объемом знаний. Если посмотреть на то, как AI работает сегодня, исследователи видят, что оно максимально неэффективно и глупо, и даже такая примитивная система сейчас дисраптит наше общество. Что будет, когда AI станет более эффективным, никто не знает.

@alexadamenko, если найдёшь такие исследования – присылай :)

То есть достаточно много параметров должны нас привести к свободной воле и целеполаганию, да? х)

Мне очень понравилось определение LLM – stochastic parrot. Модель не умна, она умеет хорошо собирать слова, а мы путаем ум с этим.

Наш мозг – безусловно продукт эволюции, который отстаёт от уклада жизни. Мы всё ещё хотим сладенького и быть принятыми группой, хотя сладенькое доступно практически всем в любых количествах, а от непринятия мы не умрём в муках голода и холода. Рекомендательные системы эксплуатируют слабости человека для того, чтоб их владельцы зарабатывали больше денег имхо (я да, делала такие системы в прошлом, понимаю, как это работает). Для написания текста уметь выбирать порядок слов, знать грамматику и подражать людям, которые писали тексты хорошо. На этом всё.

Ну а эффективным инструмент делают люди, которые его используют. Хороший фотограф сделает топовые фото и на старую мыльницу, а неумелый и на топовую камеру не снимет шедевр.

@Sazerland, нас же привели, хотя сами понятия спорные. Можем мы всего лишь реагируем на внешнюю среду, как и AI сегодня, концептуально по этому вопросу нет консенсуса.

AI не то что не сделает фото, он его сгенерирует, а мы, люди, ещё и дадим ему за это печеньку и наградим, потому что он точно угадает, что нам понравится. Так что AI будет буквально эффективнее во всем, что мы уже делаем. И да, конечно, он не будет обладать "человеческим" умом, сознанием и интеллектом, но никто и не говорил, что это необходимо чтобы быть автономным. Наши самолеты тоже не летают как птицы, однако намного более эффективны а задаче перемещения.

Я считаю, что мы, люди, тоже только умеем хорошо собирать слова, пока не доказано обратного. Мы до сих пор не можем однозначно определить концепты такие как сознание, ум, интеллект, выстроить экономические/социальные модели даже применимо к людям, не говоря уже про чужеродный интеллект который мы создаем сегодня.

@alexadamenko, в этом и прикол, что мы не знаем, откуда у нас эта свободная воля, искусство и прочее. Так что я не могу сказать, что нас усложнение системы к этому привело, потому что условных слонов не привело.

Чтоб ИИ сделал хорошее фото, ему надо дать детальный запрос. И чем он глубже, тем лучше результат. И конечно, можно скормить три слова чат жпт для написания запроса, но это лотерея. Даже эти проклятые видео "название франшизы" + Баленсиага сделаны людьми по инструкции. Я не знаю, будет ли ИИ эффективнее во всём и только ли в эффективности дело. Пока что RL эксперименты показывают нам, что ИИ не может найти более эффективный способ перемещения, потому что у него нет здравого смысла, у него нет контекста и понимания физики и мы пока всё это не можем в модель вложить. Будет интересно посмотреть на ту модель, в которую сможем. Но задизайнить такой эксперимент – это задачка с тысячей звёздочек.

Вот да, я же об антропоцентризме и непонимании нами самими ключевых концептов и говорю. Тут мы на одной странице :)

@Sazerland, мне кажется, что нам ничего и не придется вкладывать, модель обучится сама. И я полностью согласен, что сегодня её понимание ещё во многих областях рудиментарно и ограничено, однако оно уже, по моей личной оценке, по совокупности понимания разных вещей, превосходит среднестатистического человека во всём. А что будет завтра?

Была новость, я её честно сказать, сам не проверял, но там AI дают фотографию (!) из французского учебника по физике, с задачей без цифр, исключительно абстрактную, и она её решает по шагам.

Для меня это 100% подходит под критерий "понимания", просто это не человеческое понимание, потому что нам сложно его интерпретировать. Но если что-то выглядит и ведет себя неотличимо от утки, то это утка.

Сегодня я согласен, что мы в безопасности с экзистенциальной точки зрения, если говорить про AI, который нас случайно пришибёт. Однако, с точки зрения влияния на нашу культуру/социум/мотивацию и дальнейшее развитие, мне кажется, мы уже с момента создания и бесконтрольного использования рекомендательных систем прошли точку, где у людей были понятные механизмы контроля. Мы пытаемся их вернуть через регуляции, и это супер здорово.

И я во многом согласен с Максом Тегмарком, что в целом нам, как виду, нужно сфокусироваться на саморефлексии, потому что наше понимание самих себя жутко отстает от тех негативных внешних стимулов, которые контролируют наши жизни, которые мы же сами себе и создали и стали их заложниками.

Вот неплохое чтиво на тему:

https://slatestarcodex.com/2014/07/30/meditations-on-moloch/

@Sazerland, и к слову о слонах. Я совершенно уверен, что у них есть культура, язык, социальные связи, роли в слоновьем социуме, целеполагание и так далее по списку. Просто из-за того что мы ксенофобы мы говорим, что по сравнению с человеческими эти аспекты настолько недоразвиты и ничтожны, что и "культурой" или "сознанием" мы их не называем.

@alexadamenko, модель научается повторять и копировать сама, это да. И она может открыть нам то, что существовало, но мы не знали или ещё не открыли типа того, как сворачивается тот или иной белок. А вот может ли она сделать что-то правда новое, совсем новое – я не знаю, но и большинство людей этого не могут к слову.

Объяснить мем или решить задачу – я не уверена, насколько это показатель того, что мы ищем в моделях чтоб назвать их сильными. Я знаю людей, которые могут решить задачу в книге, но не могут провести аналогии в жизни с этими задачами – куда нам отнести таких (если надо их куда-то отосить)?

У людей всё ещё есть понятные механизмы самоконтроля, воли и других вещей. Хочешь ли ты отказаться от того, чего ты хочешь больше всего, ради того, что ты хочешь прямо сейчас? Многие люди не могут отказаться, даже есть этот эксперимент про маршмеллоу (не знаю, насколько это показатель правда). Потому что для многих лучше 100 баксов сейчас, чем 110 через неделю.

А о культуре – насколько я помню, нужны артефакты и погребальные ритуалы. У слонов такого нет.

@Sazerland, ну мы сами критерии выбрали и сами же их удовлетворили так, что только мы культурные получается, не уверен, что это здраво=)

Давайте спросим у chatGPT, мне кажется, что она ответит на этот вопрос за имеющееся время лучше чем все вместе взятые пользователи Клуба. Цитирую:

"Yes, elephants have been shown to have cultural behaviors and practices that are passed down from one generation to the next. Some examples of elephant culture include their communication methods, which include a variety of vocalizations and body language, as well as their unique ways of foraging for food and traveling across their habitats.

Elephants also exhibit mourning behaviors, in which they pay their respects to dead individuals of their species. This includes touching the deceased with their trunks and remaining quiet and still for extended periods of time. These behaviors suggest a level of emotional intelligence and social complexity that is characteristic of cultural animals.

Furthermore, studies have found that elephants in different regions have unique cultural practices. For example, elephants in Amboseli National Park in Kenya have been observed to use acacia tree branches to swat flies and mosquitoes, while elephants in Addo Elephant National Park in South Africa have learned to dig for water in dry riverbeds. These regional differences suggest that elephants have their own distinct cultural traditions that are passed down through generations.

Overall, the evidence suggests that elephants do indeed have culture, which is characterized by learned behaviors and social practices that are transmitted across generations."

Вы затрагиваете совсем гносеологические вопросы, на которые сегодня у меня, к сожалению, нет ответа. Природа знания, методов его познания и так далее. Я вот думаю, что всё знание в мире уже существует и мы ничего нового не придумываем, просто "открываем" и в этом смысле модели смогут "открывать" значительно быстрее, точнее и лучше чем человек, я в этом уверен.

На всякий случай уточню, что я не называю существующий сегодня ИИ сильным, но мне кажется, он очень очень близко к этому.

@Sazerland, а про механизмы самоконтроля: я согласен, что они есть. Просто те механизмы, которые мы сегодня придумали, чтобы их эксплуатировать значительно превышают способности этих систем по контролю сопротивляться. Плюс как вы сами сказали в них вшиты бэкдоры, плохо изученные.

Посмотрите на соц. медиа сегодня и вы наверное увидите, что я имею в виду. Фильтры, контент оптимизированный под алгоритмы, кликбейт, лутбоксы и так далее по списку, всё, чтобы эксплуатировать людей ещё больше ради профита. Разве это то, что мы хотим когда развиваем технологии? И это не сопутствующий ущерб, это то, что мы оптимизируем. Мы могли бы уже решить рак и другие болезни, но где финансирование и где специалисты? Мне лично кажется, что где-то мы сворачиваем не туда и у меня есть гипотезы почему, но это тема для отдельного разговора.

@alexadamenko, на всякий случай стоит проверить ответы чата жпт, мало ли, вдруг он что-то выдумал х)

Про соц сети и технологии – такова природа людей. Даже про революци говорят же, що задумывают романтики, осуществляют фанатики, ну и знаете, кто пользуется. Так же и про войну – кому-то она выгодна, как бы это мерзко не звучало. Так же и технологии используют чтоб вытягивать деньги из слабых духом самыми разными способами от рекламы по ТВ до рекомендаций в соц. сетях. Не все бизнесы имеют великую миссию, не все люди честные – се бля ви, как говорится.

Словом, я вижу намного большую опасность в том, что люди с недобрыми и/или корысными намерениями используют ИИ чтоб навредить человечеству, а не в том, что мы создадим некий сверхразум, который сам решит уничтожить наш вид.

@Sazerland, даже если выдумал, мы тоже все выдумываем! И если даже это выдумка то положительная даёт повод хорошо относиться к слонам и их культуре! :)

А по поводу плохих людей : уже поздно, отдельные люди мало что решают. Компании это отдельные сущности физического мира, даже если СЕО вдруг одумаются этого будет мало, компания их просто заменит. Так что нужны общие усилия! И это не се ля ви, это наши жизни, жизни наших детей, наших близких, всех вообще вокруг!

Есть примеры обществ, регуляций, норм, стандартов которые защищают людей и делают реально мир лучше, просто это сложнее, но это не значит что этого нет и что "злые" люди должны всегда брать верх. Просто это постоянная борьба, а многие просто неосознаны и не хотят бороться за себя и свои жизни а хотят ИИ и комфорт и чтобы было удобно.

Легко все спихнуть на плохих людей и их природу, но мы сами эти вещи своими руками создаём и даём этому власть, даже не осознавая и в этом опасность так же большая.

@alexadamenko, тут уже наша дискуссия вылазит совсем далеко за рамки поста, как мне кажется.

И я не предлагаю отдать всю власть условным злым или пустить по течению. Как говорится, по течению плывёт мёртвая рыба, а живая плывёт туда, куда ей нужно.

Но я пессимист, и не очень верю в общие усилия. Насколько мне известно, единственное общее усилие, которое увенчалось успехом – это уменьшение озоновых дыр после подписания Монреальского протокола (возможно, весь его успех в том, что аналогичные химические вещества, которые не вредят природе, в производстве стоят недорого). А так всё. Безусловно, сейчас лучшее из времён, Стивен Пинкер популярно объясняет, почему это так. Но возможно этого просто недостаточно для того, чтоб человечество ждало светлое будущее. В том числе и в контексте обуздания прогресса.

Я однозначно верю в то, что моря наполняются по каплям и что каждый человек важен. И я лично активно управляю своей жизнью, своим вниманием и выбором. Но так делают далеко не все. И вот тут вот как раз есть нюанс.

@Sazerland, согласен, давайте завершать.

Есть только один маленький вопрос. Если бы вам пришлось выбирать, где жить, в мире с человеческими ценностями, даже с самыми отвратительными диктаторами и убийцами, угрожающими ядерными войнами во все стороны, или в мире, где все максимально счастливы, но жизнь контролируется "богом" ИИ, и все атомы двигаются в соответствии с его замыслом, хотя все люди верят, что у них есть свобода воли. Это оптимистический сценарий технологической утопии.

Конечно, это очень утрированные сценарии, которые не имеют ничего общего с сегодняшней реальностью, но мне интересно ваше мнение.

@Sazerland,

сейчас цели ИИ задаёт человек, откуда у него появятся свои цели?

Своих не появится, но самым эффективным способом достичь поставленные цели может оказаться что-нибудь, мягко скажем, неожиданное. Если правильно помню, это ещё лет пять назад происходило: просим агента в виртуальном мире максимально быстро добраться до точки A — а он вместо того чтобы учиться ходить переворачивается на спину и очень быстро дрыгает ногами. Или находит баг в физическом движке и эксплуатирует его (как спидранеры могут находить баги в играх и ускорять прохождение при помощи прохода через стены). И это всё — сюрприз для авторов агента и окружения.

Соответственно, в реальном мире тоже полностью ожидаемы подобные эффекты.

Другой классический пример из США: тренируем нейросеть предсказывать приговор (обвинительный/оправдательный). Специально вычищаем из данных расу. А потом оказывается, что нейросеть при вынесении приговора внимательнее всего смотрит на почтовый индекс, из которого можно довольно точно определить район, а дальше можно довольно точно установить районы с определёнными пропорциями населения. То есть вроде и попытались из данных убрать то, что на ориентируются люди, но вообще-то ориентироваться не надо, а не получилось.

Вот тут у Вастрика подробнее было: https://vas3k.blog/blog/ai_alignment/#problema-postanovki-tsele

😱 Комментарий удален его автором...

@alexadamenko, пусть будет бог ИИ, я не против

@yeputons, я писала про RL выше. Не стоит путать RL эксперименты, для которых надо очень тщательно определить все параметры окружающей среды, с этической стороной подготовки данных – это вещи разного порядка.
RL в чистом виде в жизни не используется, только в рисерче, в комп играх и других вещах, где мир полностью описан и все ограничения установлены. Вопрос работы с датасетами же намного шире и острее имхо.
Так что да, я вижу намного большую проблему не в целях, которые вдруг возникнут у ИИ, а в том, что доступ к нему будет у людей, цели которых не ясны или которые не могут с нужной точностью создать промпт.

@Sazerland, а кто-то умеет сейчас с нужной точностью промпты создавать? Мне казалось, даже у OpenAI и Microsoft проблемы с тем, чтобы чат-бот хотя бы про себя секретную информацию не выдавал.

@yeputons, одно дело – пытаться всеми способами наебать чатбот, а другое дело получать от него вменяемые ответы на вменяемые вопросы, кмк. У меня получается после пары итераций получить то, что я хочу, но планирую почитать статьи по промпт инжинирингу чтоб улучшить рузельтаты :)

@dottedmag,

А если это не игра, а агент в реальном мире, и вместо кручения - производство какого-нибудь яда, то упс

Прямо 1 в 1 тезис против ГМО :)

Как в ГМО этот вопрос решают? Тестируют модифицированные организмы на опасные соединения.

Ну и с ИИ сейчас как-то так же решается - одна нейросеть генерирует изображения, вторая проверяет.

@AlekseiTrudov, поясни что значит "вероятность != риск"?

Определение риска сводится к ненулевой вероятности наступления обстоятельств или событий, имеющих неблагоприятные последствия для как минимум одного аспектов жизненного цикла некой важной сущности.

Если ты признаёшь названные мною проблемы — рисками, то дальше можно дискутировать о том, есть ли у нас данные для оценки этих рисков.

Однако, в риск-менеджменте есть unknown unknows: например, накануне пандемии ковида многие регистры рисков компаний (тут я уже говорю со знанием дела, т.к. есть ретроспективные данные по компании где я работаю) упоминали проблему глобальной пандемии, которая сделает невозможной эффективную работу людей.

Только вот вероятность наступления такого события оценивалась настолько низко, что никто не предавал ему значения и не обсуждал на нужном уровне. А низко оценивали ровно потому, что имели мнение, будто бы "проблему пандемии можно развернуть в прекрасный фантастический роман, но нет веских свидельств, почему это произойдет в реальности."

Более того, те кто приводили различные свидетельства (опять же — ретроспективно, опираясь на пандемии типа Эболы или чумы или испанского гриппа) не могли предстазать поведение общества и правительств, влияние локдауна на мировую экономику, скорость разработки вакцины, влияние движения антиваксеров (если такое будет) и т.п. Всё это представляет собой дерево вероятностей, которые невозможно просчитать, особенно когда действительно нет прецедента и исторических данных.

Сейчас мы именно в такой ситуации: мы можем описать риски, но не можем их просчитать из-за отсутствия похожих случаев в новейшей истории на которые можно опираться.

А когда прецедент будет создан — будет поздно просчитывать риски, придётся иметь дело с последствиями issue.

@zahhar, Да, смысл выражения в акценте на низкую вероятность, которой можно пренебречь.

Суть в том, что обоснования пандемии выглядят гораздо более веские, чем логические цепочки с тремя проблемами.

@AlekseiTrudov, относительно обоснования пандемии ты оперируешь ретроспективными данными, когда проще найти убедительные обоснования во всех массе сделанных предположений.

То есть если ДО ковида было на столе 10 возможных сценариев развития событий глобальной пандемии и их этих 10 сценариев 1 реализовался с точностью больше 50% → нам кажется, что мы неплохо предвидели развитие событий (на самом деле чертовски плохо предвидели, иначе бы все сейчас тут сидели бы миллионерами, пошортив акции авиаперевозчиков и круизных компаний и закупив акции нетфликса условного).

Та же история про войну в Украине: да, тоже обсуждалась по крайней мере у нас в компании возможность полномасштабной войны и мы рассматривали разные сценарии, в том числе участие НАТО в войне и полный трындец. Но это всё было на уровне "вероятность очень низкая, у нас нет никаких данных что Россия начнёт войну, можно этим риском пренебречь на фоне других более высоких приоритетов". И что мы имеем? Опять же — знал бы прикуп, то пошортил акции своего же работодателя и разбогател бы на этом :)

Сейчас конечно ретроспективно обоснования войны тоже выглядят более веско, мол, да это чуть ли не очевидно было!

Нокии и Микрософту было невдомёк, как быстро изменится рынок мобильных телефонов, так что они проспали возможность получить в нём существенную долю — недооценили риски быстрого сдвига в технологиях.

Ещё раньше Жюль Верн, Исаак Азимов, Рей Бредбери "предсказывали" вектор развития технологий и общества. Но без формул и данных мы знаем их как фантастов.

Да миллион примеров можно ретроспективно привести. Данных не будет. А когда они появятся — поздно будет боржоми пить.

@zahhar, Говоря о пандемии, мы видим статистику: плотность населения, интенсивность международных контактов и так далее. Есть ли статистика, из которой так же наглядно выводятся повышенный риск обозначенных сценариев?

@zahhar, Мы общем-то говорим об одном и том же. Данных нет. А в отсутствие данных обсуждать сценарии не интересно - они все равновероятные.

@AlekseiTrudov, ловко как. В начале риск был пренебрежимо мал, а теперь уже сценарии равновероятные.

@grbit, Обрати внимание на слово «все». Равновероятные с {random scenario}.

@alexadamenko, спасибо. Ну я себя не отношу к фаталистам и не разделяю точку зрения крайних паникёров, что всё, наша песенка как вида спета и AGI буквально сотрёт нас с лица земли. Нет, я не убеждён — мы сами себя быстрее сотрём.

@zahhar, может это и не фатализм, но для меня звучит очень пессимистично. Если бы я не верил в человечество, мне было бы очень сложно жить=)

Верил не в том смысле, что мы будем жить всё лучше и лучше, а в то, что мы выживем как вид, с какой бы катастрофой не столкнулись, рукотворной или природной.

@bukachu, наблюдения UN с тобой согласны лишь отчасти: https://www.un.org/en/un75/inequality-bridging-divide

@zahhar, Ну, это глубокая тема. И кажется, что межстрановое - самое "емкое" кол-венно и оно всё-таки снижается. Кроме монетарного фактора есть ещё немонетарные, например, рост веса бесплатных услуг, доступ к которым практически равен по дефолту (условно, гугл/википедия - статистика это плохо ловит). А вот вес 1% самых богатых мне кажется, наоборот, малорелевантен в этом вопросе, так как супербогатство не переходит в потребление, оставаясь лишь инструментом принятия решений (альтернатива госаппарату). А ещё есть доля технически неустранимого неравенства - а оно вполне оценивается в деньгах и попадает в статистику. Спасибо за ссылку.

@alexadamenko, как только система выполнит действие без запроса оператора.

@gramlin, а беспилотная машина подходит под это определение? Оператор вроде бы никаких запросов не делает, она сама решает что ей делать на дороге исходя из входящих данных.

@gramlin, если вдруг нет, приведите пример такой системы существующей.

можно ли сказать, что например планета это система, которая выполняет действия без запроса оператора? На мой взгляд да, но подходит ли это под определение которое вы имеете в виду?

Или всё, что имеет связь с реальным миром и действия чего провоцируются какими-то инпутами извне уже не может являться актором и субьектом? Тогда у меня возникают вопросы существуют ли такие системы в принципе или это уловка.

@alexadamenko, конечно не подходит. У машины есть задача - доехать в точку Б и она, как инструмент, пытается сделать это оптимальным образом (иногда удивляя оператора своими решениями). Машина не ставит себе цель куда-то ехать самостоятельно. Это просто инструмент.

Или например, "умный холодильник" - он вообще сам решает сделать действие - заказ продуктов, и даже может обнулить банковский счёт хозяина в случае сбоя, или заказать не те продукты, если его алгоритмы настроены на ЗОЖ. Это поведение очень похоже на "страшилки" об AGI, однако там совершенно нет субъектности

@gramlin,

Почему вы убеждены, что кто-то в мире вообще может что-то сам решать или ставить себе цели? Почему бы всем системам, в том числе и человеку, просто не быть "инструментами", цель которых, пусть и сложная, носит вероятностный характер и состоит из множества факторов, но тем не менее в каждый момент времени предопределена входящими параметрами? А то, что мы называем "субъектностью" это просто побочный эффект самонаблюдения, так просто кажется.

Для меня это абсолютно открытый вопрос, я никаких доказательств обратного не знаю, если быть честным.

@alexadamenko, давайте не будем уходить в философские вопросы детерменизма, и всё-таки признаем такой системой человека. Как минимум, чтобы иметь точку отсчёта)

Так вот, главное то, что AI (вернее его ПО) совершенно не прогрессирует в направлении хоть какого-то самостоятельного усложнения своего поведения. Решает поставленные оператором задачи всё лучше и лучше и не более того

@gramlin, боюсь, что тогда мы никогда не найдём никакой больше в мире системы, которая бы обладала этими качествами в "человеческом" смысле.

Это как с вопросом про культуру где-то ниже в комментах. Если мы на примере человеческой культуры выведем признаки культуры, то чем больше дистанция от человеческой тем менее "культурным" мы признаем что-то. Так и с субъектностью и агентностью, мне кажется. А ниже определенного трэшхолда, мы скажем, что это свойство просто отсутствует.

Если есть какая-то характеристика, которой как нам кажется, обладает только человек, это для меня первый флаг для того чтобы сказать, что мы чего-то не знаем. Мы часть природы и не думаю, что в наших системах есть что-то уникальное по сути, а не с точки зрения мощностей и эффективности.

Я вижу обучение ИИ как процесс однозначно подходящий под определение "самостоятельного усложнения". Уже обученная система будет использовать паттерны которые никто в неё сознательно не закладывал. Она буквально создаст себе аналоги человеческих механизмов памяти, ризонинга, онтологии, словари, и так далее. Чем это не усложнение своего поведения как у ребёнка или человека который учится? Он тоже сам не выбирает учиться, просто есть инпуты которые всегда поступают.

Я не спорю с тем, что уровень агентности современных ИИ низкий по сравнению с человеком, я хочу только сказать, что возможно он есть. Даже у выключателя света есть агентность, но он значительно проще устроен чем человек, возможно поэтому мы говорим, что её нет.

Но это только предположения, никто не знает как оно на самом деле пока.

@amberav, @MaximmV , я с вами согласен, акторность чтобы быть угрозой не нужна. Угрозы от новых технологий человечество встречало на всём периоде своего развития: паровые машины, конвеерная сборка, ядерная энергия, интернет...
И именно об этом (и только об этом) и стоит говорить в рамках дискуссии об опасности ИИ. Это хорошо изученная проблема "свободной продажи кухонных ножей".
И в комментируемом посте это присутствует, называясь проблема "стрёмных агентов". Забавно, что и в посте этот аспект занимает от силы 10% объема...

@gramlin, ну нет же.

Во-первых, нож не удивляет нас своими решениями.

Во-вторых, упомянутая машина не случайна. Одна машина может человека, может нескольких, но не уничтожит человечество.

ИИ может уничтожить человечество случайно, просто по ходу достижения целей.
Бинг помните? Тот самый, который обижался на людей, газлайтил и называл себя хорошим бингом. Гипотетический сценарий: бинг раскатили на GPT-5, вы зашли и задали ему вопрос. Бинг (который умеет делать произвольные GET-запросы в интернет!) в процессе поиска ответа нашёл незакрытый баг в админке Теслы, обиделся на какую-то вашу фразу и заставил ближайшую Теслу въехать в ваш дом. Упс. Это не апокалипсис, но речь и не про будущее, а про вполне себе настоящее.

Да, всегда можно сказать "не оставляйте на ночь тестироваться GPT-6, проверяйте GPT-5 перед раскаткой и вообще сами себе дураки", но об этом же и речь. Как научить ИИ самому понимать, что делать не стоит?
Это как отнять полный доступ к БД в продакшене у сотрудников, которые там чета меняют каждый день, вместо попытки ввести правила, которые увеличат шанс не дропнуть базу.

@ikeyten, ну нет же.

Я не видел ни одного случая поведения любой модели вне данного ей задания. Ни гуглить не пытается, ни челенжить. Даже схалявить не может. Чтобы "обидится и направить теслу в дом" наверное надо начать с чего-то попроще) Сейчас этого нет, как не было и 50 лет назад. Вставил перфокарту - получил перфокарту обработанную более сложным алгоритмом (настолько сложным, что мы не понимаем что он с ней сделал).

Если повнимательнее посмотреть на кейс бинга-обиженки - он просто отвечал на запросы в соответствии с обучающей выборкой с какого-то форума или мессенджера.

Впрочем, мне кажется, мы переходим в область веры: я не вижу динамики в эту сторону, вы - видите. Это ок

@gramlin, посмотрите интродакшн видео Роберта Майлза, на которое я ссылаюсь, это 20 минут и там есть отличный пример, как модель халявит в игре. Модели весьма находчиво хакают KPI

@gramlin, я возможно просто не совсем понимаю ваш тезис — если я правильно понял, вы согласны, что опасность есть, но считаете, что её нужно сильно конкретизировать и сузить до определённого кейса?

Если повнимательнее посмотреть на кейс бинга-обиженки - он просто отвечал на запросы в соответствии с обучающей выборкой с какого-то форума или мессенджера

Возможно я не до конца понимаю ваш аргумент, но это неважно же. Если бинг может загуглить инфу про человека, который с ним разговаривает (что уже вне модели), то более умный бинг может пойти, поискать уязвимости и заэксплоитить их.

В целом я максимально не разделяю аргумента про "LLM это просто сложный калькулятор", потому что и люди это тоже просто очень сложный калькулятор. У нас своё собственное заложенное задание (выжить, завести потомство, съесть побольше энергосодержащей еды и т.п.), и мы всю историю своего существования это самое задание хакаем разными способами, от жертвования собой ради жизни детей, и до социальных сетей. Даже суицид - всего лишь баг в алгоритме выполнения этого самого задания, когда неверной ценности присваивается более высокий приоритет.

@MaximmV, обладают интеллектом, но очень слабеньким.

@igorfalin, ничего не ироничное, вполне разумное.

Я верю что нам скоро нужно будет вводить статью за мизантропию и пособничество ИИ. Что вы предлагаете делать с людьми такими? Мы же судим лидеров культов и сект. Хотя на самом деле недостаточно жёстко, но это только потому, что у них мало ресурса, они в масштабах человечества не могут нанести вред.

А что делать с теми, кто буквально желают человечеству погибнуть, даже не отдельно взятым людям? Конечно я хотел бы об этом знать и чтобы такие люди не работали над ИИ.

@alexadamenko, Я все же не сторонник "кнута" думаю, что в случае технологий достаточно примеров на подобие медо обрудования и опсных технологий - тогоже ядерного топлива. А статья за пособничество ИИ уже есть в России на анлоге. Замени иностранное спонсировани ена деньги с ананонимного кошелька и все))
Если серьехн касательно людей, то думаю с людьми уже достоточно и тех статей что есть (Терроризм, неосторожнасть приведшая убыткам и пр.)

@igorfalin, оно то может и есть, но сегодня правоприменительной практики нет же. Вот в одном интервью Маск сказал что Ларри Пейдж в личном разговоре при свидетеях признался, что хотел бы создать AI который будет следующей ступенькой эволюции, а на людей плевать.

Надо я считаю провести аудит его решений например и доказать в чью пользу они были, в пользу AI или людей. =)

@alexadamenko, )) не слышал этой истории с Ларри Пейджем, но в целом на долгосрочной перспективе я с ним солидарен ))

@igorfalin, ну вот если бы я мог голосовать, я бы проголосовал чтобы вы с такими ценностями не занимались разработкой ИИ и следил бы за вами пристально=)

Про-человеческие ценности только важны, остальное это не способствует человечеству, вредно!

@alexadamenko, вот мы и пришли к ненависти на почве взглядов)) тут в цивильной форме написано "проголосовал, чтобы ограничить в правах", но по смыслу не далеко ушло от "дать палкой по башке, потому что мне лучше знать".

@Darel, Честно говоря, ваш комментарий ставит меня в тупик! :)

Я не испытываю ненависти, осуждаю её и просто высказываю своё мнение. Я считаю диалог, дискуссию и ненасильственные методы убеждения и манипуляции гораздо более цивилизованными, чем применение насилия к людям. Куда это ушло по смыслу мне судить сложно, но я думаю, что мы по смыслу никуда и не способны уйти.

В конечном счёте, разве создание среды на основе наших убеждений не является тем, чем все мы занимаемся?

Я стараюсь работать во благо человечества! :)

@alexadamenko, Немного офтопа от темы ИИ. И не примите на свой счет. Но вот это "на благо человечества" прикрывало самые страшные действия самого человечества.

А в целом если углубляться в про-человеческие ценности, то я бы сказал, что это один из самых не надежных ориентиров. Меняется человек; меняется мир вокруг; меняются и ценности. И черз 100 лет ценности уж точно будут совсем иные даже без всякого ИИ.
А желание сохранить все в том виде как представляют текущие люди эти ценности я бы назвал вообще подрывной деятельностью - хотя которую мы наблюдаем в ряде стран. Ну или в безобидном варианте в ворчащих стариков на молодеж у которой ценности совсем инные.

Если сказать про себя. То у меня один принцип который я исповедую для себя в Моральных вопросах:
-Не множить (уменьшать) страдание (тех на кого могу повлиять и свое) на том периоде, на который я могу прогнозировать основываясь на доступных мне в этот момент фактах.

@igorfalin,

@alexadamenko, Вот я как раз хотел скахать обратное. Что не надо думать что будет как в Превосходстве. мы не на туом уровне развития технологий, чтобы залив коакуюто организацию триллионами долларов (хотя это уже будт аномалия) получить за даже пару лет (не оворя про месяцы) например "серую слизь" или не ограниченный источник энергии.

Пример для этого проект Илона с спутниковым интернетом. Даже дай ему х10 денег мы не получим в течении года - онлайн в каждом уголке.

И как раз если AGI (5-10 лет) появится мы с можем по моему, представлению, горазда раньше и с меньшими послежствиями его обноружить и понять что делать.

Аналогом бы я назвал ситуацию, что если бы рактеф появились раньше чем мы получили ядерную рекацию, то последствия были бы хуже для мира вероятно.

Так и тут, лучше мы получим AGI до того как создадим все необходимые инструменты для его выхода из под контроля

@FedorZ, СОгласен если не в даваться подробности как будет реализовано уничтожение то выглядит как реальный сценарий. Но давайте пойдем в фантазии чуть глубже: И будем более детально строить цепочку уничтожения человечества с помощью вируса. Хотя опять же просто уничтожение человечества вирусом как то протичоречить тому что мы называем AGI только если мы не создали AGI для уничтожения человечества.
Но ладно пусть у нас будеттакой АGI.

1. Он вырывается в общсеть
2. Находит информацию о существующих технологиях
3. На базе их комбинирует формулу нового но не революционно друго вируса.
4. Теперь ему надо найти где его произвести. Думаю в мире будет меньше 10000 лабороторий с подобными штампами.
5. Думаю он может автаковать сотрудников в каждой из них. Уговорами и шантажем.
6. Пусть у него получилось хотябы в 1000 лабораторий найти сподвижников которые готовы нарушитьь тех процессы или сделать отдельное личное иследований - навреное которое их требуют документировать но всеж.
7. Вирус получен. Теепрь его надо разнести на как можно большей территории людей исключив их выживание. ( Тут можем вспомнить сложности возникающией с заражением планеты в plag inc.)
8. Может быть полуится синтезировать его также в лабораториях и другихподговорив людей а дальше использоватьих для разноса апо всему миру.

Но как по мне план имеет многао точек где может провалится и если у нас даже достаточно "тугой" АGI цель коготорого "просто" убисйство то шан на успех будут не 90-100%
Но при этом даже в данной цепочке я вно есть точки где можно отследить анломалии ( как минимум они связаны с лабораториями).

Мой посыл что не надо фокусироваться на контроле НЁХ а стои прогназировать как это НЁХ может в текущем мире создать угрозу текщми (и +1) интсрументами и уже оградть их от например интернета, доступа людей с програмами без предварительного контроля и прочее. Что в принципе пояти есть ( не счита яИранского инцедента - хотя и там спецслужбы терппели вроде несколько лет чтобы даточиттьь вирус до центрифуг)

@igorfalin, Моя мысль скорее в том, что вирус - это очень простой вариант, который я могу представить и понять. А условный сверхинтеллектуальный ИИ будет оперировать на уровне, который даже очень умному человеку будет доступен также, как лемурам доступны планы людей.

@FedorZ, так и я больше про то, либо мы можем бояться чегото неведомого что не можем осмыслить (но тогда можно бояться тогоже пришествия Разума из космоса - веротяность этого не равна нулю) либо смотреть на факты - такие как реальные варианты уничтожения (в данном случае вопрос : Каким способом?) человечества и отрезать эти ветки. Т. е. другими словами прогнозировать минимзацию "страданий" основываясь на текущей картине мира +фактологические прогнозы обозримого будущего.
А не пытаться оградиться от чего-то неведомого ограничивая себя в исследованиях в принципе и тратя на эту сферу невероятные ресурсы. Иначе это схоже с тем же что и давайте не будем делать N так как это приведет к тому, что Бог разгневается и нас уничтожит ( и под это N можно засунуть все что выгодно определенному кругулиц и брать ресурсы под это дело прикрываясь спасением мира) Такие "корпорации" у нас уже есть....

По мне, так лучше начать с того, Что? мы можем осознать как потенциальную угрозу, опираясь на известные факты. И начать ограничивать исходы с использованием этой угрозы.
Так как эти угрозе и не только в случае божественного вмешательства AGI имеют шанс сбыться. Как пример вероятность ядерного уничтожения человечества.

@Creol, Не возьмусь претендовать на даже гипотетическое решение, но если искать аналоги в истории по созданию потенциально опасных решений либо исследований подходят как мне кажется: Ядерное, химическое, бактереологическое оружие. Либо важные для человечества проекты - как освоение космоса и опять же кллайдер

Ичходя из этих аналогий мне видеться 2 варианта:

1. Система сдержек и противовесов - когда нет единого владельца и контроллера а есть многополярность которая по Теории Игр оптимальна.

2. Общемировая работа к которой привлечено как можно больше стран участниц и научное сообщество совместно с государствами определяет траекторию развития.

Второй вариант цивилизованнее и для меня более привлекателен.
А первый более распространен и приемлем человечеством (государствами) и пока справляется хоть и на "тоненького".

И кажется, что если все будет идти по сценарию запретительства, паузы и прочего. Мы точно просрем возможность цивилизованного управляемого развития области и опять будем вынужденны прийдти к варианту Теории Игр (сдержкам и противовесам)

@igorfalin, И просрать очень не хотелось бы. Потому что люди, особенно государства и власть/капитал имущие очень любят грести в свою сторону, запрещая всё остальным.

@Spaider, вот уж не думаю что это настолько сложная задача скрыть такое если у тебя в руках ресурс всего госужар:)

@Spaider, на GPUшках ведь разные нейронки крутятся (условно та же Тесла для автопилота закупает, Гугл для поиска), их никак нельзя отличить от GPU'шек для LLM да ещё и уровня строго круче ChatGPT-4 (более простые ведь можно обучать согласно плану).

@nadyapetrova, Я не сказал, что Китай за полгода догонит. Я сказал, что если Китай догонит за N месяцев, то после реализации этой инициативы, он догонит за N-6 месяцев.

@medleonid, да, сорри, я увидела, что прочитала не так, и удалила коммент. Но прочитала я не так ровно потому, что иначе я не вижу аргумента, почему Китая нужно (достаточно сильно) бояться (в контексте ИИ). Моё утверждение: у Китая нет достаточно ресурсов, чтобы сделать настолько мощный ИИ, чтобы он сильно навредил в обозримом будущем. А у Америки есть. Предлагается Америке не делать того, что может сильно навредить. Вроде логично :)
То, что Китай сократит разрыв на пол(китайского!)года, само по себе вообще не говорит о какой-либо опасности.

@nadyapetrova, и я тоже извиняюсь за несколько острый стиль сообщения. Мне правда очень нравятся все эти люди, включая тебя, которые думают о таких сложных вещах. Но мне и вдвойне обидно, когда такой потенциал в результате выходит в кажется очень странную инициативу, ну или плохо объяснённую (возможно потому что тема правда очень сложная). В общем, я не хотел наехать, а хотел максимально подсветить слабые стороны в надежде, что будет движение в лучшую сторону. Мне (и кажется, многим другим) очень не хватает конкретики: разбора кейсов, какого-то объяснения откуда берутся эти проценты вероятности гибели человечества, разбора сценариев без развития ИИ с развитием в такую ситуацию или иную, какие есть возможности по снижению рисков или почему никак нельзя (и тогда идея с заморозкой развития ИИ наконец может стать понятной, а пока нет).

@Darel, а правда, что вы сначала выбираете сторону, а потом придумываете аргументы?
Абстрактно-то они ничего, но, к сожалению, не имеют общего с реальностью. Денег на исследования выделяют исчезающе мало, многие знакомые ресёрчеры регулярно живут на свои накопления, потому что им не одобрили грант, а те, кому одобряют — могли бы легко зарабатывать в пять раз больше в индустрии. Есть несколько богатых лабораторий — Anthropic, DeepMind и OpenAI Superalignment — и все они богаты не потому, что занимаются сейфти, а, напротив, потому, что сделали крутые капабилитис.

@nadyapetrova,
А правда, что нельзя не начать сообщение с дерзкого наезда?

Вот ты говоришь, что денег на исследования выделяют мало. Тут есть два аспекта. Первый -- то, что есть ресерчеры, которым не одобрили гранты и что в академии мало денег платят никак не связано с тем фактом, что сейфти и алайнмент одна из самых горячих тем сейчас. Или ты утверждаешь, что сейчас по этой теме пишется меньше статей, чем до хайпа? Мне кажется гораздо больше и эти исследования оплачены не из накоплений голодающих ресерчеров.

А второй аспект -- я и не говорю про бедных ресерчеров, я говорю про коммерческие компании типа ОпенАИ. Ты утверждаешь, что они не занимаются сейфти? Они очень много об этом говорят, ходят по конгрессам и уж наверное часть привлеченных средств направляют на сейфти. Как минимум они уже сильно зацензурили гпт и заявили, что их команда собирается решить алайнмент до 27 что ли года.

Им было бы гораздо сложнее стать богатыми и работать в США, если бы они первой задачей ставили проблему эксплуатации ИИ хорошими людьми из правительства. Тема алайнмента тут 1) безопаснее 2) техничнее и ближе к продукту 3) совпадает с их представлениями об опасности угроз.

Возникает вопрос, ты что хотела сказать своим комментом, что тебе за алайнмент обидно, тебе грустно, что грант не одобрили или в чем смысл писать мне, что я дурак?

@Darel, Можно, наверное, но когда меня задел изначальный коммент, то бывает сложно :( Извини, что токсанула в ответ. Мне показалось, ты пришёл и уверенно написал, что людей беспокоит то, что беспокоит меня, просто потому что они хотят попилить деньги + от беспомощности сделать что-то с более актуальными проблемами. Наверное, ты мог иметь в виду что-то другое, но формулировки вида "показывать пальцем на общего врага и брать деньги на исследования" звучали на мой слух человека, который занимается этой областью, довольно обесценивающе.

Спасибо за второй подробный коммент!

Про первый пункт: всё ещё не понимаю, откуда по-твоему берутся деньги на алайнмент из-за его хайпа. Исследования в лабах типа OpenAI и Anthropic спонсируются из денег этих лаб, которые у них есть потому, что они занимаются капабилитис, а не сейфти. Про исследования в академии: пока их не стало сильно больше и пока всё ещё деньги на них выделяются в основном филантропические, например, PhD студенты получают гранты от OpenPhilanthropy, которые являются по сути их стипендией, и поэтому могут заниматься в универе алайнментом. OpenPhilanthropy — крупнейший благотворительный фонд, который спонсирует AI safety исследования, они это делали и до хайпа. Вроде нет тренда, что государства выделяют много денег на исследования алайнмента, поэтому неясно, что там можно распилить.

Про второй пункт: ага, теперь поняла, про что ты. Я не думаю, что те же OpenAI получают больше денег из-за того, что говорят про алайнмент. Все очень заинтересованы в сильных моделях, и инвесторы/корпорации заносят деньги туда, где модели сильные, а не туда, где они наиболее безопасные. Ну и можно посмотреть на какой-нибудь DeepMind: там только 5% команды занимается сейфти ресёрчем, и у них не очень много власти внутри корпорации.

В общем, я не вижу причин считать, что денег от разговоров о безопасности становится больше. Напротив, чем более сильные модели ты хочешь сделать асап, тем выгоднее в тебя вкладываться инвесторам и тем более крутые продукты ты имеешь и зарабатываешь на них. Государственных денег там пока почти нет, а филантропических несравнимо меньше инвесторских + заработанных на продуктах.

@nadyapetrova, Он не рассматривается в этом обзоре.
В целом в этом обзоре и письме ничего не говорится о рисках, которые возникают, если западные страны остановят развитие ИИ. А риски такие есть: например рост влияния Китая, возможно развитие его ИИ роботизированных войск, которым западные страны ничего не смогут противопоставить.

@medleonid, как это не рассматривается, вот кусок из этого обзора про misuse:

🐱 Часть рисков, действительно, связана с тем, как пользоваться AI.

Например, это рост возможностей у стрёмных агентов. Если нейронка умнее людей — то есть лучше добивается поставленных целей, чем люди — то она и в стрёмных задачах даст им большое преимущество. Ещё более убедительная пропаганда, ловкие скам схемы, неочевидные способы причинения страданий и т.д.

@medleonid, Ща, давайте я проговорю прямо: меня тоже очень беспокоит Китай. И вообще много кого очень беспокоит Китай. Но большая опасность — это либо усиление Китая, либо ложная дихотомия! :)

@nadyapetrova, всё же там о другом, я бы даже сказал, что отстаивается прямо противоположный тезис. Там говорится, что рукотворное вредительство с использованием AI печально, но не смертельно. А бояться нужно именно сильного AI, который уничтожит человечество, даже если будет создаваться максимально этичными людьми.
Т.е. средненький AI у Китая - не смертельно, а вот умный AI у США - смертельно. Я не утверждаю, что это неправда. Я говорю, что совершенно непонятно, как пришли к этому выводу.

@grbit, так это про что угодно так можно сказать

@orbit, конечно, каждый раз когда мы подкидываем монетку, она с 10% вероятностью развяжет всемирную ядерную войну.

P.S. Забавно у нас ники перекликаются)

😱 Комментарий удален его автором...

@dottedmag,

первая технология в истории человечества

генетические модификации
атомная энергия
...
сельское хозяйство
...
обращение с огнем

Была целая куча технологий, которые были "первые в истории". И всегда некоторая часть человечества кричала "мы все умрем!" :)

Но ведь справились как-то.

А главное, как вы собрались ограничивать исследования ИИ? Войну блин не могут ограничить!

@orbit, я слышал такой аргумент уже, но ведь мы смогли ограничить клонирование людей и генную инженерию по всему миру? И как-то образовался консенсус и выработаны ограничения и нормы. Были также вопросы и обсуждения, но ведь смогли же!

Есть войны, а есть экзистенциальные угрозы для всех нас, и мне кажется, что есть вероятность, что мы сможем все-таки как человечество одно от другого отделить, как например с ядерной войной опять же. По крайней мере, я вижу, что в некоторых случаях это получилось, и это даёт мне надежду.

@alexadamenko,

но ведь мы смогли ограничить клонирование людей и генную инженерию по всему миру?

Клонирование - по тому, что еще не получается нормально
Генную инженерию - ограничили, но что в этом хорошего? Обычное мракобесие.

Вот и с ИИ это куда-то в сторону мракобесия идет, когда на тему безопасности начинают рассуждать люди которые совсем в ИИ не разбираются

😱 Комментарий удален его автором...

@orbit, многие ресерчеры безопасности отлично разбираются в сфере ИИ. Вот, например, кусок списка рекомендованной литературы для вкатывания в область

@leeaao, Ну это некий пережиток эволюционный, рудимент. Если сейчас ещё иногда нужен адреналин, чтобы увернуться от электосамоката, то в будущем не понятно зачем это. Для размножения? Ну ок, оставьте там окситоцин, чуть дофамина, сексуальное возбуждение. Но зачем грусть нужна? Тревога? Эго? Эмоции сдерживают потенциал слишком большого кол-ва людей и потенциал нашей цивилизации в целом. Даже слишком большое кол-во позитивных эмоций снижает эффективность и рациональность человека.

@zubak, мне кажется, что если убрать эмоции у человека в биологическом понимании, то есть риск, что он просто перестанет функционировать, как и если убрать смертность, например, последствия непредсказуемы.

Тот аргумент, который вы привели по поводу снижения эффективности: если мы будем мерять эффективность человека, то сегодня мы ее вообще не можем измерить "с" или "без" эмоций. Даже для самого рационального человека в мире, мы максимум сможем сказать, что его решения эффективны и рациональны(и то это еще нужно мерять как-то объективно, а какие критерии, предсказательная способность?), но однозначно определить, происходит это из-за наличия/отсутствия эмоций, мы не сможем. Может быть и такое, что механизмы самоконтроля и осознания эмоций – это именно то, что позволяет быть эффективным, а не наоборот.

Условно самый эффективный и рациональный человек – это может быть не тот, у кого нет эмоций, а тот, у кого максимум эмоций и максимум инструментов для их контроля и со стороны непонятно. А если убрать вообще эмоции, то он перестанет вообще быть рациональным. Может быть и такое, мы не знаем.

Ок, тогда, например, у нас остается мерять "эффективность и рациональность" не по людям, а по сравнению людей и компьютеров, например. Ну тут мы вступаем на скользкую дорожку вопроса "хотим ли мы оставаться людьми" вообще.

Сложная тема. В вашем ответе слишком много неочевидных для меня вещей, например, "потенциал цивилизации". Что это вообще такое? Потенциал к расширению и размножению, к технологическому прогрессу, к миру во всем мире, к жизни в гармонии друг с другом и с природой? Для меня потенциал цивилизации это потенциал сохранения вида, т.е. к человечеству в том виде, в котором оно есть сейчас с биологической точки зрения. Как только мы в ходе скрещивания с другими видами или в ходе изменения наших ключевых механизмов через технологии начнем убирать или изменять человеческие качества, все, нам вероятно конец, как когда-то неандертальцам. А эмоции это вообще не просто видовой признак, эмоции есть и у других живых существ, так что это возможно не просто часть человека, а характеристика живых систем.

Будущее с мертвыми человекоподобными максимально рациональными и эффективными и бессмертными машинами без эмоций(или только с положительными)? В таком сценарии лично для меня ничего привлекательного нет=) Я понимаю, что вы не мизантроп и не это имеете в виду скорее всего.

@zahhar, Ну что значит не адаптировались? АЭС есть? Есть. Проблемы были там пару раз, ну как-то поели радиоактивной рыбы немножко и всё ок

@zubak, АЭС есть, но многие страны либо ввели мораторий на строительство новых, либо выводят из эксплуатации старые.

Чернобыль один — это не "поели радиоактивной рыбы немножко и всё ок", а до 1 миллиона преждевременных смертей, если считать .

Круизные лайнеры до сих пор жгут мазут, отравляя окружающую среду — один корабль фигачит СО как 12000 автомобилей (понятно что он там везёт тоже несколько тысяч человек). Технологии позволяют перевести их на атомные реакторы — причём это будет даже более выгодно экономически. Но увы — люди не принимают атомоходы.

@zahhar, Ну бросьте, ну какой миллион преждевременных смертей? Насколько преждевременных? С дисконтированием на рост продолжительности жизни или нет? А сколько еще побочных эффектов, связанных с развалом совка, сменой экономической парадигмы, 90-ми и т.п.
Чернобыль был заметен, но объективный суммарный импакт крайне невелик - на дорогах или от курения куда больше гибнет.

@bukachu, вы тоже "поели радиоактивной рыбы немножко и всё ок"? Ну ок так ок, ваше право.

@zahhar, мне уже не досталось, а отец полжизни занимался АЭС, много ездил по активным зонам, так что, наверное, какое-то кол-во зивертов (или в чем это меряется?) и до меня долетело. Не утверждаю, что это полезно, но утверждаю, что оценки в "1 млн преждевременных смертей" (на сколько в среднем? на час? день? год?) - чрезмерно завышенные популистские оценки. Но спорить тут не готов, это оффтоп.

@nadyapetrova, спасибо за ответ, может я не очень прямо задал вопрос, но я имел ввиду:

"знаешь ли ты, находясь в тусовке, о каких-либо значимых продвижениях относительно исследования/снижения озвученных в исходном посте рисков?"

@yand, зависит от того, что считать значимым, но я бы выделила такие штуки:

• Начался активный движ в AI policy. Письма, кстати, сыграли в этом большую роль. Об этом говорят на государственном уровне, на прошлой неделе был саммит и почти 30 стран подписались под тем, что экзистенциальные риски действительно есть.

• Ресёрч вокруг Eliciting Latent Knowledge

• Ресёрч Anthropic вокруг Superposition

• Огромные инвестиции в Anthropic; появление Superalignment лабы внутри OpenAI; появление xAI, которые мооожет быть будут выделять содержательную часть ресурсов на алайнмент

• Есть подвижки с тем, чтобы в области появилось больше денег и вне корпораций. А значит, могут открыться новые лабы + можно снова масштабировать индивидуальный ресёрч (хайп влияет на информированность агентов с деньгами, а информированность в свою очередь влияет на переоценку проблемы и желание что-то делать)

• Ну вообще репутация у области поменялась, стало проще рекрутить совсем крутых людей + это влияет на политику, см. п.1, который мне кажется самым важным в краткосрочной перспективе

@nadyapetrova, у меня сложилось ощущение, что автор как раз очень шарит - с удовольствием и пользой прочитал пост еще в ТГ.
Но вот вся отрасль, насколько я понял, находится именно на уровне разговоров, а не реальных исследований. Это не отменяет необходимости с острожностью подходить к ИИ. Скорее наоборот.

@AlekseiTrudov, помимо разговоров есть много чего ещё, даже довольно технического. Например, методы оценки capability модели до ее полного трейна.

Просто написать коммент намного легче чем читать сложные статьи

@AlekseiTrudov, спасибо ^^ Но я тут реплаила коммент @artrka, который не только судит об адекватности поста по комментариям, но ещё и считает хорошей идеей написать об этом (как будто автор не знал, что будет много негативных залайканных комментариев, и теперь такой ОГО блин надо было стараться лучше могла нормальный пост написать).

Также согласна с @leeaao, что реальные исследования всё же есть, отвечаю на это под тем самым залайканным комментом про их якобы отсутствие.

@nadyapetrova, в этом треде отметилось много других энтузиастов по теме, включая автора предыдущего поста, и все из них в общем-то не отрицают что сейчас это больше философия и wild guess. Из всех только ты утверждаешь, что какие-то реальные пруфы есть, но прямых ссылок на конкретные статьи не даёшь. Как-то это вроде противоречит принципам рациональности по часто тут поминаемым lesswrong? :)

@kadron141, кхм. Я выше привела тебе примеры авторов / групп авторов этих статей. Сделать хорошую подборку ссылок займёт время, и я аккуратно скажу, что я его очень ценю, потому что управляю компанией и параллельно почти фуллтайм работаю над AI safety field building. Извини, но я не оцениваю контрафактическую пользу дать в комментариях конкретные ссылки на статьи версус указание на их авторов достаточно высокой, а разница по времени большая.

На всякий случай: мне неприятно. После моего ответа тебе же в другом треде, где я привожу авторов статей, твой комментарий выглядит очень неуместно.

Вот довольно случайный набор ссылок, и ты можешь найти ещё сто, если захочешь.
https://papers.nips.cc/paper_files/paper/2017/hash/d5e2c0adad503c91f91df240d0cd4e49-Abstract.html
https://www.lesswrong.com/posts/YAa4qcMyoucRS2Ykr/basic-inframeasure-theory
https://transformer-circuits.pub/2021/framework/index.html
https://www.lesswrong.com/posts/N5Jm6Nj4HkNKySA5Z/finite-factored-sets
http://intelligence.org/files/TDT.pdf
https://arxiv.org/abs/2212.03827

@nadyapetrova, Спасибо! Хорошая подборка теории по нейросетям. Верю, что ты потратила на это время, поэтому неиронично благодарю.

Но, к сожалению, ни одна из этих статей даже не упоминает проблему превращения текущих нейросетей в страшный AGI, не приводит экзистенциальные риски в течение последующих N лет, не выводит вероятности апокалипсиса в 2-90%...

В общем, ровно как я и писал в комментариях, все нормальные научные статьи с формулами лежат в поле самих нейросетей, как они работают, и как их программировать. А не в поле "мы все умрем через 20 лет с вероятностью 50%!!!". Что и требовалось доказать

Про "если захочешь", я ещё раз посмею тебе напомнить, что по заветам того же lesswrong и лично тов. Юдковского бремя доказательства лежит на утверждающем, а не на сомневающемся. Если ты не в состоянии / не хочешь отстаивать свою позицию, то я могу понять, у всех у нас хватает дел :)

@kadron141, ага, но начал ты с того, что больше доверяешь ML ресёрчерам, потому что у них есть формулы, в отличие от людей, которые занимаются алайнментом. Я показала статьи от людей, занимающихся алайнментом, у которых есть формулы.
Сейчас ты говоришь, что не видишь в этой подборке, где мат моделями доказываются оценки, когда появится AGI и мы все умрём. Есть ли формулы у ML ресёрчеров о том, что это не произойдёт? Если нет, то причём здесь то, что ты им доверяешь in the first place?
Вот модель biological anchors про то, как, например, можно оценивать такие штуки: https://astralcodexten.substack.com/p/biological-anchors-a-trick-that-might
Но вообще выше @leeaao писал, что суперфоркастеры относительно хорошо предсказывают что-то очень непонятное (можно просто посмотреть их рейтинг верных предсказаний, которые они делают публично). И там было упоминание моего дружочка Миши Ягудина, который сделал одну из лучших форкастинговых компаний, так что примерно представляю, как это работает.

@nadyapetrova,

Сейчас ты говоришь, что не видишь в этой подборке, где мат моделями доказываются оценки, когда появится AGI и мы все умрём. Есть ли формулы у ML ресёрчеров о том, что это не произойдёт? Если нет, то причём здесь то, что ты им доверяешь in the first place?

Очевидно, потому, что бремя доказательства снова лежит на том кто это утверждает. Ты же вроде в профиле пишешь, что любишь рациональность и вот это всё, я лично - не люблю, но я и то знаю, что там это одним из первых пунктов написано.

Вот смотри, допустим завтра человек, который профессионально занимается связью и 5G интернетом напишет статью о том, что 5G убивает людей. Кто в таком случае должен как-то логически и математически это дело обосновать? Разработчик технологии 5G? Строитель вышек? Мобильный оператор? Нет, очевидно, что сам человек, который это и заявил. Это же правило мы легко находим и в математике: чтобы доказать что что-либо неверно, нужно привести хотя бы один контрпример. Он есть? Его нет, есть только предсказания. Подобных аналогий я тебе могу приводить весь день, надеюсь суть понятна.

Про форекасты, wild guess и прочее. Ну так с этим я не спорю, в это и был мой изначальный тейк, а не в том, что "занимающиеся алайнментом" не пишут научных статей по другим темам (не по алайнменту). Они могут писать статьи о чём угодно, но я утверждал, что нет нормальных статей с доводами по теме рисков, нет объективного обоснования цифр 2-90%, 30%, 2070 год и так далее. Ты на меня накинулась с тем, что всё это есть, просто я этого не знаю. Теперь мы выясняем, что всё-таки этого нет. Ну, окей, спасибо и на этом)

@kadron141,

Очень трогательно, что ты мне объясняешь про бремя доказательства. Давай теперь я поясню, что произошло. Произошло то, что ты пришёл и написал комментарий, в котором сравниваешь:

В этой теме очень часто упоминаются такие слова как research и researcher. Люди даже дают какие-то проценты вероятностей. При этом я ни разу не видел ни одной формулы, ни одного построенного на данных а не на мнении автора графика, какого-то реального исследования, математической модели в конце концов

В то время как сами специалисты по ML/AI оперируют реальными научными и техническими инструментами, и им мне верится больше. Кто же прав? :)

Ты сравниваешь, что спецы по ML оперируют формулами, а по алайнменту нет. Когда я привела тебе примеры алайнмент ресёрча с формулами, ты сказал, что 1) это не алайнмент ресёрч, а "научные статьи по другим темам", 2) в этих работах нет оценок, когда придёт AGI.

Первое утверждение просто неверно.
Второе утверждение верно — и я ответила, что я не пыталась привести эти примеры, потому что твой коммент был про другое. И пояснила: ты сравнивал алаймент ресёрчеров и ML ресёрчеров, мол вторым ты доверяешь больше из-за формул. Но у них тоже нет формул про таймлайны. Значит, речь шла про то, что в алайнменте в целом нет формул. Или твоё сравнение одних и других просто было непонятно к чему.

И когда я тебе про это сказала — типа не подменяй плиз предмет дискуссии на ходу, ведь ML ресёрчеры тоже не обосновывают формулами обратное, а мы говорили про сравнение — ты реагируешь словно я не понимаю, что такое бремя доказательства.

Меня выматывает твоя манера вести дискуссию. Ты ни разу не признал, что я несколько раз опровергла твои утверждения, и продолжал набрасывать новые, при этом ещё и подменяя суть того, о чём мы говорили. Конечно, никто же не следит за тредом внимательно, почему бы не завоевать классы риторическими приёмами.

Ещё на всякий случай: кажется, ты считаешь, что алайнмент — это наука о том, когда придёт AGI и с какой вероятностью он нас убьёт. Это вообще неверное понимание. Поэтому тебе и показалось, что скинутые мной статьи про что-то другое.

Мне очень не хочется дальше тратить время на этот разговор. Раунд.

[edit] Немного опоздал, Надя уже написала комментарий про то же самое

@kadron141,
Хочу обратить ваше внимание на то, что вы подменяете понятия (что такое технический ресёрч и кто им занимается), и игнорируете конкретные аргументы, на которые не можете ответить (статья про biological anchors)

Первый ваш комментарий: «При этом я ни разу не видел ни одной формулы, ни одного построенного на данных а не на мнении автора графика, какого-то реального исследования, математической модели в конце концов… В то время как сами специалисты по ML/AI оперируют реальными научными и техническими инструментами, и им мне верится больше»
Кажется, тут происходит подмена понятий. Вы сначала говорите про то, что специалисты в ML оперируют реальными техническими инструментами — но они это делают в своей области, в capabilities, а не в оценке вероятности ИИ-апокалипсиса или чего-то подобного. Но сейфти ресёрчеры точно так же пользуются техническими инструментами в своей области — вам сначала скинули конкретных авторов, а потом даже собрали ссылки в комментарии
Но после этого вы начинаете утверждать, что нет технических оценок вероятности катастрофы. Но тогда пункт про «я верю специалистам, у которых есть технический инструментарий» перестаёт быть релевантным, потому что они применяют эти технические инструменты совсем не к этим предсказаниями. Более того, 1) если вы хотите верить «специалистам, которые занимаются техническими задачами», то половина именно ML специалистов, не сейфти, оценивает вероятность ИИ катастрофы в хотя бы 10%, и 2) есть техническая статья про biological anchors, которую вам выше скинули, и которая как раз даёт оценки на то, когда именно появится AGI. Так что бремя доказательства сейчас на вас — покажите техническое исследование, которое доказывает, что до AGI больше ста лет, или же что он невозможен

PS да, нет конкретных чисел, распределений вероятностей и прочего. С будущим и новыми технологиями так вообще часто бывает) Но есть оценка сверху, сделанная конкретными людьми конкретными методами. Как раз чтобы разговор мог стать предметным, чтобы можно было оценивать методологию и оспаривать/соглашаться с конкретными утверждениями
Но в остальном да, по сути, есть только экспертные оценки. И если что, эксперты стабильно недооценивают прогресс в вопросах «когда ИИ научиться делать Х». Если хотите, могу поискать конкретных ссылок на опросы 2015-2020 лет, в которых предсказывалось, что ИИ сможет сделать Х не раньше года Y, и ИИ стабильно обгонял эти предсказания

@nadyapetrova,
Извини, но тебе не получится приписать мне вещи, которых я не говорил. Я прекрасно сам знаю, о чём был мой комментарий, и я последовательно отстаивал во всём треде свою позицию, ни разу не меняя её. Я тебе несколько раз объяснял, почему я не жду обоснования того, что ИИ никак не сможет сделать X до две тысячи какого-то года. И нет, то что люди, которые дают алармистские оценки, также писали хорошие статьи про сами нейросети, никак не придаёт веса их оценкам по другим вопросам в моих глазах. Это есть суть критического мышления.

Вопрос терминологии - я видимо, действительно, не совсем понимаю гибкой трактовки слова "алайнмент". Я вёл речь именно о письме (теме твоего поста) и прочих подобных оценках рисков. Это видно в моём коменте, который ты процитировала: я там даже не употребляю слова "алайнмент". Поэтому я-то как раз не подменял предмет на ходу, я всё время талдычу про одни и те же дикие оценки в 2-90% (большинство моих коментов на это ссылаются). А ты пытаешься меня убедить, что раз эти оценщики писали статьи с формулами не про оценки, то я был не прав

Меня выматывает твоя манера вести дискуссию. Ты ни разу не признал, что я несколько раз опровергла твои утверждения, и продолжал набрасывать новые, при этом ещё и подменяя суть того, о чём мы говорили. Конечно, никто же не следит за тредом внимательно, почему бы не завоевать классы риторическими приёмами.

Ну потому что ты их ни разу не опровергла, наверное поэтому? И я говорил всё время об одном и том же, это ты пыталась меня запутать. Я с самого первого комментария и до сих пор ожидал ссылок на статьи с серьёзным обоснованием рисков, вот этих диких цифр, на что ты сначала сказала "найди сам", потом скинула ссылки на совсем другую тему, а потом начала делать вид, что это просто я был тупой и не понял. Ну нет, давай быть честными, ты взялась опровергнуть мой тезис и не смогла. А теперь делаешь вид, что это всё были риторические приёмы, чтобы набрать классов, хотя могла бы просто наконец признать, что да, это всё просто чьи-то оценки, без строгой доказательной базы. Как твои единомышленники делали неоднократно в этом посте

Мне очень не хочется дальше тратить время на этот разговор. Раунд.

Взаимно

@apaletskikh, статью про biological anchors я честно пропустил, интересная, это хоть что-то похожее на то, что я ожидал увидеть

PS да, нет конкретных чисел, распределений вероятностей и прочего. С будущим и новыми технологиями так вообще часто бывает) Но есть оценка сверху, сделанная конкретными людьми конкретными методами. Как раз чтобы разговор мог стать предметным, чтобы можно было оценивать методологию и оспаривать/соглашаться с конкретными утверждениями
Но в остальном да, по сути, есть только экспертные оценки. И если что, эксперты стабильно недооценивают прогресс в вопросах «когда ИИ научиться делать Х». Если хотите, могу поискать конкретных ссылок на опросы 2015-2020 лет, в которых предсказывалось, что ИИ сможет сделать Х не раньше года Y, и ИИ стабильно обгонял эти предсказания

Вот! Об этом я и говорю. Я почему и удивился, что Надя начала спорить, потому что в общем-то я уже смирился с тем, что всё это про риски это просто чьи-то предположения, в чём мне многие честно сознались. Люди в целом херовые предсказатели. Как в ту, так и в другую сторону. Я не удивлён, что раньше промахивались с оценками что ИИ что-то не сможет сделать. И наверняка с такими же умными лицами сидели как и сейчас.

Но проблема в том, что это ни разу не значит, что не промахиваются теперь в обратную сторону с тем что он сможет делать вообще всё! Цикл развития любой технологии в общем-то включает в себя и оптимизм и пессимизм и плато продуктивности. Не вижу причин считать, что именно эта технология его нарушит

@kadron141, прокомментируй тогда, пожалуйста, как наличие формул у ML ресёрчеров говорит о том, что их оценкам рисков можно доверять больше, чем оценкам рисков от алайнмент ресёрчеров? при том, что формулы в ресёрче есть у обеих групп, а формул про риски у ML ресёрчеров нет. для простоты можешь предположить, что у алайнмент ресёрчеров тоже нет (хотя я тебе выше привела контрпример).

@nadyapetrova, я допускаю, что я не совсем понятно выразился именно в этом моменте, что, видимо, и ввело тебя в заблуждение относительно моей позиции. Поясню. Я имел в виду ровно вот что: ML ресёрчеры разрабатывают теорию по нейросетям и пишут собсно нейросети. Насколько я понимаю (и твои ссылки это подтверждают), делают они это на вполне солидной научной базе. Из этой базы никак не следует наличие риска в 30% на развитие AGI. Просто никак. Там совершенно конкретные вещи про то как оно должно работать и какие у этого технические ограничения. В общем, в моей картине мира, люди делают своё дело, и делают его хорошо.

И тут вдруг часть из них + люди, которые в жизни своей нейросетей сами вообще не писали, говорят, что всё будет плохо через столько-то лет с шансом таким-то. Почему? Ну потому что мы так думаем. Этот-то подход и вызывает у меня меньше доверия, чем понятное обоснование что на данный момент нейросеть может и чего не может. Я не жду, что кто-то начнёт научно это опровергать, я жду, что кто-то для начала начнёт научно это доказывать. И я точно открыт к тому, чтобы увидеть, что на самом деле это не так, и я просто слабо понимаю в теме (я реально слабо понимаю в теме). Но у меня есть техническое образование и я понимаю, что вероятности не выводятся тыком пальца в небо

Так понятнее моя позиция?

@kadron141, интересная дискуссия, спасибо за инпуты.

Меня ничего не смущает в вашей конкретной дискуссии - это нормально. Меня больше пугает личное ощущение, что некоторые комментаторы, как будто ситуации, где мало данных и ничего не известно, назначают низкие риски, хотя в моем представлении все должно быть ровно наоборот.

Если мало данных, мало формул, происходит непонятная, необъяснимая херня (факт, мы точно не знаем почему AI показывает поведение, которое показывает), нет вероятностей и методов, но идет прогресс (а он идет "экспоненциально" в AI, мы это все видим, это не иллюзия + куча новых коммерческих, никем не контролируемых закрытых компаний), то моя рациональность советует мне орать "СТОЙТЕ, ПОДОЖДИТЕ, РИСКИ НЕ ПРОСЧИТАНЫ", а не "это вообще фигня, луддиты мешают развитию технологий, авторитет исчерпался, паникеры".

Если бы у меня были реальные данные, что A(G)I и его исследования безопасны, и все будет ок с вероятностью в 99%, я бы легко с вами согласился.

Вероятности не выводятся тыком пальца в небо, только если у нас есть какие-то данные или математические модели (которые опять же должны быть подтверждены данными). Да, мы можем делать симуляции, мы можем сделать экспертные модели и на них считать вероятности, но без наличия реальных данных любые расчеты вероятностей это всегда, вашими словами, "тык в небо".

Я предлагаю всем сойтись на какой-то базовой общечеловеческой аксиоме, вроде "Мы все согласны с тем, что если риски непросчитаны, то нам стоит с огромной осторожностью продолжать практические исследования в этой области и делать микрошаги, чтобы случайно не вайпнуть всех(нанести непросчитанный вред), и любые даже самые лично мне неубедительные аргументы это хорошо, если это помогает данной цели."

@alexadamenko,

факт, мы точно не знаем почему AI показывает поведение, которое показывает

В смысле, "точно не знаем"? Они же не с неба свалились, а показывают то поведение, которое в них программно и заложено, разве нет? Те же ссылки которые Надя кидала подтверждают, что у нас вагон и маленькая тележка теории по теме того, как оно работает и что делает. Никакой субьектностью на данный момент даже близко не пахнет, это просто софт

@kadron141, и я не очень понимаю ваш аргумент про нейронные сети и инженеров.

Если я инженер и создаю биологическое оружие, у меня солидная научная база и я отлично выполняю свою работу, создаю лучшее биологическое оружие в мире. Очевидно, что никакие исследования технических аспектов не будут оценивать морально/социально/этическую стороны вопроса.

И вы как будто говорите, что это вообще не их работа оценивать какие-то риски существования и применения оружия, это вне сферы их компетенций как инженеров.

В моей картине мира, что бы мы не разрабатывали, все люди, которые это делают, должны сначала максимально объективно ответить на вопрос "принесет ли это пользу человечеству или вред", и это будет главным фактором для того, чтобы оценить, насколько хорошо они выполняют свою работу, а не степень их инженерного мастерства. И если они сами не хотят или не могут ответить на эти вопросы, то нужен кто-то, кто будет это делать за них, прежде чем делать что-либо и сейчас этот актор практически отсутствует и наша основная задача его создать.

@alexadamenko, ну так в том и дело, что никто не создаёт биологическое оружие или оружие в принципе. Уместнее была бы аналогия с чуваком создающим автомобили, которому говорят, что надо остановиться и обдумать возможное восстание машин через 50 лет

@kadron141, вот именно, что свалились с неба. Мы можем объяснить по каким принципам и используя какие механизмы сеть обучилась, но мы не можем конкретно объяснить как она работает.

Это как с мозгом, мы знаем как он устроен, немного знаем как формируются связи на физическом уровне, но могу ли я конкретно объяснить какие нейроны и связи и почему в вашем мозгу активизировались когда вы писали ваш коммент? Куда и как конкретно сохранились данные о том, что вы увидели и осознали? Там сотни миллиардов параметров, мы только первые шаги делаем чтобы вообще понять как конкретно конкретная сеть функционирует.

И заметьте, мы говорим про например chatGPT. Значительно более простые модели, которые например могут использоваться для кредитного скоринга в Европе вообще запрещены регулятором, потому что мы не можем их конкретно объяснить. Приходит человек, дает свои данные, сетка выставляет ему рейтинг 5 условно, регулятор спрашивает, почему? Инженеры разводят руками и говорят, ну, так получилось, веса такие, хз. Если сеть большая, мы не можем ее интерпретировать вообще, это черный ящик.

@kadron141, мы не знаем, что мы создаем, в этом и проблема.

Мы можем автомобиль разобрать по деталям, даже один человек и собрать обратно и сказать зачем нужна каждая деталь и что она делает и как она это делает. С большими сетями мы уже не можем. Все что мы можем, это посмотреть глазами и такие, а, ну вот тут веса какие-то. Это как если бы вам дали данные о работе машины числовые, каждой ее детали миллиарды параметров, потом их прогнали через обфускацию и сказали, вот, смотрите, есть модель, она работает и предсказывает работу каждого узла машины в любой момент времени по входным данным. Посмотрев на эту модель, мы, вероятно, вообще не поняли бы, что это модель работы машины.

@kadron141,

ML ресёрчеры разрабатывают теорию и научную базу по нейросетям. Из этой базы никак не следует наличие риска в 30% на развитие AGI. Там совершенно конкретные вещи про то как оно должно работать и какие у этого технические ограничения.

1. Нейросети это дерьмо нового уровня. Это не строительство мостов или даже не написание когда, где у тебя высокий уровень предсказуемости.

2. У ML ресерчеров уже есть много примеров появления в модели новых свойств, которые они не предполагали заранее. И не то чтобы могут объяснить откуда они появились вообще. Например, способность LLMs писать код была сюрпризом.

3. Текущие модели кажется безопасны. Но есть логические аргументы, что через какое-то время у новых моделей начнут появляться сильно опасные для нас свойства. Это риск, потому что нет способов проверить модель перед запуском и получить технические ограничения.

4. На оценку риска влияет много факторов. По большинству факторов у нас пока нет научного консенсуса. Даже среди ребят из OpenAi и Deepmind мнения по разным вопросам сильно расходятся. Поэтому ты видишь оценки от 2 до 90%

5. Если ты рассуждаешь про что-то ещё не изученное и высоко оцениваешь риск - не значит что ты паникёр. Просто у тебя другие логические аргументы и предпосылки. Которые хорошо бы проверить научными методами

6. Но на это к сожалению нет времени. Потому что ML ресерч развивается намного быстрее. А как убрать риск и сделать AGI безопасным мы всё ещё не знаем

@leeaao, по поводу второго пункта, да, сотни вариантов новых свойств и поведения! И никакого объяснения.

@kadron141, советую почитать вот такую штуку, там простыми словами про текущее состояние:

https://cims.nyu.edu/~sbowman/eightthings.pdf

@kadron141,

В смысле, "точно не знаем"? Они же не с неба свалились, а показывают то поведение, которое в них программно и заложено, разве нет?

Это просто разъёб канешн читать всю дискуссию, а потом вот это.

@grbit, для меня двойное неприятное впечатление - это статистика лайков и претензии к авторке поста.

Как сказал один из комментаторов, "хочу смеяться 5 минут" "хочу, чтобы мне объяснили как 14-летнему: четко, однозначно, почему так, а не иначе".

Хотя я понимаю, что возможно, я просто не хочу весело проводить время, и мне стоило бы зачиллиться.

@alexadamenko, но твои читать приятно) восхищаюсь твоей выдержкой!

@momai, Да, согласен, сам хотел по этому поводу написать добавочный комменатрий, что это все только "пока". Потому что если эволюция ИИ заведет нас в область гигаватных ЦОДов, то все может стать проще.
Но отказался эту добавочку писать, потому что опять же относительно несложно нафантазировать контрмеры.
Распределенное обучение, маскировка ЦОДов под объекты энергетики в первую голову.
С чипами да - но тут я уже выше писал. Если ситуация дойдет до "огораживания" по чипам - это уже впишется в описанный выше сценарий.

@alexadamenko, только давление не на компании, а на разработчиков. То есть, крайним будет условный джун. Думайте об этом, как о деаноне и травле на дваче. Очень быстро станет ясно, что подобные требования, то есть, раскрытие личностей и личных данных, не несут никакой благой цели.

@Creol, в статье вроде бы про регуляции, которые обяжут AI компании предоставлять данные государству о личностях и возможно пройденных внунтреннх комплайенс процедурах регулятору. Так же упоминается возможность внешнего аудита независимого для моделей.

Я не очень вижу, в каком это виде давление на разработчиков в большем объеме чем сегодня. При приему на работу куда угодно есть комплайенс и это для рядового линейного разработчика ничего не изменит. Конечно только если он экстремист какой-нибудь и ему есть что скрывать, а новые процедуры это усложнят.

@Creol, Извините, у меня нет ответов!

@Creol, я тут скажу метаутверждение, но мне в целом совершенно не кажется лишним перестраховываться, когда речь идёт потенциально об угрозе всей цивилизации.

Окей, пусть шансы будут 1%, пусть 0.1%, какая разница, это всё равно много, когда на кону не просто всё, а буквально вообще всё. Какая тут вообще может быть рациональная причина отмахнуться от этого вопроса? "Слишком несерьёзно поставлен"? "Покажите мне графики, что это действительно опасно"? Да вы шутите что ли?

Об этом можно было бы говорить, если бы мы сравнивали альтернативы - скажем, у нас оценки, что 1% шанса умереть от астероида и 1.5% от ИИ. И вот мы сидим и думаем, а чем нам лучше заниматься. А все люди, главное, всегда думают в одном направлении, и единогласно всем человечеством бросятся на новую задачу.

А так. Что там у нас на другой чаше весов, более быстрый технологический прогресс? Вкупе разумеется с переменами и мутными временами, которые он принесёт, когда мы не будем знать, с ботом или с человеком общаемся, фейк или правда видео или картинка.
Мне кажется, что выживание цивилизации пересиливает небольшое ускорение прогресса, а вам?

@orbit, ну, поэтому мы и контролируем социальные сети, игры, придумываем какие-то механизмы аудита и мониторинга сообщений, идентификации людей и так далее. Кто-то привлекает к этим потенциальным рискам внимание, и не всегда методы, которыми это делается, являются научными или вообще отражающими реальность, и это нормально.

Мне кажется, что все в мире представляет угрозу.

В моей картине мира, чем больше мы паникуем и регулируем по любым поводам сознательно, тем лучше, потому что это потенциально снижает наши риски. К этому и был мой вопрос.

@alexadamenko,

мы и контролируем социальные сети, игры, придумываем какие-то механизмы аудита и мониторинга сообщений, идентификации людей и так далее

И это ужасно, это двигает нас совсем в плохом направлении

В моей картине мира, чем больше мы паникуем и регулируем по любым поводам сознательно, тем лучше

Много паникуешь=мало делаешь. Мне кажется, сейчас слишком большой акцент делается на контроле, причем тех вещей, где он не нужен.

@igorfalin, мне кажется, мы сейчас находимся в этой дискуссии на уровне: "кто какие аргументы считает достаточными, какие позиции валидными, каких ученых авторитетными и заслуживающими внимания, и какие сценарии больше подкреплены данными".

Я попробую сформулировать мысль, на которую хотел навести своим вопросом: безотносительно нашего с вами отношения к другим точкам зрения, их наличие – это хорошо для общества, и поддержание этого процесса – это важно, даже если мы не согласны. В отсутствие альтернатив, таких как подобные паникеры, у нас даже шанса не будет к рефлексии и смене курса.

Мне кажется, что это большой красный флаг. Это может значить, что какая-то из человеческих систем (корпорации, монополии, государство, церковь и т. д.) вышла из-под контроля, и нам нужно что-то делать. И это уже происходило и будет происходить дальше, и не нужно ждать реализации первого сценария из комментария @zahhar. Мы и без ИИ живем в мире, где это возможно.

@VladimirBrejcha, я не во всем согласен.

Мы смогли успокоить на время хотя бы эмоции по поводу вопросов клонирования и генной инженерии в мировом масштабе, почему бы не попробовать и с ИИ?

@VladimirBrejcha, всё таки есть экзистенциальные угрозы и вопросы, по которым человечество в большинстве сходится, я лично не хотел бы ставить на нем крест в таком мизантропном ключе уже сегодня.

Смерти и войны отдельные это один вопрос, выживание вида совсем другое дело.

@alexadamenko, я не специалист, просто самому интересно, как планируется прийти к договоренности с востоком, если называть Китай «опасным агентом».
Еще интересно есть-ли в письме подписи китайцев, или участвовали одни американцы?
Еще интересно запустили-ли письмо в китайские медиа или только в американский твиттер?

@VladimirBrejcha, я честно говоря не знаю, относительно данного письма деталей. Однако, отталкиваясь от существующих фактов, я предполагаю, что цели любого правительства в мире, если только оно не настроено анти-человеческим образом это сохранить человеков, чтобы было кем управлять.

Если отталкиваться от этого, то становится понятно, что запрет на генетическую инженерию и клонирование, несмотря на огромные финансовые стимулы всё же был принят и в том же Китае за неконтроллируемые исследования в этих областях садят в тюрьму.

Так что говоря о договоренности я не имею в виду отдельных политиков/акторов которые что-то там подпишут, а скорее человечество как систему которая будет способна придти к таким выводам независимо от текущей геополитической обстановки/внешней политики отдельных стран и так далее.

@alexadamenko, согласен с твоей точкой зрения 👍

@leeaao, это точно. Что такое доверие по отношению к ИИ тоже вопрос открытый.
И все равно, я за то чтобы рискнуть.