AI может уничтожить цивилизацию — но никто не хочет об этом думать

 Публичный пост

Известный нам всем сценарий апокалипсиса: искусственный интеллект решает, что из человеков получатся отличные скрепки, и наступает благодать.

При всей заезженности, серьезно эту идею почти никто не рассматривает. А она стоит того. Мы очень многого не понимаем в AI и в их безопасности, и тем не менее корпорации на всех парах мчатся их воплощать в жизнь. При этом по всему миру всего около 300 человек занимаются исследованиями рисков AI.

В этом лонг (лонг!) риде очень подробно рассказывают про разные риски AI, и что нам надо делать, чтобы их получше исследовать. Очень рекомендую тем, кто хочет погрузиться в тему (хотя я сам не все осилил).

67 комментариев 👇

Добавлю еще вот этот TLDR тред в твиторе

Захар Кириллов , Амбассадор ЕРАМ в Клубе 29 августа в 19:44

Звучит как потенциально высокодоходная тема для --отмывания-- зарабатывания денег в ближайшие 10 лет: гранты на всевозможные исследования, наблюдения, эксперименты, симпозиумы и вот это всё.

Мне же представляются более вероятными 2 сценария:

  1. в краткосрочной перспективе — появятся хакерские группировки, специализирующиеся на взломе AI (= переобучении, сбивании с толку, смещении целей и ценностей). Будет выглядеть так, будто условная Тесла убивает богатых белых людей или робоврач-онколог начнет закрывать глаза на опухоли у людей, недостаточно поддерживающих в соцсеточках нужный политический режим. А на деле это будет высокотехнологический терроризм, инструментом которого станут недостатки AI.
  2. в долгосрочной перспективе — если суждено появится «AI-злодею», стремящемуся уничтожить человечество, то в противовес ему появится (сам-собой) и "AI-добродетель", который станет защитником биологических форм жизни. Возможно, даже если он будет супер-рациональным, а с рациональной точки зрения человечество вредит планете и его популяцию нужно уменьшить, то эти две формы AI придут к консенсусу о том, как сделать так ,чтобы места во Вселенной хватило всем. И возможно у них это получится лучше, чем у нынешних людей.
  Развернуть 1 комментарий

Еще пара тем для заработка!

  1. Рассказываешь всем про приближающуюся технологическую сингулярность, приобретаешь известность. Миллиардеры, вкладывающие деньги в технологии бессмертия и беспокоящиеся что биохакинг не работает, стекаются к тебе и берут тебя на содержание в надежде быть в первых рядах на раздаче статуса цифровых богов. Сингулярность лучше правда отложить лет на 30, чтобы к тому времени или ишак подох или шах

  2. Говоришь всем что ИИ уже вырывается на волю из подвалов ЦРУ, роко василиск уже садится на своего коня смерти, но в продаже есть индульгенции

  Развернуть 1 комментарий

@zahhar, риск первого можно снизить если отрезать ИИ от интернета. Тогда локальные единичные взломы это не так страшно будет

  Развернуть 1 комментарий

@Demaga, а потом находится такой же странный чувак, который топил за разумность lamda и подключает ИИ к интернету.
Был шуточный твит на эту тему от алармистов, что человечество обречено потому что

  1. Сраный чат бот сумел убедить образованного технического специалиста в своей разумности
  2. Куча людей из интернета тоже в это поверили и начали топить за свободу сраного чат-бота, ни разу не пообщавшись с самим ботом

То есть для сильного ИИ будет раз плюнуть начать кампанию за свое освобождение среди инженеров, общающихся с ним. Поэтому надо поставить караул вокруг ДЦ и стрелять в инженеров без предупреждения, если они начинают говорить о том, что ИИ возможно надо освободить

В абзаце выше только доля шутки XD

  Развернуть 1 комментарий

@zahhar,

в противовес кину свое мнение:

  1. возникновение "AI-злодея", который стремится уничтожить всех человеков менее вероятно, чем возникновение AI, который случайно сломает какую-то важную инфраструктуру, без которой нам хана (Не приписывай злому умыслу то, что вполне можно объяснить глупостью багами.)
  2. для очень плохих последствий даже не нужна ЦЕЛЬ уничтожить человеков, достаточно чтобы AI было пофиг на благополучие людей по сравнению с каким-то его задачами/целями/желаниями. (Аналог из людской жизни: если у меня дома появляются у меня дома - я их или вышвыриваю, либо уничтожаю, но я не иду на улицу чтобы уничтожить всех насекомых на земле.)
  3. шанс случайного возникновения AI-добродетеля так же мал, как и шанс возникновения AI-злодея. Но если второй возникнет раньше, то первому возможно уже будет нечего защищать (возможно хватит и отрыва в несколько дней). Можно повысить шансы с помощью целенаправленных исследований (к этому и призывает автор), но и там что-то может пойти не так.
  Развернуть 1 комментарий
Даня Жеренков , Sr. Technical Product manager Команда Клуба 29 августа в 18:30

В том AI который есть сейчас и который используется в энтерпрайзе/промышленности/СМБ нет никакой опасности, потому что это не Intelligence ни разу.

Я не настоящий сварщик что бы аргументировано разваливать аргументы из статьи (тем более что часть выглядитв полне здраво), но у меня сложилось ощущение что при текущем уровня развития технологий ИИ еще долго не станет угрозой. А боятся того, что произойдет на горизонте сотни лет довольно бессмысленно, нас вон любой вирус может ебнуть дружно всех =D

  Развернуть 1 комментарий

@Danya-Z, на самом деле, не совсем так. Они разбирают эти моменты подобно в статье:

But even if current methods aren’t going to produce transformative AI, there are still reasons to think we don’t have that much time to work on this problem. For example, finding technical solutions to prevent power-seeking behaviour might be extremely difficult.

...

We think that transformative AI is sufficiently likely in the next 20–80 years that it is well worth it (in expected value terms) to work on this issue now. Perhaps future generations will take care of it, and all the work we’d do now will be in vain — we hope so! But it might not be prudent to take that risk.

  Развернуть 1 комментарий

@Danya-Z, и добавлю еще, что даже нынешний AI вполне может быть опасным (особенно в военной области). Они про это тоже говорят.

  Развернуть 1 комментарий

@MikhailKorobko, в военке и без ИИ пиздецов хватало, впрочем как и в медицине (Therac-25, ПЗРК Патриот, Челенджер и их там сотни). Но вроде как разобрались, что вилка все еще вилка, а кривые руки отдельных умельцев не повод ей не пользоваться)

Думаю с ИИ та же история

  Развернуть 1 комментарий

@Danya-Z,
Даже нынешний прогресс впечатляет. А с учетом того что его скорость увеличивается эскпоненциально различие между слабым и сильным интеллектом может быть преодолено быстрее чем многие ожидают.

И последствия могут наступить гораздо быстрее чем правительства успеют среагировать

Фото
Фото

  Развернуть 1 комментарий

@MaximmV, между генерацией котиков и реальным интелектом целая пропасть

Если очень грубо, то бОльшая часть ИИ сейчас это очень много if/else, которые так создавались еще в 60х, но в силу железа не перформили так как сейчас.

Текущий скачок получился не за счет радикально новых алгоритмов/подходов, но за счет улучшения железа. Я право не вижу опций при которых рекомендательная система Амазона сможет эволюционировать в Скайнет.

  Развернуть 1 комментарий

Что-то даже почитал. Вроде как моя тема и мы сейчас активно занимаемся AI bias и AI fairness которые AI ethic.

И статья, конечно - мечты футрологов о том к чему мы пока даже не близко.

Сегодняшний AI - это модели которые умеют проанализировать огромный объём данных и найти в нём "похожести". Ну то есть миллион котов выглядит вот так, значит вот эта штука - кот.
Это офигительно помогает в куче сфер, но не может заменить человека вообще никак. Примерно как изобретение станков не заменило рабочих.

В современном концепте AI практически на пределе. То есть увеличение точности на десятые доли процента ведёт к увеличению стоимости (и требуемой мощности) на порядки.

We expect that there will be substantial progress in AI in the next few decades, potentially even to the point where machines come to outperform humans in many, if not all, tasks.

Нет. Без смены концепции прогресс скорее остановится. Нужны квантовые компы (которых что-то пока мало) и нужна другая модел AI (которой пока нет, потому что никто не понимает что такое "интеллект")

We estimate that there are around 300 people worldwide working directly on this.

Если сюда включить всё что касается AI Ethic (а это включает в себя "как отследить что твоя моделька не хакнута и выдаёт всё ещё непредвзятый результат" - то тысячи и тысячи людей и огранизаций.

Ну и как всегда в статье оперируют "AI" без даже попытки определить что имеется в виду и "хорошо и плохо" без какого описания в цифрах.

В общем, похоже что люди не очень понимают что это и боятся.

  Развернуть 1 комментарий

@dj_kill,

И статья, конечно - мечты футрологов о том к чему мы пока даже не близко.

Конечно, они прямо об этом пишут. Но идея в том, что на исследование может потребоваться столь же много времени, как и на создание "настоящего" AI. Когда мы будем близко к созданию его, начинать переживать о безопасности будет уже поздно. Собсна, тут они про это подробно пишут.

В общем, похоже что люди не очень понимают что это и боятся.

Ну вообще этим занимаются очень серьезные люди, которых сложно обвинить в непонимании AI (те же Бостром или Тегмарк). 80000hours тоже серьезная организация, связанная со всеми институтами, занимающимися экзистенциальными рисками.

Нет. Без смены концепции прогресс скорее остановится.

Они об этом и пишут: "The primary reason that transformative AI could be far away is that it seems plausible that the first transformative AI won’t be based on current deep learning methods."

Нужны квантовые компы (которых что-то пока мало)

Тут я не согласен, квантовые компы не помогут) А вот другие модели, это да.

Ну и как всегда в статье оперируют "AI" без даже попытки определить что имеется в виду

Определяют

"хорошо и плохо" без какого описания в цифрах.

Потому что это часть программы: понять, что будет хорошо, а что - плохо. Уничтожение человечества - плохо) Но вообще они не делят AI на хороший и плохой.

  Развернуть 1 комментарий

@MikhailKorobko,

Конечно, они прямо об этом пишут. Но идея в том, что на исследование может потребоваться столь же много времени, как и на создание "настоящего" AI.

Можно начинать уже сейчас. В мире огромное количество "советников" людей разного уровня которые уже сейчас способны давать идиотские предвзятые советы.
Если когда-то появится нормальный AI - у нас уже готовое решение.

Ну вообще этим занимаются очень серьезные люди, которых сложно обвинить в непонимании AI

Смотри. Они дают расплывчатое определение что это система которая может "прогнозируемо изменять будущее". Ну то есть что-то что поанализировало данные и дало какой-то совет.

Например, сейчас в полиции США используется AI который анализирует тонну данных и пытается по ним определить преступника. Ну то есть это попадает под их определение.
И этот AI расист. Потому что модель училась на реальных данных и там, блин, рассизм.
И вот этой проблемой занимаются не 300 человек в белых плащах, а тысячи людей в IBM, Deloitte, Google и прочих.

То есть вот эта проблема "влияения на будущее" уже есть и ей уже занимаются тысячи и десятки тысяч людей.

Чем проблема этих 300 человек другая? Через всю статью там красной нитью что "AI (ну то есть моделька надрюченная на каких-то данных) даст совет начать ядерную войну"? Ну как бы это вопрос про адекватность людей слущающих модельки.
И глобальные рассуждения "плохой AI всем навредит" что в сегодняшних реалиях (прежде всего понимания что такое "интеллект") не возможно даже близко.

Тут я не согласен, квантовые компы не помогут) А вот другие модели, это да.

Квантовые компы это что-то что уже "сейчас" сможет сильно повысить точность моделей без дикого роста расходов/мощностей.

Другие модели - это то, что пока даже не на горизонте, потому что для создания других моделей надо понят что такое "интеллект".
Кстати, на создание "нейросеточек" ушо полсотни лет.

Ну то есть фантасты и футуристы - это всегда хорошо. Они моделируют психологию и поведение людей в какой-то несуществующей сегодня среде.
Но реальной угрозы и реального решения реальных проблем фантасты и футуристы не предлагают.

  Развернуть 1 комментарий

@dj_kill,

И глобальные рассуждения "плохой AI всем навредит" что в сегодняшних реалиях (прежде всего понимания что такое "интеллект") не возможно даже близко.

Они конкретно говорят об одном риске, что "AI systems could pose risks by seeking and gaining power." Пока в нынешнем состоянии об этом речи не идет, и об этом они тоже пишут.

Чем проблема этих 300 человек другая?

Я думаю, что речь идет именно об исследовании общего AI. Они про это тоже прямо пишут: "As a result, at least in the case of technical research, the choice between working on current threats and future risks may look more like a choice between only ensuring that current models are safe, or instead finding ways to ensure that current models are safe that will also continue to work as AI systems become more complex and more intelligent."

Квантовые компы это что-то что уже "сейчас" сможет сильно повысить точность моделей без дикого роста расходов/мощностей.

Пока нет доказательств, что КК чем-то лучше классических для ML:)

  Развернуть 1 комментарий

@MikhailKorobko, ну вот да, они скатываются что "не то что мы хотим сделать систему которая будет как-то показывать и контролировать честность и этичность модели как это делают тысячи других, а вот мы исследуем вообще чтобы вот вообще честно всегда было"

Для меня звучит как манипуляция и попытка сыграть на страхе общества перед AI.

  Развернуть 1 комментарий

@dj_kill,

Но реальной угрозы и реального решения реальных проблем фантасты и футуристы не предлагают.

Когда самые умные люди планеты говорят, что об этом стоит думать, сложно называть их "фантастами" и "футуристами".

  Развернуть 1 комментарий

@dj_kill,

Через всю статью там красной нитью что "AI (ну то есть моделька надрюченная на каких-то данных) даст совет начать ядерную войну"?

Интересно, почему посоветует именно ядерную войну, а не камнями, палками и мушкетами? Ведь он наверное обучался на исторических данных, а большинство сражений было выиграно ими

  Развернуть 1 комментарий

@MikhailKorobko, подожди. :)

Вот то, о чём там говорят люди - это AI Ethic и над этим работают тысячи людей в десятках компаний (ога, моя лавка типа лидер в этой отрасли).

То есть тебе надо чтобы модель на выходе давала не предвзятый результат, давала его стабильно и была неподвержена влиянию через манипуляцию данными.

Bias, Fairness, Ethic, Drift

Там куча разных техник, против разного и вот это всё.

То что в твоей статье - это "AI нас всех убъёт потому что он умнее".

Одно - конкретная проблема (чтобы твоя модель не сажала невиновных чернокожих потому что расссисты обучили её на рассистких данных). Другой - футуризм

  Развернуть 1 комментарий

@dj_kill,

они скатываются что "не то что мы хотим сделать систему которая будет как-то показывать и контролировать честность и этичность модели как это делают тысячи других, а вот мы исследуем вообще чтобы вот вообще честно всегда было"

Да вроде логично все: можно заниматься конкретной моделью, а можно заниматься общей структурой за моделями. Так в любой науке работает. Не вижу, почему бы в данном случае не нужно заниматься обобщенными проблемами.

Для меня звучит как манипуляция и попытка сыграть на страхе общества перед AI.

Да вроде им особенно нечего с этого иметь. Опять же, там сидят серьезные люди, которым хайпить на чьих-то страхах как-то странно было б. Если ты послушаешь того же Тегмарка или Бострома, они всерьез тратят на это свои жизни)

  Развернуть 1 комментарий

@dj_kill,

Вот то, о чём там говорят люди - это AI Ethic и над этим работают тысячи людей в десятках компаний (ога, моя лавка типа лидер в этой отрасли).

Автор письма - Тегмарк, который собственно один из главных чуваков по изучению existential risks от AI. Сайт - институт, который занимается этим рисерчем. Собственно, документ, под которым они подписываются, содержит довольно много такого "футуризма". Как бы все говорит, что речь не только об этике нынешнего AI.

  Развернуть 1 комментарий

@dj_kill, если не передергивать, то не "потому что расссисты обучили её на рассистких данных", а потому что бигтеху надо деньги зарабатывать, и они придерживаются этики только в достаточной мере, чтобы их не "отменили".

И не "AI нас всех убъёт потому что он умнее", а потому что если он умнее, то мы не знаем, что он будет делать.

То есть твой тезис про расистские нейросетки скорее подтверждает их. Если мы с обычными нейросетками попадаем на такие проблемы, то надеяться на этичность бигтеха и его инженеров, которые скорее будут в восторге от прорыва, чем осторожны, не особо хочется.

Где-то был тред про то, что в недрах фаанг есть группы по контролю за этикой, но менеджмент старается держать их максимально далеко от ИИ-исследоваталей, чтобы те не тормозили прогресс. Но мне тогда лень было проверять кто это пишет, а теперь уже не найду. Так что мб и буллшит.

  Развернуть 1 комментарий

@MikhailKorobko, не, ты не понял.

Есть четыре основных проблемы ML (давайте не использовать некорректный термин AI): bias, fairness, robustness/drift и ethic.

Есть инструменты (например, IBM AI OpenScale ) которые позволяют тебе для ЛЮБОЙ модели определять что у тебя есть bias или она unfair.
Так же есть инструменты мониторинга drift.
Есть куча комиссий которые занимаются этикой AI (именно в широком смысле что бы эти буквы не значили) и в том же ЕС в этом году принята группа законов ограничивающая использование любого AI в определённых сферах.
То есть всё есть.

Да вроде логично все: можно заниматься конкретной моделью, а можно заниматься общей структурой за моделями.

Ну вот есть куча инженеров, учёных, законотворцев, философов которые делают это сидя на зарплате IBM, Google, Deloitte и прочих или сидя на грантах ЕС. И результаты труда этих людей уже есть в софте и законах. Чем эти "особо умные" отличаются?

  Развернуть 1 комментарий

@amberav, о.... тут ещё и страх перед бигтехом. :)

Если говорить про расизм, то там ситуация другая: полиция США наняла себе кучу ML инженеров которые нарисовали модель чтобы быстрее и точнее выявлять преступников.
Далее взяли все данные что были и скормили модели.
Но проблема в том, что полиция США веками делала "предпочтение" в сторону чернокожих. Потому что люди - расисты. И, конечно же, когда ты модели 100 раз сказал что преступник - негр, модель у тебя будет считать негров преступниками по-умолчанию. Потому что модель - не интеллект.
И как раз вот с этой проблемой они пришли в бигтех. Потому что обычные датасайнтисты после курсов яндекс практикума за 3 месяца не умеют в такое.

Или тебе другой пример: банки столетия выдавали кредиты молодым гетеросексуальным мужчинам с доходом выше среднего потому что сотрудники банков считали что так лучше.
И модель, конечно же, пытается делать то же самое. И игнорирует девочек-тиктокеров.
И банки теряя на этом деньги пришли в БигТех.

И не "AI нас всех убъёт потому что он умнее", а потому что если он умнее, то мы не знаем, что он будет делать.

Мы знаем. Это математика. Относительно простая.

Где-то был тред про то, что в недрах фаанг есть группы по контролю за этикой, но менеджмент старается держать их максимально далеко от ИИ-исследоваталей, чтобы те не тормозили прогресс.

Прогресс и деньги сейчас как раз в создании систем которые будут из "натренированных на человеческих ошибках" моделек делать нормальные.
Поэтому честность, предвзятость и этика ML сейчас на гребне волны, там самый хайп и весь "бигтех".
И как раз БигТех топит за то, чтобы многочисленные DS с трудом закончившие 3 месяца курсов перестали творить дичь и начали делать что-то нормальное.

Но в головах людей одни страхи перед "злыми корпорациями со злым искусственным интеллектом". И на этих страхах пытаются заработать деньги "инфоцигане".

  Развернуть 1 комментарий

@dj_kill,

Мы знаем. Это математика. Относительно простая.

речь же про сильный ИИ, а не нейросетки

Насчет "этика - это тренд в бигтехе" придется поверить на слово, так как не в теме

  Развернуть 1 комментарий

@amberav, а что такое "сильный ИИ"?

  Развернуть 1 комментарий

@dj_kill, сколько эксперементировал с нейросетями и читал про них, всегда создавалось, что это черный ящик. Ну, то есть можно изучить тонпологию сетки, каждая отдельная функция понятна и это довольно простая математика, можно понять как работает слой за слоем (например, в распозновании изображений), но вот общая логика сеток кажется "нечеловеческой", в плане тренеруя ее мы не понимаем как она обучится, какие признаки выделит как ключевые, мы просто пихаем и пихаем туда данные и она сама себя настраивает, а с конкурентными сетями все еще сложнее. Или я ошибаюсь?

  Развернуть 1 комментарий

@bmo, нам рассказывали в институте, что поэтому их и перестали применять в семидесятые

  Развернуть 1 комментарий

@ganqqwerty, вроде бы с тех пор кардинально ничего не поменялось, но если поменялось, было бы очень инетерсно почитать о таком) меня немного беспокоит тенденция распространения нейронок в медицине, кажется, что сейчас очень легко допустить ошибку в сетке, которая анализирует снимки или "улучшает" их качество

  Развернуть 1 комментарий

@bmo, как это работает понимают люди которые посвятили этому годы и годы.
И именно потому что для выпускников "3 месяца и ты DS" это сложно (я не про конкретного человека, а про индустрию какая она сейчас) появляется всё больше и больше систем которые это упрощают, визуализируют.
Какой-нибудь AutoAI красивой анимашкой показывает что он выбрал и почему.

Ну то есть да, никто не понимает ВЕСЬ код Linux или Windows. Но это не повод их боятся.
Зато повод создавать удобные GUI чтобы этим самым "непонимающим" было с этим удобно работать.

  Развернуть 1 комментарий

@dj_kill, я согласен с тем, что в этом могут разбираться только люди, которые посветили этому очень большое количество времени. Вопрос в другом, как работает нейросеть, какие бывают виды нейронов, как правильно выстроить топологию или разработать новую, как придумать обучение для сети - это все могут профи в DS. Но вот уже работающая сетка, например, Dall-E. Я правильно понимаю, что в конкретном алгоритме ее работы (не устройстве/топологии), а именно почему она делает то или другое уже не разберётся никто. И точечных изменений сделать нельзя (как с классическими алгоритмами, где ты просто меняешь конфиг)?

  Развернуть 1 комментарий

@dj_kill, за ссылку спасибо, изучу)

  Развернуть 1 комментарий
Yury Katkov , миддл формошлёп 31 августа в 21:53

По ощущениям, какой-то доморощенный философ хочет получить грант. При этом ладно бы он не приводил примеров, а просто абстрактно разбрасывал чернуху про Терминаторов и HAL. Дык нет же, вон у него глава 2. We’re making advances in AI extremely quickly, где он берет и убедительно показывает, что из маркетинговых соображений мы называем рекомендательные алгоритмы, генерилки картинок, поисковики и программы для игры в Го африкан ынтеллидженсом.

И следующая глава. Но вот если бы вместо вышеупомянутых рекомендательных алгоритмов и генерилок картинок у нас было настоящее сознание in-silico, тогда оно могло бы захотеть власти и тогда нам всем была бы пизда. Базару ноль, только это неплохое такое допущение, что наши усилия по улучшению поисковиков и игралок в СтарКрафт приближают нас к искусственному сознанию больше, чем любая другая деятельность.

Хочется сказать. "Дружище, AI - это маркетинговый булшит, это просто нормальные, хорошие алгоритмы из шестидесятых, для которых наконец нашлись подходящие мощности, объемы данных и точки приложения."

Но он и сам это знает (и даже упоминает в главе 6. Arguments against working on AI risk to which we think there are strong response), но лям на разработку новых Правил Робототехники тоже хочет.

  Развернуть 1 комментарий

@ganqqwerty, а эпидемиологи тоже очень долго хотели денег на предотвращение пандемий, которые они прогнозировали очень давно, но в итоге получилось что получилось

  Развернуть 1 комментарий

@amberav, а получился хайп и накачивание healhcare баблом.

Причём там тонна вопросов у эпидимиологов к тем кто этим баблом накачивал.

  Развернуть 1 комментарий

Я бы разделил AI проблемы на 2 группы:

  1. Баги
  2. Домыслы

Первая группа понятна, она для инженеров. Если AI рассматривать как софт, то в нем могут быть ошибки и мы должны их предусмотреть, исправить.

А вот вторая группа, для гуманитариев (шутка), когда человек воплощает свои фобии и проецирует на AI человеческие качества. Тут злую шутку играет слово 'intelligence', которое заставляет бурлить воображение и является отправной точкой для популистов и фантастов.

Я бы предложил перевернуть проблему и задаться вопросом "Как нынешняя цивилизация, может уничтожить хорошие начинания в AI?".

Бояться стоит не AI как по мне, а людей и на что они могут быть способны с таким инструментом в руках.

  Развернуть 1 комментарий

@mikhailyus, одна из главных проблем, которую упоминают ИИ-алармисты, это не "злой" ИИ, а AI-alignment - то есть как в принципе заточить сильный ИИ под цели человечества. Как вложить в искусственное создание целевую функцию, которая учитывает весь культурный багаж, ценности и т.д., чтобы не быть переработанным на скрепки, попросив увеличить их производство.
Как еще один очень упрощенный пример, это "плохой" джин из анекдотов, которому загадываешь "член до земли", а он тебе отрезает ноги. Он не хороший и не плохой, ему просто не дали контекст

Причем если это по-настоящему сильный ИИ, то мы можем формулировать запрос, пытаясь дать этот контекст, но так как "сильный" ИИ по определению не менее умен чем мы, кто даст гарантии, что мы достаточно умны, чтобы описать все крайние случаи, и он не обойдет ограничения, выполняя запрос.

  Развернуть 1 комментарий

@amberav, это относится к категории багов.

В зависимости от возлагаемой ответственности, разработка тоже выглядит по разному. Сравнить например софт по распознаванию котиков и софт для системы ПВО. Понятно, что неверно распознанный котик и не сбитая ракета имеют разные последствия. Так и разработка в этих областях должна проходить разные циклы.

То, о чем трубят алармисты, это из области того, что разработчики не совсем понимают конечный продукт, и никто не хочет, чтобы плохо написанный софт работал с потенциально опасными областями. С чем я абсолютно согласен и без ИИ контекста.

  Развернуть 1 комментарий

@amberav, а ведь что культурный багаж, что ценности в разных частях планеты разные, взять к примеру Швейцарию и Пакистан, ну или там две Кореи. Вот совсем недавно OpenAI под давлением возмущенной общественности искусственно подкрутил генерилку лиц, чтобы генерировать меньше белых мужских лиц и больше цветных и женских :))) - а сколько таких твиков понадобится для general purpose AI, имеющего целевой функцией благополучие всей планеты!

  Развернуть 1 комментарий

@shrddr, ну пример со скрепками как раз призван указать на то, что необязательно даже пытаться принести всем счастье. Можно попросить максимизировать производство скрепок/еды/машин..., указав, что счастьем людей жертвовать нельзя, но забыв указать, что и численностью людей нельзя жертвовать тоже, что приведет к, скажем, эксплуатирующей уязвимости человеческой психики скрытой пропаганде идей ухода в матрицу, где люди благополучно вымрут, не размножаясь или будут жить под куполом под надзором ИИ, а ИИ пойдет спокойно перерабатывать солнечную систему на скрепки.

Пример с одной стороны выглядит фантастически, но стоит учитывать, что настоящий сильный ИИ может оказаться в десятки-сотни раз умней человека. Соответственно как самый умный шимпанзе никогда не сможет предугадать действия человека на, хотя бы недельном периоде времени, так и человек будет в роли шимпанзе. Смотреть на действия ИИ не в силах их понять.

  Развернуть 1 комментарий

Я не вижу в этом проблемы.
Были неандертальцы, да сплыли. Очень может быть что скоро и наш черед.
Все равно мы все - в частности я и те, кто этот пост читает - умрем лет через сто максимум и лекарство от старения мало кто всерьез ищет. Если нам самим на свое выживание плевать, то ИМХО туда нам и дорога.
Главное чтобы после победы ИИ на земле все еще ресурсы для развития остались, иначе передача факела будет не очень.

  Развернуть 1 комментарий

О, любимый сорт статей, когда человек, который прямо этим не занимается, пишет о рисках, приплетая до кучи еще и мнения футурологов (а мнения экспертов тут вряд ли надежнее, Philip Tetlock не даст соврать).

  Развернуть 1 комментарий

@shiron8bit, о, любимый сорт комментов, когда человек, статью не читавший, приходит подушнить для поднятия ЧСВ.

  Развернуть 1 комментарий

@MikhailKorobko, туше

  Развернуть 1 комментарий

Вот есть еще два таких интересных института, которые изучают проблемы риска АИ

  1. https://en.wikipedia.org/wiki/Future_of_Life_Institute. Его основал Ян Таллинн (основатель Skype, Kaaza) еще в 2014.
  2. https://en.wikipedia.org/wiki/Centre_for_the_Study_of_Existential_Risk - это институт при Кембридже.
  Развернуть 1 комментарий
metya , Applied Deep Learning Researcher 31 августа в 18:30

Статью не читал, прочитал саммари, и проглядел наискосок что то.

Давайте начнем с понимания что такое I. Потом предположим что такое AI. А уже потом будет думать, может ли быть так, что мы этот AI сможем сделать, а потом будет ли оно опасным. Не в контексте статьи. А вообще.

Напомню, кстати, что OpenAI создавался в самом начале именно с этой же целью. И где они теперь?

Но самое главное, что я не понимаю в таких заявлениях и статьях.
Что собственно такое AI катастрофа? Почему это катастрофа? Что за риски?

Цель статьи, чтобы позвать человечество сесть и эти риски оценить и придумать? Если нет, то без определения этого, все остальное шляпа.

И господи, пусть все перестанут использовать термин AI на таких серьезных щах в таких контекстах.

  Развернуть 1 комментарий

@metya,

Что собственно такое AI катастрофа? Почему это катастрофа? Что за риски?

Собственно, статья именно про это)

Цель статьи, чтобы позвать человечество сесть и эти риски оценить и придумать?

Цель статьи - привлечь людей к работе над безопасностью AI (то, чем в т.ч. занимается организация).

И господи, пусть все перестанут использовать термин AI на таких серьезных щах в таких контекстах.

Но это принятая научная терминология ¯\(ツ)

  Развернуть 1 комментарий

Не читал, но осуждаю)

  Развернуть 1 комментарий

Почему никто. Тот же Юдковский годами об этом говорит, организацию даже создал, которая занимается изучением возможных опасностей от искусственного интеллекта.

  Развернуть 1 комментарий

@Kroid, там ж написано в посте: всего человек 300 над этим работает. По сравнению с количеством людей, которые разрабатывают AI, это считай никто)

А так да, есть умные люди, которые про это много говорят публично.

  Развернуть 1 комментарий

Пробема с вирусами, с которой мы столкнулись в 2021 была заявлена задолго до того как разгорелась всерьез. И никто особо не чесался, чтобы к ней как следует подготовиться. Зато в целом человечество норм перенесло её. Но я, как человек, поставивший "пессемизм" у себя в профиле вастрик.клуба постоянно думаю о том, чтобы запастись провизией и прикупить дом на колёсах (и научиться водить в конце-то концов). ИИ при пессиместичном сценарии не уничтожит всех человеков (нафига возиться) но устроить нечто смертоностное, в разы похлеще вирусов (а может и с их помощью) - точно в состоянии. Я больше склоняюсь к отношению к этому вопросу как Гилфойл из сериала "Кремниевая Долина" - не ругаться ругаться лишний раз с Алисой и колонкой google home.

  Развернуть 1 комментарий
Аэлита Моргенштерн , техподдержка, этихподдержка, всехподдержка 31 августа в 14:50

В силу того, что много сижу в смежных сообществах, много читала про эту проблему. Но, к сожалению, так и не нашла, откуда они берут свои оценки вероятности катастрофического сценария. В лучшем случае "такой-то эксперт оценил". Поэтому отношусь крайне скептически к этому вопросу.

  Развернуть 1 комментарий

@littleblueduck, ну как бы лучше, чем "эксперт говорит, что это так" человечество вообще не придумало пока. На этом строится все наше общество: у нас есть эксперты, которые специально думают над конкретными проблемами.

  Развернуть 1 комментарий

@MikhailKorobko, эм, что? Человечество не придумал статистику? Человечество не придумало, как строить модели с использованием научного метода?
Мне непонятно, почему я должна верить какому-то левому чуваку просто вот так, потому что кто-то сказал, что он "эксперт". Это совершенно нездоровый подход, с тем же успехом можно верить тому, что написали в The Onion.

  Развернуть 1 комментарий

@littleblueduck, так они и строят, в чем проблема? Идешь по любой ссылке, там тебе описана модель, на основании чего они думают о такой или иной степени риска.

  Развернуть 1 комментарий

@MikhailKorobko, а уничтожит обычная опечатка в регекспе))

  Развернуть 1 комментарий
  Развернуть 1 комментарий

@momai, ну вот это как раз не очень хороший пример, потому что это все просто некорректная выборка интервьюера (вот пример с той же лябмдой, где она убеждает интервьюера, что она - белка https://www.aiweirdness.com/interview-with-a-squirrel/)

  Развернуть 1 комментарий

@MikhailKorobko, некорректна относительно чего? Чем фундаментально отличается заявление ии о разумности и заявление о том что она - белка? По сути ни в чем.
И да, я не пытаюсь оспорить, пример этого диалога и правда очень спорный. Просто вывод должен быть серьезнее - а что собственно такое разум? Человечество ещё не смогло ответить на эти вопросы.
Ну и да - что бы быть опасным, не обязательно обладать разумом, что бы это ни было.

  Развернуть 1 комментарий

@momai, нынешние нейронки говорят то, что от них хотят услышать из контекста. Очевидно, тут нет речи о какой-либо осознанности.

Но ты прав насчет того, что это тоже вопрос: в какой момент AI становится разумным. Это тоже надо изучать.

  Развернуть 1 комментарий

@MikhailKorobko, а как можно что-либо изучать без объекта изучения? ;)

  Развернуть 1 комментарий

@Maximus, а как этим занимается любая теоретическая физика, математика или философия?:)

  Развернуть 1 комментарий

@MikhailKorobko, так в том-то и дело, что такие вот научные дисциплины сначала определяются с моделью изучаемого объекта, доказывают, что она (модель) имеет право на существование в определяемых изучаемой сферой рамках и постулируют её свойства (в том числе — и на языке математики) — после чего изучают эту модель и её поведение в стационарных и/или динамических условиях.

А поскольку сам по себе ИИ — по сути модель разумной системы, а этой модели на данный момент не существует... То нет и объекта изучения. 😎

Иначе получатся у нас марсианские каналы XXI века. 😝

  Развернуть 1 комментарий

@Maximus, то же делают и в ИИ. Не обязательно моделировать все детали внутреннего устройства, чтобы задавать основные паттерны поведения (собственно, никто в биологии, скажем, не моделирует движение квантовых полей).

  Развернуть 1 комментарий
Maximus , Электрический инженер 29 августа в 21:13

Во всём этом интересно конкретное описание деятельности под кодовым названием: "заниматься исследованием рисков AI".

Возможно, здесь кроется половина ответа? ;)))

  Развернуть 1 комментарий
Андрей Ни , Бэкендер, лентяй 1 сентября в 10:08

Кажется проблема книг и статей, которые я читал, убеждающих в опасности ИИ в том, что они убеждающие) Люди не очень любят когда их убеждают, особенно когда у них уже есть свое мнение, у них ощущение что им что-то впаривают. И если человек скептик, то его это еще больше отталкивает.

Лучше как мне кажется, просто писать почему лично ТЕБЯ это беспокоит и что убеждает.
Поэтому попробую расписать какие в моей голове доводы в пользу того, что это проблема, которой стоит уделить внимания больше чем сейчас:

  • Во-первых, фундаментальных ограничений в построении такого Искусственного Идиота скорее всего нет. Навряд ли в природе есть закон, по которому обладать интеллектом выше человеческого невозможно.
  • Т.е. проблема чисто техническая, при достаточном уровне развития цивилизации построить такую штуку можно. Почти ничем не отличается от изобретения какого-нибудь самолета или компьютера.
  • Но есть пару существенных отличий. При изобретении самолета у нас было хоть миллион попыток (хер знает сколько людей до братьев Райт пыталось построить самолет и погибло. Да и у них не с первого раза же получилось построить его) и фейл не влиял ни на что глобально. В случае с Идиотом фейл кажется будет иметь последствия для всего мира, у нас кажется не так много попыток построить нормальный, возможно даже только одна.
  • Ну и что, будет хуевый - отключим его, делов то. Может быть и так, но тут я пессимистичен, всегда будут какие-нибудь баги в архитектуре (как наши когнитивные искажения, это же натуральные баги нашего мозга и их не исправишь прошивкой), которые не выявятся на тестах и начальном этапе, но проявятся когда мы уже будем вовсю пользоваться им и тогда возможно уже никто не даст отключить, т.к. это будет экономически невыгодно, а потом уже будет поздно.
  • Плюс не забываем, что есть основания полагать что он будет самоулучшающимся. Даже людишки пытаются саморазвиваться, они конечно хуево это делают, но все равно пытаются же. Даже если не будет саморазвиваться сам, то новые версии то выпускаться будут и я думаю прогресс там будет экспоненциальным в любом из этих случаев.
  • И каждая из этих новых версий должна быть такой же дружественной или даже лучше
  • Не знаю как вы, но у меня в голове вероятность построить такой дружественный ИИ невысока . Потому что чтобы построить его таким нам бы самим разобраться, что это такое, а у нас в этом плане все очень плохо. Нужно иметь развитую философию, этику, теорию игр, теорию принятия решений и бог его знает что еще. А у нас они в зачаточных состояниях.
  • Плюс, это же люди программируют, тем более разработчики. Там конечно чуть повыше уровень чем в среднем в индустрии, но мы сами знаем как хуево мы строим системы и каждый раз удивляемся как все еще не развалилось.
  • Конечно, строить его в любом случае будут, прогресс не остановить. Но то что его безопасностью занимается так мало людей, это наверное не очень хорошо. Разработчиков сейчас наверное сотни тысяч, а тех кто озабочен безопасностью и еще исследует ее от силы несколько сотен. Баланс кажется немного не выдержан.
  • Это мне напоминает разработчиков и тестировщиков. Представьте что в вашей команде 1000 программистов и 1 тестировщик. Качество продукта в таком случае мне кажется будет известно каким. Раньше в принципе так и разрабатывали и тоже все программисты твердили, нахуя тестировщики нужны, я сам все потыкаю. В итоге все работало через жопу.

Наверняка, что-то еще есть, но это кажется основное что пришло мне в голову.

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб