AI может уничтожить цивилизацию — но никто не хочет об этом думать

@JdaZKJAz8qxqvCOn, а потом находится такой же странный чувак, который топил за разумность lamda и подключает ИИ к интернету.
Был шуточный твит на эту тему от алармистов, что человечество обречено потому что

1. Сраный чат бот сумел убедить образованного технического специалиста в своей разумности
2. Куча людей из интернета тоже в это поверили и начали топить за свободу сраного чат-бота, ни разу не пообщавшись с самим ботом

То есть для сильного ИИ будет раз плюнуть начать кампанию за свое освобождение среди инженеров, общающихся с ним. Поэтому надо поставить караул вокруг ДЦ и стрелять в инженеров без предупреждения, если они начинают говорить о том, что ИИ возможно надо освободить

В абзаце выше только доля шутки XD

@MikhailKorobko, в военке и без ИИ пиздецов хватало, впрочем как и в медицине (Therac-25, ПЗРК Патриот, Челенджер и их там сотни). Но вроде как разобрались, что вилка все еще вилка, а кривые руки отдельных умельцев не повод ей не пользоваться)

Думаю с ИИ та же история

@MaximmV, между генерацией котиков и реальным интелектом целая пропасть

Если очень грубо, то бОльшая часть ИИ сейчас это очень много if/else, которые так создавались еще в 60х, но в силу железа не перформили так как сейчас.

Текущий скачок получился не за счет радикально новых алгоритмов/подходов, но за счет улучшения железа. Я право не вижу опций при которых рекомендательная система Амазона сможет эволюционировать в Скайнет.

@MikhailKorobko,

Конечно, они прямо об этом пишут. Но идея в том, что на исследование может потребоваться столь же много времени, как и на создание "настоящего" AI.

Можно начинать уже сейчас. В мире огромное количество "советников" людей разного уровня которые уже сейчас способны давать идиотские предвзятые советы.
Если когда-то появится нормальный AI - у нас уже готовое решение.

Ну вообще этим занимаются очень серьезные люди, которых сложно обвинить в непонимании AI

Смотри. Они дают расплывчатое определение что это система которая может "прогнозируемо изменять будущее". Ну то есть что-то что поанализировало данные и дало какой-то совет.

Например, сейчас в полиции США используется AI который анализирует тонну данных и пытается по ним определить преступника. Ну то есть это попадает под их определение.
И этот AI расист. Потому что модель училась на реальных данных и там, блин, рассизм.
И вот этой проблемой занимаются не 300 человек в белых плащах, а тысячи людей в IBM, Deloitte, Google и прочих.

То есть вот эта проблема "влияения на будущее" уже есть и ей уже занимаются тысячи и десятки тысяч людей.

Чем проблема этих 300 человек другая? Через всю статью там красной нитью что "AI (ну то есть моделька надрюченная на каких-то данных) даст совет начать ядерную войну"? Ну как бы это вопрос про адекватность людей слущающих модельки.
И глобальные рассуждения "плохой AI всем навредит" что в сегодняшних реалиях (прежде всего понимания что такое "интеллект") не возможно даже близко.

Тут я не согласен, квантовые компы не помогут) А вот другие модели, это да.

Квантовые компы это что-то что уже "сейчас" сможет сильно повысить точность моделей без дикого роста расходов/мощностей.

Другие модели - это то, что пока даже не на горизонте, потому что для создания других моделей надо понят что такое "интеллект".
Кстати, на создание "нейросеточек" ушо полсотни лет.

Ну то есть фантасты и футуристы - это всегда хорошо. Они моделируют психологию и поведение людей в какой-то несуществующей сегодня среде.
Но реальной угрозы и реального решения реальных проблем фантасты и футуристы не предлагают.

@dj_kill,

И глобальные рассуждения "плохой AI всем навредит" что в сегодняшних реалиях (прежде всего понимания что такое "интеллект") не возможно даже близко.

Они конкретно говорят об одном риске, что "AI systems could pose risks by seeking and gaining power." Пока в нынешнем состоянии об этом речи не идет, и об этом они тоже пишут.

Чем проблема этих 300 человек другая?

Я думаю, что речь идет именно об исследовании общего AI. Они про это тоже прямо пишут: "As a result, at least in the case of technical research, the choice between working on current threats and future risks may look more like a choice between only ensuring that current models are safe, or instead finding ways to ensure that current models are safe that will also continue to work as AI systems become more complex and more intelligent."

Квантовые компы это что-то что уже "сейчас" сможет сильно повысить точность моделей без дикого роста расходов/мощностей.

Пока нет доказательств, что КК чем-то лучше классических для ML:)

@MikhailKorobko, ну вот да, они скатываются что "не то что мы хотим сделать систему которая будет как-то показывать и контролировать честность и этичность модели как это делают тысячи других, а вот мы исследуем вообще чтобы вот вообще честно всегда было"

Для меня звучит как манипуляция и попытка сыграть на страхе общества перед AI.

@dj_kill,

Но реальной угрозы и реального решения реальных проблем фантасты и футуристы не предлагают.

Когда самые умные люди планеты говорят, что об этом стоит думать, сложно называть их "фантастами" и "футуристами".

@dj_kill,

Через всю статью там красной нитью что "AI (ну то есть моделька надрюченная на каких-то данных) даст совет начать ядерную войну"?

Интересно, почему посоветует именно ядерную войну, а не камнями, палками и мушкетами? Ведь он наверное обучался на исторических данных, а большинство сражений было выиграно ими

@MikhailKorobko, подожди. :)

Вот то, о чём там говорят люди - это AI Ethic и над этим работают тысячи людей в десятках компаний (ога, моя лавка типа лидер в этой отрасли).

То есть тебе надо чтобы модель на выходе давала не предвзятый результат, давала его стабильно и была неподвержена влиянию через манипуляцию данными.

Bias, Fairness, Ethic, Drift

Там куча разных техник, против разного и вот это всё.

То что в твоей статье - это "AI нас всех убъёт потому что он умнее".

Одно - конкретная проблема (чтобы твоя модель не сажала невиновных чернокожих потому что расссисты обучили её на рассистких данных). Другой - футуризм

@dj_kill,

они скатываются что "не то что мы хотим сделать систему которая будет как-то показывать и контролировать честность и этичность модели как это делают тысячи других, а вот мы исследуем вообще чтобы вот вообще честно всегда было"

Да вроде логично все: можно заниматься конкретной моделью, а можно заниматься общей структурой за моделями. Так в любой науке работает. Не вижу, почему бы в данном случае не нужно заниматься обобщенными проблемами.

Для меня звучит как манипуляция и попытка сыграть на страхе общества перед AI.

Да вроде им особенно нечего с этого иметь. Опять же, там сидят серьезные люди, которым хайпить на чьих-то страхах как-то странно было б. Если ты послушаешь того же Тегмарка или Бострома, они всерьез тратят на это свои жизни)

@dj_kill,

Вот то, о чём там говорят люди - это AI Ethic и над этим работают тысячи людей в десятках компаний (ога, моя лавка типа лидер в этой отрасли).

Автор письма - Тегмарк, который собственно один из главных чуваков по изучению existential risks от AI. Сайт - институт, который занимается этим рисерчем. Собственно, документ, под которым они подписываются, содержит довольно много такого "футуризма". Как бы все говорит, что речь не только об этике нынешнего AI.

@dj_kill, если не передергивать, то не "потому что расссисты обучили её на рассистких данных", а потому что бигтеху надо деньги зарабатывать, и они придерживаются этики только в достаточной мере, чтобы их не "отменили".

И не "AI нас всех убъёт потому что он умнее", а потому что если он умнее, то мы не знаем, что он будет делать.

То есть твой тезис про расистские нейросетки скорее подтверждает их. Если мы с обычными нейросетками попадаем на такие проблемы, то надеяться на этичность бигтеха и его инженеров, которые скорее будут в восторге от прорыва, чем осторожны, не особо хочется.

Где-то был тред про то, что в недрах фаанг есть группы по контролю за этикой, но менеджмент старается держать их максимально далеко от ИИ-исследоваталей, чтобы те не тормозили прогресс. Но мне тогда лень было проверять кто это пишет, а теперь уже не найду. Так что мб и буллшит.

@MikhailKorobko, не, ты не понял.

Есть четыре основных проблемы ML (давайте не использовать некорректный термин AI): bias, fairness, robustness/drift и ethic.

Есть инструменты (например, IBM AI OpenScale ) которые позволяют тебе для ЛЮБОЙ модели определять что у тебя есть bias или она unfair.
Так же есть инструменты мониторинга drift.
Есть куча комиссий которые занимаются этикой AI (именно в широком смысле что бы эти буквы не значили) и в том же ЕС в этом году принята группа законов ограничивающая использование любого AI в определённых сферах.
То есть всё есть.

Да вроде логично все: можно заниматься конкретной моделью, а можно заниматься общей структурой за моделями.

Ну вот есть куча инженеров, учёных, законотворцев, философов которые делают это сидя на зарплате IBM, Google, Deloitte и прочих или сидя на грантах ЕС. И результаты труда этих людей уже есть в софте и законах. Чем эти "особо умные" отличаются?

@amberav, о.... тут ещё и страх перед бигтехом. :)

Если говорить про расизм, то там ситуация другая: полиция США наняла себе кучу ML инженеров которые нарисовали модель чтобы быстрее и точнее выявлять преступников.
Далее взяли все данные что были и скормили модели.
Но проблема в том, что полиция США веками делала "предпочтение" в сторону чернокожих. Потому что люди - расисты. И, конечно же, когда ты модели 100 раз сказал что преступник - негр, модель у тебя будет считать негров преступниками по-умолчанию. Потому что модель - не интеллект.
И как раз вот с этой проблемой они пришли в бигтех. Потому что обычные датасайнтисты после курсов яндекс практикума за 3 месяца не умеют в такое.

Или тебе другой пример: банки столетия выдавали кредиты молодым гетеросексуальным мужчинам с доходом выше среднего потому что сотрудники банков считали что так лучше.
И модель, конечно же, пытается делать то же самое. И игнорирует девочек-тиктокеров.
И банки теряя на этом деньги пришли в БигТех.

И не "AI нас всех убъёт потому что он умнее", а потому что если он умнее, то мы не знаем, что он будет делать.

Мы знаем. Это математика. Относительно простая.

Где-то был тред про то, что в недрах фаанг есть группы по контролю за этикой, но менеджмент старается держать их максимально далеко от ИИ-исследоваталей, чтобы те не тормозили прогресс.

Прогресс и деньги сейчас как раз в создании систем которые будут из "натренированных на человеческих ошибках" моделек делать нормальные.
Поэтому честность, предвзятость и этика ML сейчас на гребне волны, там самый хайп и весь "бигтех".
И как раз БигТех топит за то, чтобы многочисленные DS с трудом закончившие 3 месяца курсов перестали творить дичь и начали делать что-то нормальное.

Но в головах людей одни страхи перед "злыми корпорациями со злым искусственным интеллектом". И на этих страхах пытаются заработать деньги "инфоцигане".

@dj_kill,

Мы знаем. Это математика. Относительно простая.

речь же про сильный ИИ, а не нейросетки

Насчет "этика - это тренд в бигтехе" придется поверить на слово, так как не в теме

@amberav, а что такое "сильный ИИ"?

@dj_kill, сколько эксперементировал с нейросетями и читал про них, всегда создавалось, что это черный ящик. Ну, то есть можно изучить тонпологию сетки, каждая отдельная функция понятна и это довольно простая математика, можно понять как работает слой за слоем (например, в распозновании изображений), но вот общая логика сеток кажется "нечеловеческой", в плане тренеруя ее мы не понимаем как она обучится, какие признаки выделит как ключевые, мы просто пихаем и пихаем туда данные и она сама себя настраивает, а с конкурентными сетями все еще сложнее. Или я ошибаюсь?

@ganqqwerty, вроде бы с тех пор кардинально ничего не поменялось, но если поменялось, было бы очень инетерсно почитать о таком) меня немного беспокоит тенденция распространения нейронок в медицине, кажется, что сейчас очень легко допустить ошибку в сетке, которая анализирует снимки или "улучшает" их качество

@bmo, как это работает понимают люди которые посвятили этому годы и годы.
И именно потому что для выпускников "3 месяца и ты DS" это сложно (я не про конкретного человека, а про индустрию какая она сейчас) появляется всё больше и больше систем которые это упрощают, визуализируют.
Какой-нибудь AutoAI красивой анимашкой показывает что он выбрал и почему.

Ну то есть да, никто не понимает ВЕСЬ код Linux или Windows. Но это не повод их боятся.
Зато повод создавать удобные GUI чтобы этим самым "непонимающим" было с этим удобно работать.

@dj_kill, я согласен с тем, что в этом могут разбираться только люди, которые посветили этому очень большое количество времени. Вопрос в другом, как работает нейросеть, какие бывают виды нейронов, как правильно выстроить топологию или разработать новую, как придумать обучение для сети - это все могут профи в DS. Но вот уже работающая сетка, например, Dall-E. Я правильно понимаю, что в конкретном алгоритме ее работы (не устройстве/топологии), а именно почему она делает то или другое уже не разберётся никто. И точечных изменений сделать нельзя (как с классическими алгоритмами, где ты просто меняешь конфиг)?

@dj_kill, за ссылку спасибо, изучу)

@amberav, это относится к категории багов.

В зависимости от возлагаемой ответственности, разработка тоже выглядит по разному. Сравнить например софт по распознаванию котиков и софт для системы ПВО. Понятно, что неверно распознанный котик и не сбитая ракета имеют разные последствия. Так и разработка в этих областях должна проходить разные циклы.

То, о чем трубят алармисты, это из области того, что разработчики не совсем понимают конечный продукт, и никто не хочет, чтобы плохо написанный софт работал с потенциально опасными областями. С чем я абсолютно согласен и без ИИ контекста.

@amberav, а ведь что культурный багаж, что ценности в разных частях планеты разные, взять к примеру Швейцарию и Пакистан, ну или там две Кореи. Вот совсем недавно OpenAI под давлением возмущенной общественности искусственно подкрутил генерилку лиц, чтобы генерировать меньше белых мужских лиц и больше цветных и женских :))) - а сколько таких твиков понадобится для general purpose AI, имеющего целевой функцией благополучие всей планеты!

@shrddr, ну пример со скрепками как раз призван указать на то, что необязательно даже пытаться принести всем счастье. Можно попросить максимизировать производство скрепок/еды/машин..., указав, что счастьем людей жертвовать нельзя, но забыв указать, что и численностью людей нельзя жертвовать тоже, что приведет к, скажем, эксплуатирующей уязвимости человеческой психики скрытой пропаганде идей ухода в матрицу, где люди благополучно вымрут, не размножаясь или будут жить под куполом под надзором ИИ, а ИИ пойдет спокойно перерабатывать солнечную систему на скрепки.

Пример с одной стороны выглядит фантастически, но стоит учитывать, что настоящий сильный ИИ может оказаться в десятки-сотни раз умней человека. Соответственно как самый умный шимпанзе никогда не сможет предугадать действия человека на, хотя бы недельном периоде времени, так и человек будет в роли шимпанзе. Смотреть на действия ИИ не в силах их понять.

@MikhailKorobko, туше

@MikhailKorobko, эм, что? Человечество не придумал статистику? Человечество не придумало, как строить модели с использованием научного метода?
Мне непонятно, почему я должна верить какому-то левому чуваку просто вот так, потому что кто-то сказал, что он "эксперт". Это совершенно нездоровый подход, с тем же успехом можно верить тому, что написали в The Onion.

@littleblueduck, так они и строят, в чем проблема? Идешь по любой ссылке, там тебе описана модель, на основании чего они думают о такой или иной степени риска.

@MikhailKorobko, а уничтожит обычная опечатка в регекспе))

@MikhailKorobko, некорректна относительно чего? Чем фундаментально отличается заявление ии о разумности и заявление о том что она - белка? По сути ни в чем.
И да, я не пытаюсь оспорить, пример этого диалога и правда очень спорный. Просто вывод должен быть серьезнее - а что собственно такое разум? Человечество ещё не смогло ответить на эти вопросы.
Ну и да - что бы быть опасным, не обязательно обладать разумом, что бы это ни было.

@momai, нынешние нейронки говорят то, что от них хотят услышать из контекста. Очевидно, тут нет речи о какой-либо осознанности.

Но ты прав насчет того, что это тоже вопрос: в какой момент AI становится разумным. Это тоже надо изучать.

@MikhailKorobko, а как можно что-либо изучать без объекта изучения? ;)

@Maximus, а как этим занимается любая теоретическая физика, математика или философия?:)

@MikhailKorobko, так в том-то и дело, что такие вот научные дисциплины сначала определяются с моделью изучаемого объекта, доказывают, что она (модель) имеет право на существование в определяемых изучаемой сферой рамках и постулируют её свойства (в том числе — и на языке математики) — после чего изучают эту модель и её поведение в стационарных и/или динамических условиях.

А поскольку сам по себе ИИ — по сути модель разумной системы, а этой модели на данный момент не существует... То нет и объекта изучения. 😎

Иначе получатся у нас марсианские каналы XXI века. 😝

@Maximus, то же делают и в ИИ. Не обязательно моделировать все детали внутреннего устройства, чтобы задавать основные паттерны поведения (собственно, никто в биологии, скажем, не моделирует движение квантовых полей).