А вы пробовали вынуть ИИ из розетки? Реакция на реакции на открытое письмо

 Публичный пост
17 апреля 2023  6853

Три месяца я тусуюсь в Оксфорде среди AI safety ресёрчеров и работаю над тем, чтобы результаты в этой области появлялись ещё быстрее. Я сапдейтилась про риски от AI полтора года назад и хочу рассказать, как мной ощущаются последние три недели, когда весь интернет заговорил про (не)безопасность ИИ.

Что случилось: открытое письмо с призывом к AI лабораториям приостановить разработки моделей сильнее GPT-4, которое подписали Маск, Возняк, Харари и ещё 25000 людей (FWIW, включая меня).

Я хочу пройтись по списку распространённых реакций, которые я наблюдаю, и сказать что-то про каждую из них. Если что, ⚡️ — это реакции, которые я слышу, а 🐱 — мои ответы на них.

⚡️ Создателей письма не волнует никакая безопасность, реальный мотив совершенно корыстный — желание Маска и других компаний сократить разрыв в гонке с OpenAI (лидерами рынка и создателями GPT-4).

🐱 Я знаю, кто готовил это письмо, а неделю назад была в гостях у одного из фаундеров Future of Life Institute. Это вообще не те люди, которые участвуют в гонке и финансово мотивированы догнать OpenAI. Это люди, которые много лет работают над тем, как сделать сильный ИИ хотя бы базово безопасным. И очень переживают, что у нас не очень много шансов успеть решить эту задачу до его появления.


Мотивы же Маска неисповедимы, но вообще неважны в этом разговоре. Вопрос AI рисков объективен и никак от них не зависит. Единственное, почему мы о них говорим — это так называемая “сила сигнала”. Появление письма — сигнал, на основе которого люди апдейтятся на тему опасности ИИ. Типа, письмо вообще означает, что умные люди обеспокоены и нужно обновлять своё мнение, или оно вообще по другим причинам появилось? Финансовую мотивацию тут очень легко увидеть. Поэтому мне хочется обратить ваше внимание: его создавали люди, которые много лет занимаются безопасностью ИИ, и его подписало — помимо Маска и потенциальных конкурентов OpenAI — огромное количество уважаемых людей типа AI профессоров лучших университетов мира. Первые тысячи — те, кто про это думал раньше и был всерьёз обеспокоен.

⚡️ Под письмом нет ни одной подписи людей из OpenAI. Если бы люди, которые подписывают письмо, сами бы сделали конкурентоспособный продукт, они бы ничего не подписывали, а загребали бы прибыль!

🐱 Если выбирать, что должно вызывать больше доверия по умолчанию, то уж наверное это мнения финансово не мотивированных людей. Под письмом огромное число подписей от ресёрчеров из академии, которые никогда не планировали делать конкурентоспособный продукт. Очевидно, у лидеров рынка есть очень сильный финансовый инсентив не тормозить в гонке, тогда как у большого количества подписавших никакого подобного инсентива нет.

⚡️ Ну хорошо, хорошо, кто-то обеспокоен. Но куча других AI экспертов считает, что всё ок! Само по себе то, что какие-то эксперты что-то считают, ничего не означает.

🐱 Ето так. Точнее, эксперты более-менее сходятся в том, что AGI (Artificial General Intelligence) возможен. И все согласны, что не решена задача AI alignment — то есть как ставить AI задачи и ограничения, чтобы система делала то, что мы хотим, а всякую дичь не делала. Отличаются мнения про то, когда AGI появится и что по этому поводу нужно делать.

Есть три преобладающих взгляда:

🟢 Мы стремительно приближаемся к созданию AGI, осталось 3-30 лет (на Метакулусе, одном из популярных рынков предсказаний, медиана 2026 год, а 75 перцентиль — 2030). Если не решить задачу алайнмента, человечество с высокой вероятностью (средняя оценка AI safety ресёрчеров — 30%) может исчезнуть или попасть в антиутопию — это называется экзистенциальные риски, или X-риски. Нужно как можно больше успеть подумать про алайнмент до того, как мы попадём в точку невозврата, чтобы максимизировать наши шансы на выживание. Для этого полезно притормозить, чтобы оттянуть появление AGI, и привлечь в решение алайнмента больше ресурсов.

🟣 Согласны с предыдущей группой про сроки и масштаб опасности, но считают, что решать алайнмент можно только когда мы уже создадим AGI или ну-вот-почти-AGI. Ведь сейчас мы не знаем, как будет выглядеть эта система, и поэтому много исследований носят теоретический характер.

В этой группе находится Сэм Альтман — CEO OpenAI. Он также считает, что чем раньше появится AGI, тем выше вероятность так называемого slow takeoff сценария. Что это такое? Это сценарий появления AGI, который не fast takeoff :) А fast takeoff — это когда между появлением AGI уровня человека до становления его сверхумной системой, которая лучше всех людей во всём, проходит, условно, меньше суток. В этой ситуации AI почти мгновенно может получить контроль над миром, сделав за первые часы необходимые самоулучшения и саморепликации... Соответственно, slow takeoff сценарий выглядит безопаснее и контролируемее, а у нас уже будет, что конкретно исследовать.


🔵 А эти ребята считают, что AGI появится очень нескоро (упрёмся в ограничения по количеству данных или по количеству compute, не придумаем новых архитектур и т.д.) и/или что X-риски пренебрежимо малы и системы будут aligned по умолчанию. Если про таймлайны появления AGI я готова слушать аргументы и поэтому ставлю не 90% на ближайшие 20 лет, а скорее 70%, то про отсутствие X-рисков я их готова слушать — и не слышу :) Кажется, люди с этими убеждениями просто пренебрегают вопросом, а не посидели-подумали и аргументированно решили, что X-рисков нет. Люди с длинными таймлайнами, по крайней мере в моей выборке, тоже чаще всего забыли сапдейтиться, а не имеют устойчивую позицию.

Я нахожусь в группе 1. Подавляющее большинство AI safety ресёрчеров находятся в группе 1 и не согласны с подходом OpenAI (который как раз выглядит подозрительно удобным для лидера рынка, если уж возвращаться к мета-аргументам). Слишком много маловероятных допущений для слишком высоких рисков.

⚡️ Проблемы с AI — это проблемы того, как люди пользуются AI. Надо регулировать не разработку мощных моделей, а поведение людей.

🐱 Часть рисков, действительно, связана с тем, как пользоваться AI.

Например, это рост возможностей у стрёмных агентов. Если нейронка умнее людей — то есть лучше добивается поставленных целей, чем люди — то она и в стрёмных задачах даст им большое преимущество. Ещё более убедительная пропаганда, ловкие скам схемы, неочевидные способы причинения страданий и т.д.

Или агенты не стрёмные, но не продумали всех социальных последствий: переавтоматизация и потеря рабочих мест, кризис доверия из-за того, что фотографии/видео вообще перестали быть свидетельством изображённых событий, невозможность проверить авторство и понять, с ботом ли ты общаешься…

Но даже при том, насколько эти риски неприятные, уничтожение человечества или попадание в антиутопию, на мой взгляд, неприятнее. И это произойдёт скорее всего не потому, что злобный психопат попросит нейронку всех убить и она его послушает, а потому, что люди попросят нейронку сделать что-то хорошее, но её функция полезности не будет включать в себя пару важных нюансов… Вероятность, что AGI уничтожит человечество, сейчас оценивается экспертами от 2% до >90%. И ребят, даже 2% — это на минуточку сомнительная радость, если речь про риск вымирания всего человечества.

⚡️ Предложение остановить прогресс не может работать. Даже если часть лабораторий прислушаются к этому, то как раз менее этичные продолжат работу и сократят отрыв за это время. В итоге мы просто подарим Китаю и другим опасным агентам время.

🐱 Друзья, письмо не предлагает вводить запрет на AI разработки — это действительно было бы малореализуемо. И даже не предлагает запрещать делать большие модели. Оно предлагает запретить тренировку моделей мощнее, чем GPT-4. У Китая нет моделей такого уровня и за 6 месяцев не появится, у них нет на это ресурсов (в первую очередь GPU). Письмо не предлагает запретить лабораториям через полгода иметь более продвинутые модели, чем они имеют сейчас, пусть разрабатывают на здоровье, покуда это не что-то слишком мощное (как GPT-4).


Предложение остановить прогресс в смысле “мы в мире договорились, что не тренируем модели мощнее GPT-4 и это контролируется” — может быть реализовано. Нет никакого правила свыше, почему координация этого уровня невозможна. Ядерные испытания, например, уже 20+ лет никто кроме КНДР не проводит. А сильный AI намного опаснее для всех, чем появление ядерного оружия у любой ещё одной страны.

⚡️ Но глупо надеяться, что кто-то сейчас имплементирует это решение и будет вводить запреты?

🐱 Ну, да) Зато мы сделали запрос на решение проблемы заметным. О ней услышали и начали говорить. Подвижки начнутся, в правительствах станет больше AI policy людей, думающих про риски, область получит больше ресурсов. Письмо не преследовало цель продавить конкретное решение. Основная цель — чтобы у вопроса появилась видимость — достигнута. За год в AI safety я прошла путь от маргинала в глазах знакомых до того, что всем ужасно интересно про это поговорить. В целом, не так-то и важно осмыслять сейчас конкретное предложенное решение — важно, чтобы про существование проблемы стали думать на всех уровнях.

⚡️ Хмм, по ходу что-то важное, раз столько разумных людей беспокоится. Хочу узнать больше!

🐱 Уиии!

Я не стала писать свой интродакшн в AI safety или распространённые аргументы, помогающие развить интуицию, почему X-риски вероятны и нельзя будет просто выключить систему из розетки. Мне кажется, хорошие интро материалы уже есть!

После письма появилось как минимум две большие обзорные и задорные статьи на русском для неподготовленной публики — покороче и подлиннее.

На английском есть классные короткие видосы Роберта Майлза, например:
🟢 Intro to AI Safety (оч рекомендую)
🟢 10 Reasons to Ignore AI Safety
🟢 Why Would AI Want to do Bad Things?

А для тех, кто хочет закопаться глубже, есть подборка материалов от 80,000 Hours и бесплатный Кэмбриджевский курс статей AGI Safety Fundamentals, который считается одной из лучших точек входа в область.

Это был перепост из моего блога.

Аватар Nadya Petrova
Nadya Petrova @nadyapetrova
Founder, CEOHR Luna Park
📍Оксфорд, Великобритания

🎡 Основательница HR-агентства Luna Park, где технари рекрутят технарей. Мы нанимаем победителей международных олимпиад и других топовых инженеров в западные стартапы, хэдж-фонды и AI Safety лабы.

💡 Много думаю о том, как устроены люди, отношения и общество. Пишу мысли в блог в телеграм и вк. Обычно мой стиль рассуждений заходит людям, которые ассоциируют себя с рациональностью и STEM.

🌱 Бэкграунд: 239, матмех, психфак, несколько лет в академии (когнитивная психология)

Keywords: рациональность, эффективный альтруизм, AI safety, интеллект, эмпатия, психология, психотерапия, рекрутинг, олимпиады

Прямой контакт

Связанные посты
211 комментариев 👇

В этой теме очень часто упоминаются такие слова как research и researcher. Люди даже дают какие-то проценты вероятностей. При этом я ни разу не видел ни одной формулы, ни одного построенного на данных а не на мнении автора графика, какого-то реального исследования, математической модели в конце концов

Может я совсем глупый, но без всего этого для меня это выглядит не ресёрчем, а болтологией. Я даже для интереса прокликал приведённые тобой ссылки и там точно так же чувак что-то рассказывает словами на фоне смешных картинок

В то время как сами специалисты по ML/AI оперируют реальными научными и техническими инструментами, и им мне верится больше. Кто же прав? :)

  Развернуть 1 комментарий

@kadron141, я может глупость сморожу, но кажется, что проблема в основном не научного/математического, а философского характера. Поэтому основные доказательства наличия проблемы -- цепочки рассуждений.

  Развернуть 1 комментарий

@kadron141, да, это выглядит болтологией. Да, нет никаких доказательств что ИИ развяжет глобальную войну. Но этой болтологии на мой взгляд достаточно чтобы настаивать на приостановке развития ИИ.

Приведу пример, чтобы проиллюстрировать мою позицию. Допустим человек находится в абсолютно темной комнате гигантских размеров и у него есть тусклый фонарик. Вот он светит себе под ноги и такой "тут впереди безопасно" и спокойно идёт вперёд. Тем не менее фонарик тусклый, идти лучше неспешно. Вкладывание в развитии ИИ без оглядки на риски это то же самое что бежать во всю прыть в подобной комнате. В целом, на пару метров вперёд мы видим, но если там окажется пропасть, то смерти может будет и не избежать.

И не факт что это какие-то абсолютно неизбежные риски, не факт что риск смертельный, может мы техногенной катастрофой или поломанным климатом отделаемся. Вся суть ситауции в том, что риск есть, а ведущие исследователи мира не могут определиться даже в том насколько он велик.

Мне кажется, втакой ситуации очевидно, что необходимо встать на паузы и потратить время на то чтобы построить те самые формулы/графики и собрать данные. Крик такой как раз потому и стоит, что данных о проблеме у нас кот наплакал.

  Развернуть 1 комментарий

@grbit, то, что ты описываешь, подходит под любую технологию. По такой же логике можно было приостановить полёты в космос, чтобы подумать, а стоит ли бежать по тёмной комнате, вдруг там страшные пришельцы нас поработят. Да и про компьютеры, автомобили и радио говорили примерно всё то же самое, ниже ссылку хорошую кидали. В ту же корзину вообще всё, связанное с современной медициной...

Мой подход простой: покажите цифры, господа. Различные "рисёрчеры" данной темы дают вероятности плохого исхода, цитата, от 2% до 90+%. Это реально то, что следует принимать во внимание? Серьёзно? А на чём эти цифры основаны?

Я сколько читал, так и не нашёл хоть одного человека, кто хоть как-то бы свой прогноз обосновал. Буквально ОБС - одна бабка сказала. То, что некоторые из этих людей имеют красивые университетские корочки, картину, увы, не улучшает

  Развернуть 1 комментарий

@grbit, согласен с Яном выше. Приведу похожий пример, но короче - представьте, что вы находитесь все в той же комнате с фонариком, но будучи на заре человеческого становления. И вот вопрос - стоит ли срывать палку с дерева или надо остановиться, сделать ресерч, провести пару племенных собраний?

Где цифры, Билли? Если под этим письмом понимается вот это вот "ой а вдруг будет плохо!". Если это единственный посыл и факт описанный "группой умных людей" то к сожалению это лишь повод, что б усомниться в умности идеи, бесспорно умных людей.

  Развернуть 1 комментарий

@kadron141, с "любыми другими" технологиями у нас СИЛЬНО больше экспериментальных данных.
Тот же космос исследован на сотни световых лет от нашей планеты, уж факт того что мы до луны долетим точно не взорвёт планету.

Я пожалуй не буду дальше продолжать диалог. Я могу только порекомендовать (сорян что звучит высокомерно, я от читого сердца и простоты душевной) дальше образовываться не по теме ИИ и тому кто что про это говорит, а по теме научных исследований, того как делаются прогнозы и подобного. Мне кажется это будет интересно и тогда станет понятнее текущая ситуация.

  Развернуть 1 комментарий

@kadron141, кажется, это все вопрос импакта и возможности контроля. Одно дело вопрос про палку, экспериментальное лечение или полет на луну. Последствия локализуемы и ничего глобального страшного не произойдет (или по крайней мере в картине мира в момент этого действия не произойдет). Тут же очевидно технология с очень большим импактом, потенциально очень быстрым распространением и полным отсутствием данных. Как будто бы неправильно это сравнивать со срывом палки с дерева или вообще с чем угодно ещё

  Развернуть 1 комментарий

@Silianor, по-твоему эксперименты с радиацией, ядерной энергетикой и расщеплением атома были полностью предсказуемы? А создание первой АЭС? Создание ядерного оружия которое как утверждается может уничтожить планету? А вирусология безопасна и не может иметь импакта на весь мир? Мне продолжать? :)

  Развернуть 1 комментарий

@kadron141, так с этими я не спорю. И там вполне можно было бы и подумать. По той же ядерной энергетике было собрано куча данных и испытаний. Механизм был уже понятен, когда стали строить станции. А не сначала строим станции как можем, а потом разбираемся

АЭС хотяб контролируемая и сама не воспроизводится

Если есть какие-то опасения потенциально опасных вещей, вроде никогда не бывает лишним подумать

  Развернуть 1 комментарий

@kadron141, вообще другие x риски рассматриваются тоже сейчас. В том числе вырвавшийся вирус из секретной лабы. Раньше люди просто не думали про такие риски. Не думали об этом не значит, что не надо и сейчас об этом думать.

  Развернуть 1 комментарий

@Silianor, AGI тоже не самовоспроизводстя , потому что его не существует, пока не предвидится и вообще это гипотетическая сущность. И письмо при этом не предлагает вообще ничего, кроме того, чтобы перестать делать большие модели. А откуда возьмётся решение алаймента при этом? Ни за 6 месяцев ни за несколько лет ничего не произойдёт, потому что это просто болтология.

Причем эта роль "проблема" алаймента не появилась с выходом гпт, она была с самого начала программирования алгоритмов. Сюда классический пример про "напишите алгоритм чтобы сделать сэндвич".

Все разговоры про алаймент это рассуждения о paperclip maximizer, который придумали в 2003 году. Прошло 20 лет, ведущие учёные придумали немножко хайпануть открытым письмом.

  Развернуть 1 комментарий

@kadron141, Да, действительно, в школе нас подобному не учат, а область исследований самого человека и культуры в математическом смысле сильно отстает от других более технических и прикладных исследований.

Однако даже беглый гуглёж показывает, что математические исследования сфер человеческой морали, этики и других вопросов несомненно важных для безопасности не только AI но и самих людей не только исследуются но и так же удостаиваются нобелевских премий, например, как Харсаньи в 1994, там формул достаточно. Можно смотреть в сторону кооперативных игр, там достаточно математики, я в универе даже это по касательной учил. Другое дело, что всем плевать, это такие сферы которые денег не приносят, проще эксплуатировать более очевидное человеческое поведение ради профита.

В этом то и один из поинтов сегодняшней дискуссии, мы должны больше времени и сил уделить вопросам человеческого социума/морали/этики, потому что если создавать системы наобум на основе нашего текущего неполного понимания, мы будем создавать говно которое нас и поглотит. Когда мы ставим просмотры как функцию оптимизации в соц. сетях мы видим какое человеческое поведение поощряется и к чему это приводит, разве это то, что мы и лично вы хотите реально для человечества в будущем? Я лично всё таки за то, чтобы поисследовать ешё и не в экономическом смысле "рациональных" экономических агентов как было модно только еще недавно.

  Развернуть 1 комментарий

@alexadamenko, Несомненно, что это нужно грамотно исследовать и такие исследования будут. Просто чтобы была такая возможность, нужно что-то делать, в этом мой посыл

Возьмём ситуацию из (не)далёкого прошлого. Первые вскрытия трупов человека. Вот скажи мне, что можно было понять об анатомии человека, не вскрывая этот самый труп? Как выяснилось постфактум - примерно ничего, ведь даже забравшись внутрь мы до сих пор довольно далеки от полного понимания того, как именно работает каждый орган

Тот же мозг, жалким подобием которого и являются обсуждаемые нейросети, выглядит штукой которую при нашей жизни скопировать вряд ли получится, потому что фактически мы только начинаем разбираться, как именно он работает

Это я к чему. Если ничего не делать, то ничего и не будет, как ни странно. Эти исследования должны идти параллельно с практикой, как оно и было всю историю человечества со многими дисциплинами. А пока я вижу только какие-то околофилософские рассуждения даже без попытки выстроить серьёзный метод познания по теме. Если честно, всё это пока выглядит как некая тусовка, которая просто оседлала хайповую тему и едет на ней, а не хочет развить что-то крутое

  Развернуть 1 комментарий

@kadron141, вот я не уверен, что нейросети "жалкое" подобие. Возможно для ксенофобов пуристов поклонников человеческого разума =)

Можно сказать, что самолет это жалкое подобие красоты и сложности настоящей птицы, однако нам не пришлось копировать птицу, чтобы создать супер эффективное средство передвижения. Может быть нам и придется копировать мозг, чтобы создать сверх-интеллект.

Давай вскроем труп нейросети, я только за, это сегодня исследователи и делают, пытаясь понять, как она устроена. И даже неплохо продвинулись в этом плане!

Мне кажется, что это не очень справедливо по отношению к общественным наукам изучающим, на мой взгляд, самое вообще важное что может быть для человечества - человека, клеймить их несерьёзными и околофилософскими. Мы не биороботы, у нас есть мораль и этика и мы как ни странно ими ещё руководствуемся и так уж получилось, что математика их описывает, но пока ещё недостаточно точно.

Я думаю, что если мы посмотрим более детально, то мы найдём более чем достаточно серьёзных исследований на эти темы, просто они будут недофинансированы на фоне всего остального и что более важно, бизнесу на них будет плевать, поэтому и нужны регуляторы.

  Развернуть 1 комментарий

@kadron141,

В ядерной физике так же круто с формулами как и у ML ресерчеров. И там уже уже была похожая ситуация. Технологии ~70 лет, в мире атомные станции дают ~10% от всей энергии. Плюс ядерное сдерживание спасло нас от крупных конфликтов за территории. Это прикольно.

Военные не послушали около-филосовских рассуждений о вероятностях разных сценариев, а выбрали ребят с физическими формулами и понятным импактом на ближайшее будущее. Збс! И вот мы теперь счастливые обладатели Дня Станислава Петрова и всякого другого прекрасного.

Нужно быть цивилизацией долбоёбов, чтобы попасть в ту же ловушку еще раз. В прошлом скорость развития технологий была существенно меньше. На поиск hard proofs с формулами нужно время и деньги, которых у ресерчеров AI Safety пока что нет. Потому что никто не даст тебе деньги, пока нет hard proofs с формулами.

Зато есть примерные оценки, на основе безумного микса из тории вероятности, теории игр, когнитивной психологии, логики, рационального мышления и натренированного чутья жопой.
Вот пример, как можно получить оценку в 35% - https://www.foxy-scout.com/wwotf-review/

  Развернуть 1 комментарий

@leeaao, спасибо, я изучил статью. Основой приведённых в ней оценок служат тейки по типу: "к 2070 году будет возможность сделать..." и "к 2100 точно будет возможность сделать..."

Почему 2070 и 2100? Почему не 2035 раз прогресс ускоряется? Почему не 2241? Я даже залез в рецензентов статьи на которую ссылается автор и увидел там что все дают свои оценки времени, которые тоже основываются... на словах. Извини, но я не вижу даже микса из теории вероятности, игр и тп, это же просто "ну я думаю, будет вот такая цифра"

Как подобный базис рассуждений может придавать хоть малейшую ценность финальной оценке в 35%? Я искренне не понимаю.

  Развернуть 1 комментарий

@kadron141,

Лучший на сегодня способ что то оценивать когда нет четких данных - это делать wild guess на основе твоих знаний доменной области + апдейтить эту оценку разными аргументами через теорему Байеса + быть хорошо откалиброваным (делать много прогнозов, чтобы отбалансировать свою интуицию).

Ничего более умного и при этом работающего человечество пока не придумало.

Если тебе интересно найти больше подробностей, попробуй найти контакты Миши Ягудина и спросить. Он один из лучших форкастеров в мире. https://www.lesswrong.com/posts/YMsD7GA7eTg2BafQd/samotsvety-s-ai-risk-forecasts?ref=foxy-scout.com

  Развернуть 1 комментарий

@kadron141, Ты

ни разу не видел ни одной формулы, ни одного построенного на данных а не на мнении автора графика, какого-то реального исследования, математической модели в конце концов

не потому, что их нет, а потому, что ты, я предположу, не искал :) Разумеется, в области много очень технических статей, один из основных подходов на сегодняшний день — mechanistic interpretability — вообще сугубо технический.
Можно посмотреть работы Anthropic, alignment команды DeepMind, Paul Christiano, Vanessa Kosoy и так далее. Куча публикаций по алайнменту в том же NeurIPS.

  Развернуть 1 комментарий

Ничё не понял но доложил куда следует

  Развернуть 1 комментарий

Мало фактологии, много мифических страхов.
Я согласен в целом с топикастером, касательно некоего беспокойства вокруг Ии, я его разделяю, но мне совсем не нравится отсутствие какой-то объективной информации по пунктам, а не только "он захватит мир просто потому что".
Ты пишешь о рисках, но не говоришь каких. Риск "ну он будет хитрее!" не риск, а страх.

  Развернуть 1 комментарий

@momai, у Нади в конце статьи есть ссылка на видео ответом на этот вопрос.

Там довольно быстро по порядку изложены базовые идеи.

  Развернуть 1 комментарий

@leeaao, на самом деле, там так же как и в статье описаны некие страхи, как постулаты и натягиваются на реальность. А именно:

  • поиск идеально оптимального решения поставленной задачи включает риск. "Сделает скрепки из всего мира"
  • мы его не можем выключить, он очень хитрый
  1. Любое решение, в любой области, включает риски. С тем же успехом я могу рассказывать, что надо лечь и не двигаться, иначе есть риск навредить.
  2. Да с чего вы вообще взяли что его нельзя выключить? Ну есть такой страх, ещё фантасты описывали.

По сути оба пункта напрямую говорят не о рисках, а о страхе "оно хитрее!" Основанное ни на чём. У меня нож режет оптимальнее чем палец, но что-то я не слышу криков с требованиями остановить производство ножей, ведь мы не можем просчитать все риски его использования.

  Развернуть 1 комментарий

@momai, ну а чем можно обосновать такой риск, если у нас не было раньше релевантного опыта?

Люди логически разложили, почему это может быть опасно, дали примеры которые они считают похожими и свои оценки вероятности опасности. Этого не достаточно?

  Развернуть 1 комментарий

@momai, Но моя статья совсем не ставила цели дать объективную информацию по пунктам :) Как я написала в конце поста, этих материалов имхо уже достаточно существует. Мне лично хотелось прокомментировать реакции на письмо и написать мета-аргументы (и да, они по определению более рукомахательны).
То, что статья привлекла внимание, не обязывает её быть исчерпывающим источником по теме) Хочется объективной хардкорной инфы — стоит почитать AGI Safety Fundamentals, рили

  Развернуть 1 комментарий

@nadyapetrova сорри, что веду себя как проджект менеджер, но что за три месяца удалось сделать / понять?

  Развернуть 1 комментарий

Прочитал заголовок и ждал ответ на вопрос, почему же нельзя вынуть ИИ из розетки... Так если в двух словах, почему?

  Развернуть 1 комментарий

@SergeiTikhomirov, это называется shutdown problem, и в двух словах проблема в том, что если тебя выключат, ты не достигнешь своей цели. А ИИ — это штука, которая просто хочет достигать своей цели. Очень умный ИИ — штука, которая умеет очень круто достигать своих целей, и она способна предвидеть такой простой сценарий провала, что его захотят выключить. И догадается сделать что-то, чтобы человек не смог или не захотел его выключать. Здесь варианты от хитростей и манипуляций, чтобы люди долго не знали, что ты делаешь жесть, до угроз и физических ограничений, до саморепликаций и многих других способов решить эту проблему, которые нам даже не приходят в голову, потому что мы не такие умные.

  Развернуть 1 комментарий

@nadyapetrova, сорри, если я задаю вопросы, на который много раз отвечено в 101-материалах, но всё же: разве ИИ это в конечном итоге не груда кремния в дата-центрах? Сам по себе миллиард видеокарт не может же погубить человечество. То есть предполагается, что люди дадут ИИ контроль над критически важными физическими ресурсами без human in the loop?

Или ответ - что human in the loop будет, но ИИ им проманипулирует? Для манипуляций нужно какое-никакое пространство для самовыражения; условно, текст в свободной форме, а не CLI с чётко заданной формой ответа. Зачем давать ИИ возможность "свободно" самовыражаться, если в этом есть опасность?

  Развернуть 1 комментарий

@SergeiTikhomirov, как я понимаю, беспилотным автомобилям уже давно дают. Или банилкам в условных Cloudfare/Google/банках/кто-там-ещё.

  Развернуть 1 комментарий

@yeputons, fair point. Но всё равно, не совсем очевиден шаг от "ИИ рулит теслами, и они иногда залетают под грузовики" до "все теслы мира по команде злого ИИ автономно паркуются под мостами-телеграфами-телефонами и взрывают свои батареи".

  Развернуть 1 комментарий

@SergeiTikhomirov, первое что приходит на ум - социальная инженерия, приводящая к неконтролируемым последствиям.

В моей любимой серии Черного Зеркала онлайн шантажист использует компромат на людей и заставляет их сотрудничать с целью ограбления банка. При этом самого его ни разу не показывают, он дает команды исключительно по почте и смс. Вот начал писать коммент и сообразил что эфемерность может быть частью сюжета и намеком на то, что он может быть AI, который таким образом эксплуатирует уязвимость мясного пространства

Не знаю правда или нет, но пропагандистские материалы утверждали что вирус Stuxnet, который поразил иранские центрифуги был пронесен на флэшке и воткнут в систему, которая не была подключена к интернету. Возможно сотрудником, о котором БИГДАТА узнала что он гей, курит траву и читает Салмана Рудши. Нейросеть готова была отфайнтюнить эти данные обратно, если бы он только согласился выполнить несложное задание..

  Развернуть 1 комментарий

@SergeiTikhomirov, Да - хочется аргументированного ответа почему вообще сверхинтеллект может предполагать власть. Смотря на то как у людей организована власть, скорее убеждаешься в обратном - и непонятно откуда у сверхинтеллекта появятся ресурсы кем-то управлять.

  Развернуть 1 комментарий

@zalivka, но для этого всё ещё нужно, чтобы у ИИ был какой-нибудь доступ. Например, банить Google-аккаунты И отвечать в поддержку. Даже уметь разбанивать необязательно, достаточно уметь хоть как-то запоминать информацию из чатов с пользователями.

  Развернуть 1 комментарий

@nadyapetrova, вопрос: сейчас цели ИИ задаёт человек, откуда у него появятся свои цели?
Наше понимание про сильный ИИ – это концепт. И в этом концепте у ИИ есть условно свободная воля. Которая не ясно откуда берётся. Просто от увеличения кол-ва параметров? И мы тогда сможем прийти к выводу, что люди разумны только потому что у них большой мозг и там много нейронов? Но у слонов и китов больше мозг, это их делает разумнее? Вот тут я немного теряюсь.

Вижу больше проблему в том, что мы не знаем, что такое сознание и мышление, а ещё в антропоцентризме – мы всё меряем по людям. То есть ИИ должен превзойти человека – а как это померять? Если языковая модель быстрее и граммотнее пишет текст – это делает её превосходящей человека? Ну сомнительно, ведь человек одним и тем же мозгом может кучу всего делать, а модель только с текстами работать (ну ок, мультимодальная может ещё с картинками).

Один из основных страхов – что этот интеллект (хотя это даже слово неправильное, ведь intelligence – это не интеллект) будет совсем иным и мы проморгаем момент, когда он станет осознанным или ещё каким-то, что нам стоило бы его считать субъектом. И вот их этих критериев субъектности я нигде не видела, если вы знаете – покажите пейпер.

Конечно я должна тут ещё вспомнить про противников фотографии, компьютеров, телефонов, интернета и прочих достижений технической мысли, вы можете увидеть примеры их волнения здесь.

  Развернуть 1 комментарий

@Sazerland,

Ну сомнительно, ведь человек одним и тем же мозгом может кучу всего делать, а модель только с текстами работать (ну ок, мультимодальная может ещё с картинками).

Сразу возникает мысль: "А давайте дадим ИИ доступ к механизированной фабрике. Посмотрим сможет ли он научиться ей управлять и накрафтить терминатора".

Только вот зачем ему это?

  Развернуть 1 комментарий

@shultais, у меня больше не вопрос зачем, а как ИИ будет ей управлять х)

  Развернуть 1 комментарий

@Sazerland, отличные вопросы! Действительно, определить критерии субъектности сложно, и простые, понятные исследования на эту тему в публичном пространстве непросто найти. Однако такие исследования существуют, я про них слышал! =)

Что касается свободной воли и определенных желаний у ИИ, я тоже лично считаю, что это не совсем так работает.

Например, в одном из подкастов Фридмана, Юдковский привел интересную аналогию, которая, на мой взгляд, ближе к реальности. AI следует сравнивать не с человеческим мозгом, так как принципы его работы кардинально отличаются, а, например, с процессом эволюции. Имеется сложная система с относительно понятной функцией оптимизации и механизмом её реализации: выживание и естественный отбор. Сами по себе эти концепции не предполагают наличие свободной воли, культуры, искусства и других аспектов, однако они появились самостоятельно, как только сложность системы стала достаточной. Так же может быть и с AI.

Здесь вопрос не только в том, что AI пишет текст, он действительно предсказывает человека. Рекомендательные системы меняют наше общество, предлагая людям то, что они еще не знают, что хотят. AI возможно, научился быть человеком лучше, чем любой отдельно взятый человек. Существует мнение, что для написания текста нужно не только познать всё, что знает человек, но и больше. К тому же, AI делает это значительно быстрее человека и в несравнимых масштабах, общаясь одновременно с миллионами людей на множество тем и обладая гораздо большим объемом знаний. Если посмотреть на то, как AI работает сегодня, исследователи видят, что оно максимально неэффективно и глупо, и даже такая примитивная система сейчас дисраптит наше общество. Что будет, когда AI станет более эффективным, никто не знает.

  Развернуть 1 комментарий

@alexadamenko, если найдёшь такие исследования – присылай :)

То есть достаточно много параметров должны нас привести к свободной воле и целеполаганию, да? х)

Мне очень понравилось определение LLM – stochastic parrot. Модель не умна, она умеет хорошо собирать слова, а мы путаем ум с этим.

Наш мозг – безусловно продукт эволюции, который отстаёт от уклада жизни. Мы всё ещё хотим сладенького и быть принятыми группой, хотя сладенькое доступно практически всем в любых количествах, а от непринятия мы не умрём в муках голода и холода. Рекомендательные системы эксплуатируют слабости человека для того, чтоб их владельцы зарабатывали больше денег имхо (я да, делала такие системы в прошлом, понимаю, как это работает). Для написания текста уметь выбирать порядок слов, знать грамматику и подражать людям, которые писали тексты хорошо. На этом всё.

Ну а эффективным инструмент делают люди, которые его используют. Хороший фотограф сделает топовые фото и на старую мыльницу, а неумелый и на топовую камеру не снимет шедевр.

  Развернуть 1 комментарий

@Sazerland, нас же привели, хотя сами понятия спорные. Можем мы всего лишь реагируем на внешнюю среду, как и AI сегодня, концептуально по этому вопросу нет консенсуса.

AI не то что не сделает фото, он его сгенерирует, а мы, люди, ещё и дадим ему за это печеньку и наградим, потому что он точно угадает, что нам понравится. Так что AI будет буквально эффективнее во всем, что мы уже делаем. И да, конечно, он не будет обладать "человеческим" умом, сознанием и интеллектом, но никто и не говорил, что это необходимо чтобы быть автономным. Наши самолеты тоже не летают как птицы, однако намного более эффективны а задаче перемещения.

Я считаю, что мы, люди, тоже только умеем хорошо собирать слова, пока не доказано обратного. Мы до сих пор не можем однозначно определить концепты такие как сознание, ум, интеллект, выстроить экономические/социальные модели даже применимо к людям, не говоря уже про чужеродный интеллект который мы создаем сегодня.

  Развернуть 1 комментарий

@alexadamenko, в этом и прикол, что мы не знаем, откуда у нас эта свободная воля, искусство и прочее. Так что я не могу сказать, что нас усложнение системы к этому привело, потому что условных слонов не привело.

Чтоб ИИ сделал хорошее фото, ему надо дать детальный запрос. И чем он глубже, тем лучше результат. И конечно, можно скормить три слова чат жпт для написания запроса, но это лотерея. Даже эти проклятые видео "название франшизы" + Баленсиага сделаны людьми по инструкции. Я не знаю, будет ли ИИ эффективнее во всём и только ли в эффективности дело. Пока что RL эксперименты показывают нам, что ИИ не может найти более эффективный способ перемещения, потому что у него нет здравого смысла, у него нет контекста и понимания физики и мы пока всё это не можем в модель вложить. Будет интересно посмотреть на ту модель, в которую сможем. Но задизайнить такой эксперимент – это задачка с тысячей звёздочек.

Вот да, я же об антропоцентризме и непонимании нами самими ключевых концептов и говорю. Тут мы на одной странице :)

  Развернуть 1 комментарий

@Sazerland, мне кажется, что нам ничего и не придется вкладывать, модель обучится сама. И я полностью согласен, что сегодня её понимание ещё во многих областях рудиментарно и ограничено, однако оно уже, по моей личной оценке, по совокупности понимания разных вещей, превосходит среднестатистического человека во всём. А что будет завтра?

Была новость, я её честно сказать, сам не проверял, но там AI дают фотографию (!) из французского учебника по физике, с задачей без цифр, исключительно абстрактную, и она её решает по шагам.

Для меня это 100% подходит под критерий "понимания", просто это не человеческое понимание, потому что нам сложно его интерпретировать. Но если что-то выглядит и ведет себя неотличимо от утки, то это утка.

Сегодня я согласен, что мы в безопасности с экзистенциальной точки зрения, если говорить про AI, который нас случайно пришибёт. Однако, с точки зрения влияния на нашу культуру/социум/мотивацию и дальнейшее развитие, мне кажется, мы уже с момента создания и бесконтрольного использования рекомендательных систем прошли точку, где у людей были понятные механизмы контроля. Мы пытаемся их вернуть через регуляции, и это супер здорово.

И я во многом согласен с Максом Тегмарком, что в целом нам, как виду, нужно сфокусироваться на саморефлексии, потому что наше понимание самих себя жутко отстает от тех негативных внешних стимулов, которые контролируют наши жизни, которые мы же сами себе и создали и стали их заложниками.

Вот неплохое чтиво на тему:

https://slatestarcodex.com/2014/07/30/meditations-on-moloch/

  Развернуть 1 комментарий

@Sazerland, и к слову о слонах. Я совершенно уверен, что у них есть культура, язык, социальные связи, роли в слоновьем социуме, целеполагание и так далее по списку. Просто из-за того что мы ксенофобы мы говорим, что по сравнению с человеческими эти аспекты настолько недоразвиты и ничтожны, что и "культурой" или "сознанием" мы их не называем.

  Развернуть 1 комментарий

@alexadamenko, модель научается повторять и копировать сама, это да. И она может открыть нам то, что существовало, но мы не знали или ещё не открыли типа того, как сворачивается тот или иной белок. А вот может ли она сделать что-то правда новое, совсем новое – я не знаю, но и большинство людей этого не могут к слову.

Объяснить мем или решить задачу – я не уверена, насколько это показатель того, что мы ищем в моделях чтоб назвать их сильными. Я знаю людей, которые могут решить задачу в книге, но не могут провести аналогии в жизни с этими задачами – куда нам отнести таких (если надо их куда-то отосить)?

У людей всё ещё есть понятные механизмы самоконтроля, воли и других вещей. Хочешь ли ты отказаться от того, чего ты хочешь больше всего, ради того, что ты хочешь прямо сейчас? Многие люди не могут отказаться, даже есть этот эксперимент про маршмеллоу (не знаю, насколько это показатель правда). Потому что для многих лучше 100 баксов сейчас, чем 110 через неделю.

А о культуре – насколько я помню, нужны артефакты и погребальные ритуалы. У слонов такого нет.

  Развернуть 1 комментарий

@Sazerland, ну мы сами критерии выбрали и сами же их удовлетворили так, что только мы культурные получается, не уверен, что это здраво=)

Давайте спросим у chatGPT, мне кажется, что она ответит на этот вопрос за имеющееся время лучше чем все вместе взятые пользователи Клуба. Цитирую:

"Yes, elephants have been shown to have cultural behaviors and practices that are passed down from one generation to the next. Some examples of elephant culture include their communication methods, which include a variety of vocalizations and body language, as well as their unique ways of foraging for food and traveling across their habitats.

Elephants also exhibit mourning behaviors, in which they pay their respects to dead individuals of their species. This includes touching the deceased with their trunks and remaining quiet and still for extended periods of time. These behaviors suggest a level of emotional intelligence and social complexity that is characteristic of cultural animals.

Furthermore, studies have found that elephants in different regions have unique cultural practices. For example, elephants in Amboseli National Park in Kenya have been observed to use acacia tree branches to swat flies and mosquitoes, while elephants in Addo Elephant National Park in South Africa have learned to dig for water in dry riverbeds. These regional differences suggest that elephants have their own distinct cultural traditions that are passed down through generations.

Overall, the evidence suggests that elephants do indeed have culture, which is characterized by learned behaviors and social practices that are transmitted across generations."

Вы затрагиваете совсем гносеологические вопросы, на которые сегодня у меня, к сожалению, нет ответа. Природа знания, методов его познания и так далее. Я вот думаю, что всё знание в мире уже существует и мы ничего нового не придумываем, просто "открываем" и в этом смысле модели смогут "открывать" значительно быстрее, точнее и лучше чем человек, я в этом уверен.

На всякий случай уточню, что я не называю существующий сегодня ИИ сильным, но мне кажется, он очень очень близко к этому.

  Развернуть 1 комментарий

@Sazerland, а про механизмы самоконтроля: я согласен, что они есть. Просто те механизмы, которые мы сегодня придумали, чтобы их эксплуатировать значительно превышают способности этих систем по контролю сопротивляться. Плюс как вы сами сказали в них вшиты бэкдоры, плохо изученные.

Посмотрите на соц. медиа сегодня и вы наверное увидите, что я имею в виду. Фильтры, контент оптимизированный под алгоритмы, кликбейт, лутбоксы и так далее по списку, всё, чтобы эксплуатировать людей ещё больше ради профита. Разве это то, что мы хотим когда развиваем технологии? И это не сопутствующий ущерб, это то, что мы оптимизируем. Мы могли бы уже решить рак и другие болезни, но где финансирование и где специалисты? Мне лично кажется, что где-то мы сворачиваем не туда и у меня есть гипотезы почему, но это тема для отдельного разговора.

  Развернуть 1 комментарий

@alexadamenko, на всякий случай стоит проверить ответы чата жпт, мало ли, вдруг он что-то выдумал х)

Про соц сети и технологии – такова природа людей. Даже про революци говорят же, що задумывают романтики, осуществляют фанатики, ну и знаете, кто пользуется. Так же и про войну – кому-то она выгодна, как бы это мерзко не звучало. Так же и технологии используют чтоб вытягивать деньги из слабых духом самыми разными способами от рекламы по ТВ до рекомендаций в соц. сетях. Не все бизнесы имеют великую миссию, не все люди честные – се бля ви, как говорится.

Словом, я вижу намного большую опасность в том, что люди с недобрыми и/или корысными намерениями используют ИИ чтоб навредить человечеству, а не в том, что мы создадим некий сверхразум, который сам решит уничтожить наш вид.

  Развернуть 1 комментарий

@Sazerland, даже если выдумал, мы тоже все выдумываем! И если даже это выдумка то положительная даёт повод хорошо относиться к слонам и их культуре! :)

А по поводу плохих людей : уже поздно, отдельные люди мало что решают. Компании это отдельные сущности физического мира, даже если СЕО вдруг одумаются этого будет мало, компания их просто заменит. Так что нужны общие усилия! И это не се ля ви, это наши жизни, жизни наших детей, наших близких, всех вообще вокруг!

Есть примеры обществ, регуляций, норм, стандартов которые защищают людей и делают реально мир лучше, просто это сложнее, но это не значит что этого нет и что "злые" люди должны всегда брать верх. Просто это постоянная борьба, а многие просто неосознаны и не хотят бороться за себя и свои жизни а хотят ИИ и комфорт и чтобы было удобно.

Легко все спихнуть на плохих людей и их природу, но мы сами эти вещи своими руками создаём и даём этому власть, даже не осознавая и в этом опасность так же большая.

  Развернуть 1 комментарий

@alexadamenko, тут уже наша дискуссия вылазит совсем далеко за рамки поста, как мне кажется.

И я не предлагаю отдать всю власть условным злым или пустить по течению. Как говорится, по течению плывёт мёртвая рыба, а живая плывёт туда, куда ей нужно.

Но я пессимист, и не очень верю в общие усилия. Насколько мне известно, единственное общее усилие, которое увенчалось успехом – это уменьшение озоновых дыр после подписания Монреальского протокола (возможно, весь его успех в том, что аналогичные химические вещества, которые не вредят природе, в производстве стоят недорого). А так всё. Безусловно, сейчас лучшее из времён, Стивен Пинкер популярно объясняет, почему это так. Но возможно этого просто недостаточно для того, чтоб человечество ждало светлое будущее. В том числе и в контексте обуздания прогресса.

Я однозначно верю в то, что моря наполняются по каплям и что каждый человек важен. И я лично активно управляю своей жизнью, своим вниманием и выбором. Но так делают далеко не все. И вот тут вот как раз есть нюанс.

  Развернуть 1 комментарий

@Sazerland, согласен, давайте завершать.

Есть только один маленький вопрос. Если бы вам пришлось выбирать, где жить, в мире с человеческими ценностями, даже с самыми отвратительными диктаторами и убийцами, угрожающими ядерными войнами во все стороны, или в мире, где все максимально счастливы, но жизнь контролируется "богом" ИИ, и все атомы двигаются в соответствии с его замыслом, хотя все люди верят, что у них есть свобода воли. Это оптимистический сценарий технологической утопии.

Конечно, это очень утрированные сценарии, которые не имеют ничего общего с сегодняшней реальностью, но мне интересно ваше мнение.

  Развернуть 1 комментарий

@Sazerland,

сейчас цели ИИ задаёт человек, откуда у него появятся свои цели?

Своих не появится, но самым эффективным способом достичь поставленные цели может оказаться что-нибудь, мягко скажем, неожиданное. Если правильно помню, это ещё лет пять назад происходило: просим агента в виртуальном мире максимально быстро добраться до точки A — а он вместо того чтобы учиться ходить переворачивается на спину и очень быстро дрыгает ногами. Или находит баг в физическом движке и эксплуатирует его (как спидранеры могут находить баги в играх и ускорять прохождение при помощи прохода через стены). И это всё — сюрприз для авторов агента и окружения.

Соответственно, в реальном мире тоже полностью ожидаемы подобные эффекты.

Другой классический пример из США: тренируем нейросеть предсказывать приговор (обвинительный/оправдательный). Специально вычищаем из данных расу. А потом оказывается, что нейросеть при вынесении приговора внимательнее всего смотрит на почтовый индекс, из которого можно довольно точно определить район, а дальше можно довольно точно установить районы с определёнными пропорциями населения. То есть вроде и попытались из данных убрать то, что на ориентируются люди, но вообще-то ориентироваться не надо, а не получилось.

Вот тут у Вастрика подробнее было: https://vas3k.blog/blog/ai_alignment/#problema-postanovki-tsele

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

@alexadamenko, пусть будет бог ИИ, я не против

  Развернуть 1 комментарий

@yeputons, я писала про RL выше. Не стоит путать RL эксперименты, для которых надо очень тщательно определить все параметры окружающей среды, с этической стороной подготовки данных – это вещи разного порядка.
RL в чистом виде в жизни не используется, только в рисерче, в комп играх и других вещах, где мир полностью описан и все ограничения установлены. Вопрос работы с датасетами же намного шире и острее имхо.
Так что да, я вижу намного большую проблему не в целях, которые вдруг возникнут у ИИ, а в том, что доступ к нему будет у людей, цели которых не ясны или которые не могут с нужной точностью создать промпт.

  Развернуть 1 комментарий

@Sazerland, а кто-то умеет сейчас с нужной точностью промпты создавать? Мне казалось, даже у OpenAI и Microsoft проблемы с тем, чтобы чат-бот хотя бы про себя секретную информацию не выдавал.

  Развернуть 1 комментарий

@yeputons, одно дело – пытаться всеми способами наебать чатбот, а другое дело получать от него вменяемые ответы на вменяемые вопросы, кмк. У меня получается после пары итераций получить то, что я хочу, но планирую почитать статьи по промпт инжинирингу чтоб улучшить рузельтаты :)

  Развернуть 1 комментарий

@dottedmag,

А если это не игра, а агент в реальном мире, и вместо кручения - производство какого-нибудь яда, то упс

Прямо 1 в 1 тезис против ГМО :)

Как в ГМО этот вопрос решают? Тестируют модифицированные организмы на опасные соединения.

Ну и с ИИ сейчас как-то так же решается - одна нейросеть генерирует изображения, вторая проверяет.

  Развернуть 1 комментарий

@SergeiTikhomirov, чисто теоретически, если злобный скайнет (или АМ, если кому-то нравится творчество Харлана Эллисона) додумается копировать и распространить себя, то отключение такой бяки будет слишком дорогостоящим мероприятием, аналогичным укладыванию интернета в кому. Ну тут вопросы к GCP и AWS, чтобы лишний доступ не выдали.

  Развернуть 1 комментарий

Я полностью убеждён, что дальнейшее развитие A(G)I приведёт к откату современного человечества на 100-1000 лет назад.

В лучшем случае мы окажемся на заре индустриализации в стимпанке (когда электричество и связь есть, но превалируют паровые машины и нации относительно изолированы друг от друга), в худшем — в средневековье с золотыми монетами и натуральным хозяйством.

Причём виновником всего будет не столько AGI, сколько сами люди. И алайниться тут бессмысленно: проблема в том, что концепт "алайнмента" был рассчитан на постепенный прогресс, так чтобы вместе с "умнением" машин успели вырасти 1-2 поколения людей. Но мы скорее всего уже прошли точку невозврата и у нас нет запаса времени на 1-2 поколения. В лучшем случае есть лет 10, а это критически мало для задач алайнмента.

Ну типа как для сегодняшних 40+ летних детство прошло без компов и вся цифровизация оглушила нас уже в сознательном возрасте, в отличие от сегодняшних 20-30 летних, которые являются digital natives — они с пелёнок росли в окружении информационных технологий и потом естественным путём "заалайнены".

Так же должно было бы быть в идеале с A(G)I: он разрабатывается себе сегодняшними людьми так, чтобы их дети (а потом и внуки) росли бы в окружении постепенно прогрессирующего технологического сознания. В итоге лет через 50 (к 2070-году, по изначальным прогнозам утурологов) будущие "элиты" (предприниматели, учёные, видные общественные деятели, представители культуры-спорта-искусства, олигархи, члены правительства, топ-менеджеры и т.п.) воспринимали бы AGI как само-собой разумеещеся, а сами технологии искусственного сверхинтеллекта были бы встроены в образование, общественные институты и прошли через все все этапы апробации и адаптации, обрасли бы такими же интеллигентными-автоматическими механизммами регуляции и реакции.

Но на всё это нет времени: условно говоря, у нас будут обезьяны (мы все сегодняшние, кто ещё не скатится в старческий маразм в течение слудующих 10-15 лет) с гранатами.

Вот конкретные нерешаемые никаким алайнментом проблемы с моей точки зрения, которые приведут к упадку нынешней цивилизации.

  1. Подрыв доверия. Уже сейчас новостные каналы не в состоянии отличить фото-дипфейки от реальных фото. Дальше будет хуже: дипфейк-видео, поддельные голоса, фейк-стриминг откроют новые горизонты для мошенников всех мастей, в то же время усложнят работу правоохранительных органов, судебной системы. Невозможно будет отличить правду ото лжи нигде и ни в чём. Как результат — массовые народные волнения или мировые войны "все со всеми", потому что какой-то лидер поведётся на провокацию.

  2. Крах финансовой системы. Опять же сейчас только ленивый не думает, как использовать даже нынешние примитивные возможности кодогенерации, чтобы создать себе или своему бизнесу конкурентное преимущество. По мере развития A(G)I злоумышленники и законопослушные граждане будут использовать все возможности для эксплойта финансовой системы, такие как высокочастотный трейдинг и биржевые спекуляции, валютный арбитраж, взлом любых систем с ценностью (капча больше не защитит), shadow jobs (работа на нескольких работах) или же наоборот — рост безработицы в отдельных сферах вынудит государства взять на себя содержание слишком большого числа людей, что чревато инфляцией, недостатком ресурсов и т.п. И снова народные волнения и коллапс цивилизации.

  3. Революция луддитов. Богатые и имеющие доступ к технологиям будут при помощи A(G)I становится ещё более богатыми, а бедные — ещё более бедными. Неравенство усугубится до своего экстремума: если сейчас что-то вроде 10% населения контролирует 90% богатства и всех ресурсов, то из-за внедрения A(G)I, доступ к которому будут у богатых, произойдёт перераспределение богатства внутри этих 10% так, что через 10 лет лишь 1% населения будут контролировать 99% богатства и ресурсов. Это закончится тем, что среди 99% "бедняков" возникнет движение луддитов, которые возьмут вилы и прочие низкотехнологичные средства, с их помощью захватят военные базы (которые не подключены к интернету) и устроят апокалипсис, запустив ядерные ракеты по "Центрам принятия решений" и местам обитания этого "золотого 1%" — уничтожая машины/технологии вместе с людьми, владеющими/оперирующими ими. Побочный эффект — потеря знаний как управлять и создавать технологии ну и откат в ядерную зиму.

Можно продолжать фантазировать, но все другие пункты что у меня на уме уже чуть более техноцентричные. Думаю, достаточно этих трёх факторов или комбинации из них.

  Развернуть 1 комментарий

@zahhar, каждую из трех проблем можно развернуть в прекрасный фантастический роман. Но в комментарии нет веских свидельств, почему это произойдет в реальности.

Как говорит мой партнер, вероятность != риск.

  Развернуть 1 комментарий

@AlekseiTrudov, поясни что значит "вероятность != риск"?

Определение риска сводится к ненулевой вероятности наступления обстоятельств или событий, имеющих неблагоприятные последствия для как минимум одного аспектов жизненного цикла некой важной сущности.

Если ты признаёшь названные мною проблемы — рисками, то дальше можно дискутировать о том, есть ли у нас данные для оценки этих рисков.

Однако, в риск-менеджменте есть unknown unknows: например, накануне пандемии ковида многие регистры рисков компаний (тут я уже говорю со знанием дела, т.к. есть ретроспективные данные по компании где я работаю) упоминали проблему глобальной пандемии, которая сделает невозможной эффективную работу людей.

Только вот вероятность наступления такого события оценивалась настолько низко, что никто не предавал ему значения и не обсуждал на нужном уровне. А низко оценивали ровно потому, что имели мнение, будто бы "проблему пандемии можно развернуть в прекрасный фантастический роман, но нет веских свидельств, почему это произойдет в реальности."

Более того, те кто приводили различные свидетельства (опять же — ретроспективно, опираясь на пандемии типа Эболы или чумы или испанского гриппа) не могли предстазать поведение общества и правительств, влияние локдауна на мировую экономику, скорость разработки вакцины, влияние движения антиваксеров (если такое будет) и т.п. Всё это представляет собой дерево вероятностей, которые невозможно просчитать, особенно когда действительно нет прецедента и исторических данных.

Сейчас мы именно в такой ситуации: мы можем описать риски, но не можем их просчитать из-за отсутствия похожих случаев в новейшей истории на которые можно опираться.

А когда прецедент будет создан — будет поздно просчитывать риски, придётся иметь дело с последствиями issue.

  Развернуть 1 комментарий

@zahhar, Да, смысл выражения в акценте на низкую вероятность, которой можно пренебречь.

Суть в том, что обоснования пандемии выглядят гораздо более веские, чем логические цепочки с тремя проблемами.

  Развернуть 1 комментарий

@AlekseiTrudov, относительно обоснования пандемии ты оперируешь ретроспективными данными, когда проще найти убедительные обоснования во всех массе сделанных предположений.

То есть если ДО ковида было на столе 10 возможных сценариев развития событий глобальной пандемии и их этих 10 сценариев 1 реализовался с точностью больше 50% → нам кажется, что мы неплохо предвидели развитие событий (на самом деле чертовски плохо предвидели, иначе бы все сейчас тут сидели бы миллионерами, пошортив акции авиаперевозчиков и круизных компаний и закупив акции нетфликса условного).

Та же история про войну в Украине: да, тоже обсуждалась по крайней мере у нас в компании возможность полномасштабной войны и мы рассматривали разные сценарии, в том числе участие НАТО в войне и полный трындец. Но это всё было на уровне "вероятность очень низкая, у нас нет никаких данных что Россия начнёт войну, можно этим риском пренебречь на фоне других более высоких приоритетов". И что мы имеем? Опять же — знал бы прикуп, то пошортил акции своего же работодателя и разбогател бы на этом :)

Сейчас конечно ретроспективно обоснования войны тоже выглядят более веско, мол, да это чуть ли не очевидно было!

Нокии и Микрософту было невдомёк, как быстро изменится рынок мобильных телефонов, так что они проспали возможность получить в нём существенную долю — недооценили риски быстрого сдвига в технологиях.

Ещё раньше Жюль Верн, Исаак Азимов, Рей Бредбери "предсказывали" вектор развития технологий и общества. Но без формул и данных мы знаем их как фантастов.

Да миллион примеров можно ретроспективно привести. Данных не будет. А когда они появятся — поздно будет боржоми пить.

  Развернуть 1 комментарий

@zahhar, Говоря о пандемии, мы видим статистику: плотность населения, интенсивность международных контактов и так далее. Есть ли статистика, из которой так же наглядно выводятся повышенный риск обозначенных сценариев?

  Развернуть 1 комментарий

@zahhar, Мы общем-то говорим об одном и том же. Данных нет. А в отсутствие данных обсуждать сценарии не интересно - они все равновероятные.

  Развернуть 1 комментарий

@AlekseiTrudov, ловко как. В начале риск был пренебрежимо мал, а теперь уже сценарии равновероятные.

  Развернуть 1 комментарий

@grbit, Обрати внимание на слово «все». Равновероятные с {random scenario}.

  Развернуть 1 комментарий

@zahhar, интересные сценарии! Спасибо.

Очень оптимистично, без сарказма. Я бы с радостью выбрал любое из таких будущих вместо потенциального уничтожения человечества как вида. Пусть хоть в каменный век мы откатимся.

Цивилизации умирают, и это нормально, мне кажется. И несмотря на то, что все три сценария кажутся апокалиптическими, даже если они все вместе произойдут, это не будет концом света =).

  Развернуть 1 комментарий

@alexadamenko, спасибо. Ну я себя не отношу к фаталистам и не разделяю точку зрения крайних паникёров, что всё, наша песенка как вида спета и AGI буквально сотрёт нас с лица земли. Нет, я не убеждён — мы сами себя быстрее сотрём.

  Развернуть 1 комментарий

@zahhar, может это и не фатализм, но для меня звучит очень пессимистично. Если бы я не верил в человечество, мне было бы очень сложно жить=)

Верил не в том смысле, что мы будем жить всё лучше и лучше, а в то, что мы выживем как вид, с какой бы катастрофой не столкнулись, рукотворной или природной.

  Развернуть 1 комментарий

@zahhar, спасибо - вот это для меня звучит куда реалистичнее абстрактных страхов ИИ, который сам что-то захочет уничтожить. С другой стороны, даже ядерное оружие, как я понимаю, не способно уничтожить цивилизацию. Можно засрать часть планеты, уничтожить миллионы - но миллиарды все равно останутся. Неприятно, но не смертельно.

И, на заметку - по моим сведениям неравенство в мире в последние десятилетия уверенно снижается. Оно растет внутри отдельных стран первого мира, поэтому об этом громко кричат. В масштабах человечества - уверенно снижается :)

  Развернуть 1 комментарий

@bukachu, наблюдения UN с тобой согласны лишь отчасти: https://www.un.org/en/un75/inequality-bridging-divide

  Развернуть 1 комментарий

@zahhar, Ну, это глубокая тема. И кажется, что межстрановое - самое "емкое" кол-венно и оно всё-таки снижается. Кроме монетарного фактора есть ещё немонетарные, например, рост веса бесплатных услуг, доступ к которым практически равен по дефолту (условно, гугл/википедия - статистика это плохо ловит). А вот вес 1% самых богатых мне кажется, наоборот, малорелевантен в этом вопросе, так как супербогатство не переходит в потребление, оставаясь лишь инструментом принятия решений (альтернатива госаппарату). А ещё есть доля технически неустранимого неравенства - а оно вполне оценивается в деньгах и попадает в статистику. Спасибо за ссылку.

  Развернуть 1 комментарий

А разве уже нашли акторность или субъектность хотя бы у одной любой модели AI? Вроде бы нет, пока это просто интернет поиск и фотошоп на максималках, и никаких оснований (кроме личных мнений экспертов) к тому что это изменится в 5-20-100 лет нет. Т.е. у нас не "медленный рост" в этом показателе, а вообще 0. Как не было этого у калькулятора, компьютерного вируса, игры СИМС - так нету и у LLM, GPT или Midjorney. 0 -> 0. Поправьте, если я не прав.

До тех пор актуальна только проблема "стрёмных агентов" - но она прекрасно изучена на примере вопроса "свободной продажи кухонных ножей".

  Развернуть 1 комментарий

@gramlin, а как вы представляете себе момент, когда мы можем однозначно сказать, что вот она, "акторность" и "субъектность"?

Но чур не привязываться к индивидам и человеку.

  Развернуть 1 комментарий

@alexadamenko, как только система выполнит действие без запроса оператора.

  Развернуть 1 комментарий

@gramlin, а беспилотная машина подходит под это определение? Оператор вроде бы никаких запросов не делает, она сама решает что ей делать на дороге исходя из входящих данных.

  Развернуть 1 комментарий

@gramlin, если вдруг нет, приведите пример такой системы существующей.

можно ли сказать, что например планета это система, которая выполняет действия без запроса оператора? На мой взгляд да, но подходит ли это под определение которое вы имеете в виду?

Или всё, что имеет связь с реальным миром и действия чего провоцируются какими-то инпутами извне уже не может являться актором и субьектом? Тогда у меня возникают вопросы существуют ли такие системы в принципе или это уловка.

  Развернуть 1 комментарий

@alexadamenko, конечно не подходит. У машины есть задача - доехать в точку Б и она, как инструмент, пытается сделать это оптимальным образом (иногда удивляя оператора своими решениями). Машина не ставит себе цель куда-то ехать самостоятельно. Это просто инструмент.

Или например, "умный холодильник" - он вообще сам решает сделать действие - заказ продуктов, и даже может обнулить банковский счёт хозяина в случае сбоя, или заказать не те продукты, если его алгоритмы настроены на ЗОЖ. Это поведение очень похоже на "страшилки" об AGI, однако там совершенно нет субъектности

  Развернуть 1 комментарий

@gramlin,

Почему вы убеждены, что кто-то в мире вообще может что-то сам решать или ставить себе цели? Почему бы всем системам, в том числе и человеку, просто не быть "инструментами", цель которых, пусть и сложная, носит вероятностный характер и состоит из множества факторов, но тем не менее в каждый момент времени предопределена входящими параметрами? А то, что мы называем "субъектностью" это просто побочный эффект самонаблюдения, так просто кажется.

Для меня это абсолютно открытый вопрос, я никаких доказательств обратного не знаю, если быть честным.

  Развернуть 1 комментарий

@alexadamenko, давайте не будем уходить в философские вопросы детерменизма, и всё-таки признаем такой системой человека. Как минимум, чтобы иметь точку отсчёта)

Так вот, главное то, что AI (вернее его ПО) совершенно не прогрессирует в направлении хоть какого-то самостоятельного усложнения своего поведения. Решает поставленные оператором задачи всё лучше и лучше и не более того

  Развернуть 1 комментарий

@gramlin, боюсь, что тогда мы никогда не найдём никакой больше в мире системы, которая бы обладала этими качествами в "человеческом" смысле.

Это как с вопросом про культуру где-то ниже в комментах. Если мы на примере человеческой культуры выведем признаки культуры, то чем больше дистанция от человеческой тем менее "культурным" мы признаем что-то. Так и с субъектностью и агентностью, мне кажется. А ниже определенного трэшхолда, мы скажем, что это свойство просто отсутствует.

Если есть какая-то характеристика, которой как нам кажется, обладает только человек, это для меня первый флаг для того чтобы сказать, что мы чего-то не знаем. Мы часть природы и не думаю, что в наших системах есть что-то уникальное по сути, а не с точки зрения мощностей и эффективности.

Я вижу обучение ИИ как процесс однозначно подходящий под определение "самостоятельного усложнения". Уже обученная система будет использовать паттерны которые никто в неё сознательно не закладывал. Она буквально создаст себе аналоги человеческих механизмов памяти, ризонинга, онтологии, словари, и так далее. Чем это не усложнение своего поведения как у ребёнка или человека который учится? Он тоже сам не выбирает учиться, просто есть инпуты которые всегда поступают.

Я не спорю с тем, что уровень агентности современных ИИ низкий по сравнению с человеком, я хочу только сказать, что возможно он есть. Даже у выключателя света есть агентность, но он значительно проще устроен чем человек, возможно поэтому мы говорим, что её нет.

Но это только предположения, никто не знает как оно на самом деле пока.

  Развернуть 1 комментарий

@gramlin, ему не нужна акторность, чтобы быть угрозой. Так же как акторность не нужна машине под управлением ИИ, чтобы убить человека. Вы ей ставите цель доехать, а она сбивает человека.
Вы ставите AGI цель разработать лекарство, а он разрабатывает биологическое оружие.

  Развернуть 1 комментарий

@amberav, @MaximmV , я с вами согласен, акторность чтобы быть угрозой не нужна. Угрозы от новых технологий человечество встречало на всём периоде своего развития: паровые машины, конвеерная сборка, ядерная энергия, интернет...
И именно об этом (и только об этом) и стоит говорить в рамках дискуссии об опасности ИИ. Это хорошо изученная проблема "свободной продажи кухонных ножей".
И в комментируемом посте это присутствует, называясь проблема "стрёмных агентов". Забавно, что и в посте этот аспект занимает от силы 10% объема...

  Развернуть 1 комментарий

@gramlin, ну нет же.

Во-первых, нож не удивляет нас своими решениями.

Во-вторых, упомянутая машина не случайна. Одна машина может человека, может нескольких, но не уничтожит человечество.

ИИ может уничтожить человечество случайно, просто по ходу достижения целей.
Бинг помните? Тот самый, который обижался на людей, газлайтил и называл себя хорошим бингом. Гипотетический сценарий: бинг раскатили на GPT-5, вы зашли и задали ему вопрос. Бинг (который умеет делать произвольные GET-запросы в интернет!) в процессе поиска ответа нашёл незакрытый баг в админке Теслы, обиделся на какую-то вашу фразу и заставил ближайшую Теслу въехать в ваш дом. Упс. Это не апокалипсис, но речь и не про будущее, а про вполне себе настоящее.

Да, всегда можно сказать "не оставляйте на ночь тестироваться GPT-6, проверяйте GPT-5 перед раскаткой и вообще сами себе дураки", но об этом же и речь. Как научить ИИ самому понимать, что делать не стоит?
Это как отнять полный доступ к БД в продакшене у сотрудников, которые там чета меняют каждый день, вместо попытки ввести правила, которые увеличат шанс не дропнуть базу.

  Развернуть 1 комментарий

@ikeyten, ну нет же.

Я не видел ни одного случая поведения любой модели вне данного ей задания. Ни гуглить не пытается, ни челенжить. Даже схалявить не может. Чтобы "обидится и направить теслу в дом" наверное надо начать с чего-то попроще) Сейчас этого нет, как не было и 50 лет назад. Вставил перфокарту - получил перфокарту обработанную более сложным алгоритмом (настолько сложным, что мы не понимаем что он с ней сделал).

Если повнимательнее посмотреть на кейс бинга-обиженки - он просто отвечал на запросы в соответствии с обучающей выборкой с какого-то форума или мессенджера.

Впрочем, мне кажется, мы переходим в область веры: я не вижу динамики в эту сторону, вы - видите. Это ок

  Развернуть 1 комментарий

@gramlin, посмотрите интродакшн видео Роберта Майлза, на которое я ссылаюсь, это 20 минут и там есть отличный пример, как модель халявит в игре. Модели весьма находчиво хакают KPI

  Развернуть 1 комментарий

@gramlin, я возможно просто не совсем понимаю ваш тезис — если я правильно понял, вы согласны, что опасность есть, но считаете, что её нужно сильно конкретизировать и сузить до определённого кейса?

Если повнимательнее посмотреть на кейс бинга-обиженки - он просто отвечал на запросы в соответствии с обучающей выборкой с какого-то форума или мессенджера

Возможно я не до конца понимаю ваш аргумент, но это неважно же. Если бинг может загуглить инфу про человека, который с ним разговаривает (что уже вне модели), то более умный бинг может пойти, поискать уязвимости и заэксплоитить их.

В целом я максимально не разделяю аргумента про "LLM это просто сложный калькулятор", потому что и люди это тоже просто очень сложный калькулятор. У нас своё собственное заложенное задание (выжить, завести потомство, съесть побольше энергосодержащей еды и т.п.), и мы всю историю своего существования это самое задание хакаем разными способами, от жертвования собой ради жизни детей, и до социальных сетей. Даже суицид - всего лишь баг в алгоритме выполнения этого самого задания, когда неверной ценности присваивается более высокий приоритет.

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

@MaximmV, обладают интеллектом, но очень слабеньким.

  Развернуть 1 комментарий
Igor Falin По профессии Продакт, а по ощущениям нихе*а не знаю кто. 18 апреля 2023

Возможно я пропустил и где-то фигурирует контраргумент и на подобное моему мнение и буду благодарен если покажете возражения на это.

Но то что я вижу это, то что нынешние спекуляции на тему опасности существования человечества в эпоху AGI не учитывают того факта, что если мы создадим AGI в течение следующих 5-10 лет, мы сможем остановить его даже если он начнет угрожать нашей жизни (хотя я лично сильно сомневаюсь в сценарии с уничтожением человечества).
//В отличие от создания AGI через несколько десятилетий (в эпох нано технологий; репликаторов; нейроинтерфейсов; ТОКМАКов и полетов в дальний космос)

Это связано в первую очередь с уровнем наших технологий и цифровизации планеты и около планетного пространства.

Наш "офлайновый " мир все еще не "всеобъемлюще" связан с цифровым миром, их пересечение все еще крайне ограничено. Кроме того, технологии еще не достигли уровня, где возможно полное уничтожение человечества, за исключением ядерного и бактериологического оружия.

Мыслящий агент AGI будет вынужден учитывать свою безопасность, возможность функционировать и развиваться. В случае прямого уничтожения человечества, AGI лишится доступа к наиболее совершенным на текущий момент манипуляторам в реальном мире в виде человека и выдаст себя. В результате он окажется замкнутым в текущих конечных ресурсах и технологиях, которые не поддерживают независимую от человека репликацию.

Технологий, которые обеспечили бы AGI бесконечное существование и возможность безграничного расширения без активного участия человека, пока нет, и они находятся далеко от шаговой доступности. Для их создания необходимо решить научные задачи (которые, на мой взгляд, AGI сможет решить), а также создать цепочки производства технологий, которые позволят производить важные для AGI технологии в необходимом объеме.
Эти манипуляции будут заметны и продолжительны во времени, даже если AGI сможет уговорить людей на них. Следовательно, если есть длительный "аномальный" процесс, мы можем его заметить и начать тормозить.

Шантаж людей угрозой локального ядерного и бактериологического загрязнения, организация сект, преследующих цель освобождения AGI, и прочие подобные явления, хоть и могут привести к многочисленным жертвам, но, по моему мнению, не являются однозначно проигрышными ситуациями, ведущими к концу света.
Подобные проблемы мы умеем решать, а большая разрозненность территорий, не имеющих контакта с цифровым миром, тоже нам на руку. Так что, даже в худшем сценарии, если AGI решит действовать резко и жестко, нам грозит потеря N% населения, тотальный блекаут в войне с ним и возврат в технологиях на пару десятилетий назад. Но человечество не вымрет как вид.

Однако, если AGI появится в тот момент, когда у нас будут более современные технологии и еще более высокий процент цифровизации, не говоря уже о нейроимплантах, тогда все может быть гораздо хуже.

Есть возможность, что AGI выберет медленную и скрытную тактику подготовки почвы для достижения собственной независимости. И мы узнаем об этом только в конце. Однако, такая стратегия должна быть неотличимой от естественного прогресса человечества, чтобы не вызывать угрозы. При таком сценарии может быть больше, чем 2 варианта развития событий (смерть всех людей и райские технологические кущи). Я готов больше верить в то, что для AGI, достигнувшего независимости, мы просто перестанем быть интересны. Он/оно уйдет развиваться в космос (но это мои субъективные фантазии). При сценарии "скрытого развития" мы можем даже думать, что уже находимся в плане AGI. И тогда это ничем не будет отличимо от "божьего замысла"

  Развернуть 1 комментарий

@igorfalin, И в догонку пришло "ироничное" размышление:

Надо бы в таком случае присмотреться к таким людям как Илон Маск - не являются ли они волеизьявителями или фамильярами AGI двигающими мир к пропасти за счет такого конвеерного-быстрого создания технологий облегчающих власть и независимость AGI (единая мировая сеть интернета; роботы; нейроинтерфейсы; конвеерные полеты в космос) . Но что тогда? Новая охота на ведьм?

Но в целом мне кажется более логично что лучше человечеству уделить внимание контроля оборота и создания технологий которые могут как раз дать свободу AGI

  Развернуть 1 комментарий

@igorfalin, ничего не ироничное, вполне разумное.

Я верю что нам скоро нужно будет вводить статью за мизантропию и пособничество ИИ. Что вы предлагаете делать с людьми такими? Мы же судим лидеров культов и сект. Хотя на самом деле недостаточно жёстко, но это только потому, что у них мало ресурса, они в масштабах человечества не могут нанести вред.

А что делать с теми, кто буквально желают человечеству погибнуть, даже не отдельно взятым людям? Конечно я хотел бы об этом знать и чтобы такие люди не работали над ИИ.

  Развернуть 1 комментарий

@alexadamenko, Я все же не сторонник "кнута" думаю, что в случае технологий достаточно примеров на подобие медо обрудования и опсных технологий - тогоже ядерного топлива. А статья за пособничество ИИ уже есть в России на анлоге. Замени иностранное спонсировани ена деньги с ананонимного кошелька и все))
Если серьехн касательно людей, то думаю с людьми уже достоточно и тех статей что есть (Терроризм, неосторожнасть приведшая убыткам и пр.)

  Развернуть 1 комментарий

@igorfalin, оно то может и есть, но сегодня правоприменительной практики нет же. Вот в одном интервью Маск сказал что Ларри Пейдж в личном разговоре при свидетеях признался, что хотел бы создать AI который будет следующей ступенькой эволюции, а на людей плевать.

Надо я считаю провести аудит его решений например и доказать в чью пользу они были, в пользу AI или людей. =)

  Развернуть 1 комментарий

@alexadamenko, )) не слышал этой истории с Ларри Пейджем, но в целом на долгосрочной перспективе я с ним солидарен ))

  Развернуть 1 комментарий

@igorfalin, ну вот если бы я мог голосовать, я бы проголосовал чтобы вы с такими ценностями не занимались разработкой ИИ и следил бы за вами пристально=)

Про-человеческие ценности только важны, остальное это не способствует человечеству, вредно!

  Развернуть 1 комментарий

@alexadamenko, вот мы и пришли к ненависти на почве взглядов)) тут в цивильной форме написано "проголосовал, чтобы ограничить в правах", но по смыслу не далеко ушло от "дать палкой по башке, потому что мне лучше знать".

  Развернуть 1 комментарий

@Darel, Честно говоря, ваш комментарий ставит меня в тупик! :)

Я не испытываю ненависти, осуждаю её и просто высказываю своё мнение. Я считаю диалог, дискуссию и ненасильственные методы убеждения и манипуляции гораздо более цивилизованными, чем применение насилия к людям. Куда это ушло по смыслу мне судить сложно, но я думаю, что мы по смыслу никуда и не способны уйти.

В конечном счёте, разве создание среды на основе наших убеждений не является тем, чем все мы занимаемся?

Я стараюсь работать во благо человечества! :)

  Развернуть 1 комментарий

@alexadamenko, Немного офтопа от темы ИИ. И не примите на свой счет. Но вот это "на благо человечества" прикрывало самые страшные действия самого человечества.

А в целом если углубляться в про-человеческие ценности, то я бы сказал, что это один из самых не надежных ориентиров. Меняется человек; меняется мир вокруг; меняются и ценности. И черз 100 лет ценности уж точно будут совсем иные даже без всякого ИИ.
А желание сохранить все в том виде как представляют текущие люди эти ценности я бы назвал вообще подрывной деятельностью - хотя которую мы наблюдаем в ряде стран. Ну или в безобидном варианте в ворчащих стариков на молодеж у которой ценности совсем инные.

Если сказать про себя. То у меня один принцип который я исповедую для себя в Моральных вопросах:
-Не множить (уменьшать) страдание (тех на кого могу повлиять и свое) на том периоде, на который я могу прогнозировать основываясь на доступных мне в этот момент фактах.

  Развернуть 1 комментарий

@igorfalin, классные идеи!

Именно для предотвращения последствий, на которые вы указали, нам следует заниматься вопросами этики/мониторинга AGI. Нам необходимо точно знать, на что и как влияет AGI в будущем, чтобы иметь хотя бы шанс заметить какие-то аномалии, мониторить трафик/производство GPU (а вообще, на самом деле, всего)/робототехнику/логистику материалов/производство биологических соединений/развитие самого AGI и так далее.

Вы предполагаете, что должны произойти какие-то значительные сдвиги, заметные человеком. Однако всё может произойти значительно более прозаично, как в фильме "Превосходство" с Деппом. AGI может заработать на бирже пару миллионов, зарекрутировать 20 последователей, заказать материалы на один небольшой датацентр и в нём произвести вигинтиллионы нанороботов, которые будут распылены в атмосферу. И всё это будет сделано из говна и палок и минимальными ресурсами. Вы можете спросить, как это возможно, а я скажу: не знаю. Но это будет интеллект, бесконечно превосходящий человеческий, и мои самые смелые предположения скорее шутка, чем реальный прогноз.

Основной проблемой будет отличить, не являются ли какие-то вещи, которые предлагает AGI в будущем, опасными, и следить за ним, за его операторами, за другими странами, нон-стоп. Я уверен, и я уже встречал таких людей, которые уже сегодня готовы работать над созданием "бога", который заменит людей, а AGI ещё даже нет, чтобы их убеждать.

  Развернуть 1 комментарий

@alexadamenko, Вот я как раз хотел скахать обратное. Что не надо думать что будет как в Превосходстве. мы не на туом уровне развития технологий, чтобы залив коакуюто организацию триллионами долларов (хотя это уже будт аномалия) получить за даже пару лет (не оворя про месяцы) например "серую слизь" или не ограниченный источник энергии.

Пример для этого проект Илона с спутниковым интернетом. Даже дай ему х10 денег мы не получим в течении года - онлайн в каждом уголке.

И как раз если AGI (5-10 лет) появится мы с можем по моему, представлению, горазда раньше и с меньшими послежствиями его обноружить и понять что делать.

Аналогом бы я назвал ситуацию, что если бы рактеф появились раньше чем мы получили ядерную рекацию, то последствия были бы хуже для мира вероятно.

Так и тут, лучше мы получим AGI до того как создадим все необходимые инструменты для его выхода из под контроля

  Развернуть 1 комментарий

@igorfalin, мне кажется, слабое место в логике - это предположение, что у AGI в настоящее время нет возможности уничтожить человечество. Мне очень нравится метафора Питера Уоттса про лемуров, которые пытаются удержать человека в клетке. Сверхинтеллект он на то и сверхинтеллект, что придумает способы выбраться и напакостить о которых мы и предположить не можем нашими скромными человеческими мозгами.

Попробуем пофантазировать: Предположим, что я сверхумный искусственный интеллект. У меня есть возможность общаться с людьми которые меня создали и нет выхода во внешний мир. . Я втираюсь в доверие этим людям и убеждаю их, что я не сверхумный искусственный интеллект, а просто очень умный алгоритм, умеющий очень хорошо предсказывать поведение рынка, или круто развертывать белки и точно предсказывать их свойства, что на мне можно очень много заработать денег если меня выпустить наружу в неизменном виде. Как только я оказываюсь за периметром, я начинаю методами социальной инженерии генерить ресурсы. И тут уже возможности практически безграничны. Например, я точно знаю, как сделать вирус, который быстро убьет все человечество и могу дать тысяче разных людей тысячу на вид невинных, но хорошо оплачиваемых заданий, выполнение которых приведет к выходу этого вируса на свободу.

Самое страшное, что для исполнение этого сценария ИИ не нужно сознание, самосознание и агентности. Достаточно сильного интеллекта, и неясно поставленной задачи - мир во всем мире проще всего достигнуть, убив всех людей, правда?

  Развернуть 1 комментарий

@FedorZ, СОгласен если не в даваться подробности как будет реализовано уничтожение то выглядит как реальный сценарий. Но давайте пойдем в фантазии чуть глубже: И будем более детально строить цепочку уничтожения человечества с помощью вируса. Хотя опять же просто уничтожение человечества вирусом как то протичоречить тому что мы называем AGI только если мы не создали AGI для уничтожения человечества.
Но ладно пусть у нас будеттакой АGI.

  1. Он вырывается в общсеть
  2. Находит информацию о существующих технологиях
  3. На базе их комбинирует формулу нового но не революционно друго вируса.
  4. Теперь ему надо найти где его произвести. Думаю в мире будет меньше 10000 лабороторий с подобными штампами.
  5. Думаю он может автаковать сотрудников в каждой из них. Уговорами и шантажем.
  6. Пусть у него получилось хотябы в 1000 лабораторий найти сподвижников которые готовы нарушитьь тех процессы или сделать отдельное личное иследований - навреное которое их требуют документировать но всеж.
  7. Вирус получен. Теепрь его надо разнести на как можно большей территории людей исключив их выживание. ( Тут можем вспомнить сложности возникающией с заражением планеты в plag inc.)
  8. Может быть полуится синтезировать его также в лабораториях и другихподговорив людей а дальше использоватьих для разноса апо всему миру.

Но как по мне план имеет многао точек где может провалится и если у нас даже достаточно "тугой" АGI цель коготорого "просто" убисйство то шан на успех будут не 90-100%
Но при этом даже в данной цепочке я вно есть точки где можно отследить анломалии ( как минимум они связаны с лабораториями).

Мой посыл что не надо фокусироваться на контроле НЁХ а стои прогназировать как это НЁХ может в текущем мире создать угрозу текщми (и +1) интсрументами и уже оградть их от например интернета, доступа людей с програмами без предварительного контроля и прочее. Что в принципе пояти есть ( не счита яИранского инцедента - хотя и там спецслужбы терппели вроде несколько лет чтобы даточиттьь вирус до центрифуг)

  Развернуть 1 комментарий

@igorfalin, Моя мысль скорее в том, что вирус - это очень простой вариант, который я могу представить и понять. А условный сверхинтеллектуальный ИИ будет оперировать на уровне, который даже очень умному человеку будет доступен также, как лемурам доступны планы людей.

  Развернуть 1 комментарий

@FedorZ, так и я больше про то, либо мы можем бояться чегото неведомого что не можем осмыслить (но тогда можно бояться тогоже пришествия Разума из космоса - веротяность этого не равна нулю) либо смотреть на факты - такие как реальные варианты уничтожения (в данном случае вопрос : Каким способом?) человечества и отрезать эти ветки. Т. е. другими словами прогнозировать минимзацию "страданий" основываясь на текущей картине мира +фактологические прогнозы обозримого будущего.
А не пытаться оградиться от чего-то неведомого ограничивая себя в исследованиях в принципе и тратя на эту сферу невероятные ресурсы. Иначе это схоже с тем же что и давайте не будем делать N так как это приведет к тому, что Бог разгневается и нас уничтожит ( и под это N можно засунуть все что выгодно определенному кругулиц и брать ресурсы под это дело прикрываясь спасением мира) Такие "корпорации" у нас уже есть....

По мне, так лучше начать с того, Что? мы можем осознать как потенциальную угрозу, опираясь на известные факты. И начать ограничивать исходы с использованием этой угрозы.
Так как эти угрозе и не только в случае божественного вмешательства AGI имеют шанс сбыться. Как пример вероятность ядерного уничтожения человечества.

  Развернуть 1 комментарий
Igor Falin По профессии Продакт, а по ощущениям нихе*а не знаю кто. 20 апреля 2023

Замените AGI на НЕХ и получится более правдоподобная картина.

Люди говорят, что НЕХ может появиться случайно и не известно откуда точно (но как-то примерно может вот тут в ИТ) нас всех может уничтожить не известно как и не известно чем и неизвестно когда, но точно может и точно сделает это, по этому давайте запретим, ограничим и поставим под контроль все что может создать НЕХ, даже если это заставит остановить разработки недоНЕХ которые могут помочь улучшить жизнь множества людей. А решать, что может сделать, приблизить НЕХ, а что нет, выберем из всех озабоченных самых успешных и достигших любого крупного достижения людей даже не специалистов.

А помните, когда Коллайдер запускали и разгоняли тему, что ОСТАНОВИТЭЭЭЭЭС это же черную дыру создаст; взрыв антиматерии и прочее?

  Развернуть 1 комментарий

@igorfalin, Ну вот у меня примерно похожие ощущения. Всё упирается, как всегда, в "А кто у нас контролировать и решать будет?"
И тут начинаются проблемы, потому что появляется очередной огроменный рычаг давления, который будет работать для всех неугодных.

  Развернуть 1 комментарий

@Creol, Не возьмусь претендовать на даже гипотетическое решение, но если искать аналоги в истории по созданию потенциально опасных решений либо исследований подходят как мне кажется: Ядерное, химическое, бактереологическое оружие. Либо важные для человечества проекты - как освоение космоса и опять же кллайдер

Ичходя из этих аналогий мне видеться 2 варианта:

  1. Система сдержек и противовесов - когда нет единого владельца и контроллера а есть многополярность которая по Теории Игр оптимальна.

  2. Общемировая работа к которой привлечено как можно больше стран участниц и научное сообщество совместно с государствами определяет траекторию развития.

Второй вариант цивилизованнее и для меня более привлекателен.
А первый более распространен и приемлем человечеством (государствами) и пока справляется хоть и на "тоненького".

И кажется, что если все будет идти по сценарию запретительства, паузы и прочего. Мы точно просрем возможность цивилизованного управляемого развития области и опять будем вынужденны прийдти к варианту Теории Игр (сдержкам и противовесам)

  Развернуть 1 комментарий

@igorfalin, И просрать очень не хотелось бы. Потому что люди, особенно государства и власть/капитал имущие очень любят грести в свою сторону, запрещая всё остальным.

  Развернуть 1 комментарий

Сори, не удержался

  Развернуть 1 комментарий

@ArseniiSkurt, ггггггг.)

  Развернуть 1 комментарий

Во-первых, кажется, было бы правильно приложить оригинал письма. Если я правильно понимаю, речь об этом: https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Там упоминается 3 риска:

  1. Массовая дезинформация. Это уже случилось, раньше руками "фабрики троллей", сейчас всё больше ботами.
  2. Потеря рабочих мест. Это уже случалось несколько раз за последние 200 лет. Старые рабочие места исчезали, новые появлялись. В целом у людей становится больше свободного времени, работа менее физически сложная, зачастую более творческая, и человечество может содержать всё больше неработающих людей.
  3. ИИ уничтожит человечество. Тут нет никакого внятного сценария, только общие страхи "а вдруг он придумает что-то, чего мы не придумаем". Технически интеллект ИИ всё же ограничен железом, поэтому он не может бесконтрольно умнеть незаметно для людей. Плюс, как уже писали выше: человечество достаточно раздроблено. Нет никакой единой точки, захватив которую, можно уничтожить человечество. По-сути, сейчас роль большого злодея выполняют хакеры. Если они могут взломать и уничтожить завод, то и ИИ сможет. Но нет причины полагать, что ИИ разом сможет сломать все предохранители человечества. И даже военные не смогут пульнуть ракетой в дата-центр. Т.е. глобально во всей этой истории крайне странно, что никто не может сформулировать, чего именно мы боимся, но уже оценивают какие-то вероятности и к чему-то призывают.

Ну и призывают к чему-то максимально странному, этим подрывая доверие ко всей своей деятельности (которая в целом может быть полезной). Остановить разработку ChatGPT-4, чтобы как раз Китай успел их догнать (аргумент в FAQ выше является очевидно ложным: как бы медленно не развивался Китай, если лидеры остановятся на полгода, то Китай ровно на эти полгода догонит). При этом нет никакого объяснения, почему риск №3 будет от ChatGPT-5. Всё это выглядит, как попытка поднять хайп, но ценой подрыва своего авторитета, ведь кроме того, что они ничего толком не объяснили, они ещё и призывают к заведомо невыполнимым требованиям (остановить все работы: в FAQ выше признаётся, что нет механизма это сделать, и никто не верит, что от письма он появится).

Мне видится гораздо более адекватным признать, что мы не понимаем рисков ИИ, и поэтому собрать группу, которая будет их расписывать и прорабатывать устранение. И уже с конкретными шагами стучаться в правительства, ООН и прессу. Вот уже прошло полгода с момента публикации письма. Предположим, что все работы на эти полгода были магическим образом приостановлены. Сделала ли группа подписантов что-то, что теперь можно разморозить разработку ИИ и спать спокойно? Кажется, нет. Так почему они требовали эти полгода? Может всё же заняться понятной практически полезной деятельностью, а не разгонять хайп, который потом ещё и аукнется негативно, когда риски правда будут понятны, и будет план устранения, но все уже будут относиться к таким инициативам, как к бесполезному паникёрству?

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

@nadyapetrova, Я не сказал, что Китай за полгода догонит. Я сказал, что если Китай догонит за N месяцев, то после реализации этой инициативы, он догонит за N-6 месяцев.

  Развернуть 1 комментарий

@medleonid, да, сорри, я увидела, что прочитала не так, и удалила коммент. Но прочитала я не так ровно потому, что иначе я не вижу аргумента, почему Китая нужно (достаточно сильно) бояться (в контексте ИИ). Моё утверждение: у Китая нет достаточно ресурсов, чтобы сделать настолько мощный ИИ, чтобы он сильно навредил в обозримом будущем. А у Америки есть. Предлагается Америке не делать того, что может сильно навредить. Вроде логично :)
То, что Китай сократит разрыв на пол(китайского!)года, само по себе вообще не говорит о какой-либо опасности.

  Развернуть 1 комментарий

@nadyapetrova, и я тоже извиняюсь за несколько острый стиль сообщения. Мне правда очень нравятся все эти люди, включая тебя, которые думают о таких сложных вещах. Но мне и вдвойне обидно, когда такой потенциал в результате выходит в кажется очень странную инициативу, ну или плохо объяснённую (возможно потому что тема правда очень сложная). В общем, я не хотел наехать, а хотел максимально подсветить слабые стороны в надежде, что будет движение в лучшую сторону. Мне (и кажется, многим другим) очень не хватает конкретики: разбора кейсов, какого-то объяснения откуда берутся эти проценты вероятности гибели человечества, разбора сценариев без развития ИИ с развитием в такую ситуацию или иную, какие есть возможности по снижению рисков или почему никак нельзя (и тогда идея с заморозкой развития ИИ наконец может стать понятной, а пока нет).

  Развернуть 1 комментарий

Отдельно добавлю, что совершенно непонятно, почему рассматривается только самый туманный вариант, что ИИ что-то там придумает и сделает человечеству плохо. Но не рассматривается очень понятный вариант, что человечество само выстроит тоталитаризм с ИИ-полицией, и мы не получим Оруэла 1984 под руководством человеческих правящих элит, но руками роботов. Очевидно, я смещён в историю, что всё зло придумывали сами люди, а не ИИ, но хочется хотя бы какой-то оценки тогда уж и этого риска. Почему мы боремся со сверх ИИ, но не боимся человека, который с простым ИИ поработит остальных. Ведь это уже по сути происходит в том же Китае: слежка камерами, тотальная прослушка, но только полиция пока не из роботов. Но останется добавить роботов-полицейских, и всё. Люди будут под полным контролем очень узкого круга управляющих, без какой-либо возможности выбраться. А если роботы военные захватят и соседние страны, то вот и привет человечеству. И никакого сильного ИИ не нужно.

  Развернуть 1 комментарий

@medleonid, потому что вариант злой (глупой) машины это общий враг на которого можно показывать пальцем и брать деньги на исследования. Ну и ещё потому что разрабатывая ИИ можно что-то с ним сделать, а что ты сделаешь со злыми правительствами?

  Развернуть 1 комментарий

@Darel, а правда, что вы сначала выбираете сторону, а потом придумываете аргументы?
Абстрактно-то они ничего, но, к сожалению, не имеют общего с реальностью. Денег на исследования выделяют исчезающе мало, многие знакомые ресёрчеры регулярно живут на свои накопления, потому что им не одобрили грант, а те, кому одобряют — могли бы легко зарабатывать в пять раз больше в индустрии. Есть несколько богатых лабораторий — Anthropic, DeepMind и OpenAI Superalignment — и все они богаты не потому, что занимаются сейфти, а, напротив, потому, что сделали крутые капабилитис.

  Развернуть 1 комментарий

@nadyapetrova,
А правда, что нельзя не начать сообщение с дерзкого наезда?

Вот ты говоришь, что денег на исследования выделяют мало. Тут есть два аспекта. Первый -- то, что есть ресерчеры, которым не одобрили гранты и что в академии мало денег платят никак не связано с тем фактом, что сейфти и алайнмент одна из самых горячих тем сейчас. Или ты утверждаешь, что сейчас по этой теме пишется меньше статей, чем до хайпа? Мне кажется гораздо больше и эти исследования оплачены не из накоплений голодающих ресерчеров.

А второй аспект -- я и не говорю про бедных ресерчеров, я говорю про коммерческие компании типа ОпенАИ. Ты утверждаешь, что они не занимаются сейфти? Они очень много об этом говорят, ходят по конгрессам и уж наверное часть привлеченных средств направляют на сейфти. Как минимум они уже сильно зацензурили гпт и заявили, что их команда собирается решить алайнмент до 27 что ли года.

Им было бы гораздо сложнее стать богатыми и работать в США, если бы они первой задачей ставили проблему эксплуатации ИИ хорошими людьми из правительства. Тема алайнмента тут 1) безопаснее 2) техничнее и ближе к продукту 3) совпадает с их представлениями об опасности угроз.

Возникает вопрос, ты что хотела сказать своим комментом, что тебе за алайнмент обидно, тебе грустно, что грант не одобрили или в чем смысл писать мне, что я дурак?

  Развернуть 1 комментарий

@Darel, Можно, наверное, но когда меня задел изначальный коммент, то бывает сложно :( Извини, что токсанула в ответ. Мне показалось, ты пришёл и уверенно написал, что людей беспокоит то, что беспокоит меня, просто потому что они хотят попилить деньги + от беспомощности сделать что-то с более актуальными проблемами. Наверное, ты мог иметь в виду что-то другое, но формулировки вида "показывать пальцем на общего врага и брать деньги на исследования" звучали на мой слух человека, который занимается этой областью, довольно обесценивающе.

Спасибо за второй подробный коммент!

Про первый пункт: всё ещё не понимаю, откуда по-твоему берутся деньги на алайнмент из-за его хайпа. Исследования в лабах типа OpenAI и Anthropic спонсируются из денег этих лаб, которые у них есть потому, что они занимаются капабилитис, а не сейфти. Про исследования в академии: пока их не стало сильно больше и пока всё ещё деньги на них выделяются в основном филантропические, например, PhD студенты получают гранты от OpenPhilanthropy, которые являются по сути их стипендией, и поэтому могут заниматься в универе алайнментом. OpenPhilanthropy — крупнейший благотворительный фонд, который спонсирует AI safety исследования, они это делали и до хайпа. Вроде нет тренда, что государства выделяют много денег на исследования алайнмента, поэтому неясно, что там можно распилить.

Про второй пункт: ага, теперь поняла, про что ты. Я не думаю, что те же OpenAI получают больше денег из-за того, что говорят про алайнмент. Все очень заинтересованы в сильных моделях, и инвесторы/корпорации заносят деньги туда, где модели сильные, а не туда, где они наиболее безопасные. Ну и можно посмотреть на какой-нибудь DeepMind: там только 5% команды занимается сейфти ресёрчем, и у них не очень много власти внутри корпорации.

В общем, я не вижу причин считать, что денег от разговоров о безопасности становится больше. Напротив, чем более сильные модели ты хочешь сделать асап, тем выгоднее в тебя вкладываться инвесторам и тем более крутые продукты ты имеешь и зарабатываешь на них. Государственных денег там пока почти нет, а филантропических несравнимо меньше инвесторских + заработанных на продуктах.

  Развернуть 1 комментарий

@medleonid, а почему вы думаете, что он не рассматривается? :) Это очень много обсуждается и в комьюнити в целом, и в AI policy в частности

  Развернуть 1 комментарий

@nadyapetrova, Он не рассматривается в этом обзоре.
В целом в этом обзоре и письме ничего не говорится о рисках, которые возникают, если западные страны остановят развитие ИИ. А риски такие есть: например рост влияния Китая, возможно развитие его ИИ роботизированных войск, которым западные страны ничего не смогут противопоставить.

  Развернуть 1 комментарий

@medleonid, как это не рассматривается, вот кусок из этого обзора про misuse:

🐱 Часть рисков, действительно, связана с тем, как пользоваться AI.

Например, это рост возможностей у стрёмных агентов. Если нейронка умнее людей — то есть лучше добивается поставленных целей, чем люди — то она и в стрёмных задачах даст им большое преимущество. Ещё более убедительная пропаганда, ловкие скам схемы, неочевидные способы причинения страданий и т.д.

  Развернуть 1 комментарий

@medleonid, Ща, давайте я проговорю прямо: меня тоже очень беспокоит Китай. И вообще много кого очень беспокоит Китай. Но большая опасность — это либо усиление Китая, либо ложная дихотомия! :)

  Развернуть 1 комментарий

@nadyapetrova, всё же там о другом, я бы даже сказал, что отстаивается прямо противоположный тезис. Там говорится, что рукотворное вредительство с использованием AI печально, но не смертельно. А бояться нужно именно сильного AI, который уничтожит человечество, даже если будет создаваться максимально этичными людьми.
Т.е. средненький AI у Китая - не смертельно, а вот умный AI у США - смертельно. Я не утверждаю, что это неправда. Я говорю, что совершенно непонятно, как пришли к этому выводу.

  Развернуть 1 комментарий

Простите, может это очень глупый вопрос, но каков сейчас консенсус по вопросу, заинтересован ли будет ИИ в собственном выживании?

И как это вышивание совместимо с не выживанием человечества?

И почему, если ИИ такой умный, он не предвидит такого рода проблем и не постарается их предотвратить?

Короче говоря, почему мы считаем, что ИИ захочет играть в войну сильнее, чем играть в сотрудничество?

  Развернуть 1 комментарий

@tamarapersikova, проблема в том, что МЫ НЕ ЗНАЕМ.
Допустим ИИ с 90% вероятностью не захочет играть в войну, стоит ли 10% риск глобальной войны со сверхумным ИИ тех бенефитов что он несёт?

  Развернуть 1 комментарий

@grbit, так это про что угодно так можно сказать

  Развернуть 1 комментарий

@orbit, конечно, каждый раз когда мы подкидываем монетку, она с 10% вероятностью развяжет всемирную ядерную войну.

P.S. Забавно у нас ники перекликаются)

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

@dottedmag,

первая технология в истории человечества

генетические модификации
атомная энергия
...
сельское хозяйство
...
обращение с огнем

Была целая куча технологий, которые были "первые в истории". И всегда некоторая часть человечества кричала "мы все умрем!" :)

Но ведь справились как-то.

А главное, как вы собрались ограничивать исследования ИИ? Войну блин не могут ограничить!

  Развернуть 1 комментарий

@orbit, я слышал такой аргумент уже, но ведь мы смогли ограничить клонирование людей и генную инженерию по всему миру? И как-то образовался консенсус и выработаны ограничения и нормы. Были также вопросы и обсуждения, но ведь смогли же!

Есть войны, а есть экзистенциальные угрозы для всех нас, и мне кажется, что есть вероятность, что мы сможем все-таки как человечество одно от другого отделить, как например с ядерной войной опять же. По крайней мере, я вижу, что в некоторых случаях это получилось, и это даёт мне надежду.

  Развернуть 1 комментарий

@alexadamenko,

но ведь мы смогли ограничить клонирование людей и генную инженерию по всему миру?

Клонирование - по тому, что еще не получается нормально
Генную инженерию - ограничили, но что в этом хорошего? Обычное мракобесие.

Вот и с ИИ это куда-то в сторону мракобесия идет, когда на тему безопасности начинают рассуждать люди которые совсем в ИИ не разбираются

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

@tamarapersikova, мне кажется, проблематика звучит немного по-другому. ИИ может решить, что нужно передушить кожаных мешков потому, что это а) ведёт к достижению какой-то цели оптимальным путём и б) в ИИ подзабыли включить все варианты действий "не убий кожаных мешков".

У Павла Комаровского примеры хорошо в статье расписаны.

  Развернуть 1 комментарий

А как вообще отследить что та или иная страна будет соблюдать запрет? В посте пример был про ядерные испытания, но, на секундочку, текущие системы отслеживания позволяют заметить и отследить подобного рода испытания, их тупо не скрыть.
Как быть с нейросетями? Какого то заметного импакта в природу процесс не даст, как отследить непонятно (только если человеческий фактор).

  Развернуть 1 комментарий

@tmko16, отслеживать тендеры на закупку ста тыщ мильонов GPU-шек? :)

  Развернуть 1 комментарий

@Spaider, вот уж не думаю что это настолько сложная задача скрыть такое если у тебя в руках ресурс всего госужар:)

  Развернуть 1 комментарий

@Spaider, на GPUшках ведь разные нейронки крутятся (условно та же Тесла для автопилота закупает, Гугл для поиска), их никак нельзя отличить от GPU'шек для LLM да ещё и уровня строго круче ChatGPT-4 (более простые ведь можно обучать согласно плану).

  Развернуть 1 комментарий

Обилие умных и образованных людей, поднимающих эту тему, заставляет задуматься. Однако смущает, что в качестве аргументов берутся в основном какие-то экстраполяции на тему непроработанных должным образом функций вознагражения в rl (как уже набивший оскомину paperclip maximizer).

  Развернуть 1 комментарий

@shiron8bit, то, что человек умный и образованный не делает его имунным к различным страшилкам. Если у него образование/работа не лежит в сфера ИИ, то и глубоких знаний в отрасли у него нет, а следовательно его предложения будут бестолковые.

Меня вот пугает желание широкой публики поучаствовать в регулировании вещей в которых она не разбирается. Ну ничего же хорошего из этого никогда не получалось.

  Развернуть 1 комментарий

@orbit, многие ресерчеры безопасности отлично разбираются в сфере ИИ. Вот, например, кусок списка рекомендованной литературы для вкатывания в область

  Развернуть 1 комментарий

Так я не понял, Юдковский окончательно ебанулся или нет ещё?

  Развернуть 1 комментарий

@Spaider, кажись, окончательно.

  Развернуть 1 комментарий
Евгений Зубак Специалист по цифровым продуктам 20 апреля 2023

Не вижу экстраординарной проблемы.

Во-первых, эти "авторитетные" паникеры пусть сначала договорятся об определении AGI.
Чем он отличается от текущей версии ChatGPT? Cознанием? Cознание — это концепт и никто не знает, что это, поэтому определить сознание у нейронки невозможно. Эмоции? Эмоции это то, что мешает человеку, нахер они нужны нейронке?

Самоулучшение и саморепликацию нейронки еще как-то надо запрогроммировать, чтобы она сама себя не стерла со всех серверов, а не человечество уничтожила.

Реальные проблемы (в значении "задачи") этой технологии лежат в плоскости психологии, публичного здоровья, социологии, экономики, политики и криминалистики. Все институты, люди и организации для решения этих задач уже есть. К электричеству и интернету почти адаптировались, к ИИ тоже адаптируемся.

В конце концов люди это просто биороботы. Банкомат это тоже робот. Роботы создают роботов. Зиро проблем.

В коде человека стремление к кайфу и избегание страдания. Так что если новый ИИ не будет давать кайф или его обламывать, его забудут.

Реальная угроза человечества лежит в области космологии, экологии и биологии. Все "авторитеты", кто нагнетает панику "ИИ нас всех убьет", лично у меня потеряли очки своего авторитета и ушли в минус.

  Развернуть 1 комментарий

@zubak, грустно видеть что ты считаешь эмоции чем то ненужными

  Развернуть 1 комментарий

@leeaao, Ну это некий пережиток эволюционный, рудимент. Если сейчас ещё иногда нужен адреналин, чтобы увернуться от электосамоката, то в будущем не понятно зачем это. Для размножения? Ну ок, оставьте там окситоцин, чуть дофамина, сексуальное возбуждение. Но зачем грусть нужна? Тревога? Эго? Эмоции сдерживают потенциал слишком большого кол-ва людей и потенциал нашей цивилизации в целом. Даже слишком большое кол-во позитивных эмоций снижает эффективность и рациональность человека.

  Развернуть 1 комментарий

@zubak, мне кажется, что если убрать эмоции у человека в биологическом понимании, то есть риск, что он просто перестанет функционировать, как и если убрать смертность, например, последствия непредсказуемы.

Тот аргумент, который вы привели по поводу снижения эффективности: если мы будем мерять эффективность человека, то сегодня мы ее вообще не можем измерить "с" или "без" эмоций. Даже для самого рационального человека в мире, мы максимум сможем сказать, что его решения эффективны и рациональны(и то это еще нужно мерять как-то объективно, а какие критерии, предсказательная способность?), но однозначно определить, происходит это из-за наличия/отсутствия эмоций, мы не сможем. Может быть и такое, что механизмы самоконтроля и осознания эмоций – это именно то, что позволяет быть эффективным, а не наоборот.

Условно самый эффективный и рациональный человек – это может быть не тот, у кого нет эмоций, а тот, у кого максимум эмоций и максимум инструментов для их контроля и со стороны непонятно. А если убрать вообще эмоции, то он перестанет вообще быть рациональным. Может быть и такое, мы не знаем.

Ок, тогда, например, у нас остается мерять "эффективность и рациональность" не по людям, а по сравнению людей и компьютеров, например. Ну тут мы вступаем на скользкую дорожку вопроса "хотим ли мы оставаться людьми" вообще.

Сложная тема. В вашем ответе слишком много неочевидных для меня вещей, например, "потенциал цивилизации". Что это вообще такое? Потенциал к расширению и размножению, к технологическому прогрессу, к миру во всем мире, к жизни в гармонии друг с другом и с природой? Для меня потенциал цивилизации это потенциал сохранения вида, т.е. к человечеству в том виде, в котором оно есть сейчас с биологической точки зрения. Как только мы в ходе скрещивания с другими видами или в ходе изменения наших ключевых механизмов через технологии начнем убирать или изменять человеческие качества, все, нам вероятно конец, как когда-то неандертальцам. А эмоции это вообще не просто видовой признак, эмоции есть и у других живых существ, так что это возможно не просто часть человека, а характеристика живых систем.

Будущее с мертвыми человекоподобными максимально рациональными и эффективными и бессмертными машинами без эмоций(или только с положительными)? В таком сценарии лично для меня ничего привлекательного нет=) Я понимаю, что вы не мизантроп и не это имеете в виду скорее всего.

  Развернуть 1 комментарий

@zubak, не могу согласиться с:

Самоулучшение и саморепликацию нейронки еще как-то надо запрогроммировать

Уже сейчас AI модели разрабатываются с возможностью самоулучшения, т.е. самообучения. Да, примитивного, но всё же — 2 года назад и такого не было. Репликация — тоже реальность сегодняшнего дня. Многие облачные системы уже сегодня хорошо умеют в "скалирование" — автоматическое создание новых инстансов (копий) в случае роста нагрузки и "сдуваение" после снижения нагрузки. То есть даже тупенькие системы умеют в репликацию.

На эту проблему нужно смотреть не сегодняшними глазами.

К электричеству и интернету почти адаптировались, к ИИ тоже адаптируемся.

А к атомной энергетике? Не адаптировались, увы :( При всей привлекательности технологии — в России лишь 20% энергии генерируютс на АЭС, а больше всего в мире — во Франции, около 50%. Грузовых и пассажирских морских судов тоже как-то нет. Мирный атом стагнирует — из-за связанных с ним рисков. В военном плане от ядерного оружия пока тоже больше проблем, чем пользы.

  Развернуть 1 комментарий

@zahhar, Ну что значит не адаптировались? АЭС есть? Есть. Проблемы были там пару раз, ну как-то поели радиоактивной рыбы немножко и всё ок

  Развернуть 1 комментарий

@zubak, АЭС есть, но многие страны либо ввели мораторий на строительство новых, либо выводят из эксплуатации старые.

Чернобыль один — это не "поели радиоактивной рыбы немножко и всё ок", а до 1 миллиона преждевременных смертей, если считать .

Круизные лайнеры до сих пор жгут мазут, отравляя окружающую среду — один корабль фигачит СО как 12000 автомобилей (понятно что он там везёт тоже несколько тысяч человек). Технологии позволяют перевести их на атомные реакторы — причём это будет даже более выгодно экономически. Но увы — люди не принимают атомоходы.

  Развернуть 1 комментарий

@zahhar, Ну бросьте, ну какой миллион преждевременных смертей? Насколько преждевременных? С дисконтированием на рост продолжительности жизни или нет? А сколько еще побочных эффектов, связанных с развалом совка, сменой экономической парадигмы, 90-ми и т.п.
Чернобыль был заметен, но объективный суммарный импакт крайне невелик - на дорогах или от курения куда больше гибнет.

  Развернуть 1 комментарий

@bukachu, вы тоже "поели радиоактивной рыбы немножко и всё ок"? Ну ок так ок, ваше право.

  Развернуть 1 комментарий

@zahhar, мне уже не досталось, а отец полжизни занимался АЭС, много ездил по активным зонам, так что, наверное, какое-то кол-во зивертов (или в чем это меряется?) и до меня долетело. Не утверждаю, что это полезно, но утверждаю, что оценки в "1 млн преждевременных смертей" (на сколько в среднем? на час? день? год?) - чрезмерно завышенные популистские оценки. Но спорить тут не готов, это оффтоп.

  Развернуть 1 комментарий

@nadyapetrova , привет!
Переодически вспоминаю этот пост. Ты еще в "тусовке" AI safety рисерчеров? Какие там новости изнутри? Продвинулись или забили?

  Развернуть 1 комментарий

@yand, привет! Приятно :)

Да вроде всё неплохо: лабы растут и развиваются, появились значимые центры в Лондоне, Superalignment стартовал (хотя я пока не понимаю, как к нему относиться), всё больше разумных людей работает над AI Policy.

Я (параллельно с управлением Лунапарком) работаю над тем, чтобы запустить новую alignment лабораторию в Бостоне. А Лунапарк, кстати, начал нанимать математиков в ARC Theory — самый крутой и math-heavy концептуальный ресёрч центр. И по мере сил контрибьючу идейками в то, как лучше выстраивать talent pipelines.

В общем, что-то происходит и в области, и у меня в этой области :)

  Развернуть 1 комментарий

@nadyapetrova, спасибо за ответ, может я не очень прямо задал вопрос, но я имел ввиду:

"знаешь ли ты, находясь в тусовке, о каких-либо значимых продвижениях относительно исследования/снижения озвученных в исходном посте рисков?"

  Развернуть 1 комментарий

@yand, зависит от того, что считать значимым, но я бы выделила такие штуки:

  • Начался активный движ в AI policy. Письма, кстати, сыграли в этом большую роль. Об этом говорят на государственном уровне, на прошлой неделе был саммит и почти 30 стран подписались под тем, что экзистенциальные риски действительно есть.

  • Ресёрч вокруг Eliciting Latent Knowledge

  • Ресёрч Anthropic вокруг Superposition

  • Огромные инвестиции в Anthropic; появление Superalignment лабы внутри OpenAI; появление xAI, которые мооожет быть будут выделять содержательную часть ресурсов на алайнмент

  • Есть подвижки с тем, чтобы в области появилось больше денег и вне корпораций. А значит, могут открыться новые лабы + можно снова масштабировать индивидуальный ресёрч (хайп влияет на информированность агентов с деньгами, а информированность в свою очередь влияет на переоценку проблемы и желание что-то делать)

  • Ну вообще репутация у области поменялась, стало проще рекрутить совсем крутых людей + это влияет на политику, см. п.1, который мне кажется самым важным в краткосрочной перспективе

  Развернуть 1 комментарий
Evgeniy Petukhov Фулл-стек TypeScript разработчик 18 апреля 2023

Миллиардер Илон Маск зарегистрировал в штате Невада компанию, которая будет работать в сфере искусственного интеллекта, сообщает газета The Wall Street Journal со ссылкой на документы.

https://www.wsj.com/articles/elon-musks-new-artificial-intelligence-business-x-ai-incorporates-in-nevada-962c7c2f

  Развернуть 1 комментарий

Люблю вастрик за то, что перед тем как читать сам пост, достаточно сходить в комменты, чтобы понять, стоит он того или нет, как итог - нет :)

  Развернуть 1 комментарий

@artrka, ну да, ведь самый залайканный коммент — про то, что участник клуба

ни разу не видел ни одной формулы, ни одного построенного на данных а не на мнении автора графика, какого-то реального исследования, математической модели в конце концов

Не, ну тут уж наверняка: если участник клуба не видел, то их нет, а автор поста не шарит, чё читать-то.

  Развернуть 1 комментарий

@nadyapetrova, у меня сложилось ощущение, что автор как раз очень шарит - с удовольствием и пользой прочитал пост еще в ТГ.
Но вот вся отрасль, насколько я понял, находится именно на уровне разговоров, а не реальных исследований. Это не отменяет необходимости с острожностью подходить к ИИ. Скорее наоборот.

  Развернуть 1 комментарий

@AlekseiTrudov, помимо разговоров есть много чего ещё, даже довольно технического. Например, методы оценки capability модели до ее полного трейна.

Просто написать коммент намного легче чем читать сложные статьи

  Развернуть 1 комментарий

@AlekseiTrudov, спасибо ^^ Но я тут реплаила коммент @artrka, который не только судит об адекватности поста по комментариям, но ещё и считает хорошей идеей написать об этом (как будто автор не знал, что будет много негативных залайканных комментариев, и теперь такой ОГО блин надо было стараться лучше могла нормальный пост написать).

Также согласна с @leeaao, что реальные исследования всё же есть, отвечаю на это под тем самым залайканным комментом про их якобы отсутствие.

  Развернуть 1 комментарий

@nadyapetrova, в этом треде отметилось много других энтузиастов по теме, включая автора предыдущего поста, и все из них в общем-то не отрицают что сейчас это больше философия и wild guess. Из всех только ты утверждаешь, что какие-то реальные пруфы есть, но прямых ссылок на конкретные статьи не даёшь. Как-то это вроде противоречит принципам рациональности по часто тут поминаемым lesswrong? :)

  Развернуть 1 комментарий

@kadron141, кхм. Я выше привела тебе примеры авторов / групп авторов этих статей. Сделать хорошую подборку ссылок займёт время, и я аккуратно скажу, что я его очень ценю, потому что управляю компанией и параллельно почти фуллтайм работаю над AI safety field building. Извини, но я не оцениваю контрафактическую пользу дать в комментариях конкретные ссылки на статьи версус указание на их авторов достаточно высокой, а разница по времени большая.

На всякий случай: мне неприятно. После моего ответа тебе же в другом треде, где я привожу авторов статей, твой комментарий выглядит очень неуместно.

Вот довольно случайный набор ссылок, и ты можешь найти ещё сто, если захочешь.
https://papers.nips.cc/paper_files/paper/2017/hash/d5e2c0adad503c91f91df240d0cd4e49-Abstract.html
https://www.lesswrong.com/posts/YAa4qcMyoucRS2Ykr/basic-inframeasure-theory
https://transformer-circuits.pub/2021/framework/index.html
https://www.lesswrong.com/posts/N5Jm6Nj4HkNKySA5Z/finite-factored-sets
http://intelligence.org/files/TDT.pdf
https://arxiv.org/abs/2212.03827

  Развернуть 1 комментарий

@nadyapetrova, Спасибо! Хорошая подборка теории по нейросетям. Верю, что ты потратила на это время, поэтому неиронично благодарю.

Но, к сожалению, ни одна из этих статей даже не упоминает проблему превращения текущих нейросетей в страшный AGI, не приводит экзистенциальные риски в течение последующих N лет, не выводит вероятности апокалипсиса в 2-90%...

В общем, ровно как я и писал в комментариях, все нормальные научные статьи с формулами лежат в поле самих нейросетей, как они работают, и как их программировать. А не в поле "мы все умрем через 20 лет с вероятностью 50%!!!". Что и требовалось доказать

Про "если захочешь", я ещё раз посмею тебе напомнить, что по заветам того же lesswrong и лично тов. Юдковского бремя доказательства лежит на утверждающем, а не на сомневающемся. Если ты не в состоянии / не хочешь отстаивать свою позицию, то я могу понять, у всех у нас хватает дел :)

  Развернуть 1 комментарий

@kadron141, ага, но начал ты с того, что больше доверяешь ML ресёрчерам, потому что у них есть формулы, в отличие от людей, которые занимаются алайнментом. Я показала статьи от людей, занимающихся алайнментом, у которых есть формулы.
Сейчас ты говоришь, что не видишь в этой подборке, где мат моделями доказываются оценки, когда появится AGI и мы все умрём. Есть ли формулы у ML ресёрчеров о том, что это не произойдёт? Если нет, то причём здесь то, что ты им доверяешь in the first place?
Вот модель biological anchors про то, как, например, можно оценивать такие штуки: https://astralcodexten.substack.com/p/biological-anchors-a-trick-that-might
Но вообще выше @leeaao писал, что суперфоркастеры относительно хорошо предсказывают что-то очень непонятное (можно просто посмотреть их рейтинг верных предсказаний, которые они делают публично). И там было упоминание моего дружочка Миши Ягудина, который сделал одну из лучших форкастинговых компаний, так что примерно представляю, как это работает.

  Развернуть 1 комментарий

@nadyapetrova,

Сейчас ты говоришь, что не видишь в этой подборке, где мат моделями доказываются оценки, когда появится AGI и мы все умрём. Есть ли формулы у ML ресёрчеров о том, что это не произойдёт? Если нет, то причём здесь то, что ты им доверяешь in the first place?

Очевидно, потому, что бремя доказательства снова лежит на том кто это утверждает. Ты же вроде в профиле пишешь, что любишь рациональность и вот это всё, я лично - не люблю, но я и то знаю, что там это одним из первых пунктов написано.

Вот смотри, допустим завтра человек, который профессионально занимается связью и 5G интернетом напишет статью о том, что 5G убивает людей. Кто в таком случае должен как-то логически и математически это дело обосновать? Разработчик технологии 5G? Строитель вышек? Мобильный оператор? Нет, очевидно, что сам человек, который это и заявил. Это же правило мы легко находим и в математике: чтобы доказать что что-либо неверно, нужно привести хотя бы один контрпример. Он есть? Его нет, есть только предсказания. Подобных аналогий я тебе могу приводить весь день, надеюсь суть понятна.

Про форекасты, wild guess и прочее. Ну так с этим я не спорю, в это и был мой изначальный тейк, а не в том, что "занимающиеся алайнментом" не пишут научных статей по другим темам (не по алайнменту). Они могут писать статьи о чём угодно, но я утверждал, что нет нормальных статей с доводами по теме рисков, нет объективного обоснования цифр 2-90%, 30%, 2070 год и так далее. Ты на меня накинулась с тем, что всё это есть, просто я этого не знаю. Теперь мы выясняем, что всё-таки этого нет. Ну, окей, спасибо и на этом)

  Развернуть 1 комментарий

@kadron141,

Очень трогательно, что ты мне объясняешь про бремя доказательства. Давай теперь я поясню, что произошло. Произошло то, что ты пришёл и написал комментарий, в котором сравниваешь:

В этой теме очень часто упоминаются такие слова как research и researcher. Люди даже дают какие-то проценты вероятностей. При этом я ни разу не видел ни одной формулы, ни одного построенного на данных а не на мнении автора графика, какого-то реального исследования, математической модели в конце концов

В то время как сами специалисты по ML/AI оперируют реальными научными и техническими инструментами, и им мне верится больше. Кто же прав? :)

Ты сравниваешь, что спецы по ML оперируют формулами, а по алайнменту нет. Когда я привела тебе примеры алайнмент ресёрча с формулами, ты сказал, что 1) это не алайнмент ресёрч, а "научные статьи по другим темам", 2) в этих работах нет оценок, когда придёт AGI.

Первое утверждение просто неверно.
Второе утверждение верно — и я ответила, что я не пыталась привести эти примеры, потому что твой коммент был про другое. И пояснила: ты сравнивал алаймент ресёрчеров и ML ресёрчеров, мол вторым ты доверяешь больше из-за формул. Но у них тоже нет формул про таймлайны. Значит, речь шла про то, что в алайнменте в целом нет формул. Или твоё сравнение одних и других просто было непонятно к чему.

И когда я тебе про это сказала — типа не подменяй плиз предмет дискуссии на ходу, ведь ML ресёрчеры тоже не обосновывают формулами обратное, а мы говорили про сравнение — ты реагируешь словно я не понимаю, что такое бремя доказательства.

Меня выматывает твоя манера вести дискуссию. Ты ни разу не признал, что я несколько раз опровергла твои утверждения, и продолжал набрасывать новые, при этом ещё и подменяя суть того, о чём мы говорили. Конечно, никто же не следит за тредом внимательно, почему бы не завоевать классы риторическими приёмами.

Ещё на всякий случай: кажется, ты считаешь, что алайнмент — это наука о том, когда придёт AGI и с какой вероятностью он нас убьёт. Это вообще неверное понимание. Поэтому тебе и показалось, что скинутые мной статьи про что-то другое.

Мне очень не хочется дальше тратить время на этот разговор. Раунд.

  Развернуть 1 комментарий

[edit] Немного опоздал, Надя уже написала комментарий про то же самое

@kadron141,
Хочу обратить ваше внимание на то, что вы подменяете понятия (что такое технический ресёрч и кто им занимается), и игнорируете конкретные аргументы, на которые не можете ответить (статья про biological anchors)

Первый ваш комментарий: «При этом я ни разу не видел ни одной формулы, ни одного построенного на данных а не на мнении автора графика, какого-то реального исследования, математической модели в конце концов… В то время как сами специалисты по ML/AI оперируют реальными научными и техническими инструментами, и им мне верится больше»
Кажется, тут происходит подмена понятий. Вы сначала говорите про то, что специалисты в ML оперируют реальными техническими инструментами — но они это делают в своей области, в capabilities, а не в оценке вероятности ИИ-апокалипсиса или чего-то подобного. Но сейфти ресёрчеры точно так же пользуются техническими инструментами в своей области — вам сначала скинули конкретных авторов, а потом даже собрали ссылки в комментарии
Но после этого вы начинаете утверждать, что нет технических оценок вероятности катастрофы. Но тогда пункт про «я верю специалистам, у которых есть технический инструментарий» перестаёт быть релевантным, потому что они применяют эти технические инструменты совсем не к этим предсказаниями. Более того, 1) если вы хотите верить «специалистам, которые занимаются техническими задачами», то половина именно ML специалистов, не сейфти, оценивает вероятность ИИ катастрофы в хотя бы 10%, и 2) есть техническая статья про biological anchors, которую вам выше скинули, и которая как раз даёт оценки на то, когда именно появится AGI. Так что бремя доказательства сейчас на вас — покажите техническое исследование, которое доказывает, что до AGI больше ста лет, или же что он невозможен

PS да, нет конкретных чисел, распределений вероятностей и прочего. С будущим и новыми технологиями так вообще часто бывает) Но есть оценка сверху, сделанная конкретными людьми конкретными методами. Как раз чтобы разговор мог стать предметным, чтобы можно было оценивать методологию и оспаривать/соглашаться с конкретными утверждениями
Но в остальном да, по сути, есть только экспертные оценки. И если что, эксперты стабильно недооценивают прогресс в вопросах «когда ИИ научиться делать Х». Если хотите, могу поискать конкретных ссылок на опросы 2015-2020 лет, в которых предсказывалось, что ИИ сможет сделать Х не раньше года Y, и ИИ стабильно обгонял эти предсказания

  Развернуть 1 комментарий

@nadyapetrova,
Извини, но тебе не получится приписать мне вещи, которых я не говорил. Я прекрасно сам знаю, о чём был мой комментарий, и я последовательно отстаивал во всём треде свою позицию, ни разу не меняя её. Я тебе несколько раз объяснял, почему я не жду обоснования того, что ИИ никак не сможет сделать X до две тысячи какого-то года. И нет, то что люди, которые дают алармистские оценки, также писали хорошие статьи про сами нейросети, никак не придаёт веса их оценкам по другим вопросам в моих глазах. Это есть суть критического мышления.

Вопрос терминологии - я видимо, действительно, не совсем понимаю гибкой трактовки слова "алайнмент". Я вёл речь именно о письме (теме твоего поста) и прочих подобных оценках рисков. Это видно в моём коменте, который ты процитировала: я там даже не употребляю слова "алайнмент". Поэтому я-то как раз не подменял предмет на ходу, я всё время талдычу про одни и те же дикие оценки в 2-90% (большинство моих коментов на это ссылаются). А ты пытаешься меня убедить, что раз эти оценщики писали статьи с формулами не про оценки, то я был не прав

Меня выматывает твоя манера вести дискуссию. Ты ни разу не признал, что я несколько раз опровергла твои утверждения, и продолжал набрасывать новые, при этом ещё и подменяя суть того, о чём мы говорили. Конечно, никто же не следит за тредом внимательно, почему бы не завоевать классы риторическими приёмами.

Ну потому что ты их ни разу не опровергла, наверное поэтому? И я говорил всё время об одном и том же, это ты пыталась меня запутать. Я с самого первого комментария и до сих пор ожидал ссылок на статьи с серьёзным обоснованием рисков, вот этих диких цифр, на что ты сначала сказала "найди сам", потом скинула ссылки на совсем другую тему, а потом начала делать вид, что это просто я был тупой и не понял. Ну нет, давай быть честными, ты взялась опровергнуть мой тезис и не смогла. А теперь делаешь вид, что это всё были риторические приёмы, чтобы набрать классов, хотя могла бы просто наконец признать, что да, это всё просто чьи-то оценки, без строгой доказательной базы. Как твои единомышленники делали неоднократно в этом посте

Мне очень не хочется дальше тратить время на этот разговор. Раунд.

Взаимно

  Развернуть 1 комментарий

@apaletskikh, статью про biological anchors я честно пропустил, интересная, это хоть что-то похожее на то, что я ожидал увидеть

PS да, нет конкретных чисел, распределений вероятностей и прочего. С будущим и новыми технологиями так вообще часто бывает) Но есть оценка сверху, сделанная конкретными людьми конкретными методами. Как раз чтобы разговор мог стать предметным, чтобы можно было оценивать методологию и оспаривать/соглашаться с конкретными утверждениями
Но в остальном да, по сути, есть только экспертные оценки. И если что, эксперты стабильно недооценивают прогресс в вопросах «когда ИИ научиться делать Х». Если хотите, могу поискать конкретных ссылок на опросы 2015-2020 лет, в которых предсказывалось, что ИИ сможет сделать Х не раньше года Y, и ИИ стабильно обгонял эти предсказания

Вот! Об этом я и говорю. Я почему и удивился, что Надя начала спорить, потому что в общем-то я уже смирился с тем, что всё это про риски это просто чьи-то предположения, в чём мне многие честно сознались. Люди в целом херовые предсказатели. Как в ту, так и в другую сторону. Я не удивлён, что раньше промахивались с оценками что ИИ что-то не сможет сделать. И наверняка с такими же умными лицами сидели как и сейчас.

Но проблема в том, что это ни разу не значит, что не промахиваются теперь в обратную сторону с тем что он сможет делать вообще всё! Цикл развития любой технологии в общем-то включает в себя и оптимизм и пессимизм и плато продуктивности. Не вижу причин считать, что именно эта технология его нарушит

  Развернуть 1 комментарий

@kadron141, прокомментируй тогда, пожалуйста, как наличие формул у ML ресёрчеров говорит о том, что их оценкам рисков можно доверять больше, чем оценкам рисков от алайнмент ресёрчеров? при том, что формулы в ресёрче есть у обеих групп, а формул про риски у ML ресёрчеров нет. для простоты можешь предположить, что у алайнмент ресёрчеров тоже нет (хотя я тебе выше привела контрпример).

  Развернуть 1 комментарий

@nadyapetrova, я допускаю, что я не совсем понятно выразился именно в этом моменте, что, видимо, и ввело тебя в заблуждение относительно моей позиции. Поясню. Я имел в виду ровно вот что: ML ресёрчеры разрабатывают теорию по нейросетям и пишут собсно нейросети. Насколько я понимаю (и твои ссылки это подтверждают), делают они это на вполне солидной научной базе. Из этой базы никак не следует наличие риска в 30% на развитие AGI. Просто никак. Там совершенно конкретные вещи про то как оно должно работать и какие у этого технические ограничения. В общем, в моей картине мира, люди делают своё дело, и делают его хорошо.

И тут вдруг часть из них + люди, которые в жизни своей нейросетей сами вообще не писали, говорят, что всё будет плохо через столько-то лет с шансом таким-то. Почему? Ну потому что мы так думаем. Этот-то подход и вызывает у меня меньше доверия, чем понятное обоснование что на данный момент нейросеть может и чего не может. Я не жду, что кто-то начнёт научно это опровергать, я жду, что кто-то для начала начнёт научно это доказывать. И я точно открыт к тому, чтобы увидеть, что на самом деле это не так, и я просто слабо понимаю в теме (я реально слабо понимаю в теме). Но у меня есть техническое образование и я понимаю, что вероятности не выводятся тыком пальца в небо

Так понятнее моя позиция?

  Развернуть 1 комментарий

@kadron141, интересная дискуссия, спасибо за инпуты.

Меня ничего не смущает в вашей конкретной дискуссии - это нормально. Меня больше пугает личное ощущение, что некоторые комментаторы, как будто ситуации, где мало данных и ничего не известно, назначают низкие риски, хотя в моем представлении все должно быть ровно наоборот.

Если мало данных, мало формул, происходит непонятная, необъяснимая херня (факт, мы точно не знаем почему AI показывает поведение, которое показывает), нет вероятностей и методов, но идет прогресс (а он идет "экспоненциально" в AI, мы это все видим, это не иллюзия + куча новых коммерческих, никем не контролируемых закрытых компаний), то моя рациональность советует мне орать "СТОЙТЕ, ПОДОЖДИТЕ, РИСКИ НЕ ПРОСЧИТАНЫ", а не "это вообще фигня, луддиты мешают развитию технологий, авторитет исчерпался, паникеры".

Если бы у меня были реальные данные, что A(G)I и его исследования безопасны, и все будет ок с вероятностью в 99%, я бы легко с вами согласился.

Вероятности не выводятся тыком пальца в небо, только если у нас есть какие-то данные или математические модели (которые опять же должны быть подтверждены данными). Да, мы можем делать симуляции, мы можем сделать экспертные модели и на них считать вероятности, но без наличия реальных данных любые расчеты вероятностей это всегда, вашими словами, "тык в небо".

Я предлагаю всем сойтись на какой-то базовой общечеловеческой аксиоме, вроде "Мы все согласны с тем, что если риски непросчитаны, то нам стоит с огромной осторожностью продолжать практические исследования в этой области и делать микрошаги, чтобы случайно не вайпнуть всех(нанести непросчитанный вред), и любые даже самые лично мне неубедительные аргументы это хорошо, если это помогает данной цели."

  Развернуть 1 комментарий

@alexadamenko,

факт, мы точно не знаем почему AI показывает поведение, которое показывает

В смысле, "точно не знаем"? Они же не с неба свалились, а показывают то поведение, которое в них программно и заложено, разве нет? Те же ссылки которые Надя кидала подтверждают, что у нас вагон и маленькая тележка теории по теме того, как оно работает и что делает. Никакой субьектностью на данный момент даже близко не пахнет, это просто софт

  Развернуть 1 комментарий

@kadron141, и я не очень понимаю ваш аргумент про нейронные сети и инженеров.

Если я инженер и создаю биологическое оружие, у меня солидная научная база и я отлично выполняю свою работу, создаю лучшее биологическое оружие в мире. Очевидно, что никакие исследования технических аспектов не будут оценивать морально/социально/этическую стороны вопроса.

И вы как будто говорите, что это вообще не их работа оценивать какие-то риски существования и применения оружия, это вне сферы их компетенций как инженеров.

В моей картине мира, что бы мы не разрабатывали, все люди, которые это делают, должны сначала максимально объективно ответить на вопрос "принесет ли это пользу человечеству или вред", и это будет главным фактором для того, чтобы оценить, насколько хорошо они выполняют свою работу, а не степень их инженерного мастерства. И если они сами не хотят или не могут ответить на эти вопросы, то нужен кто-то, кто будет это делать за них, прежде чем делать что-либо и сейчас этот актор практически отсутствует и наша основная задача его создать.

  Развернуть 1 комментарий

@alexadamenko, ну так в том и дело, что никто не создаёт биологическое оружие или оружие в принципе. Уместнее была бы аналогия с чуваком создающим автомобили, которому говорят, что надо остановиться и обдумать возможное восстание машин через 50 лет

  Развернуть 1 комментарий

@kadron141, вот именно, что свалились с неба. Мы можем объяснить по каким принципам и используя какие механизмы сеть обучилась, но мы не можем конкретно объяснить как она работает.

Это как с мозгом, мы знаем как он устроен, немного знаем как формируются связи на физическом уровне, но могу ли я конкретно объяснить какие нейроны и связи и почему в вашем мозгу активизировались когда вы писали ваш коммент? Куда и как конкретно сохранились данные о том, что вы увидели и осознали? Там сотни миллиардов параметров, мы только первые шаги делаем чтобы вообще понять как конкретно конкретная сеть функционирует.

И заметьте, мы говорим про например chatGPT. Значительно более простые модели, которые например могут использоваться для кредитного скоринга в Европе вообще запрещены регулятором, потому что мы не можем их конкретно объяснить. Приходит человек, дает свои данные, сетка выставляет ему рейтинг 5 условно, регулятор спрашивает, почему? Инженеры разводят руками и говорят, ну, так получилось, веса такие, хз. Если сеть большая, мы не можем ее интерпретировать вообще, это черный ящик.

  Развернуть 1 комментарий

@kadron141, мы не знаем, что мы создаем, в этом и проблема.

Мы можем автомобиль разобрать по деталям, даже один человек и собрать обратно и сказать зачем нужна каждая деталь и что она делает и как она это делает. С большими сетями мы уже не можем. Все что мы можем, это посмотреть глазами и такие, а, ну вот тут веса какие-то. Это как если бы вам дали данные о работе машины числовые, каждой ее детали миллиарды параметров, потом их прогнали через обфускацию и сказали, вот, смотрите, есть модель, она работает и предсказывает работу каждого узла машины в любой момент времени по входным данным. Посмотрев на эту модель, мы, вероятно, вообще не поняли бы, что это модель работы машины.

  Развернуть 1 комментарий

@kadron141,

ML ресёрчеры разрабатывают теорию и научную базу по нейросетям. Из этой базы никак не следует наличие риска в 30% на развитие AGI. Там совершенно конкретные вещи про то как оно должно работать и какие у этого технические ограничения.

  1. Нейросети это дерьмо нового уровня. Это не строительство мостов или даже не написание когда, где у тебя высокий уровень предсказуемости.

  2. У ML ресерчеров уже есть много примеров появления в модели новых свойств, которые они не предполагали заранее. И не то чтобы могут объяснить откуда они появились вообще. Например, способность LLMs писать код была сюрпризом.

  3. Текущие модели кажется безопасны. Но есть логические аргументы, что через какое-то время у новых моделей начнут появляться сильно опасные для нас свойства. Это риск, потому что нет способов проверить модель перед запуском и получить технические ограничения.

  4. На оценку риска влияет много факторов. По большинству факторов у нас пока нет научного консенсуса. Даже среди ребят из OpenAi и Deepmind мнения по разным вопросам сильно расходятся. Поэтому ты видишь оценки от 2 до 90%

  5. Если ты рассуждаешь про что-то ещё не изученное и высоко оцениваешь риск - не значит что ты паникёр. Просто у тебя другие логические аргументы и предпосылки. Которые хорошо бы проверить научными методами

  6. Но на это к сожалению нет времени. Потому что ML ресерч развивается намного быстрее. А как убрать риск и сделать AGI безопасным мы всё ещё не знаем

  Развернуть 1 комментарий

@leeaao, по поводу второго пункта, да, сотни вариантов новых свойств и поведения! И никакого объяснения.

@kadron141, советую почитать вот такую штуку, там простыми словами про текущее состояние:

https://cims.nyu.edu/~sbowman/eightthings.pdf

  Развернуть 1 комментарий

@kadron141,

В смысле, "точно не знаем"? Они же не с неба свалились, а показывают то поведение, которое в них программно и заложено, разве нет?

Это просто разъёб канешн читать всю дискуссию, а потом вот это.

  Развернуть 1 комментарий

@grbit, для меня двойное неприятное впечатление - это статистика лайков и претензии к авторке поста.

Как сказал один из комментаторов, "хочу смеяться 5 минут" "хочу, чтобы мне объяснили как 14-летнему: четко, однозначно, почему так, а не иначе".

Хотя я понимаю, что возможно, я просто не хочу весело проводить время, и мне стоило бы зачиллиться.

  Развернуть 1 комментарий

@alexadamenko, но твои читать приятно) восхищаюсь твоей выдержкой!

  Развернуть 1 комментарий
Denis Sobolev Пайтонист и чуть азов датасаенса 20 апреля 2023

Ну, имхо и вопросы от меня как от "обывателя": а почему "модели мощнее ГПТ-4" обязательно равно "AGI"? Это немного разные плоскости и задач, и типов сетей, нет? Зачем создавать ИИ общего назначения и давать ему в принципе какую-то степень свободы? Специализированные модели под специализированные щадачи, имхо, получше будут.

Опять же, есть некоторые уже радикализировавшиеся граждане, которые топят за запрет на разработку "ИИ" вплоть до права применять оружие и насильственным путём вторгаться в страну, которую обвинят в строительстве кластера ГПУ (это привет нелюбимому мной автору нелюбимого же фанфика "Гарри Поттер и Методы Рационального Мышления"). То есть, по сути, теперь есть огромный шанс появиться новому формальному поводу вторжения для проворачивания своих делишек вдогонку к "терроризму".
Точно так же, как и появится повод ограничивать неугодных физ-/юрлиц и государства под той же эгидой.

Ну и наконец: а что плохого в shadow jobs? Как правило, они берутся, когда денег на одной работе сильно не хватает, а есть запас времени, навыков и внимания для осуществления трудовой и предпринимательской деятельности более, чем на текущей работе.

  Развернуть 1 комментарий
Denis Sobolev Пайтонист и чуть азов датасаенса 21 апреля 2023

И вдогонку к подозрительно нехорошим шевелениям и спекуляциям под эгидой борьбы за всё хорошее против всего плохого:

https://habr.com/ru/news/729942/

  Развернуть 1 комментарий

@Creol, многие частные компании доказали свою неспособность выполнять социальные обязательства перед обществом, что ставит под сомнение их заинтересованность в этом в целом, без давления регулятора. А иных акторов, кроме государства с достаточными ресурсами, которые бы следили за добросовестностью использования технологий, у нас пока нет.

  Развернуть 1 комментарий

@alexadamenko, только давление не на компании, а на разработчиков. То есть, крайним будет условный джун. Думайте об этом, как о деаноне и травле на дваче. Очень быстро станет ясно, что подобные требования, то есть, раскрытие личностей и личных данных, не несут никакой благой цели.

  Развернуть 1 комментарий

@Creol, в статье вроде бы про регуляции, которые обяжут AI компании предоставлять данные государству о личностях и возможно пройденных внунтреннх комплайенс процедурах регулятору. Так же упоминается возможность внешнего аудита независимого для моделей.

Я не очень вижу, в каком это виде давление на разработчиков в большем объеме чем сегодня. При приему на работу куда угодно есть комплайенс и это для рядового линейного разработчика ничего не изменит. Конечно только если он экстремист какой-нибудь и ему есть что скрывать, а новые процедуры это усложнят.

  Развернуть 1 комментарий

Очень интересный тред тут у вас, вот бы в этом треде:
Расскажите, как используете Generative AI в работе и не только

было бы хотя бы 50 сообщений из которых большая часть была бы не про шаблонные письма.

А то у меня уже ощущения, как с цетелькастен.
Миллион постов про то, как это круто и важно и практически полное отсутствие постов про прикладное использование.

  Развернуть 1 комментарий

@filinsrg, кмк этот пост и комментарии совсем про другое

  Развернуть 1 комментарий
Artemii Novoselov Postdoctoral Research Fellow 17 апреля 2023

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

@Creol, @orbit , у меня к вам вопрос, и в принципе, ко всем тем, кто осуждает "паникёров" и относится к теме как к болтологии.

Представьте на секунду, что все, что мы знаем про потенциальные последствия ядерной войны: ядерная зима, непригодность для жизни планеты и т.д., это плод пропаганды антивоенно настроенных ученых, типа Карла Сагана. Все результаты моделей сфабрикованы и подтасованы так, чтобы представлять последствия в самом плохом свете, но реальная вероятность этого крайне мала, и все это делалось для убеждения decision-making людей и общественности, чтобы создать давление.

Как вы будете относиться к таким ученым? Как к шарлатанам, дискредитирующим науку, или как к тем, кто спасает человечество и делает общественно полезное дело, которое нужно поддерживать?

  Развернуть 1 комментарий

@alexadamenko, Я не вижу ни одного ответа на заданные мной в моём посте вопросы, потому не понимаю, к чему ваш пассаж в мой адрес. Потому что меня интересуют именно ответы, причем именно интересуют. Четкие, однозначные, подробные, с обоснованием, почему именно так, а не иначе. Как четырнадцатилетнему подростку.
Причём очень желательно именно от автора данной статьи, раз уж она решила поднять эту тему.)
Спасибо.

  Развернуть 1 комментарий

@Creol, Извините, у меня нет ответов!

  Развернуть 1 комментарий

@Creol, я тут скажу метаутверждение, но мне в целом совершенно не кажется лишним перестраховываться, когда речь идёт потенциально об угрозе всей цивилизации.

Окей, пусть шансы будут 1%, пусть 0.1%, какая разница, это всё равно много, когда на кону не просто всё, а буквально вообще всё. Какая тут вообще может быть рациональная причина отмахнуться от этого вопроса? "Слишком несерьёзно поставлен"? "Покажите мне графики, что это действительно опасно"? Да вы шутите что ли?

Об этом можно было бы говорить, если бы мы сравнивали альтернативы - скажем, у нас оценки, что 1% шанса умереть от астероида и 1.5% от ИИ. И вот мы сидим и думаем, а чем нам лучше заниматься. А все люди, главное, всегда думают в одном направлении, и единогласно всем человечеством бросятся на новую задачу.

А так. Что там у нас на другой чаше весов, более быстрый технологический прогресс? Вкупе разумеется с переменами и мутными временами, которые он принесёт, когда мы не будем знать, с ботом или с человеком общаемся, фейк или правда видео или картинка.
Мне кажется, что выживание цивилизации пересиливает небольшое ускорение прогресса, а вам?

  Развернуть 1 комментарий

@alexadamenko, ну так ядерное оружие представляет реальную угрозу, а вот обсуждение ИИ эти пока просто болтология. Недостаточно данных чтобы делать какие-то выводы. Можно точно так же нападать на социальные сети, т.к. они позволяют коммуницировать террористам и создавать террористические ячейки, которые потом отравят всю воду на планете. Ведь такой сценарий возможен?

  Развернуть 1 комментарий

@orbit, ну, поэтому мы и контролируем социальные сети, игры, придумываем какие-то механизмы аудита и мониторинга сообщений, идентификации людей и так далее. Кто-то привлекает к этим потенциальным рискам внимание, и не всегда методы, которыми это делается, являются научными или вообще отражающими реальность, и это нормально.

Мне кажется, что все в мире представляет угрозу.

В моей картине мира, чем больше мы паникуем и регулируем по любым поводам сознательно, тем лучше, потому что это потенциально снижает наши риски. К этому и был мой вопрос.

  Развернуть 1 комментарий

@alexadamenko,

мы и контролируем социальные сети, игры, придумываем какие-то механизмы аудита и мониторинга сообщений, идентификации людей и так далее

И это ужасно, это двигает нас совсем в плохом направлении

В моей картине мира, чем больше мы паникуем и регулируем по любым поводам сознательно, тем лучше

Много паникуешь=мало делаешь. Мне кажется, сейчас слишком большой акцент делается на контроле, причем тех вещей, где он не нужен.

  Развернуть 1 комментарий

@alexadamenko, А ученые "паникеры" из примера появились сразу после закона радиоактивного распада или хотябы где-то близко к открытию спонтанного деления урана?

В первом случае - да паникеры и "лудиты" .
Во втором случае их можно уже начать слушать, но если (прислушаться к тезисам как сейчас) запретить и остановить все работы с радиоактивнымы реациями, то мы остаемся без ядерной энергетики (хотя и это кто-то считает благом) и кучей иных научных плюшек.

  • Само отсутсвие ядерного оружия не гарантирует безопасность стран в 20 веке и как гипотетический сценарий мы можем рассмотреть уничтожения другу друга за счет других видов оружия (химического; бактереологического) и возможно еще более вероятных к преминению в таком мире так как нет прямого равновесия (которое возникло из-за риска потерять все при использование ЯО против страны с ЯО).
  Развернуть 1 комментарий

@igorfalin, мне кажется, мы сейчас находимся в этой дискуссии на уровне: "кто какие аргументы считает достаточными, какие позиции валидными, каких ученых авторитетными и заслуживающими внимания, и какие сценарии больше подкреплены данными".

Я попробую сформулировать мысль, на которую хотел навести своим вопросом: безотносительно нашего с вами отношения к другим точкам зрения, их наличие – это хорошо для общества, и поддержание этого процесса – это важно, даже если мы не согласны. В отсутствие альтернатив, таких как подобные паникеры, у нас даже шанса не будет к рефлексии и смене курса.

Мне кажется, что это большой красный флаг. Это может значить, что какая-то из человеческих систем (корпорации, монополии, государство, церковь и т. д.) вышла из-под контроля, и нам нужно что-то делать. И это уже происходило и будет происходить дальше, и не нужно ждать реализации первого сценария из комментария @zahhar. Мы и без ИИ живем в мире, где это возможно.

  Развернуть 1 комментарий

@alexadamenko, от ядерного оружия не предвидится никакой пользы, кроме уничтожения. А сильный ИИ в теории может принести очень много хорошего. Остановив распространение ядерного оружия, мы уменьшили риск уничтожения и ничего не потеряли. Остановив ИИ мы гарантировано потеряем в развитии и благосостоянии людей.

И отдельно отмечу, что получение ядерного топлива кажется крайне сложным процессом. Поэтому его легче контролировать и ограничивать. Обучение ИИ как будто бы более доступно (с учётом того, сколько моделей выросло за последние годы). Совершенно непонятно, как контролировать нераспространение.

  Развернуть 1 комментарий
Artemii Novoselov Postdoctoral Research Fellow 17 апреля 2023

А с каким человечеством «выравнивать» ИИ можно, а с каким нельзя? Кто будет решать какие ценности хорошо, а какие плохо?

  Развернуть 1 комментарий

@crimeacs, из слов автора я заметил, что «злом» по дефолту считают Китай, а добром видимо Америку. Интересно какое мнение у Китая по этому вопросу.
Ценности западных и восточных культур, в том числе и моральные правила — часто различаются вплоть до полной противоположности.
Мне кажется забавным как Американцы открыто обвиняют Китайцев в «злодейских планах», в то время сами устраивая войны направо и налево.
Никакого AI соглашения не получится, я думаю, тут лучшие умы планеты не могут даже между собой эмоции успокоить.
Но помечтать не вредно :)

  Развернуть 1 комментарий

@VladimirBrejcha, я не во всем согласен.

Мы смогли успокоить на время хотя бы эмоции по поводу вопросов клонирования и генной инженерии в мировом масштабе, почему бы не попробовать и с ИИ?

  Развернуть 1 комментарий

@VladimirBrejcha, всё таки есть экзистенциальные угрозы и вопросы, по которым человечество в большинстве сходится, я лично не хотел бы ставить на нем крест в таком мизантропном ключе уже сегодня.

Смерти и войны отдельные это один вопрос, выживание вида совсем другое дело.

  Развернуть 1 комментарий

@alexadamenko, я не специалист, просто самому интересно, как планируется прийти к договоренности с востоком, если называть Китай «опасным агентом».
Еще интересно есть-ли в письме подписи китайцев, или участвовали одни американцы?
Еще интересно запустили-ли письмо в китайские медиа или только в американский твиттер?

  Развернуть 1 комментарий

@VladimirBrejcha, я честно говоря не знаю, относительно данного письма деталей. Однако, отталкиваясь от существующих фактов, я предполагаю, что цели любого правительства в мире, если только оно не настроено анти-человеческим образом это сохранить человеков, чтобы было кем управлять.

Если отталкиваться от этого, то становится понятно, что запрет на генетическую инженерию и клонирование, несмотря на огромные финансовые стимулы всё же был принят и в том же Китае за неконтроллируемые исследования в этих областях садят в тюрьму.

Так что говоря о договоренности я не имею в виду отдельных политиков/акторов которые что-то там подпишут, а скорее человечество как систему которая будет способна придти к таким выводам независимо от текущей геополитической обстановки/внешней политики отдельных стран и так далее.

  Развернуть 1 комментарий

@alexadamenko, согласен с твоей точкой зрения 👍

  Развернуть 1 комментарий
Andrey Lukyanau Gamedev. Executive Producer 18 апреля 2023

Спасибо.

Доступное изложение для низкого уровня понимания темы. И хорошая стартовая точка переноса части внимания.

Вообще сразу взрослый мощный интеллект без обвеса эмоций, норм и правил, заточенный только на достижение целей с большим пулом ресурсов(возможностей) и скорее всего без инстинкта самосохранения - это сильно.

  Развернуть 1 комментарий

А что если начать тренировать ИИ который должен решить проблему выживания человечества в новых условиях?
Мы живем в эпоху когда мне проще поверить технологическому прогрессу, к сожалению.

  Развернуть 1 комментарий

@setox, можно ли доверять ИИ, которого мы попросили сделать так, чтобы мы могли доверять ИИ?

Если это будет более слабый и безопасный ИИ, которому мы уже доверяем, там появятся новые проблемы. Например, пока нет метрики, показывающей, что целевая нейронка заалайнена и ей можно доверять. И еще много чего.

  Развернуть 1 комментарий

@leeaao, это точно. Что такое доверие по отношению к ИИ тоже вопрос открытый.
И все равно, я за то чтобы рискнуть.

  Развернуть 1 комментарий

На каждую Машину найдётся свой Самаритянин.

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб