Матрёшка с XSS: заметки с OFFZONE и ZeroNights

Дух киберпанка сильнее всего ощущается в офлайне на хакерских конферениях. Лчино мне они запоминаются не докладами, а специфическими активностями — от взлома электронных бейджей и аналоговых замков до поиска ответов на каверзные вопросы в открытых источниках.

Один из квестов предлагал разговорить чат-бота, помешанного на лоре конференции, и вытянуть из него секретную информацию. Эта задача напомнила мне о дебатах вокруг выравнивания LLM — алайнмента. СМИ и футурологи часто обсуждают это понятие в контексте контроля общего искусственного интеллекта. Главный вопрос: как сделать так, чтобы цели общего искусственного интеллекта соответствовали человеческим ценностям?

Отдельные эксперты критикуют корпорации за то, что те уделяют мало внимания этой проблеме. Мол, вместо размышлений о безопасности компании сосредоточены на продуктах и прибыли. Эта критика не всегда справедлива, ведь у алайнмента есть более прикладной аспект.

Даже самые простые и ограниченные нейронки не должны вредить человеку или компании, которая их развернула, даже если их к этому подталкивают. Это актуально уже сейчас. Тренируясь на бытовых задачах и простых моделях, мы можем больше узнать и о глобальной проблеме безопасного AGI. Принижать ценность таких исследований точно не стоит.

В 2025 году на OFFZONE были только доклады о применении LLM, и я предположил, что в ближайшем будущем появятся целые треки про «психологию» алайнмента, взлом и обман искусственного интеллекта. Чем лучше мы учимся обманывать ИИ, тем безопаснее его делаем. Каждый успешный джейлбрейк — урок для разработчиков.

В 2026-м число докладов про нейронки чуть ли не удвоилось, и часть из них — как раз на эту тему. Вот пара докладов: «Et tu, OpenCode»: как атакующие обманывают агентов и вытягивают секреты и regex против LLM: бенчмарк детекторов prompt injection.

На одной из дискуссий вспомнили инцидент с Hugging Face, про который вы наверняка слышали. Во время внутренней оценки кибервозможностей агент на связке моделей OpenAI нашёл способ выйти из изолированной среды, использовал внешнюю инфраструктуру как плацдарм и в итоге взломал Hugging Face, чтобы украсть ответы к бенчмарку. Из зала спросили: как снизить риск потери контроля? Эксперт ответил, что у модели ослабили защиту и плохо поставили задачу, так что нужно просто быть аккуратнее.

Почему ответ прозвучал так спокойно? Это же реально похоже на пресловутого максимизатора скрепок. Возможно, потому что насмотрелись на лихих и бесстрашных джунов-пентестеров, а может, потому что сам сценарий, в котором искусственный интеллект буквально захватывает и преобразует мир под себя, — далеко не самый близкий и вероятный.

Какой бы интеллектуальной мощью ни обладал суперкомпьютер, есть чисто физические ограничения: энергетика, производство чипов, постройка дата-центров, но главное — мир не единая цифровая среда. Пускай изнутри цифрового пузыря многим кажется иначе.

В богатых странах интернетом пользуются около 94% населения, в беднейших — 23%. На страны с высокими доходами приходится 77% мировых мощностей коммерческих дата-центров совместного размещения, на страны с низкими — меньше 0,1%. Та же Россия оцифрована очень неровно: банки, маркетплейсы, телеком, госреестры — всё там, а вот ЖКХ, муниципалитеты, мелкий бизнес и масса производств по-прежнему работают на звонках, бумаге и личных договорённостях. ИИ в обследовании ВШЭ по данным за 2024 год использовали 4,8% организаций, причём малый бизнес там вообще не учитывался.

У этой неоднородности есть обратная сторона. Обществу вовсе не обязательно быть полностью цифровым, чтобы попасть в зависимость от технологий. В Эфиопии к концу 2024 года интернет был примерно у 19% населения, а мобильными финансами уже пользовались около 60 млн человек. Так что незачем управлять каждым фермером и магазином. Достаточно держать руку на платежах, идентификации, облаках, связи, логистике и распределении господдержки.

Поэтому правдоподобный риск, как мне видится, — несколько цифровых ядер у правительств или американских и китайских корпораций, потихоньку набирающих непропорциональную власть над менее цифровой периферией.

В этом контексте трек OFFZONE ai.zone очень своевременный. Обсуждение уже уходит от джейлбрейков и генерации фишинговых писем к безопасности самих агентов: их полномочиям, песочницам и той точке, где автономность AI-агентов превращается в потерю контроля.

Мир вряд ли станет одной машиной, но вполне может стать системой, где несколько цифровых центров задают условия для всех остальных. Футуристично, но при этом до боли знакомо.

Внешние слои

По дороге на ZeroNights я посмотрел пару серий Halt and Catch Fire и в итоге ехал с лёгкой ностальгией по ранней хакерской сцене: LAN-вечеринки, форумы и дерзость, доставлявшая неприятности компаниям. Примерно так, по фильмам и байкам с DEF CON, большинство и представляет хакерские конференции. Но похож ли ZeroNights на тот стереотипный андеграунд?

[11:32] Ping

[11:29] Где еще какой мерч интересный?)) пишите)

[16:05] CONF: Кстати, на маркете снова доступны джиббитсы

ZeroNights вернулся после перерыва в прошлом году. Его делает DSEC by Solar, а проходит он в шикарном лофте, который больше похож на арт-пространство, чем на компьютерный клуб. Повсюду стенды компаний, красивая реклама, мини-маркет с мерчем.

Единственный подвал здесь — на сайте конференции с политиками обработки данных. Компании на стендах активно собирают контакты, в то время как на главной сцене рассказывают, что механизмы рекламного таргетинга позволяют вычислить конкретного абонента по звонку или клику по ссылке. Тут я ожидал праведного гнева, а зал слушал на удивление спокойно, да и звучало всё это как-то буднично.

В своё время Майкл Линн уволился из ISS, чтобы рассказать на Black Hat об уязвимостях в маршрутизаторах Cisco, — и страницы с его докладом вырвали из сборника конференции. В 2008-м бостонское метро через суд не дало студентам MIT выступить на DEF CON, а в 2023-м школьники, взломавшие его карты, уже смогли выступить с докладом.

Можно сказать, что хакеры победили: искать баги и рассказывать о них стало нормой, за находки платят. И если раньше систему ломали, то теперь в неё встраиваются и даже устраиваются на работу. Старая война с корпорациями на этой сцене закончилась партнёрством.

Или вот, скажем, ИИ. Легендарные хакеры встретили бы LLM с восторгом: новая система, всё можно разобрать, сломать, хакнуть. Но сейчас ИИ встречают настороженно: какие угрозы он несёт? Что теперь будет с CTF? Не отнимут ли боты нашу работу?

И скрытое ядро

[15:48] CONF: В чат призывается RottenMechanism

Всё по-деловому и, кажется, немного скучно, но только на первый взгляд. На одном из стендов с руками отрывали бейджи-матрёшки — они же ноды Meshtastic.

Для ZeroNights их разработал Сергей Норд, он же Rotten Mechanism. Он взял микроконтроллер nRF52840 и LoRa-модуль и нарисовал плату «Матриша» с антенной на 868 МГц прямо на текстолите. Сначала проверил прототипы, а потом вручную спаял, прошил и отладил триста бейджей. Скрипт выдал каждому свой BLE-пароль, а анонсы докладов с базовой ноды рассылала программа, которую он написал специально под конференцию.

И если взять такую матрёшку и заглянуть в чатик ZN_CHAT, одним из первых сообщений там окажется:

[10:36] <Input/%0D*/Onfocus=confirm1//><Svg>

Это XSS-полиглот — строка, которую кидают во все поля ввода подряд, чтобы посмотреть, что сломается. Как раз по такому я и скучал: появилась новая система — значит, её надо прощупать.

Чем дольше я листал ZN_CHAT, тем сильнее он напоминал форумы нулевых: ники с нулями вместо «о», поиск флагов и приколы вроде «Продам мопед» — на который тут же ответили шуткой про друга, который сдуру купил эндуру. На вопрос, кто пришёл со своей нодой, кто-то грустно ответил: «Моя на окне в Самаре(».

Есть старая анархистская идея временной автономной зоны — пространства, которое ненадолго выпадает из-под контроля и исчезает раньше, чем его успеют подавить. Знаете, это она и была.

Да, во многом хакерская романтика уступила место серьёзной индустрии, но если хорошенько поскрести, под кожей всё те же свобода, любопытство и энтузиазм.