Странное происходит: всего за 2 года модели вроде GPT научились писать код, сдавать экзамены, находить уязвимости в безопасности, сочинять пристойные сказки и даже управлять компьютером. Это как если бы школьника, который вчера решал задачки по учебнику, внезапно отправили на хакатон - а он взял и победил.
Кажется, ещё чуть-чуть - и ИИ заменит половину людей в офисе. Но вот только люди в массе своей продолжают делать презентации, а не запускать новые компании, опираясь на агентов. Почему?
☝️ Я думаю, дело в том, что мы научили модель отвечать на вопросы — но не научили её задаваться целями. Потому что, откровенно говоря, сами не очень хорошо это умеем.
Ниже поделюсь инсайтами, которые за время ковыряния в теме ИИ, я накопил.
🫴 ИНСАЙТ 1: КАК В ШКОЛЕ
Первый этап ИИ-революции - это натаскивание. Мы даем моделям задачи как тесты в ЕГЭ: вот задачка, а вот правильный ответ, молодец, проходишь дальше. ИИ учился как старшеклассник, при этом постоянно переключаясь между ролями, когда один навык = одна задача. Кодировать - одно. Писать стихи - другое. Давать советы - третье.
А потом оказалось, что если дать модели простую структуру рассуждения и немного поощрения - она справляется со всем сразу. Типа как если ты научился жонглировать яблоками, и вдруг тебя просят "а теперь запусти стартап" - и ты такой: "а почему нет?".
Прямо на наших глазах разворачивается новая форма мышления. Но она всё ещё не делает главное - не отвечает на вопрос “ну и зачем всё это?”.
🫴 ИНСАЙТ 2: ЛАБОРАТОРИЯ
Теперь фокус смещается на "что вообще нужно считать решением?". ИИ больше не ученик. Можно даже романтично сказать, что он в одном шаге от того, чтобы становиться исполнителем, проектировщиком, исследователем.
Например, SWE-Lancer от OpenAI - первая и на мой взгляд очень робкая ласточка новой эпохи. Модель не просто сдает тест, а зарабатывает виртуальные деньги, действуя из роли инженера-фрилансера. Подразумевается, что метрика успеха - не точность, а полезность, в фокусе - не одна задача, а навигация в пространстве задач. Такой формат должен показать, может ли модель работать, а не просто "отвечать".
Хотя мне лично по прежнему непонятно, почему эта виртуальная валюта должна быть ценна для бестелесной модели и что вообще ее может мотивировать кроме отключения. А вдруг ей только и надо, чтобы ее оставили в покое, поэтому она и галлюционирует?😁
🫴 ИНСАЙТ 3: А ЧТО С НАМИ?
Мы ведь сами толком не умеем определять внятные цели. Как можно научить этому железку, у которой нет личной мотивации?
Не так давно исследователь OpenAI по имени Shunyu Yao опубликовал эссе "Вторая половина" https://ysymyth.github.io/The-Second-Half/.
В нем он пишет, что ИИ нужно учить “как людей”. Но мое мнение, что мы и людей-то не научились нормально учить!
Где те самые «тепличные» проекты, где студент может:
- ошибаться без страха
- получать обратную связь в реальном времени
- делать что-то полезное для мира
Даже в лучших университетах большинство учится по принципу: «вот задачи, реши и сдай».
Парадокс в том, что проблема у нас одна - и у людей, и у ИИ: мы всё ещё строим систему, в которой важен правильный ответ, а не правильный процесс (и очень редко ценится баланс того и другого).
Есть предположение, что мы можем делать ИНАЧЕ с теми, кого учим (неважно, из какого материала они сделаны):
💪 ИНСАЙТ 4.1: ПОГРУЖЕНИЕ В КОНТЕКСТ ЧЕРЕЗ ИТЕРАЦИИ
Представьте модель, которая пишет бизнес-план: она делает это не за один проход, а сначала собирает данные, потом пишет драфт, показывает, получает обратную связь, меняет стратегию, снова прогоняет. Это уже не просто задача, это работа, с которой, будем честны, не каждый человек справляется.
💪 ИНСАЙТ 4.2: ОЦЕНИВАТЬ ПО ЭФФЕКТУ
Не "насколько красиво оформлена презентация", а "стала ли она понятнее тем, кому она адресована". Задачка с двумя звездочками.
💪 ИНСАЙТ 4.3. ОБУЧАТЬ НЕ НА СРЕЗАХ, А НА СВЯЗКАХ
Реальная компетенция - это не "решение задачи #14" из списка. Это умение пройти 13 задач подряд, не запутавшись, не сбившись и не бросив 14-ю.
💪 ИНСАЙТ 4.4: ЗАДАВАТЬ НЕ ЗАДАЧКИ, А РОЛИ
Вы скажете: но ведь мы так и работаем с ИИ, задавая ему роли: "действуй как эксперт в такой-то области". Чего не хватает?
Рискну предположить, что в обучении мы опираемся на серьезные когнитивные искажения.
РОЛЬ ≠ Действие
Дело в том, что одной роли недостаточно, потому что сама по себе она не даёт ни среды, ни цели, ни последствий.
Если я напишу "Ты - CTO стартапа. Предложи архитектуру", модель может выдать очень подробный текст. Но она не выбирает, чем заняться, не проверяет, сработало ли это, не сталкивается с последствиями (если предложила чушь, ее просто попросят перегенерировать - зачем напрягаться).
РОЛЬ ≠ Цель
Если я скажу "представь, что ты фрилансер на YouDo, напиши код для задачи", но не дам критерии готовности, экономическую цель (дедлайны, риски, приоритеты, стоимость), и, самое главное, возможность получить пендель, исправиться и запомнить вывод - то будет не фриланс, а просто сочинение на тему.
РОЛЬ ≠ Среда
Реальный человек взаимодействует с миром (куча данных, результатов коммуникации и багов), управляет контекстом, учится из попыток, в то время как LLM без среды просто симулирует, каждый раз уходя от ответственности за действия.
РОЛЬ ≠ Память/План
Модель может начать как "архитектор", а через 10 запросов забыть, что вообще проектировала. Поэтому без долгосрочной памяти, внутреннего понимания, какая часть задачи завершена, а какая нет, и без тех самых целей, к которым она движется, роль превращается в стилистику, а не поведение.
💪 ИНСАЙТ 4.5: ВВОДИТЬ БЕНЧМАРКИ С ПОСЛЕДСТВИЯМИ
Модель должна помнить, что уже делала, и что получилось.
Пусть результат модели будет: "проект завершён", "статья опубликована", "фича задеплоена" и т.д.
Короче, я не верю, что мы сможем добиться выдающихся результатов, уча ИИ "как человеков", потому что нам предстоит еще самим проходить этот путь. Нейронка - не дитя и не бог, а лишь ученик с аутичными чертами и потенциалом стать со-автором. Но для этого мы должны взять на себя ответственность быть Авторами.
Наша задача - создавать такие системы обучения, где ВЗРОСЛЕЮТ ОБА: и человек, и модель. А иначе мы так и будем учить ИИ по инструкции, которой сами не читаем.
P.S. Пока писал текст, получил такой комментарий от своей знакомой:
Всеми лапами согласна. Я пока смотрю в этом плане в сторону проблемы имитации. Люди имитируют работу, наличие цели, эффективное решение задач. Люди строят процессы не для того, чтобы проблемы решались, а для того, чтобы сгенерировать отчет о процессе. Немногие люди учатся ради знаний и навыков, многим просто нужны сертификаты. Моя гипотеза, что люди скорее научат ИИ имитировать деятельность, чем научатся сами брать на себя ответственность Автора. Я часто дискутирую с хорошими программерами, которые строят системы, исходя из представления, что человеку нужно «эффективное, полезное, работающее». И когда такая (классная и полезная) система наталкивается на реальных людей (которым отсидеться, не высовываться, имитировать)… ничего не взлетает. Мне кажется не зря технологически нейросети пошли в народ в то время, когда у нас уже есть исследования по иррациональности поведения людей, нейроэкономика и прочий Канеман. Нужно отказываться от образа «правильного обучения одному чему-то верному по одному верному методу». Нужно уходить от школы, которая учит угадывать ответы. При этом понимать, что массово людей задавать вопросы и быть мотивированными на эффективность у нас не получится. Признать реальность, в которой людям выгоднее имитировать, а не делать. Пересмотреть вообще наш подход к обучению, взаимодействию и распространению информации. И ответ будет какой-то совершенно нам не знакомый. Ммм… пойду перечитаю книжки по латеральному мышлению))))
Что думаете?
Я бы сказал, что не стоить слишком антропоморфировать LLM, наделять статистические модели человеческими качествами. Если что, сейчас LLM не учат "как людей", это не "обучение" в привычном для человека понимании, ей скармливают большие объемы информации, считаются статистические вероятности и зависимости меду словами в тексте (грубо говоря, но суть такая), после этого, модель может продолжать текст наиболее вероятным образом (с поправкой на некоторый внесенный рандом, чтобы не было детерминированности).
Она не обладает сознанием, у нее нет мотивации, она не умеет отвечать на вопросы, она может сгенерировать текст, который похож на вероятный ответ на вопрос, и это может обмануть человека, он может подумать, что общается с разумом. Но пока это не так.
LLM в текущем виде ограничены имеющимися данными. Ничего уникально нового они сделать не в состоянии. У этих инструментов есть свои области применения, где они показывают себя довольно неплохо (например, summary или переводы), но до искусственного интеллекта еще далеко. Можно глянуть на этот бенчмарк, особенно для версии 2 теста.
Почему кассовый аппарат не занимается продажами?