→
Делают ли LLM-ки нас глупее?
Публичный пост
ИИ
19 июня 2025
1174
В этой статье любопытное исследоавние про то, как использование LLM влияет на общий навык написания эссе. В целом довольно интересные, но вполне ожидаемые выводы:
- Студенты, которые пользуются LLM имеют меньшее разнообразие идей в их работах
- Чувствуют меньше вовлеченности и принадлежности к своей работе (ownership)
- Низкий уроевнь умственной активности на ЭЭГ в группе LLM
LLM-ки с одной стороны помогают в рутинных задачах, но со второй могут препятствовать появлению навыка.
Я лично наблюдал этот эффект при активном использовании переводчиков, что препятствует приобретению навыка самостоятельного использования языка.
Ощущаете ли утерю навыка программируя или в написании писем? Как справляетесь?
Как насчёт ownership? Чувствуете ли вы меньшую причастность к своему коду или текстам?
Лично для меня последнее самая актуальная проблема, код написаный LLM, воспринимается как чей-то ещё.
У тимлида команды гугл, которая занимается разработкой Chrome Developer Tools есть статья на эту тему - "Атрофия навыков в эпоху ии".
Это чем-то напоминает появление автотранспорта. У людей начитают атрофироваться мышцы, что раньше были ежедневно нагружены сами собой.
Но мне кажется это не повод отказаться от транспорта, если хочешь быть конкурентоспособным.
Это повод тренироваться целенаправлено и систематично.
Ужасающая перспектива ИИ в разработке не в том, что программисты разучатся программировать. Сколько раз уже отупевали, ничего страшного еще раз отупеть.
Экзистенциальный ужас вызывает перспектива пользоваться всем этим написанным говнософтом для работы. Это вот как сейчас половина приложух на электроне пишутся исключительно из-за того что так проще и быстрее. Вот с ИИ так же, только во многие разы хуже...
Меня больше другое смущает. От ИИ реально сложно добиться желаемого результата. Я обычно использую его для диалога, и активно редактирую то что он мне выдает. Но даже так он часто игнорирует прямые инструкции.
И вопрос вот в чем - те люди, которые используют выдачу ИИ "как есть" реально довольны результатом? Я понимаю когда тебе плевать на результат - сейчас я бы с огромным удовольствием использовал LLM чтобы налить воды в диплом, все равно он реальной ценности не несет (ну может идея немного, но она все равно своя). Но я даже когда прошу его email написать, в половине случаев даю ему четкие формулировки, чтобы он использовал именно их. Он все еще полезен, потому что я могу заставить его быстро сгенерировать несколько разных вариантов, что экономит кучу времени, но отдать ему задачу полностью как-то и не выходит.
Читал этот пост, пока в бэкграунде Cursor писал тест для моего кода.
На самом деле, кажется, что AI это закономерное повышение абстракции. В статье "Avoiding Skill Atrophy in the Age of AI", которую ребята выше скинули, очень хорошо сказано о том, что раньше люди руками менеджили память, и почему-то мне кажется, что переход на более высокоуровневые языки, где этого делать не нужно, тоже воспринимался как что-то опасное: "а вдруг в модуле, который менеджит память, найдут какой-то критический баг, а нам нужно будет вотпрямщас деплоить в прод?". Тем не менее, сейчас очень трудно будет встретить человека, который руками менеджит память, но я уверен в том, что специалисты, которые умеют это делать(речь не только про память, а в целом про подкапотку и фундаментальный CS), очень ценятся на рынке, просто спектр компаний, которым это было нужно, сузился.
Я думаю, что в недалеком будущем гребцы будут вынуждены юзать AI, просто потому что те, кто не будет его юзать, не вывезут конкуренции. Но при этом складывается ощущение, что и на обычных гребцов тоже будет спрос, но не такой высокий, как раньше. Просто потому что кто-то должен уметь решать те немногочисленные ошибки, которые не было в датасете AI.
Другой вопрос в том, есть ли верхняя граница у этого "закономерного повышения уровня абстракции"? Если есть, то можно ли утверждать, что мы ее еще не достигли?
Периодически у меня горит жопа от чатгопоты. Стоит только чуточку сломаться его контексту и начинает писать хуйню, игнорировать части промпта, повторять за собой. Ощущаешь себя родителем ребенка с СДВГ тогда. Но в целом это быстрее, чем самостоятельно проводить всю работу с нуля.
Отвечая на твои вопросы:
Ну да ладно, это не беда. Работа с гопотой ни в коем разе не сравнится с рекрутингом с самого нуля (линкедин) с, к сожалению и ужасу, настоящими людьми. Там хоть вешайся, никакие родительские и организаторские навыки не помогут. Лучше уж чатгопота, если ты понимаешь что ответ сгенерен, а не написан, то ты по крайней мере можешь отморозиться сам и достроить их говнопайплайн тем, что их гопота парсит свои же ответы на свои же вопросы.
На работе (я в универе работаю) пару дней назад был релевантный случай : пришла студентка с вопросом - как ей что-то там посчитать (данные обработать). Ну я такой - на бумажке начал рисовать графики и задавать вопросы , и думать вслух как это можно решить. Ну и она такая - я это не знаю, это не понимаю... а потом коронный вопрос мне: "ты совсем не используешь ChatGPT?"
Клёво, что кто-то наконец поднял эту тему! Потому что я каждый день ощущаю, как тупею от чата гпт. Дошло до того, что ощущаю физическую боль от мысли о том, что надо разбираться в вопросе, который чатгпт не может за меня решить (таких все еще полно, но становится с каждым днем меньше).
Так что мой вердикт: однозначно глупеем. В том плане, что «мышцы» мозга атрофируются.
Но с другой стороны, я стал интересоваться каким-то нереальным количеством тем, которыми раньше не интересовался из-за необходимости искать информацию. А сейчас слушаю, например, подкаст и там упомянули какое-то историческое событие. И я могу уйти на 30 мин обсуждать с гпт, что это за событие, какие его предпосылки и последствия (и так 20 раз в день по каждой теме).
Пару месяцев назад вышло исследование от Microsoft: "The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers" https://www.microsoft.com/en-us/research/wp-content/uploads/2025/01/lee_2025_ai_critical_thinking_survey.pdf
Якутенко в своём стриме ( https://www.youtube.com/live/2H26oac0FGA ) про него говорила .
В кратце, частое использование LLM для работы уменьшает желание проверять , что там ИИ нагенерировал. Причём чем больше энтизизма по поводу ИИ тем меньше проверяют. И в итоге мы имеем всякие случаи когда в готовый результат попадает всякая галлюцинированная хрень.
😱 Комментарий удален его автором...
Кстати, может кто знает наверняка, как ии справляется со школьной домашкой?