Какие решения вы приняли в свете ИИ-революции?

@glebkudr, что бы ты посоветовал ботать по промптингу, кроме мануалов самих вендоров?

@artbandin, общаться с самой gpt, она подсказывает как улучшать промпты

@glebkudr, отличный проект, решает очень валидный юзкейс, за который, например, автор Repo Prompt просит не совсем правильные деньги.

@glebkudr,

Попутно заботал много про промпты и научился их очень хорошо составлять.

А что думаешь про тезис о том, что через год лучше всего промпты для LLM будет составлять сама LLM? Уже сейчас можно взять наивный промпт и попросить модель его улучшить, после чего скормить новую версию ей же.

Как будто бы со временем этот навык моделей будет только улучшаться.

@anaiden, будет, но все равно нужно уметь их читать и понимать, как они работают, если хочешь что-то серьезное с сетками делать

@glebkudr, Ну в какой-то степени, наверное, да. Но мне видится аналогия с теми же компьютерами: поначалу надо было уметь и паять, и разбираться в ассемблере, и в ньюансах внутренних цепей ПК; а потом появились совсем мелкие микросхемы, POST и языки высокого уровня, после чего навыки «перепаять микросхему памяти дома», «простучать материнку осциллографом» и «mov ax, bx» стали атавизмами

@anaiden, Твоя правда

@SergeiTikhomirov, что бы не было перегружено - не знаю точно. Наверняка есть еженедельные обзоры новостей в мире AI, можно попробовать поискать подходящее

@SergeiTikhomirov, просить ChatGPT (лучше o3) рассказывать о новостях, объяснив желаемую детальность и порог важности.

@EdmonDantes,

Крипта, довольно узкий сектор, и он всего лишь один

Криптовалюта - это один сектор, но он довольно широкий: несколько миллиардов человек пользуются финансовыми услугами. Любой пользователь совеременного AI явно является и пользователем финасовой системы. Но даже в этом секторе ничего заметного не случилось.

Но я писал и про блокчейн в целом, крипта это довольно специфичное применение. И вот блокчейн — это не один сектор, у блокчейна уйма применений в практически любой области (потому что это как минимум - база данных; а ещё и смарт-контракты — то есть верифицируемые алгоритмы). Тем не менее, ни одна известная мне область на свете никак значимо не поменялась ни за счёт крипты, ни за счёт блокчейна.

У ии очень низкий порог входа, открыл чат, начал писать, и все, пошло поехало

Ну ты говоришь ровно теми же словами, что говорили апологеты крипты 8 лет назад: низкий порог входа, скачал кошелек и используешь. Ты фокусируешься на позитивных моментах (как и те, про крипту писал и говорил раньше), но на самом деле:

• Поди разберись, какого провайдера моделей выбрать, и какую модель
• А безопасно ли это, можно ли свои данные оставлять модели? А данные своего бизнеса?
• А как заплатить, если ты в РФ и чтобы не забанили? ВПН нужен или ещё какие костыли (это раз уж ты привёл аргумент про россиян в случае крипты; я понимаю, что к 99% платящего населения этот аргумент не имеет отношения)
• А как писать хорошие промпты? Это ж учиться надо
• А как отсеивать галлюцинации? Уже куча примеров, как модели галлюцинируют, а люди ведутся.
• А вот я хочу модель к своей CRM приделать, как это устроить? Ой, MCP? А что это? Надо специалиста нанимать, получается.
• Чёт медленно, не успеваю моделью обработать транзакции
• Чёт дорого для задач, которые решались раньше дешевле

А еще кста была пиздатая статья

У нас с тобой какие-то разные критерии, потому что для меня это набор фактов, которые можно было и на пике хайпа назвать. Буквально, ни одного нового кусочка инфы, всё это было понятно. Просто 7-8 лет назад на эти моменты все закрывали глаза, мол, это мелочи и технические моменты, всё устаканится. Примерно как ты закрываешь глаза на моменты, что я написал выше.

@SergeiTikhomirov, а что именно показывают бенчмарки?

Я вижу рост в бенчмарках по программированию, по математике и по прохождению формальных экзаменов, типа GRE.

Про первые два понятно — они ведут к развитию моделей в двух конкретных областях знаний. Третий тип кажется не особо применим в жизни.

Но может я какие-то бенчмарки упускаю? Рост на каких бенчмарках тебя беспокоит? По каким можно сделать вывод про делание "примерно всего" силами ИИ?

@AlexanderSh, я, скорее, больше имел в виду всякое индихакерство и небольшой бизнес, чем единорогов всяких. И здесь, на Вастрике, много (по моему субъективному ощущению) таких людей.

И кажется, что с приходом ИИ для создания продукта $name (я говорю о каких-то софтварных продуктах) требуется инвестировать в это меньше своего времени и/или денег, чем раньше. Это позволяет делать то, что раньше бы не осилил.

Это включает в себя как вещи, которые раньше было нереально/сложно-дорого реализовать, а сейчас делается через API к чатгпт (например, пост Вастрика про распознавание меню), так и банальное ускорение написание кода. Например, у вас есть бизнес-идея, на реализацию которой ушло бы 5000 человеко-часов, а сейчас/в будущем с помощью этих ваших курсоров - 500 (цифры из потолка).

Парадоксально, но эти же механизмы могут привести и к сохранению спроса на программистов: если раньше какой-нибудь бизнес не мог позволить себе IT-отдел или заказ какого-то продукта на аутсорс, то сейчас/в будущем этот продукт можно запилить в 10 раз быстрее и дешевле, делая IT-услуги доступными большему количеству бизнесов.

@rtyke, интересная идея. Cursor я не пробовал, но, конечно, слышал про него. С другой стороны, мне бы хотелось, чтобы всё работало локально, некомфортно подключать базу знаний к внешнему API... Cursor умеет работать с локальными моделями?

@SergeiTikhomirov, вроде нет :(

Но можно написать свой АПИ для локальных моделей (на вайбкодить, хаха)

@SergeiTikhomirov, По логике не следует заводить и первого. Но есть желание и потребность в отцовстве. Поэтому не уверен как поступил бы. С другой стороны может быть если осталось мало времени, то надо использовать его по максимуму в том числе и для получения удовольствия от жизни.

@alex_laskin, Не вижу будущего, где LLM станут быстрее/эффективнее/иметь гарантированный детерминированный результат на заданных входных данных.

Возможно нечто близкое будет в облачных LLM, но я не готов загружать большую часть своих данных в облака и считаю прайваси важной частью жизни. Так что таким как я ещё будет нужен и долго.

Ту же бухгалтерию считать, например. Доверить ли такое некой машине, которая по сути генерирует рандом основываясь на вероятности предыдущего текста, деньги?

@DmitryMantis, в вопросе говорится про ИИ, а не про LLM, которые составляют лишь подмножство (пусть и самое хайповое на данный момент) этой предметной области.

Может ли ИИ быть детерменированным/надежным? Почему бы и нет? Не вижу ни одной причины, которая этому бы мешала.

Может ли LLM быть детерменированной/надежной? Тоже не вижу фундаментальных блокеров. Чем больше модель (а LLM огромные), тем сложнее натравить на неё explainer по причине нехватки ресурсов, но вообще это возможно.

General Purpose LLM, типа опять же самых хайповых ChatGPT и Gemini, вряд ли можно назвать надежными, но у них вроде бы и нет такой цели. При этом существуют медицинские LLM, например, с другими ценами и другими задачами, которые вполне себе считаются надежными.

@anaiden, Справедливо. А как решать вопрос перформанса, если отправка данных в облако - не вариант?

На мой взгляд, классический софт ещё долго никуда не уйдет (даже если писаться будет на 90% машиной).

@alex_laskin, тут дело в том, что именно делать на станке. Пусть даже телеги. А в том, что когда придумают, что именно делать, у @DmitryMantis будет опыт, и он легко переключится.

@DmitryMantis,

А как решать вопрос перформанса, если отправка данных в облако - не вариант?

А какой перформанс нужен для бухгалтерии? Или для распознавания лиц и предметов на фотках? Кажется, что за ночь даже на mid-range домашнем оборудовании всё отработает (скажем, mac mini за $1000).

Может, я не понимаю, о каких задачах, требующих быстрой реакции, мы говорим.

На мой взгляд, классический софт ещё долго никуда не уйдет (даже если писаться будет на 90% машиной).

Согласен, что вряд ли уйдёт. Python 2.7 ещё оооочень много где в продакшене. Как и Cobol с Fortran. Только мы, вероятно, осознаём тех, кто этим всем пользуется, как ретроградов и вынужденно страдающих. Не вижу причин, почему "классический софт" не попадёт в эту категорию через несколько лет.

@anaiden, Отработает. Но зачем пользоваться general-purpose инструментами, которые имеют огромный оверхед, если можно пользоваться детерминированным инструментом без него, если действие частое и повторяющееся?

Если взять условные цифры с потолка, зачем пользоваться чем-то, что испольняется 15 секунд против алгоритма, отрабатывающего за 10мс?

И в силу самой архитектуры решений, они вряд ли обгонят последние по эффективности.

@DmitryMantis,

Но зачем пользоваться general-purpose инструментами, которые имеют огромный оверхед, если можно пользоваться детерминированным инструментом без него, если действие частое и повторяющееся?

Погоди, ты задал вопрос, как быть с перформансом. Я на него ответил. Теперь ты задаёшься каким-то совсем другим вопросом. Я не понял — про перформанс ответ подошел?

зачем пользоваться чем-то, что испольняется 15 секунд против алгоритма, отрабатывающего за 10мс?

Затем, что массового пользователя (включая тебя) эта разница на практике совершенно не беспокоит: ты сейчас сидишь на сайте, который отправил тебе 500 килобайт (!!!) джаваскрипта на этой странице. И это минимизированного, с укороченными до 1 символа именами переменных.

Для меня это очевидно безумный оверхед, и сайт Клуба, кмк, это ещё редкий пример хорошей разработки. Половина интернета шлёт тебе мегабайты скриптов, чтобы покрасить кнопку и отправить AJAX-запрос. Многие сайты шлют неоптимизированные картинки и без CDN.

Многие приложения написаны на интерпретируемых языках, типа того же Python, Ruby — и всем окей, хотя оверхед относительно C++/Rust неверноятный, на порядки.

@anaiden, Я не согласен с ответом по перфомансу по сути.

Перформанс не существует в вакууме. Если ты считаешь что-то ночь на мак мини, что можно обсчитать на 10летнем thinkpad за час, например - значит что-то концептуально не так в выбранной тулзе.

Мы действительно не умеем писать софт в 2025 году, огромное количество популярного софта - это медленный мусор. Тот факт, что мы даже не можем написать быстрый и комфортный массовый софт в 2025 году скорее склоняет меня к идее, что тем более сравнимого в скорости локально AI ждать пока не приходится.

Вот, например, бытовой пример. У тебя в био написано, что ты питоне писал коммерчески. Возможно пробовал ruff/black. Вот по возможности хочется пользоваться первой категорией софта, а не второй. Думаю, что даже если будет вариативные агенты с запросами в естественном языке, они будут ближе к блеку, чем к раффу. А гонять задачи по 100 раз на дню я хочу с ответом в 5мс, а не в 3с.

@DmitryMantis,

Перформанс не существует в вакууме. Если ты считаешь что-то ночь на мак мини, что можно обсчитать на 10летнем thinkpad за час, например - значит что-то концептуально не так в выбранной тулзе.

Ну тут как будто твоё первое предложение существует в отрыве от второго. По крайней мере мне так видится.

Я полностью согласен, что перформанс не существует в вакууме. Он существует в приложении к конкретной задаче. Неважно, как быстро бортпроводники убирают салон самолёта, если этот процесс занимает заметно меньше времени, чем заправка этого же самолета топливом. Бутылочное горлышко не в этом и нет смысла оптимизировать скорость уборки.

Аналогично, неважно, как быстро ИИ-бухгалтерия анализирует твои финансы, если налоговые декларации подаются раз в год, а клиринг платежа занимает от суток и больше. Или сколько ИИ-фотобанк категоризует твои фотки, если между моментом добавления в базу и последующим доступом проходят дни.

огромное количество популярного софта - это медленный мусор
Тот факт, что мы даже не можем написать быстрый и комфортный массовый софт в 2025 году

Я немного удивлен такими тезисами. Я согласен, что есть какое-то количество популярного софта, которое работает медленее, чем мне бы хотелось. Например, MS Office визуально подтормаживает. Но у меня язык не повернется сказать это про огромное количество и про неумение написать. Я погуглил всякие списки популярного софта (какого-то универсального источника не нашел, поэтому собрал компиляцию), и там конечно есть и всякие electron-based приложения, типа Slack, есть MS Word и что-то ещё такое, что я бы называл неоправданно медленным.
Но там же и WinRar, 7-zip, Zoom, Firefox, Audacity, TeamViewer, TotalCommander. Полно популярного софта, который нормально работает.

бытовой пример
Возможно пробовал ruff/black

Ору с твоего бытового примера :)

А гонять задачи по 100 раз на дню я хочу с ответом в 5мс, а не в 3с.

С этим тезисом я согласен. Линтер, который я в работе запускаю по 100 раз на дню, хочется иметь быстрым.
Но ветка началась с какого-то селф-хостед софта, верно? Какой селф-хостед софт из начала этой ветки ты гоняешь по 100 раз на дню? Да хотя бы 10 раз в день?

@anaiden, Я и не говорил, что весь современный софт - медленный.

Но на мой взгляд, неоправданно большая его часть, особенно учитывая, что тормозит коммерческий софт с огромным финансированием. Куча корпоративного, например - Jira/ClickUp/Slack/Teams/JetBrains продукты/...

Ору с твоего бытового примера :)

Под бытовым я подразумеваю ежедневно-обиходный в частно моих сценариях, а не для условной домохозяйки. Тулы из изначального поста я тоже пишу и хочу пробовать генерировать не для массового пользователя, не вижу противоречий.

Пример с бухгалтерий был про критичность детерминированного подсчёта с нулевой толерантностью к вариативности, а не про перф.

Какой селф-хостед софт из начала этой ветки ты гоняешь по 100 раз на дню?

Тебе не понравятся мои бытовые примеры про фул-ноды нескольких блокчейнов, например =)

Ещё у меня в фоне есть Kodi + обвязка вокруг из плагинов и торрентокачалок. В коди я уже пробовал себе мини-плагин накодить с клодом.

Некорректно сказать, что я запускаю эти вещи, они постоянно в фоне что-то гриндят. Если они гриндят эффективнее и быстрее с меньшими затратами на старенькой RPI - моему кошельку лучше и в комнате тише.

@DmitryMantis,

Я и не говорил, что весь современный софт - медленный.

А я и не говорил, что ты говорил :) Я оперировал, кмк, только твоими же тезисами. Если где-то тебя переврал, то буду рад, если укажешь.

Но на мой взгляд, неоправданно большая его часть, особенно учитывая, что тормозит коммерческий софт с огромным финансированием. Куча корпоративного, например - Jira/ClickUp/Slack/Teams/JetBrains продукты/...

Не очень понимаю, что такое оправданная и неоправданная часть. Где проходит черта и по каким критерям? Ты приводишь пример коммерчески успешного софта, в каком же смысле торможение там не оправданно?

Но примеры корпоративного софта у тебя немного сомнительные на мой взгляд: у Слэка 45 миллионов пользователей, у Atlassian 120 тысяч компаний-пользователей (если даже предположить по 1000 сотрудников в среднем, это 120 миллионов пользователей). Статистику про ClickUp не знаю, но предположу, что он менее популярен, чем Atlassian.
При этом всего интернетом пользуются несколько миллиардов человек. То есть ты приводишь примеры продуктов, которыми пользуется 1-2% пользователей интернета. Неужели это хоть как-то показатель?
Дальше можно спорить с деталями: например, я бы сказал, что веб-приложение Slack не тормозит (то есть Слек, открытый в браузере), а вот Electron-обёртка над Слеком тормозит, да. Но вопрос к обертке, а не к Слеку.
Но это детали, основной тезис про то, что приведенный софт не является массовым, и на базе него говорить "мы не можем написать быстрый и комфортный массовый софт" не стоит.

Про значение слова бытовой в твоём примере я сразу понял, просто мне показалось очень забавным это использование, но оно вполне валидное.

--

Некорректно сказать, что я запускаю эти вещи, они постоянно в фоне что-то гриндят. Если они гриндят эффективнее и быстрее с меньшими затратами на старенькой RPI - моему кошельку лучше и в комнате тише.

А в чём измеряются "затраты" на примере нод блокчейнов и торрентокачалок? RPI потребляет более-менее фиксированное количество электроэнергии под нагрузкой.