@roman09, почему, я всё прочитал, и совсем не осуждаю.

@candy, я, кстати, еще довольно неплохо умею и в телеграм писать https://t.me/+l3R88RHbpSIyNmVi

@roman09, чтобы удостовериться что вы человек, пожалуйста причините вред другому человеку, или допустите, чтобы ваше бездействие причинило вред другому человеку.

@roman09, пользовался, конечно, но вот именно текущая ситуация с поиском необходимого контекста меня вообще не впечатляет.

Пример: небольшой проект, около 10k sloc, нужно сделать новую фичу. Копайлот не в состоянии предложить минимальное и достаточно изменение в архитектуру, с учётом схемы данных и существующих абстракций.

Мне попросту не удаётся так его настроить (что делать надо, файлы открывать, писать длинные комментарии?), чтобы получилось проще, быстрее и корректнее (причём он не может сделать ни одного из 3), чем подумать самому и сделать.

Повторюсь: написать код по сигнатуре функции + комментариям он вроде бы может. Так себе, но может, особенно если дописывать небольшими кусочками. Но решить ту задачу, где мне реально нужна, грубо говоря, вторая голова — нет. А функции я и сам написать могу.

Я допускаю, что я его неправильно готовлю и/или его ещё улучшат. Но пока что у меня меня была идея (вероятно, перекликается с тем, что делаешь ты) научиться весь контекст небольшого проекта загружать в промт и, через колдовство с промт-инженирингом и множество попыток, пытаться получить решение.

Что, опять же, исходя из моего ограниченного опыта, разбивается об необходимость выбирать из предложенных решений, что примерно равнозначно тому, чтобы подумать самому.

Наверное это можно использовать для вдохновения, когда зашёл в тупик, это да. Забыл упомянуть в комментарии верхнего уровня — иногда "галлюцинации" полезны.

@roman09, про написание документации — кажется, более валидный аргумент, но я лично мало документации пишу что в своих собственных проектах, что по работе. И точно не в стиле swagger-доков, где вот тебе метод с сигнатурой — сгенерируй-ка мне описание на человеческом языке.

Кажется, что это менее "интеллектуальная" задача, которую LLM решить могут — пускай не очень творчески. Написать хорошую, вдохновляющую, объясняющую основополагающие принципы документацию всё равно сложно.

@olegka, ну не, тут ты слишком много от него хочешь. это же джун.

Я думаю тут RAG недостаточно, тут именно должна быть какая то цепочка мыслей, состоящая из множества запросов.

Нечто похожее я видел как раз в автодебаге от Cursor, у меня челюсть упала, если честно.

Кстати, ты же в курсе, что к копайлот чату можно прям принудительно файлы прикреплять в контекст правой кнопкой мыши или через плюсик в чате. У меня вот коллега пол года пользовался и только недавно нашел, когда я начал про контекст говорить?

@skatromb, Вот статья про то, что математики используют ЛЛМ для решения математических задач, которые не решаются теоретически, а решаются перебором. Они путем миллионов запросов к ллм просят сгенерировать функцию решения на питоне и среди миллиона выбирают лучшую. Помогло значительно продвинуться в решении некоторых проблем, в которых не могли продвинуться десятки лет.

https://habr.com/ru/companies/ods/articles/781138/

@roman09, Эм, ок, но какое это имеет отношение к моему реплаю?)

@skatromb, прямое, ты говоришь о том, что машина не может придумать то, о чем еще никто не говорил. Вот привожу факт, что может.

@roman09, Соснительно, но окэй… все же довольно синтетический пример, имхо

@skatromb, не обязательно ведь понимать код который пишешь... Можно его писать итеративно, эволюционным методом, опираясь на сообщения компилятора, гуглеж и результат запуска кода. Я иногда так делаю, хотя потом надо провести рефакторинг.
В принципе ЛЛМ сейчас умеют все это, особенно если можно легко измерить результат выполнения кода по шкале ок/не ок в цифровом виде.

Просто им нужна обвязка в виде анализа вывода компилятора, анализа результата, управление более высокого уровня (как правильно поэтапно выполнять план работ)

Наверное даже сейчас можно собрать такого кадавра, который сможет выполнять задания которые можно легко оценить.

Только пока наверное это сложнее, чем взять нормального программиста

@roman09, там где рефакторинг реально нужен, контекст строится не из 1 файла, а из N+1 файлов и анализировать перед рефакторингом надо именно N+1.
Если код поделен на файлы по 1000+ строк - да, LLM можно скормить файл и попросить задизайнить это все в требуемом стиле/парадигме.
Но в остальных случаях - контекстного окна LLM мало для вменяемого анализа кодовой базы.
имхо в большинстве ентерпразных сервисов с накопленным техдолгом могут быть сотни файлов с буквами, все они тесно связаны, одни и те же абстракции могут быть протянуты через весь код. LLM тут может помочь только как валидатор гипотез как это говно расчищать.
короч ПОКА не сильвер булет.
Но думаю когда то скоро станет почти сильвер-булет в этом вопросе.

@nicolascagelegend, Прошу прочитать оригинал гитхаба, как он строит контекст.

Я не говорю про один файл. У копайлота есть фича, где ты можешь принудительно подцепить сколько угодно файлов.

При чем тут файлы по 1000 строк?

Я в статье пишу, что девелоперы не читают документацию, говорю «гайз, прочитайте вот эти две небольшие статьи в оригинале».

И все равно ты пишешь про какой то один файл…

Если у вас сотни зависимых файлов, то мне очень жаль. Может самое время посмотреть на ИИ для рефакторинга?

@roman09, 10 вариантов не пробовал, про перезапуски - я пытался его и так, и так заставлять что-то более полезное генерировать, но полезного было мало по итогу.

ИМХО, чем дальше по шкале "сеньорности", тем меньше от него пользы, т.к. уже просто не пишешь такое количество кода, больше его читаешь, или планируешь, как напишешь, после чего остается просто следовать диздоку. В таком случае конкретно написание кода занимает не настолько большое количество времени, чтобы Copilot или ChatGPT давал какой-то удивительный выигрыш. Больше пользы получается от тренировки скоростной печати.

@alexwoodblock, для этого у меня тоже есть картинка.

Автокомплит - это не единственный юзкейс, я абсолютно точно убежден и проверил на реальной работе, где ИИ дает 3х и больше буста.

Моя задача как раз найти такие юзкейсы и их описать

@roman09, ну, для разработчиков начального уровня да, это хороший инструмент - чуть более умный и отзывчивый поисковик. Но чем дальше, тем меньше он помогает, только если нужно какую-то воду написать, которую тебе самому лень. Дизайн-документы, планирование, технические решения - это все не отдашь AI. А если отдашь, то столько же времени потратишь на то, чтобы проверить, не ерунда ли получилась.

Пожалуй, в чем он может быть хорош за счет того, как он устроен - это когда ты не знаешь, что именно из технологий подобрать. Тут его природа «вобрать в себя кучу всего - замиксовать - выдать наружу» будет очень полезна. Если бы в 2016 году у меня был такой инструмент, мы бы в одном стартапе не делали троллейбус из буханки ржаного трекер геоданных в реальном времени на PostgreSQL + spatial extensions, а взяли бы просто Tile38.

@roman09, сеньористость - это не про код, а про коммуникативность, надежность (reliability), ответственность и инициативность

@skywinder, загружается в AI пул рекламных текстов + расшифррвка картинок, их метрики (ctr, cr, доход и тд).

В итоге:

1. Находятся лучшие креативы. А также корреляции между метриками.
2. AI может написать похожие рекламные тексты на успешные и/или сгенерировать картинки.

@roman09, вот это уже совсем толково было бы, а то пока я заметил, что использование копилота и чатагпт меняет мои привычки по расхерачиваю кода по файликам, в худшую сторону

@roman09, нечасто, но последние пару месяцев пару раз в недели заходил: в него, бард и перплексити, задавал одинаковый вопрос. Phind оказался самым полезным (вопросы по разработке были).

Проект живой, недавно у них была 8 версия модели, теперь 9 релизнули

@skatromb, Phind оказался максмально удобным для изучения новых фреймворков.

@evgandr, Возможно, твоя задача достаточно редка и джипити не читал про неё. Мой посыл был не в том, что эта штука умеет решать любую задачу за тебя, а что в сравнении с остальными джипити онв выглядит достойно. Но если пытаться решать ею задачи, которых в интернете никто не решал (или они достаточно редки), все эти модели работают плохонько

@evgandr,

она выдала мне базу которую я и так узнал всего за десяток минут гугления и чтения документации

Я думаю ты как минимум на порядок занижаешь время на гугление и чтение документации. Ну или у тебя какая-то мелкая и супер-простая библитека

Мне чатГПТ сильно помог разобраться с GDAL, там сам черт ногу сломит в документации. Мне например даже в голову не приходило, что там можно итерировать по кускам мультиполигонов, а куски по составляющим их линиям, т.к. там есть функция что-то вроде GetPolygon, GetLine

Ну т.е. это несомненно где-то в документации написано, но у меня был простой вопрос, мне нужно было здесь и сейчас сделать мелкую утилиту, и для этого изучать всю документацию совершенно бесполезная трата времени.

Нормальные примеры для моего случая где-то были в интернете, но каких их найдешь через гугл? Я не смог, весь SO пролистал.

Как по мне, самостоятельное чтение документации и экспериментирование на минимальном тестовом примере (как я и писал этот лексер с парсером) — куда как быстрее (не говоря уже о полезной тренировке для мозга)

Если ты делаешь что-то сложное и сильно зависящее от этой билиотеки, то возможно. И то, он поможет быстрее разобрать конкретные примеры, объясняя не очевидные места.

Если ты далаешь быструю затычку или ищешь как быстро-быстро решить проблему, он подскажет какие подходы и библиотеки можно использовать, не придется читать 100500 документаций, чтобы потом выкинуть весь код т.к. библиотека по каким-то причинам не подходит

То, что кавычку тебе не поправил - ну мелкие правки проще руками сделать. Иногда заглючивает этот ИИ, это да
Нужно немного приспособиться, не воспринимать его как интеллект, а как умную систему поиска

@orbit,

Я думаю ты как минимум на порядок занижаешь время на гугление и чтение документации. Ну или у тебя какая-то мелкая и супер-простая библитека

Не, flex с bison ни разу не мелкие и супер-простые, заявляю это угрохав пяток-другой вечеров на написание своего парсера)

У меня просто третьей ссылкой на запрос «how to use flex and bison» в duckduckgo вылезла вот эта презентация, которая за десяток минут была пролистана для понимания в какую сторону можно копать и что можно писать в коде (для начала).

Первой ссылкой в поиске шла ссылка на страницу O'Reily, которую я проигнорил потому что там обычно денег хотят). Вторая ссылка была как раз на StackOverflow — но вкладку с ним я достаточно быстро закрыл — там был один-единственный ответ, который не давал понимания базы про токены и описание грамматики. Просто какой-то чувак вывалил свой код, описал как вызывать нужные утилиты и получил отметку ответа на своём комментарии — типичный StackOverflow.

Если ты далаешь быструю затычку или ищешь как быстро-быстро решить проблему, он подскажет какие подходы и библиотеки можно использовать, не придется читать 100500 документаций, чтобы потом выкинуть весь код т.к. библиотека по каким-то причинам не подходит

Ну, тут есть нюанс. В моём случае это был хобби-проект, на который было не жалко тратить время)

@evgandr,

вылезла вот эта презентация,

Ну значит тебе повезло! Это не так уж часто бывает, что такие качественные презентации есть

В моём случае это был хобби-проект, на который было не жалко тратить время)

Даже в хобби проекте бывает что нужно сделать какую-то скучную заглушку не относящуюся к основной теме, спользуя неизвестные инструменты. И вот тут ассистент хорошо помогает

Он мне отлично помог переписать здоровенную процедуру с SQL на питон.

Я умею писать SQL запросы, но там была целая здоровая процедура, половину кода которой я просто не понимал, и местами преобразования в питон было совсем не очевидные.

Но вместе мы справились, без ассистента я бы забил, т.к. результат был не очевиден (не факт, что исходная процедура работала), и убивать кучу времени на разбор нового языка программирования я бы не стал.

Я тут написал крутой инструмент используя ЧатГПТ для чистки векторные слоев. В процессе активного использования обнаружили, что в некоторых ситуациях он портит исходные данные. 2 чертовых для я искал в чем дело, оказалось, что в одном месте в функцию передается не 2 координаты, а 3 (3-х мерный случай).

Очень ненадежный инструмент пока, видимо нужно самому код переписывать, а не брать из его вывода

@orbit, а человек такую же ошибку не мог допустить? Мы вот время от времени тратим по паре дней на поиск багов, но только написанных людьми.

@roman09, вот меня и крючит от того, что такую ошибку человек мог только специально допустить, чтобы гадость сделать. Что-то типа "с" англ заменить на "с" русское

@ganqqwerty, мне верится не верится про рост в 1,5 раза. Везде где видел я видел, что люди делали замеры и сам дважды участвовал в подобных экспериментах. В итоге получали рост от 20% до 40% и то с нюансами. Либо задач много простых, либо всё в типовых шаблонах ( типовой бизнес функционал). Но я же не против его использования, если есть помощник в стиле принеси подай, пусть будет.

@Yurecccc, дык да, типовая задача - это посмотреть как сделано в соседнем модуле и сделать так же, не выебываясь. Не типовая - внести изменения во много мест или найти багу. Совсем интеллектуал раз в два года напишет рекурсию.

@ganqqwerty, ну вроде бы как раз нет, ты берешь большую модель типа starcoder'a и делаешь из нее более специфичную модель даже на небольшом количестве примеров. При этом я бы не сказал что у нас мало кода, но и не гитхаб конечно.