→
Отчет команды разработки рантайма dotnet об использовании ИИ в разработке
Публичный пост
ИИ
25 марта 2026
914
Довольно подробный отчет разработчиков рантайма .NET о том, как они 10 месяцев использовали Copilot Coding Agent: что он делал успешно, что не очень. Сравнивали с людьми и всякое такое. Внутри куча табличек о всяком разном и выводы, довольно занятно. Шорт саммари от гпт вот такой:
- Copilot использовался как инструмент под контролем инженеров, с обязательным ревью и высокими требованиями к качеству. За это время он создал 878 pull request’ов, из которых 535 были приняты, но с более низким процентом успешности (~68%), чем у людей (~87%).
- Лучше всего ИИ справлялся с простыми, хорошо ограниченными и повторяющимися задачами, тогда как сложная логика и архитектура оставались за людьми.
- Все изменения инициировались и проверялись людьми, также применялись AI-инструменты для код-ревью.
- Главный вывод: эффективность достигается через сотрудничество человека и ИИ, а не через автономную работу ИИ.
Сейчас будет саркастический комментарий:
Ten Months with Copilot Coding Agent in dotnet/runtime: we decided to switch to Claude Code
Приятно смотреть на разборы на большом проекте, с какой-то аналитикой и анализом конкретных случаев и ошибок (статистикой можно манипулировать, но тут хотя бы понятно объясняют как её считали)
Вместо потока бесконечных статей в виде "аааа it's over гайз, оно само всё теперь делает!!! " или "Топ 5 вещей которые я понял за 2 часа экспериментов и теперь эксперт"
Спасибо за ссылку
Интересный материал, который у меня вызывает много вопросов
Это внутреняя команда, которая потенциально имеет доступ к разработчикам и бенчмаркам, best practices и иже с ними
И они говорят что не знали как работать с ассистентом и сами вырабатывали подходы как с ним лучше всего работать?
Я сам на проекте пробовал Github Copilot использовать, где-то Июль-Сентябрь 2025
Ощущение было что я действительно с джуном парным программированием занимаюсь
А дома я уже Claude Code использовал - в то же время
И на контрасте Github Copilot выглядел как бесплатная печенюшка к кофе - если дают, то норм
но в здравом уме не куплю
😱 Комментарий удален автором поста...
Спасибо за ссылку на полезный материал!
Авторы статьи сами подчеркивают что это нельзя трактовать как полноценную количественную оценку тем более как исследование. А жаль. Вот бы как в "Дедлайне" ДеМарко - попросить хотя бы две группы разрабов работать над одной и той задачей - одни без копилота, другие с ним... (впрочем даже тут эксперимент был бы не чистым, т.к. чуваки с копайлотом могли бы попасть под влияние эффекта новизны. или наоборот чуваки без копайлота упоролись бы чтобы доказать что ИИ ненужон)