GPT-like модель «впервые сделала научное открытие»: что, как, и куда дальше?

@derunix, 2034 is your year for AGI.

@cheat_ex,

Неужели в клубе нет никого компетентного в алгоритмах и нейронках чтобы прокомментировать?

Или наоборот всё понятно, ахахах (думал я, пока последнее предложение не прочитал...)

Зачем собсвенно нейронка, чем классический program synthesis или даже случайные AST хуже?

Сам подход поиска и генетических алгоритов - не нов. Но всегда свтаёт вопрос, а сколько нам нужно искать и перебирать варианты, чтобы получить что-то разумное? Оказывается, перебор по AST с рандомными вставками/удаленями куда более неэффективен - это смотрят в статье на примере одной из подзадач.

Получается вот так - куда больше итераций нужно, и решения значительно хуже. И логичный вывод, что чем умнее функйция, которая делает изменение кода (в нашем случае вызов ллм), тем меньше нужно итераций, и тем выше потенциальный результат. Вон старкодер - одна из лучших опенсурсных ЛЛМок для кода - выходит на плато. Коди - это среднего размера PaLM 2. Как будто бы если взять GTP-4 подтюненную на код (условно Gemini Ultra в форм-факторе AlphaCode 2, хоть там и брали Pro), то она за 1 миллион шагов там ещё больше SOTA поставит (и скорее всгео утилизировать сможет больше 2 примеров в промпте)

Тут есть какой-то теоретический вклад? Я так понимаю в каждой логистической компании таких эвристик десяток накожен и ни кто в Nature не публикуется.

В задаче упаковки - нет теоретического, но есть практический. Гугл точно новые алгоритмы себе задеплоит на кластеры для контроля ресурсов, и начнёт экономить бабки. В теории они это могут предлагать как сервис: вы нам 20 тыщ долларов, условно, а мы вам алгоритм под вашу задачу!
в задачах из математики - как бы да, он не совсем теоретический. Он уточняет одну из границ для одной из проблем (ща ниже будет про это). И, как указано в посте - никогда не знаешь, где это выстрелит. Вот узнал что какая-то из констант не меньше 3.14 вместо 3.1 - и начал уххх сколько выводов делать! Плюс, опять же как указано в статье, люди, глядя на найденные решения, могут ПОНИМАТЬ и ПРИДУМЫВАТЬ что-то своё, получать идею и интуицию, куда копать, и на основе этого могут выводить теории. А для какого-то класса задач и вовсе можно генерить полноценные пруфы теорий, например (но это пока сложнее)

Что за "уточнение оценки нижней границы"? Оно вообще из никокуда в статье берётся, никак не поясняется.

вот есть зависимость "кол-во признаков, описывающих карту" и "размер cap set". Может быть. А мы её не знаем. Ну не придумало человечество формулу, чтобы описать это — да её может и не существовать (применимо для эээ всех? NP задач). Поэтому для таких вещей мы делаем оценки - обычно 2, верхняя и нижняя. Верхняя указывает, выше чего число быть не может, а нижняя - указывает, ниже чего число быть не может. Вот для числа пи моя оценка это между 3 и 4. Я прав? ну, да, но уж очень далеко. Можно уточнить оценку: сказать, что пи лежит между 3.1 и 3.2 Можно сказать что между 3.1415 и 3.1416... Чем большую точность я получаю, тем больше прикладных и теоретических вещей могу делать. Я понимаю, что с порога сходу кажется, что это вообще никого не гребёт - сколько там чего, но нет, эти оценки границ позволяют делать или отсекать предположения, тем самым подталкивая прогресс в других задачах (см. пример про подсолнухи в статье).