Sparks of AGI: Microsoft выложил статью про эксперименты с GPT-4
Публичный пост22 марта ребята из майкрософт выложили на архив статью с волнующим названием "Sparks of Artificial General Intelligence: Early experiments with GPT-4". У них в доступе была ранняя неотцензуренная версия модели, поэтому они успели её потестировать. А чувак с ютуба успел прочитать статью на 154 страницы и сделать видос про неё меньше чем за сутки)
Далее опишу некоторые ключевые моменты, которые упоминаются в видео и статье. Итак, GPT-4:
решает литкод на уровне кожаных мешков
может в zero-shot формате написать работающую игру на html и js.
вот ещё пример из твиттера, как чувак объединил различные AI, чтобы сделать работающую игру
может использовать API внешних тулзов
чтобы не делать тупых арифметических ошибок и делать много полезного.
По сути это уже прикручено к Microsoft 365 Copilot, но в целом открывает огромный простор для приложений с использованием GPT-4. Это делает AI ассистентов вполне реальной перспективой.
имеет theory of mind
То есть может отделять фактически известную информацию от той, которая известна другим людям
решает олимпиадные задачки по математике
но ещё не AGI
Модель ещё делает ошибки и не идеальна. Если попросить её сочинить музыку, она выдаст корректную запись, но мало понимает концепт гармонии.
Или достаточно большая проблема -- невозможность думать наперед. Модель генерирует ответ последовательно и заранее не знает, как и когда он закончится. Поэтому, она не может ответить на вопрос вроде "сколько слов в ответе, который ты сейчас напечатаешь?". А ещё по этой причине она плохо генерирует шутки -- для шутки нужно заранее знать панчлайн и придумать вокруг него ситуацию, но у гпт с этим пока проблемы.
Я не из тех, кто боится, что сингулярность вот-вот наступит и мы все пропали. Это всё ещё далеко от скайнета, но как отмечают авторы статьи, мы вообще не понимаем, почему модель обученная предсказывать вероятность следующего слова на огромном количестве данных так хорошо работает и размышляет. Мы ещё не там, но со всеми этими релизами GPT-4, Midjourney 5, новая text2video модель Gen2, семейство генеративных тулов от Adobe Firefly возникает ощущение, что что-то происходит. Что как будто не завтра, но через годик все эти вещи очень сильно изменят нашу жизнь, потому что AI наконец можно будет применить не только чтобы сгенерировать картинку кресла-авокадо, но и сделать что-то реально полезное.
Какие у вас мысли по поводу мира в котором AI переходит из категории маркетингового хайпа в нечто осязаемое?