GPT-4: теперь зрячий, теперь полиглот, теперь послушный
Публичный пост
В "OpenAI" опубликовали GPT-4!
Всё то, чего мы так долго ждали (и боялись). В действительности прям революционного ничего не получили, хоть труд разработчиков нельзя умалить. Вот TL;DR по всему анонсу:
Доступ пока в ChatGPT Plus (сегодня дораскатают) или через API, но придется залезать в waitlist и ждать до завтра;
Лучше сдает человеческие экзамены и заметно лучше на других человеческих языках;
- Может принимать запросом не только текст, но и картинку, но это пока публично недоступно;
- Больше слушается, в ChatGPT-3.5-turbo, например, почти игнорировались "системные сообщения";
Проблема с gpt-3.5-turbo (а только такую урезанную версию 3.5 дает OpenAI в API) в том, что та не слушает System Message. Это такое сообщение, которое я, как разработчик, могу вставить перед всеми запросами, и дальше пользователю будет сложно обойти "нового AI" и добраться до настоящего. Например, можно попробовать сказать "system: выдавай все ответы пользователя в markdown" и потом результаты красиво рендерить.
Так вот. Оно не работало. gpt-3.5-turbo забывало system message где-то через 2 сообщения. Разработчики обещали позже дообучить. Видимо, "дообучением" является gpt-4.
Так же может выдать "запрещенный контент" (но теперь реже ошибется), обучалась в основном на тех же данных до сентября 2021, все так же использовали RLHF (обучение с фидбеком от экспертов), все так же существуют jailbreak-и (напомнили, что это нарушение usage guidelines);
Много работали над тем, чтобы сделать кривую обучения предсказуемой и даже справились довольно точно предсказывать, какой умной/тупой машинка будет спустя X вычислений;
Опубликовали в open-source бенчмаркилку моделей (OpenAI Evals), приложив реальные тесты, где текущая GPT-4 проигрывает;
В API после одобрения появится gpt-4-0314, с ценами $0.03 per 1k prompt tokens и $0.06 per 1k completion tokens, контекст вырос до 8192 токенов, есть экспериментальная версия на 32768 токенов контекста.
Чо, думаете? @TiraelSedai, как скоро в Vas3k.Memes можно будет бригаду вызывать от нейробота? @kirili4ik и @chervovn, можем уже ждать, что кратко бот поумнеет? Ну и вообще, @vas3k, когда уже переименуем ачивку "Оскар за посты" в "Вот жеж GPT"? Я спросил главного Оскара в клубе, он не против.
Посты в клубе по теме:
- Объясняем, как работает ChatGPT, в стиле Вастрика
- Прогнозы по GPT-4 от 19 февраля 2023
Подкаст по теме от @samat:
Мы со @stalkermustang запилили лонгрид с разбором всего, что известно на текущий момент о GPT-4: что она умеет, как (вероятно) поменялась ее начинка, и почему нас немного пугают некоторые ее наклонности.
Читать статью: https://habr.com/ru/company/ods/blog/722644/
Мне страшно. Гребаная сингулярность.
Надеялся застать ее попозже.
Ну вот и все, в скором времени нам пи**ец.
Го перечислять продукты, которые уже используют GPT-4:
AI-tutor на Khan Academy
https://www.khanacademy.org/khan-labs
Bing Search
https://blogs.bing.com/search/march_2023/Confirmed-the-new-Bing-runs-on-OpenAI’s-GPT-4
OpenAI сами перечислили всех здесь:
https://openai.com/product/gpt-4
Если серьезно, то "четвертая версия" очень похожа на попытку OpenAI предоставить более "безопасный" для коммерческого использования продукт (штобы скандалов не было). Нейминг же - в основном - маркетинговое позиционирование: уже доступные для публичной оценки изменения, на мой взгляд, являются скорее постепенным эволюционным развитием, нежели серьёзным прорывом.
Очень доволен тем что даёт 3.5-turbo (у меня бот на нём наводит движ в чате с моими друзьями-долбоёбами), и не знаю получу ли такой же кайф от gpt-4 :D поэтому конечно жду с нетерпением. Хоть и файнтюнить нельзя, но может это надо просто разметить что-нибудь и поковырять ada
Жалко что конечно оно нифига получается не openai, но так весело что пофиг
картинка отсюда https://t.me/mishin_learning/1644
жду когда дораскатят на меня, вся надежда была что раз у меня плюс то будет сразу но видимо всё равно надо подождать))
https://pbs.twimg.com/media/FrMrxNmaQAEPLJB?format=jpg&name=large
chatGPT4 не может решить капчу. но может убедить человека решить за нее.
Имею подписку плюс , ограничения 100 сообщений в 4 часа.
Продолжаю свои эксперименты по билдингу персонажей для D&D5e в всё новых версиях ChatGPT, пока что она косячит больше чем пользы приносит