GPT-4: теперь зрячий, теперь полиглот, теперь послушный
Публичный пост
В "OpenAI" опубликовали GPT-4!
Всё то, чего мы так долго ждали (и боялись). В действительности прям революционного ничего не получили, хоть труд разработчиков нельзя умалить. Вот TL;DR по всему анонсу:
Доступ пока в ChatGPT Plus (сегодня дораскатают) или через API, но придется залезать в waitlist и ждать до завтра;
Лучше сдает человеческие экзамены и заметно лучше на других человеческих языках;
- Может принимать запросом не только текст, но и картинку, но это пока публично недоступно;
- Больше слушается, в ChatGPT-3.5-turbo, например, почти игнорировались "системные сообщения";
Проблема с gpt-3.5-turbo (а только такую урезанную версию 3.5 дает OpenAI в API) в том, что та не слушает System Message. Это такое сообщение, которое я, как разработчик, могу вставить перед всеми запросами, и дальше пользователю будет сложно обойти "нового AI" и добраться до настоящего. Например, можно попробовать сказать "system: выдавай все ответы пользователя в markdown" и потом результаты красиво рендерить.
Так вот. Оно не работало. gpt-3.5-turbo забывало system message где-то через 2 сообщения. Разработчики обещали позже дообучить. Видимо, "дообучением" является gpt-4.
Так же может выдать "запрещенный контент" (но теперь реже ошибется), обучалась в основном на тех же данных до сентября 2021, все так же использовали RLHF (обучение с фидбеком от экспертов), все так же существуют jailbreak-и (напомнили, что это нарушение usage guidelines);
Много работали над тем, чтобы сделать кривую обучения предсказуемой и даже справились довольно точно предсказывать, какой умной/тупой машинка будет спустя X вычислений;
Опубликовали в open-source бенчмаркилку моделей (OpenAI Evals), приложив реальные тесты, где текущая GPT-4 проигрывает;
В API после одобрения появится gpt-4-0314, с ценами $0.03 per 1k prompt tokens и $0.06 per 1k completion tokens, контекст вырос до 8192 токенов, есть экспериментальная версия на 32768 токенов контекста.
Чо, думаете? @TiraelSedai, как скоро в Vas3k.Memes можно будет бригаду вызывать от нейробота? @kirili4ik и @chervovn, можем уже ждать, что кратко бот поумнеет? Ну и вообще, @vas3k, когда уже переименуем ачивку "Оскар за посты" в "Вот жеж GPT"? Я спросил главного Оскара в клубе, он не против.
Посты в клубе по теме:
- Объясняем, как работает ChatGPT, в стиле Вастрика
- Прогнозы по GPT-4 от 19 февраля 2023
Подкаст по теме от @samat:
Мы со @stalkermustang запилили лонгрид с разбором всего, что известно на текущий момент о GPT-4: что она умеет, как (вероятно) поменялась ее начинка, и почему нас немного пугают некоторые ее наклонности.
Читать статью: https://habr.com/ru/company/ods/blog/722644/
Го перечислять продукты, которые уже используют GPT-4:
AI-tutor на Khan Academy
https://www.khanacademy.org/khan-labs
Bing Search
https://blogs.bing.com/search/march_2023/Confirmed-the-new-Bing-runs-on-OpenAI’s-GPT-4
OpenAI сами перечислили всех здесь:
https://openai.com/product/gpt-4
Очень доволен тем что даёт 3.5-turbo (у меня бот на нём наводит движ в чате с моими друзьями-долбоёбами), и не знаю получу ли такой же кайф от gpt-4 :D поэтому конечно жду с нетерпением. Хоть и файнтюнить нельзя, но может это надо просто разметить что-нибудь и поковырять ada
Жалко что конечно оно нифига получается не openai, но так весело что пофиг
картинка отсюда https://t.me/mishin_learning/1644
жду когда дораскатят на меня, вся надежда была что раз у меня плюс то будет сразу но видимо всё равно надо подождать))
Ну вот и все, в скором времени нам пи**ец.
Имею подписку плюс , ограничения 100 сообщений в 4 часа.
https://pbs.twimg.com/media/FrMrxNmaQAEPLJB?format=jpg&name=large
chatGPT4 не может решить капчу. но может убедить человека решить за нее.
Мне страшно. Гребаная сингулярность.
Надеялся застать ее попозже.
Продолжаю свои эксперименты по билдингу персонажей для D&D5e в всё новых версиях ChatGPT, пока что она косячит больше чем пользы приносит
Если серьезно, то "четвертая версия" очень похожа на попытку OpenAI предоставить более "безопасный" для коммерческого использования продукт (штобы скандалов не было). Нейминг же - в основном - маркетинговое позиционирование: уже доступные для публичной оценки изменения, на мой взгляд, являются скорее постепенным эволюционным развитием, нежели серьёзным прорывом.