Прогнозы по GPT-4

 Публичный пост

Почему это интересно?

Недавно Вастрик понабрасывал идей о современных нейронках, но почти все в контексте их текущего состояния. Хотя с момента появления архитектуры трансформеров (2017), OpenAI почти каждый год выпускает модели на голову лучше предыдущих. И судя по всему это еще не конец.

В статье подробное размышление о том, когда выйдет GPT-4 и на что он будет способен. С пруфами! Автор приводит много данных по уже существующим моделям и ссылается на 2 статьи от OpenAI и Deepmind на тему скейлинга.

Какие выводы?

  1. С ~90% вероятностью GPT-4 выпустят в этом году.
  2. Это не будет AGI.
  3. Модель не будет сильно больше GPT-3, но будет на порядок лучше натренирована.
  4. Сможет удерживать в 2 раза больше контекста (количество токенов).
  5. И самое важное - модель будет перформить лучше любой из нынешних.

GPT-4 Будет выдавать точность (на определенных задачах), близкую к среднему человеку-эксперту. Для сравнения, GPT 3 немного лучше среднего человека-неэксперта. Улучшение будет не настолько радикальным, как было в случае GPT-2 -> GPT-3.

Чего стоит ожидать?

Мы не знаем, но ..

  1. Генерация текста на неотличимом от человеческого уровне без редактуры со стороны человека.
  2. "highly capable at programming" - что то большее, чем просто проходить собесы у Кашницкого или помогать с кодревью. Сейчас чтобы получить рабочий код через ChatGPT, нужно минимум несколько итераций с поиском ошибок и уточнениями.
  3. Возможнось появления неожиданных свойств. Как например решение задачек или уже упомянуте написание кода.

Что хочу обсудить?

Один из топиков у Вастрика вот про это: "через пару лет все уже за километр будет видеть сгенерированные тексты".

А что, если нет? Представьте мир, в котором ты не можешь доверять никакой информации. И вдобавок нейронки тебя еще и газлайтить будут, лол (чекните пост в Клубе про Bing).

Связанные посты
37 комментариев 👇
Leonid Khomenko Продуктовый аналитик автор 19 февраля 2023

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

интересно за их развитием наблюдать и волнительно:

  • как повлияет появление этих систем на рынок IT вакансий и зарплаты. Вероятно они не заменят людей, но возможно смогут в полуавтономном режиме работать (парное программирование выйдет на новый уровень :-)).
  • подобные системы смогут более эффективно манипулировать общественным мнением чем уже известные троли пишущие комменты за деньги. В таком случае только закрытые-клубные сервисы будут вызывать доверие
  Развернуть 1 комментарий

@ivan_kalinichenko, я мечтаю, чтобы производство цифровых продуктов стало дешевле. Например, игр или фильмов. Крупные студии не хотят рисковать, и выбирают снимать Шрека 7, вместо того, чтобы делать что то новое. Cлишком большая цена ошибки.

Больше производительность в работе вместе с нейронками -> дешевле производство (нужно меньше людей, а зп наверное подрастут?)-> всякие студии средней руки смогут бодрее конкурировать с крупняком

  Развернуть 1 комментарий

@leeaao, с этим согласен, для потребителей удешевление производства даст плюсы. А нам прийдется приспосабливаться

  Развернуть 1 комментарий

@ivan_kalinichenko, 1) я полагаю, что программисты просто будут пользоваться этими нейронками и станут более продуктивными. Но те, кто пользоваться ими не смогут, будут отставать.
2) Оно уже направляет наше сознание куда нужно. Стоит попробовать спросить Chat-GPT про женщин, темнокожих, трансгендеров....

  Развернуть 1 комментарий
Вастрик Блогер, питонист, мизантроп 19 февраля 2023

Один из топиков у Вастрика вот про это: "через пару лет все уже за километр будет видеть сгенерированные тексты". А что, если нет?

Это почему-то напомнило мне о том, что каких-то ~130 лет назад, когда люди впервые увидели записанное на плёнку кино, они в ужасе выбегали из кинотеатра и стреляли в экран из револьверов, потому что думали, что на них едет настоящий поезд.

Ничего не меняется. Мы по прежнему дикие грязные обезьяны, которые удивляются любому новому банану на палочке, и думают «это конец??!!?». Мы духовно ближе к тем реднекам с револьверами в первом кинотеатре, чем хоть к какому-то пониманию процессов и мира вокруг.

Представьте мир, в котором ты не можешь доверять никакой информации

А чо его представлять, я УЖЕ БЛЯТЬ В НЁМ ЖИВУ. А вы еще нет?

  Развернуть 1 комментарий

Только какая нибудь из последующих итераций поезда реально имеет шансы переехать все человечество. Или как минимум ноги поотрубать менее расторопным. И хуй пойми, в какой момент действительно стоит паниковать и доставать свои револьверы.

Я вот понял, что Клуб намного ценнее, чем я думал раньше. Отличное место, чтобы прятаться от дефолтного интернета если он деградирует еще сильнее. Может мы и обезьяны, но ценность долора понимаем >_<

  Развернуть 1 комментарий

@vas3k, согласна на счет сентенции "мир, в котором ты не можешь доверять никакой информации" - да, мы уже тут)
Но если сравнивать с появлением кино и проводить параллели с "концом всего", то наверно правильно было бы сказать, что это понятие растяжимо во времени, с появлением кино ускорилось, а с повявлением ChatGPT улетит в космос. То есть по силе влияния на умы и охвату людей. Наверно это еще один шажок в копилку распределнного интернета, возможно в каждом из них будет свой ChatGPT)) Например, я ему задавала вопросы про вакцинацию или про рекомендации по медиа, мне показалось, что он немного ангажирован. А потом мы привыкнем использовать его везде и не заметим, как на вопрос "сколько будет 2х2?" он нам ответит "5", а проверить уже негде и некому :)
Я понимаю, что утрирую, преувеличиваю, но мне кажется, что сейчас как никогда видно потенциал этой технологии в обе стороны, надо научиться с ним жить, как научились не выбегать из кинотеатра от поезда )))

  Развернуть 1 комментарий

(почти) в тему поста хотел поделиться твитом ЛеКуна про текущую ситуацию в мире LLMок:

Вообще похоже, что авторегрессионные LLMки в итоге упрутся в потолок своей производительности и научное сообщество будет что-то умнее придумывать.

  Развернуть 1 комментарий

@beast-sl, любопытно, что трансформеры за эти 5 лет почти не поменялись, только минорные изменения в архитектуре. И судя по тому, что написано в статье, скейлить до бесконечности их невозможно. Так что действительно нужно что-то ещё.

  Развернуть 1 комментарий

Я тут задавал ему вопросы по деплою в Azure (там был немного нетривиальное ТЗ) и он просто придумал мне флаг --remove-user. ))
Я обрадовался, думал что пропустил этот флаг в доке, потому что он решил бы эту проблему быстро и хорошо, иду в доку и понимаю, что такого флага просто нет для передачи в функцию как параметра, он просто его придумал, тк этот флаг был на поверхности, если следовать просто логике рассуждений «как быстро и хорошо решить проблему».
После этого я спокоен))

  Развернуть 1 комментарий

чтобы не быть голословным, вот нашел по истории:
он предложил мне сделать:
Here's how you can do this in the Azure CLI:

Revoke access to the AKS cluster:
az aks update-credentials --resource-group myResourceGroup --name myAKSCluster --remove-user <user-email>
...

При этом у этой функции нет параметра remove-user https://learn.microsoft.com/ru-ru/cli/azure/aks?view=azure-cli-latest#az-aks-update-credentials
а другие не подходят под ТЗ.

  Развернуть 1 комментарий

@N1Hy1ePNewlpLps8, обидно что в такие моменты его очень сложно переубедить и заставить нормально сделать. Ошибки он признает, но нормально заново не всегда может сделать.

А Bing так вообще может сказать, что ты сам не шаришь и проглядел нужный кусок в документации (нет).

  Развернуть 1 комментарий

@N1Hy1ePNewlpLps8, да он постоянно так делает если спрашивать что-то не тривиальное. Я уже перестал доверять его инструкциям, а то последний раз он мне высрал инструкцию на 25 пунктов как настроить сложную автоматизацию в джире, и на 18 пункте он выдумал кусок, а я проебал час на 17 прошлых пунктов и еще час на гугление как же сделать 18 пункт и осознание, что меня наебали.

  Развернуть 1 комментарий

@N1Hy1ePNewlpLps8, Другая точка зрения на это вот все: "Оно придумало полезную фичу, проявило креативити на уровне чуть выше среднего человека. И после этого ты спокоен - завидую твоим нервам."

  Развернуть 1 комментарий

@RuslanL, нет, оно не придумало фичу, потому что код k8s в это не умеет)) Оно фактически выдало желаемое за действительное, т.е. фактически сказало, а хорошо, чтобы такая фича была. Ну да, хорошо чтобы была, я и сам знаю что было бы хорошо) но там просто так этот код не переписать, а так давно бы было))

  Развернуть 1 комментарий

@N1Hy1ePNewlpLps8, ну окей, а в чем спокойствие? железка выдала почти работающую конфигурация кубера, через полгода будет выдавать работающую. Да и сейчас, очень много что выдает точно, но всегда находятся люди которые "успокаиваются", если нейронка ошибается, блин да это уже как магия, что она умеет, волшебство.

  Развернуть 1 комментарий

@ins, мой поинт скорее в том, что она рассуждает на тему было бы хорошо сделать, а не делает, но это может и любой джун на работе. По факту просто пересказала документацию Майкрософт да еще и с ошибкой в этом случае, в каких-то, конечно была полезна. Гораздо сложнее написать код, да еще так, чтобы ничего не сломать, да еще держать «в голове» все зависимости. Мое мнение - будущее нейронок скорее в помощи, чем в создании чего-то сложного (рискну напороться на хейт, но рисование по словам я не считаю сложным, это умели чат-боты еще в вк в 2000х годах, но там они просто делали коллаж по поиску в интернете, чем сейчас нейронки по сути и занимаются только чуть вычурнее, как мне кажется). Скорее всего они станут отличными поисковыми машинами, диагнозистами (ну и то с натяжкой, тут нужно «профилирование», вспомним «Ватсона», который заточен под медицину, и обучался очень долго).
Второй момент, давайте даже представим, что завтра случился прорыв и машины начали писать безупречный код и даже рефакторить его (хотя я ставлю на то что на нашем веку такого не случится, тот же копайлот пишет вместо логики сотни ифов). Кто по утрам будет его ревьюить? Кто будет проверять, что 50к строк за ночь не сломают код в продакшне или на марсоходе?
Здесь я сторонник того, что как рикши превратились в кучеров, а потом в водителей, а с автоматизацией авто превратятся в каких-нибудь «операторов», так и мы сэволюционируем из ремесленников в контролеров и «направляторов».
Еще в качестве примера могу привести сети, когда в них приняли стандарт по динамическим маршрутизациям все сетевики боялись остаться без работы, потому что там «ospf включил и человек не нужон») А в итоге профессия стала только интеллектуальнее.
Так что я не опасаюсь никаких нейронок в плане угрозы интеллектуальному труду, вот для менее интеллектуального- копирайтинг, рисование (да, это хорошая творческая, но на мой взгляд не относящаяся к интеллектуальным профессия), что-то еще (сейчас не приходит в голову ничего такого) - это конечно прорыв, но опять же нужен условный «главный копирайтер» который заревьюет, что нейронка не написала на главную страницу газеты слово х*й и нарисовала его во всю полосу))

  Развернуть 1 комментарий

@N1Hy1ePNewlpLps8, страшно будет, когда она еще автоматом пулл-риквест в майкрософтовскую репу отправит:)

  Развернуть 1 комментарий

@2xmax, да это же просто набор кода, который смотрит в другой код и читает его, чего все так всполошились? Реально не понимаю) С таким же успехом можно бояться IDE, потому сто «она думает за нас, потому что подсвечивает ошибки в коде!»

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

будет занятно, если в компах через ~10 лет мы будем ставить вместе с ОС основные нейронки-помощники с датасетом и всю жизнь потом дообучать его под себя.
Меняешь комп - уносишь на новую железку свой личный датасет

  Развернуть 1 комментарий

@WizzardRick, это ж прикинь как обидно такую штуку пролюбить... rm -rf

  Развернуть 1 комментарий

@SergeyVirstyuk, шас бы не бекапить данные :)

  Развернуть 1 комментарий

@FedorChe, так это мое жизненное кредо 😅

  Развернуть 1 комментарий

@WizzardRick, об этом и мечтаю, чтобы была своя, знающая как надо мне, без цензуры

  Развернуть 1 комментарий
Vadim Titko Machine Learning Engineer 20 февраля 2023

@leeaao Всё уже не так радужно:) OpenAI сами же совсем недавно учили сетку классифицировать AI-text от не AI-text. И вот что:

Our classifier is not fully reliable. In our evaluations on a “challenge set” of English texts, our classifier correctly identifies 26% of AI-written text (true positives) as “likely AI-written,” while incorrectly labeling human-written text as AI-written 9% of the time (false positives).

https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/

Уже в киберпанке;)

  Развернуть 1 комментарий

@vadbeg, Прошли реверс-тест тьюринга xD

  Развернуть 1 комментарий

@RuslanL, Даже прикольнее:) Они могут учить GPT обманывать эту сетку. То есть уже будет не только фидбек от людей, и просто данные из интернета для обучения.

  Развернуть 1 комментарий

Чат, а посоветуйте, пожалуйста, что можно почитать/посмотреть чтобы поверхностно понимать как это работает под капотом

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

@Volodya262, Попробуй у Григория Сапунова в ТГ канале поискать gonzo_ml

  Развернуть 1 комментарий

@Volodya262, Насчёт поверхностно хз, но можно ролик Andrew Karpathy глянуть. Он там GPT архитектуру имплеменит. Чтобы легче было можно начать с предыдущих его роликов про makemore

  Развернуть 1 комментарий

@Volodya262, всем спасибо!

  Развернуть 1 комментарий

@Volodya262, а лучше всего спросить у chatGPT

  Развернуть 1 комментарий

вакансия в тему

  Развернуть 1 комментарий

@Kir, Можешь зареферить?
BAA-C03 (Bucket Architect Associate) имеется.

  Развернуть 1 комментарий
Дмитрий Улитин конструктор & разработчик C++ 1 марта 2023

Не уверен про GPT-4, но одна из GPT-X будет уже вне закона. Кожаные мешки задумаются и возьмут тайм-аут. Запомните этот твит.

  Развернуть 1 комментарий

@Dmitry42, если успеют. Да, опасность безконтрольного рапространения ядохимикатов и огнестрельного оружия осознана, а вот соцсетей, разрушающих сообщества, вызывающих депрессию и поляризующих политику - нет.
https://openai.com/blog/planning-for-agi-and-beyond
В явном виде пишут, что будут варить лягушку медленно.

  Развернуть 1 комментарий
Sergey Bogolepov Пишу компилятор 14 марта 2023

А вот и релиз
https://openai.com/research/gpt-4

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб