OpenAI DevDay: что ChatGPT грядущий нам готовит

@vas3k, погоди, Апанасик хотя бы дублирует на платформу полностью свой авторский дайджест, то есть я могу прочитать и обсудить не отходя от кассы с автором и прочитавшими. Тут же постится (!) анонс материала на другой платформе (!) другого человека (Паша без обид), где я даже не могу комментарий оставить. Не согласен, что это корректное сравнение.

@Ilya_baryshnikov, хз, лично по мне и то и то норм, каждый волен выбирать как ему удобнее. Иначе зачем нам формат линков вообще, если каждый из них по умолчанию ведет на «чью-то чужую платформу»

Так что я сужу скорее по полезности контента тут

@Ilya_baryshnikov, не совсем другого человека. Это наш совместный с Пашей материал. Просто на хабре пощу и редактирую формат я, а Паша потом ещё и переносит на другие площадки

@zahhar, оба автора заанонсили материал в своих телеграм-каналах, в телеграме TheBell, плюс материал полностью продублирован на DTF/VC (но не Вастрик хехе) и наверняка куда-то ещё, так что читать Хабр необязательно. По поводу лидов я заценил шутку, возможно я выразился некорректно, но мысль думаю понятна.

@Ilya_baryshnikov, попробуй посмотреть на ситуацию как минимум ещё с трёх точек зрения:

1. часть людей, возможно, не читают никаких российских изданий, кроме Вастрика. Я не знаю, сколько нас таких тут, но вот я тому пример: DTF/VC не читаю, как и Хабр. На TheBell не подписан.
2. в то же время я добавил Павла в "Мои чуваки" в Клубе — мне интересно, что он пишет. В частности, потому я не подписываюсь на его телеграмм — функциональности Клуба мне вполне достаточно и я хотел бы узнавать о публикациях "Моих чуваков".
3. Даже если одноклубники читают Хабр|VC|younameit, то совсем не факт, что они хотят обсуждать статью с тамошней аудиторией. Тому множество причин есть — аудитория там в комментах у них токсичная или например по идеологическим причинам оставлять своё имя на сайтах в зоне .ru может быть неприемлимо. Гораздо приятнее обсуждать тут, с одноклубниками, кого ты знаешь и с кем разделяешь какие-то ценности интересы.

@zahhar, я согласен с твоими пунктами и понимаю, в чем польза подобных постов (сам из него увидел, хотя читаю все вышеперечисленное). Но основная проблема для меня в том, что:

• тут не содержится полной статьи (а может для меня читать на каких-то сайтах/доменах неприемлимо статьи)
• на платформе, куда ведет ссылка я не могу писать комментарии (следующий уровень только пэйвол)
• технический автор статьи не факт что сидит здесь и вообще имеет подписку на Вастрик

Поэтому непонятно, с кем и что я должен обсуждать, что по моему мнению, противоречит функции клуба и выглядит как дополнительный инструмент для повышения охватов на публичных площадках и аудитории своих каналов (там во втором же абзаце ссылки на оба).

Это не говоря о том, что дословные кросс-посты и новостные анонсы в клубе мне тоже не по душе, но это другой уже вопрос.

технический автор статьи не факт что сидит здесь и вообще имеет подписку на Вастрик

@Ilya_baryshnikov, он же даже тэгнут в посте)

@RationalAnswer, а он сидит тут? @stalkermustang

@Ilya_baryshnikov, только если тегать)

@stalkermustang, о, у меня вопрос по статье тогда - почему цензурирование в Bing Create сильно слабее (см. форчан) того что в ChatGPT, там как-то по-другому пайплайн настроен? И отличается ли оно в API?

@Ilya_baryshnikov, я видел картинки на форчане, и объяснение с тем как обмануть одну и вторую систему. По моему, 2 такие системы - это больше, чем у ChatGPT есть)
Поему оно "слабее" и слабее ли в действительности - я не знаю. Моя догадка что MSFT просто поставили пороги пониже + свои фильтры чуть хуже настроили. Экзеки из OpenAI говорили, что лучше они завысят порог цензуры и потом опустят его, чем занизят сразу.

Плюс, ChatGPT тоже было легко обмануть на релизе год назад - пока большое количество "атакующих" промптов не собрали, не дообучились на противодействие к ним.

Про API генерации и его модерацию не знаю ничего, кроме того, что там ChatGPT перефразирует твой запрос + есть Moderation API, который применяется к запросу.

@stalkermustang, в Bing две системы, первая собственно фильтрует сам промпт и дает тебе банхаммер в случае настойчивости и вторая "собака" выдается, когда постфильтрация тегирует все 4 картинки как NSFW. Как я понимаю, в ChatGPT похоже работает (ваш запрос не может быть выполнен/ошибка генерации).

Собственно весь обман заключается в том, чтобы за счет отрицаний снизить "температуру" (но не ту) для первой сети для проскока дальше, а во второй балансировать на грани, чтобы собака выдавалась как можно позже в процессе сэмплинга картинок, тогда есть вероятность что рано или поздно одна из картинок проскочит и её проверку.

GPT-4 кстати стала гораздо более лояльной, чем в предыдущие модели, но не уверен что они рискнут с Дали также, что очень печально.

Как кстати алайнмент решается в диффузиях, не знаешь? По тому что я вижу, кажется только пре-пост-процессингом.

@Ilya_baryshnikov, не знаю, но пока кажется что делается 3 этапа:

1. фильтрация датасета (однако члены вон как хорошо рисует!)
2. дообучение на вручную отобранных данных высокого качества (как делает фейсбук, см. https://t.me/seeallochnaya/663)
3. дообучение ChatGPT делать так чтобы она не генерила по исходнйо пользователскьой фразе какую-то неприемлемую дичь.

но это конечно практический алаймент, а не супералаймент) не уверен, что последний нужен для диффузий)