Как искуственный интеллект изменит всё

@Vittorio, А в чём, собственно говоря, достижение? GPT специально учили не подхватыавть это на ходу, а теперь просто вырубили ограничение, и все что, должны кипятком писать?

Проблема в том, что народ, занимающийся нейронками жёстко путает два абсолютно разных понятия: человеческая мысль и вывод генеративной модели. В них нет ничего общего.

В первой - существует точка зрения, с которой эта мысль создаётся. Чем "твёрже" эта точка зрения, тем лучше и обоснованнее будет мысль. Второй - это просто набор символов на экране, который ни для кого ничего не значит, пока кто-то с точкой зрения на этот набор не посмотрит.

При достаточно долгой продолжительности вывода любая модель начинает скатываться в галлюцинации. Человек не таков. Если человек себя так ведёт, то его списывают в дурку.

Но, при этом мы продолжаем удивляться всё новой и новой "функциональности модели".

Это примерно так же глупо, как и "обнаружить" тот факт, что я написал этот комментарий и он уже существует в библиотеке Вавилона. А он там существует.

Зайдите на https://libraryofbabel.info, переведите этот комментарий ГПТшкой на английский язык, и там вы обнаружите точную ссылку на этот коммент.

Где-то в районе игры в прятки с самим собой. Сможет ли бог создать гору, которую сам не сможет поднять. Сможет. Ему просто надо притвориться бесполезным. Так же и тут. Создали мат-модель, причём знают, что и как раобтает. Но при этом сбегается куча народу все начинают разглагольствовать о том, чт вот, смотрите! Нэвэроятнэ!

@newarked,

При достаточно долгой продолжительности вывода любая модель начинает скатываться в галлюцинации. Человек не таков. Если человек себя так ведёт, то его списывают в дурку

Мелкие дети так себя ведут, прямо очень похоже на галлюцинации нейросетей

@orbit, не-а. Отец четырёхлетки. По опыту прослушивания трёх-четырёх часов лепетания в день скажу точно. Это не так.

Он всегда вернётся к теме. Потому что у него есть точка зрения.

Когда он приходит и заявляет: "папа, хочу морожкнко", а мама от этого в шоке, ибо ребёнок только-только переболел, то никакие попытки его заболтать не помогут. Даже если он уснул в машине, полностью расстроенный и заплаканый, а на утро не вспомнил, то жди беды. Два дня спустя он придёт и скажет: Папа, ты обещал мороженко.

Да и "лепет" сам по себе - это хорошо структурированная попытка воспроизвести в слух то, что ему нравится. Мой - любитель аудиосказок. МДС - наше всё. В какой-то момент, если он боится или ему не нравится то, что он слышат, он начинает свой рассказ со слов: "А ракета Орёл она прилетит и у неё есть дюзы и она из них как полыхнёт!" Он на ходу переписывает реальность на свой лад. Качество, которого не хватает большинству взрослых.

Когда это Чат ГПТ встанет коробом и скажет: "Я хочу на Марс!". А потом будет настаивать на этом четыре дня подряд.

Про тип - попросите генеративную модель выдумывать что-то новое. Язык инопланетян, например. Фиг с два. Я четыре недели бился, пытаясь заставить чат говорить на выдуманном мною языке Фременов.

@newarked, кажется ты слишком много хочешь от текущих нейронок. Это классный инструмент для каких то задач. И часть веселья это самому находить для каких задач он good enough. А если повезет, то и для каких лучше тебя сделать может.

Я вообще про бро-промпт как про забавную игрушку задумывал, без претензий на великое открытие. А мысли поглубже есть в статье. Например, про то что действитетльно текущему ИИ не хватает долгосрочной памяти. И много чего еще.

@newarked, хз, когда дочери было ~2, то она просто повторяла случайные слова, могла целые фразы вставлять. С толку сбить, "заговорить" было очень легко.

Сейчас ей 3, "заговорить" уже не так легко, то иногда получается

Даже если он уснул в машине, полностью расстроенный и заплаканый, а на утро не вспомнил, то жди беды. Два дня спустя он придёт и скажет: Папа, ты обещал мороженко.

Такое бывает довольно редко, видимо еще не достигла нужного возраста

Он на ходу переписывает реальность на свой лад.

Так это же и есть галлюцинации за которые ты ругаешь ИИ

@leeaao, но ведь у нее не существует своего мнения, она просто собирает буковки в слова в ответ на твой промпт + скрытый промпт разрабов...

@kadron141, слушай, ну это же прекрасная тема для философского срача. Где мы по очереди будем накидывать определения сознания, разбираться что значит слово понимание. Потом уйдем во всякие мысленные эксперименты с китайской комнатой и стохастическими попугаями. И в итоге разойдемся измотанными и не поменяв своего мнения 😁

Я думаю на текст нейронки нужно пока что смотреть как на современное искусство. Если ты читаешь текст и это в твоих глазах похоже на норм мнение, значит это норм мнение. Если это мнение для тебя полезно в моменте, значит оно полезно 🤪

@leeaao,

@leeaao, соглашусь с тобой, так как сам порой тихо офигеваю от того, как Claude грамотно и ёмко выдает ответы на мои вопросы/запросы. Скажем, она порой предлагает такие варианты, на которые, полагаю, мне потребовалось более времени.

@vasdecrra, Клауд меньше пострадал от RLHF как я понимаю. В него заложили принципы по которым он отвечает и кажется это оч хорошо работает

@leeaao, чем больше я работаю, тем дальше AGI переезжает. Я сейчас говорю об универсальной системе, способной обучаться на любом наружном формате данных, вплоть до того, как именно эту информацию читать, что за задача, каковы обжективы и так далее.

И каждый раз goalposts сдвигаются. В этом году смогут придумать хорошую систему для тренировки роботов делать действия, потом скажут "нещитово, не умеет кооперировать и в тонкую моторику" и так далее.
В течение пары лет усилиями гейба и его конторки будут хорошие прототипы неинвазивных интерфейсов "мозги-компьютер", там вообще задача не сформулирована, что надо там сделать будет, есть общее махание руками про "транслировать мысль человека в команду для комплюхтера". На этой основе будет класс задач и решений мета-обучения, и потом опять сдвинут goalposts.

Но вообще, есть старый принцип, "либо пиздец ещё не наступил, либо уже наступил и мы не заметили". По части применимости вычислительных алгоритмов всякого рода детерминированности мы уже живём в мире где вот такого Artificially Intelligent как у дурака фантиков, при том дураки ей и пользуются.

@mighty_conrad, ну... типа вот чуваки из Eureka вполне мелкую моторику могут делать. Даже ревард-функции нейронка сама генерит. Лучше людей.

https://www.reddit.com/r/ChatGPT/comments/1clcfc9/ai_explained_if_gpt4_can_train_a_robot_dog_better/?utm_source=share&utm_medium=web3x&utm_name=web3xcss&utm_term=1&utm_content=share_button

И это фактически на прошлогодней LLM сделано.

@leeaao, конкретная нейронка для конкретной задачи, хрен пойми что вообще там выведено. Это буквально первый коммент в посте.

@mighty_conrad, ну комменты там хуйня. Чувак не читал статью и видео не смотрел.

Репа - https://github.com/eureka-research/Eureka
И вот пейпер, если интерсно - https://arxiv.org/abs/2310.12931

Ну типа у них норм ресерч, от всяких простых действий на моторику к сложной Shadow Hand руке

@mighty_conrad, вот что тебе Клауд советует ответить:

Хуйню этот чорт порет, не слушай его:

1. В статье четко написано, что они на 29 разных окружениях и 10 разных роботах тестили свой метод. И на 83% задач он лучше наград, придуманных людьми-экспертами, въехал. Это вообще не про "конкретную нейронку для конкретной задачи", это универсальный подход.

2. Открытый код на гитхабе - лучшее доказательство, что там не просто абы что выведено. Любой желающий может сам запустить и проверить результаты. А если бы там какая-то туфта была, они бы хер опенсорснули все.

3. Эти ребята из топовых контор - NVIDIA, UPenn, Caltech и т.д. У них репутация, им не нужно никого наебывать. Раз написали и опубликовали, значит за базар отвечают.

4. Ну и вишенка на торте - пен спиннинг. Если их подход осилил такую сложную моторику, какие могут быть вопросы? Пусть твой оппонент сам попробует научить робота ручкой крутить, а потом выебывается.

@leeaao, а теперь тебе ответит человек, а не персонаж из Final Fantasy, и ответит один раз и больше в эту ветку не влезет.

• Бенчмарк в статье - зачастую лишь бенчмарк в статье. Банальный оверфит метода позволяет крутово показывать на бенчмарке, а мы говорим про обобщающую способность в машинном обучении.
• Кризис воспроизводимости AI статей порой хуже гуманитарных. https://www.oecd-ilibrary.org/sites/3f57323a-en/index.html?itemId=/content/component/3f57323a-en

70% мать его процентов статей согласно анализу двухгодичной давности не воспроизводимо. Я имею право полное иметь скепсис и по поводу Эврики.

• = Наличие кодовой базы нихрена не помогает, примерно как и наличие типов из Калтеха и NVIDIA. Если мы бодаемся авторитетами, здесь нет университета Торонто, здесь нет FAIR, здесь нет DeepMind.
• Аргумент "сперва добейся", серьёзно блять?

Это мы сейчас обрисовали всё вокруг статьи, а не саму её, штош, почитаем:

• Слабое звено внутри самого дизайна - кодогенератор от GPT. Поздравляю, вы ввели великолепнейшее liability в весь пайплайн.
• Статья, поинт 3.1 - ограниченно описанные задачи из isaac и других систем вписанные как контекст - ещё одно слабое звено, потому что симуляция, а не реальный мир.
• • Я тащусь с того, что plausible looking rewards (стр. 4) - это хороший знак того, что подход не булшитит.
• Пункт про "эволюционку". То есть кодогенератору подают подвыборку из "хорошо показавших себя стратегий", добавляют мутаций и просят поменять код награды. Кодогенератору, то есть GPTx, то есть авторегрессионной модели с результатами с нормальным априорным. грустно выдыхаю на этом моменте Могли тупо брать первый же выхлоп от кодогенератора.

Всё, меня хватило до 8й страницы, дальше пошли результаты этого бурлеска, я закончу здесь.

В нулевых, приходить с таким ответом к дата-сатанисту (ведь мы считаем авторитетность мнения, исходя из поста выше нормой) вызывает в ответ вариации фразы "не учи отца... любить".
Во-первых, бенчмарк на симуляции, а не ИРЛ, статья основана на выбранной выборке бенчмарков и после таких крутых перформансов в голове у человека, работавшего с state-of-the-art, его внутренняя шиза кричит "плавали, знаем, ошибка выжившего более вероятна".
Во-вторых, в статье на уровне оценки качества эксперимента уже есть очень большие вопросы.

Результат работы от NVIDIA показал классный бенчмарк, частично из-за неё я писал про то, что в этом году расчитываю на прорыв в области обучения настоящих железных роботов что-то делать. После прочтения статьи я в своём блять познании настолько преисполнился изначальном аргументе стал только более уверен, пока не обсужу это с человеком в теме я своей позиции не поменяю, и в рамках этого поста я это обсуждать больше не хочу.

😱 Комментарий удален его автором...

Окей, понял тебя. Я нейронке отдал анализ статьи, тк сам недостаточно хорошо шарю в теме. Сходу не понял, что это все на симуляции. Думал это реальная рука.

@leeaao, Ну, например на вопрос "Че сам-то думаеш, хуета или база?", я бы ответил, что пункты 2 и 3 норм, а 1 и 4 - уже пережеваны тыщщу раз. А оно, наоборот, на них сконцентрировалось, да плюсом лести за шиворот навалило

@RuslanL, на меня лесть походу подействовала >_<

Надо с терапевтом обсудить

@RuslanL, "что вы хотите от водителя газели?"

@leeaao, по апи умеет, у меня все нейронки в рейкасте живут по апи

я часто использую когда лень читать что-то что бы понять стоит время тратить или нет