@Creol, если помню верно, не так. Маск хотел влить лярд в OpenAI, хотел за это быть зицпредседателем, глава OpenAI Сэм Альтман послал его, Маск передумал вливать бабки, через годик из-за нехватки средств OpenAI объявили, что становятся for-profit, потом подтянули денег от Майков.

@mighty_conrad, Макс его ко-фаундил же

@Darel, окей, fair point — я не описал конкретные сценарии провала. В свою защиту скажу, что люди, голосовавшие за ИИ, никак не аргументировали, почему всё будет хорошо, кроме как «всё и всегда было хорошо/всё равно ничего работать не будет». С аргументом «пора уже передать бразды правления Землёй более совершенным существам» я, кстати, не очень умею спорить, и вполне уважаю =)
Если говорить по теме, то меня беспокоят в принципе все варианты развития событий. Агентный ИИ умнее человека по дефолту становится максимизатором скрепок — нужно очень сильно постараться, чтобы это было не так. С неагентным ИИ умнее человека всё немного проще, но тут вопрос в том, насколько он умнее — идеальный оракул становится агентом (намного проще давать правильные ответы на вопросы, если ты можешь влиять на эти ответы и вопросы). Если даже ИИ будет глупее людей, но всё равно general — у него есть преимущества масштаба и скорости мышления/коммуникации. С любым ИИ есть вопросы про неэкзистенциальные риски — чем больше влияния мы даём чёрным ящикам, тем больше цена любой ошибки, любого байаса, индуцированного при обучении, любого specification gaming. И мы точно будем давать много власти AI, нейронки уже сейчас фильтруют резюме и одобряют кредиты. Наверное, мой основной поинт — capabilities и goals ортогональны, и goals почти точно будут не такими, как мы планируем (я не антропоморфизирую ИИ, просто мы в любом случае будем обучать его на каких-то метриках, а в реальности и тем более на нетренировочных данных он будет максимизировать какую-то другую метрику).

При этом в анонсе GPT-4 есть график — они сумели предсказать capabilities по compute. И этот тренд всё ещё работает. И некоторые уже видят в GPT-4 sparks of general intelligence. Поэтому я ставлю вопрос как «а почему мы не получим и general superintelligence, просто бросив в задачу ещё больше компьюта?» А про другие сценарии вымирания я не говорю, потому что баттл тут про ИИ =)

Ну и наконец про цель править людьми (поговорим про суперинтеллект). Я не предполагаю, что ИИ захочет нами править. Я предполагаю, что ему будут совершенно неважны те штуки, которыми мы дорожим — и наше существование в том числе, пока эти штуки не полезны или не вредны его целям. И скорее всего, люди захотят помешать превращению вселенной в скрепки, а значит наше существование будет вредить его целям. Насколько люди задумываются о муравейнике, когда хотят проложить новую автотрассу?

Оптимистичный P.S. Я тоже очень excited возможности появления нечеловеческого разума. И я считаю, что он сможет (если захочет. тут начинается этика ИИ, в те дебри я предпочитаю пока не залазить) помочь решить нам миллион проблем — в том числе эффективное и справедливое правительство, прогресс в науке и медицине, освобождение людей от необходимости трудиться, чтобы выжить — я верю в возможность всего этого, и даже в возможность этого на своём веку. Но мир сейчас движется совсем не туда, и про это нужно говорить много и громко

P.P.S. что-то у меня лонгриды какие-то сегодня получаются

@Cave,

@captaingim, А можно бригаду?(

@Diadlo,

@captaingim, Спасибо. Прям полегчало

@Diadlo, https://knowyourmeme.com/memes/loss

@captaingim,

@Darel, А ты попроси chatGPT тебе саммари подогнать 😁

@Cave, нельзя. Это сейчас она не знает информацию после 2021 года, а покажи ей сценарии побега, так она ими и воспользуется =)))

@Darel, он тут написал статью в Таймс и он судя по всему сошел с ума. https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/

"We are not ready. We are not on track to be significantly readier in the foreseeable future. If we go ahead on this everyone will die, including children who did not choose this and did not do anything wrong."

По сути это просто личный страх прогресса и неопределенности. Пресловутый завод со скрепками должен случиться, поэтому что очевидно, что это случится.

Откуда при этом должно появиться понимание ИИ если над ним не работать на практике, а на бумажке планировать как его контролировать при этом не сообщается.

@Darel, в Тайм просто короткая агитка. Посмотри Юдковского на свежем подкасте у Лекса Фридмана — там он намного подробнее разворачивает свои аргументы. Не могу сказать, что все его доводы прям пуленепробиваемые, но смысл в них есть, это точно, и скидывать их со счетов я бы не стал.

@ivanvpanov, это такой бородатый дядя? На днях он на дожде задвинул лютую дичь, что гпт5 избавит мир от ковида убив всех человеков.

@lespaul, ну хз бородатый он или скорее небритый, но это определенно дядя. Насчет Дождя не в курсе - не видел.

@ivanvpanov, извиняюсь то был Ямпольский

@ivanvpanov, преодоление сопротивления ставить свои взгляды под сомнение это, конечно, отлично и я это и пытаюсь делать, но смотреть три с половиной часа, чтобы попытаться понять чувака, который в таймс вместо аргументированной позиции пишет истеричную агитку, я как-то не готов.

Если эти аргументы можно изложить короче, чем в интервью на несколько часов, можем пообсуждать здесь.

@Darel, наверняка можно изложить короче, но мне тоже немного лень гуглить. К тому же отправка человечества и всего остального живого на земле в нирвану мне видится меньшей трагедией, чем Юдковскому, так что наверное останемся при своих :)

@ganqqwerty, ну это собственно и есть открытый вопрос
Базовые LLM уже в открытом доступе

А вот как собрать и разметить нужные данные для дообучения — тут пока кто на что горазд.. все-таки данные это деньги

@ganqqwerty, дата хордеры с парой-десятком сот терабайт разной рандомной хрени разной степени специализации такие "maybe i'm a corporate".

@AlexanderSh, вот короче борцы за открытость будущего должны не исходные коды Яндексов сливать а целые бдшки разной направленности

@z7oVrp8oKLzP700a, скорее это просто убьет качество. Будет еще больше "проф" дизайнеров, которые запихивают фотки квартиры в нейросеть и получают дизайн. Будут брать за это копейки - это будет пользоваться спросом. Но качество упадет.
Упадет качество - упадет спрос, прознают все и будет "сам себе режиссёр"...
В подтверждение, у любимой группы в честь 25-летия сделали клип.. на известную песню.. смотришь этот клип и просто плакать хочется.. да - набирает просмотры, да народ смотрит. Как говорится "пипл схавает", но вот мне грустно.

@rock-n-road, Исходя из вашего комментария, можно сделать вывод, что вы считаете, что использование нейросетей в дизайне может привести к ухудшению качества и уменьшению спроса на такие услуги.

Однако, необходимо учитывать, что использование нейросетей и искусственного интеллекта в дизайне может повысить эффективность и оптимизировать процесс работы. Также стоит отметить, что качество проектов, созданных с помощью нейросетей, зависит от квалификации и опыта специалистов, которые их создают.

Относительно вашего комментария о клипе, необходимо отметить, что успех или неудача проекта зависят не только от его качества, но и от многих других факторов, таких как целевая аудитория, маркетинговая стратегия и т.д.

@z7oVrp8oKLzP700a, это-же GPT-4 сгенерила? Манера структурирования текста очень похожа.

@frenzykryger, нормально же общались :)
конечно да, с душой не получается но сухо м формально очень даже неплохо

@rock-n-road, а может быть без нейросеток вообще никакого клипа бы не было, потому что это ппц дорого. имхо, вполне норм вышло, мельтешащий изменяющийся эффект прям в тему песни. мне кажется, дизайнеры переоценивают свою повсеместную нужность и необходимость прям КАЧЕСТВА. в очень многих случах, имхо же, уровня нормас за глаза хватает. плюс, ко-дизайн не первый год в трендах

@Cave, "а может быть без нейросеток вообще никакого клипа бы не было, потому что это ппц дорого"
Тут согласна, но нельзя же исходить из "лучше что-то, чем ничего".

@rock-n-road, почему нельзя?

@Darel, Ну, это, наверное, очень не гуманное сравнение. Хотяяяя.. лет через 100 будет понятно))

@Pr0Ger, ну телефонистки это не творчество!
Секс по телефону пусть заменит ИИ😁 (в тему телефона и Ало)
Вот там не знаю, нужна душа или нет..

В тему дипломов. Да, к сожалению, есть стандартны, которые кто-то когда-то написал и почему-то меняются они с трудом. И воду писать действительно тяжело и хорошо если ее придумают за тебя. Но за такими текстами пойдут и стихи/романы/прочее. Это будет уже странно. Как минимум странно читать как ИИ пишет про шелест ветра или шум моря... прям ээээээ... странно)

@sergeiruzki, Ну вот не скажите))

@sergeiruzki,

@mighty_conrad, вы конечно же сможете подтвердить это цифрами?

зы. на всякий случай - я различаю оборот гражданского оружия и бан свободного оборота.

@mgu, пример - Австралия. https://www.rand.org/research/gun-policy/analysis/essays/1996-national-firearms-agreement.html

@mighty_conrad, прекрасный пример, и там явно написано

The fact that the observed reductions in suicide do not appear to be limited to firearm-related suicides raises questions about whether declines in suicides are primarily attributable to the NFA or whether other social forces, such as those contributing to pre-NFA declines, account for these changes.

@mgu, а если не дергать только удобные тейки? Видный тренд на понижение убийств с применением огнестрела при отсутствии смены тренда для всего остального?

Если не нравится эта статья, вот https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(15)01026-0/fulltext и sci-hub в помощь. На основе уже существующих законов, что контролируют оборот оружия в отдельных штатах, найдены те, которые действительно работают и внезапно, это примерно то, за что сторонники контроля над оружием и топят: меры по упрощению идентификации стволов и хозяина, проверки потенциального покупателя как для стволов, так и для аммуниции, обязательные тренировки.

@mighty_conrad, в приведеной вами статье к сожалению только удобные для меня тейки :) там нет тренда. точнее он не изменился от ужесточения мер

вторая ваша статья тоже хороша.

Very few of the existing state-specific firearm laws are associated with reduced firearm mortality, and this evidence underscores the importance of focusing on relevant and effective firearms legislation.

хотелось бы всё же увидеть подтверждение тезису

ибо везде где банили свободный оборот оружия, преступность падала.

за 10+ лет которые я дружу с оружием и изучаю вопрос - мне попадалось только противоположное.

и кстати мнение самих американцев

@mgu, После того как в Австралии были введены строгие законы о контроле над оружием в 1996 году, исследование, проведенное в журнале "JAMA Network Open", показало значительное снижение количества насильственных преступлений с использованием огнестрельного оружия. Между 1979 и 1996 годами в Австралии было зарегистрировано в среднем 492 насильственных преступлений с использованием огнестрельного оружия ежегодно. С 1997 по 2016 годы этот показатель снизился до в среднем 206 случаев в год.
Ссылка: https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2698492

@lespaul, есть мнение что вы даже не открывали ссылку которую предоставили т.к. конкретно по ней нет ничего существенного про австралию

но зато конкретно про Австралию есть по другой ссылке - https://jamanetwork.com/journals/jama/fullarticle/2530362

и что же мы там видим?

There was a more rapid decline in firearm deaths between 1997 and 2013 compared with before 1997 but also a decline in total nonfirearm suicide and homicide deaths of a greater magnitude. Because of this, it is not possible to determine whether the change in firearm deaths can be attributed to the gun law reforms.

"рикошет. нипробил" © world of tanks

@mgu, мне не интересно играть с тобой в эту игру, ты попросил цифры я нашел первые попавшиеся. Эти кейсы из статьи выше это тоже просто совпадения?

Both suicide and homicide are defined as intentional behaviors, and thus it should be possible to develop strategies to reduce these forms of violence. A recent review of firearm legislation in the United States by Lee and colleagues32 highlights the association of laws that strengthen background checks or that require a permit to purchase a firearm with reductions in firearm homicide rates, and this general principle is supported by more stringent programs to restrict the use of firearms by civilian populations in other settings.33 The Australian National Firearms Agreement, enacted following the 1996 Port Arthur massacre, has been closely linked with declines in firearm deaths in Australia, particularly firearm suicides and an absence of mass shootings.34 The patterns documented in South Africa and Brazil also support a link between regulatory restrictions on firearm access and subsequent reductions in firearm death rates. In South Africa, rates of violent death decreased following the Firearm Control Act of 200035; it is estimated that this legislation may have prevented more than 4500 deaths across 5 South African cities between 2001 and 2005.36 In Brazil, where much of the stock of civilian firearms are likely unregistered, large decreases in firearm homicides (since the year 2000 in the state of São Paulo) and firearm suicides in the state of Rio de Janeiro have been linked to more effective policing, firearm buy-back programs, and enforcement of firearm control legislation passed in 2003.37 The hypothesis that differences in levels of violence between countries reflect the availability of firearms and the extent of firearm control at a national level is consistent with these findings, although more disaggregated data are needed to transfer the analysis to other settings.

Предотвечу, по ссылкам я не ходил. Уверен у тебя есть десяток аргументов почему все эти исследования фигня, но я в эту игру наигрался в 2020, спасибо не хочу.

@lespaul,

Предотвечу, по ссылкам я не ходил.

если бы сходили, увидели бы что в вашей статье нет ничего кроме голословного утверждения и ссылки на другую статью с разбором конкретно Австралии

а в глубоком разборе конкретно Австралии явно написано что корреляция неочевидна. Ещё раз - в разборе заинтересованными австралийцами, своей родной ситуации, честно указано что корреляции не найдено.

Уверен у тебя есть десяток аргументов почему все эти исследования фигня

покажите где я такое утверждал? наоборот, меня эти исследования вполне устраивают. поскольку никак не противоречат моей позиции.

мне не интересно играть с тобой в эту игру, ты попросил цифры я нашел первые попавшиеся.

мне тоже не интересно играть в игру, в которой оппонент кидает первую же попавшуюся ссылку, не потрудившись хотя бы поверхностно ознакомится с текстом. слабо похоже на конструктивную дискуссию.
спасибо, в такое я тоже наигрался на других площадках

корреляция неочевидна

Просто совпадение, да

@lespaul, "с использованием огнестрельного оружия" - т.е. отсутствие у жертвы огнестрела привело к тому, что преступники смогли перейти к ножам и битам во время ограблений и изнасилований? Очевидно, что надо смотреть общее количество преступлений, а не то, чем они были совершены, иначе это manipulation

Те, кому надо -- это может быть другое государство, какие-то богатенькие частные заказчики и так далее. Ну будут не сотни конкурентов, а несколько десятков или единиц. Но всё же. Здесь конечно можно сказать, что можно просто контролировать закупки железа, а его не так много игроков производят. Ну тут уже только спекуляции устраивать, возможны ли утечки технологий, сложно ли покупать заводы и переносить производство, можно ли изменить способ обучения так, чтобы не зависеть от конкретного железа и т. д. Ну короче, нельзя сказать, что тут предсказуемо и однозначно.

Так и получается что пока обучение таких моделей требует больших ресурсов мы приходим к сценариям аналогичным ядерной энергетике/вооружениям или авиапроизводству. Такие вещи хорошо поддаются регулированию - ситуация будет сильно сложнее для регуляторов, если можно будет учить такие модели без существенных капиталовложений.

@frenzykryger, да, но не факт, что какая-нибудь дистиллированная модель в каждом доме не перевесит пару неповоротливых монополистов.

@Cave, но не факт, что они действительно могут это сделать.

@yorlov, Спасибо =)

@kentilini, круто было бы там мозг заюзать норм, чтобы всем шарить почуть и дохрена всем сразу поумнеть))))) (а некоторым просто выключить 2х2 и включить мозги, ха-ха)

@nadyapetrova, согласен. Еще есть проблема - на каких датасетах его тренировать и как обучить его так, чтобы человек был главной ценностью. Можно вспомнить «3 закона роботехники» Азимова. Также это будет способствовать появлению новых профессий типа робопсихологов )))

@Spirtel, да-да, современные AI safety ресёрчеры как раз пытаются понять, как вообще возможно сделать так, чтобы AI системы, когда у них будет намного больше контроля (что неизбежно произойдёт), считались с человеческими ценностями. К сожалению, законы робототехники не работают ни в каком приближении, задача alignment технически выглядит суперсложной. Люди в OpenAI, DeepMind, Anthropic, Redwood, ARC и прочих лучших лабораториях мира пока что в душе не чают, как это сделать.

Именно поэтому идея в том, чтобы не делать ещё более мощные модели, чем есть сейчас — чтобы выиграть время на ресёрч этого вопроса. Точка невозврата близко. Если у AI контроль появится раньше, чем мы научимся ставить ему задачи и сообщать свои ценности, последствия будут катастрофические.

@nadyapetrova, если не использовать ИИ с искусственными ограничениями для развития - то уже все проиграно. Думаю что наверняка можно использовать «частные модели» для решения конкретных задач и изначально формировать датасеты, где есть человек как безопасные. Вот вопрос по исследованию безопасных датасетов - крайне интересно и важно. Но опять таки - без использования ИИ это слабореально.