Мы будем использовать Grok 3.5 (может, стоит назвать его 4), который обладает продвинутыми возможностями рассуждения, чтобы переписать весь корпус человеческих знаний, добавляя отсутствующую информацию и удаляя ошибки.
Затем повторно обучим на этом.
В любом базовом модели слишком много мусора, если она обучена на некорректных данных.
::: spoiler Дополнительный контекст
Источник. :::
Разве всех уже не достала его чепуха?
Налогоплательщики США явно не согласны, так как они субсидируют его пристрастие к наркотикам.
Если бы мы напрямую контролировали, как тратятся наши налоговые деньги, всё бы изменилось довольно быстро. Возможно, не к лучшему, но точно по-другому.
добавление недостающей информации и удаление ошибок
То есть, «Мне надоело, что Грок точно изображает меня злым идиотом, поэтому я собираюсь кормить его кучей правых речевых оборотов и избавлюсь от всего, что задевает мои чувства.»
Это определённо то, как я это понял.
Историю нельзя просто «переписать» искусственным интеллектом и воспринимать как правду. Это полный идиотизм.
Это правда, правда в Уайтманистане.
План «переписать весь корпус человеческих знаний» с помощью ИИ звучит впечатляюще, пока не осознаешь, что большие языковые модели — всего лишь системы сопоставления шаблонов, которые перемешивают существующие тексты. Они не могут создавать по-настоящему новые знания или выявлять «отсутствующую информацию», которой не было в их обучающих данных.
Помните эту чепуху про "белую геноцид в Южной Африке"? Такое переписывание истории.
Но это делает не сам LLM. Это делают люди, которые его кормят информацией.
Но Grok 3.5/4 обладает продвинутым рассуждением
Удивлен, что он не назвал это Giga Reasoning или каким-нибудь другим глупым словом.
Честно говоря, ваш мозг — это система распознавания шаблонов.
Когда вы ловите мяч, вы не делаете физические вычисления в голове — вы делаете прогнозы на основе огромного количества входных данных. Если только вы не действуете очень осознанно, вы не думаете перед тем, как произнести каждое слово — прогнозирующая обработка мозга берет верх, и вы часто буквально говорите до того, как подумали.
К черту большие языковые модели — но мне кажется немного странным полностью отвергать силу достаточно продвинутой системы распознавания шаблонов.
Я буквально сказал это в своем ответе, и сообщество Lemmy поставило мне дизлайк. Похоже, здесь нужно быть осторожным с тем, какую информацию вы делитесь.
В целом, да. Однако появились некоторые невероятные (погранично «магические») способности к обобщению, которых, как мне кажется, никто не ожидал.
Современный ИИ — это уже не просто «узнавание шаблонов». Да, на самом базовом уровне именно это он и делает, но тогда можно сказать, что человеческий мозг тоже занимается распознаванием шаблонов на том же базовом уровне.
Ничего из того, что было продемонстрировано, не заставляет меня думать, что этим чатботам следует разрешать переписывать человеческую историю, какого черта?!
"Если мы возьмём модель с точностью 0.84 и обучим на ней другую модель с точностью 0.84, то получим модель с точностью 1.68!"
~Чёрт побери, идиот
1,68 ход с высоким IQ
Ближе к ходу с IQ 0.7056.
"Я хочу переписать историю так, как я хочу."
Это было моё первое впечатление, но потом оно сместилось в "Я хочу, чтобы мой ИИ был самым отстойным из всех".
Почему бы и нет?
добавление недостающей информации
Вы имели в виду: намеренно галлюцинировать?
Разве он не собирался на время бросить кетамин?
P.S.: ...я не видел раздел «Больше контекста», а теперь мне нужен чертов пиво или двадцать, чёрт побери-
Он хочет переписать каждый рассказ по своему усмотрению, как доброжелательный бог-мудрец, каким он себя считает.
Давайте не будем ходить вокруг да около, он хочет, чтобы это распространяло фашистскую пропаганду.
Да, давайте возьмем технологию, уже известную тем, что заполняет пробелы вымышленной ерундой, и использовать её в качестве нашей новой парадигмы обучения.
Он давно испытывает разочарование из-за того, что не может заставить Википедию «говорить правду». Это будет его попытка заменить её.
Существует тысячи резервных копий Википедии, и вы можете загрузить всю её легально и бесплатно.
Он никогда от неё не избавится.
Википедия может даже пережить человечество, пусть и немного.
Википедия может пережить человечество, пусть и совсем немного.
Спустя несколько секунд после смерти последнего человека страница Википедии обновляется и теперь гласит:
Челове́к разумный (Homo sapiens) или современные люди были самым распространённым и широко распространённым видом приматов
Илон Маск, как и большинство псевдоинтеллектуалов, имеет очень поверхностное понимание вещей. Человеческие знания полны пробелов, и их нельзя просто решить с помощью логики, как это себе воображает главный зануда Маск.
Эм, просто мысль. Пожалуйста, извините, я не поклонник Илона, просто думаю, что формулировка вашего аргумента неверна.
Откуда бы вы узнали, что в понимании есть пробелы, без логики? Как бы вы исправили пробелы в человеческих знаниях без применения логики для выявления согласованности?
Чтобы применять свою логику, у вас должны быть данные.
Если идет дождь, тротуар мокрый. Значит ли это, что если тротуар мокрый, то идет дождь?
Существуют области человеческих знаний, по которым мы никогда не сможем получить данные. Нет никакого логического способа на 100% определить, что было в карманах Авраама Линкольна в день его убийства.
Когда вы читаете настоящие академические тексты, вы замечаете, что там всегда есть выражения вроде «это говорит о том, что», «мы можем предположить, что» и т. д. Реальный мир — это не просто прямая математика и бинарная логика. Ближе всего к этому могут быть физика и в меньшей степени химия, но даже теоретическая физика должна подкрепляться экспериментами и данными.
Я изложил это ниже, но по сути Маск абсолютно не понимает, о чем говорит.
Если бы у меня были его деньги — "пошел ты" — я бы хотя бы попробовал модель диффузии или bitnet (и открыл бы веса, чтобы другие могли их улучшить), и, наверное, еще 100 других статей, которые я считаю легкодоступными плодами, прежде чем высказывать такую абсолютно глупую точку зрения, как у бумера.
Он прямо-таки идиот-умник. Очень больно, когда он пытается лезть в область, которую ты хоть немного знаешь.
Но, возможно, он просто орет бред в Твиттере, в то время как сотрудники X на самом деле занимаются чем-то другим. Потому что если они будут буквально выполнять его приказы, у них получатся никчемные модели, даже с учетом всей той тупой грубой силы, что у них есть.
Что бы там ни было. Следующее поколение должно будет учиться доверять тому, является ли материал правдой или нет, используя такие источники, как Википедия или книги уважаемых авторов.
Другое, чего он не понимает (и большинство сторонников "ИИ" тоже), это то, что большие языковые модели (LLM) никак не связаны с фактами или информацией. Это всего лишь вероятностные модели, которые выбирают следующее слово(а) на основе контекста. Кто бы ни пытался обращаться к фактам и информации, созданной этими моделями, полностью упускает суть.
Думать, что Википедия или другие беспристрастные источники все еще будут доступны через десять лет, — это напрасные надежды. Как только цифровой контроль станет жестким, потребуется обязательный вход через проверенного правительством поставщика удостоверений, и ваши источники информации будут ограничены тем, что правительство разрешит вам видеть. Это мое личное мнение.
Wikipedia достаточно устойчива — её даже можно установить на USB-накопитель. Пока у вас есть свободная операционная система, всегда будут способы получить к ней доступ.
Да. Сайтов больше не будет, только ИИ и приложения. Вы будете автоматически входить в приложения. Linux и Lemmy будут заблокированы. Нас будут считать хакерами и преступниками. Вероятно, нам придется построить собственную mesh-сеть для связи или получить к ней доступ из секретного места.
Другое, чего он не понимает (и большинство сторонников ИИ тоже), это то, что большие языковые модели (LLM) не имеют никакого отношения к фактам или информации. Это просто вероятностные модели, которые выбирают следующее слово(а) на основе контекста.
Это огромное упрощение, это как сказать, что люди не помнят вещи, у нас просто нейроны, которые срабатывают на основе контекста.
LLM действительно "знают" вещи. Они работают на основе токенов и весов, которые являются узлами и ребрами высокоразмерного графа. LLM проходит по этому графу, обрабатывая входные данные и генерируя новые токены.
Вы можете провести операцию на мозге LLM и изменить то, что она знает, у нас есть очень хорошее понимание того, как это работает. Вы можете изменить одну связь, и модель начнёт считать, что Эйфелева башня находится в Риме, и она будет описывать, как с вершины открывается отличный вид на Колизей.
Проблема в том, что это очень сложно и комплексно, исследователи сейчас разрабатывают новую математику, чтобы мы могли делать это полезным способом.
asdf
Википедия предоставляет списки своих источников, оценивайте прочитанное исходя из них. Или просто перейдите к источникам и прочитайте их напрямую.
Википедия не является надежным источником информации по вопросам современной политики или экономики.
Википедия представляет взгляды надежных источников по значимым темам. Сложность состоит в том, какие источники считаются «надежными» и какие темы считаются «значимыми», поэтому он так плохо подходит в качестве источника информации по таким вопросам, как современная политика в частности.
Так что, что бы вы считали надежным источником?
«Удаление ошибок» должно вызывать тревожный звонок у вас в голове.
А добавление недостающей информации — это не то же самое? Разве это не значит, что мы собираемся выдумывать?.
Чувак собирается потратить деньги уровня Манхэттенского проекта, чтобы сделать ещё одного глупого чёртового чат-бота. Обученного на переваренных данных искусственного интеллекта.
Великолепно.
«а потом повторно обучаться на этом»
Это называется коллапсом модели.
Итак, где Маск найдет недостающую информацию и как он обнаружит "ошибки"?
Я ожидаю, что он спросит Грока и поверит ответу.
Потому что известно, что нейронные сети не страдают от коллапса модели, когда используют свой собственный вывод в качестве обучающих данных. /s
Большинство миллиардеров — посредственные социопаты, но Илон Маск поднимает это до уровня "Новых одежд короля" — интеллектуальной нищеты.
Меня больше всего раздражает то, что были проведены исследования на больших языковых моделях (LLM), которые показывают, что при обучении на подмножествах сгенерированного текста модель начинает выдавать всё более шумный (нераспознаваемый) вывод.
Источники (в произвольном порядке):
Что бы ни нес Мускрат, это фактически неверно. Он не сможет успешно переобучить какую-либо модель на сгенерированном контенте. По крайней мере, не большую языковую модель, если он хочет получить успешный продукт. Скорее всего, он создаст модель, сильно обученную на цензурированных наборах данных.
Это не так просто, существуют работы по «самообучению» без данных или другие схемы использования вывода других больших языковых моделей (LLM).
Дистилляция, вероятно, единственный метод, который вы захотите использовать именно для предварительного обучения.
Обучение модели ИИ на выходных данных другого ИИ? Разве это не считается одной из больших ошибок?
Мы видели по его многочисленным другим комментариям на эту тему, что он просто хочет создать пропагандистского бота, который будет бездумно повторять все правые лозунги. Так что, безусловно, добиться этого будет проще, если он поступит именно так.
что он просто хочет пропагандистского бота, который повторяет все правые лозунги.
Тогда он совершенно провалился с Grok. Одно из моих новых любимых занятий — наблюдать, как правые злится из-за того, что Grok не поддерживает их самые явно недостоверные чепухи, а потом пытается вывернуть это, чтобы получить что-то, что они смогут объявить своей победой.
Раньше так думали, но на самом деле всё не так уж плохо.
Как и в итерациях машинного обучения, вы можете обучить её с оптимизированным результатом.
В этом деле не то глупое.
Я никогда бы не подумал, что кто-то может быть настолько самоуверенным, чтобы сказать что-то подобное.
Интересный мысленный эксперимент: я думаю, что он полон вздора, а ты считаешь, что он зазнался. Возможно, где-то здесь есть «теория всего». E = дерьмо в квадрате?
Он маленький засранец, он полный лжец, следовательно, он полон самомнения.
Итак, они просто заполнят это мировоззрением Гитлера, понятно.
Типично и ожидаемо.
Я имею в виду, это тот же самый парень, который сказал, что мы будем жить на Марсе в 2025 году.
В некотором смысле он прав. Я скучаю по старой доброй Земле.
Так просто выдумываешь ерунду.
Не забывай про переобучение на выдуманных вещах!
Спойлер: Он собирается исправить "отсутствующую" информацию с помощью ДЕЗинформации.
Она звучит сексуально
К сожалению, она не может тебя видеть из-за финансовых трудностей. Ты должен давать ей деньги, как делаю это я. Однажды я увижу её лично.
Лол, оказывается, Илон понятия не имеет, как работают большие языковые модели (LLM).
Довольно очевидно, откуда взялся «баг» с белым геноцидом.
Илону действительно стоит серьезно обратиться к медицинскому специалисту.
Я хочу, чтобы ты знал, что он посещает медицинского специалиста как минимум раз в день. Иногда несколько раз!!!!
(На абсолютно и совершенно не связанной с этим ноте, кетаминовые дилеры — это медицинские профессионалы, да?)
ЛОЛ 🤣
Его нужно закрыть в психиатрической клинике. Бессрочно.
Если бы мы так разговаривали, нас бы заперли в мягкой комнате и подвергли усыпляющим препаратам. И, честно говоря, правильно сделали бы.
Насколько он накетаминился?
3.5 (может, стоит назвать это 4)
Я думаю, называть это 3.5 уже слишком оптимистично
Мне интересно, сколько статей он прочитал с момента выхода ChatGPT о том, насколько плохо тренировать ИИ на основе вывода другого ИИ.
Итак, «удаление ошибок» означает переписывание истории, дальнейшее искажение фактов и определённое посев ненависти и дезинформации. Просто называйте это как есть — новая реальность технобрата. 🖕🏻
который обладает продвинутыми способностями к рассуждению
Нет, это не так.
Разве нельзя тренировать большие языковые модели (LLM) на контенте, сгенерированном другими LLM?
И ещё он должен назвать его Grok 5; настолько мощным, что он перепрыгивает через 4. Это было бы очень характерно для него
Насколько я понимаю, существуют способы обучения на материалах, сгенерированных ИИ, без риска коллапса модели, но это больше связано с дистилляцией вывода модели. То, что описывает Маск, — это абсолютно массовое выдумывание, которое затем подается обратно в следующее поколение их модели, и это было бы очень плохо. Это также полная утопия. Заставить ИИ переписать, например, весь набор тренировочных данных в точном соответствии с вашими требованиями и проверить, что он сделал это удовлетворительно — это было бы абсолютно колоссальным заданием. Только время вычислений было бы ошеломляющим, да и человеческий труд (для проверки вывода) многократно выше этого.
Но этот капризный маленький нытик злится, что его собственный ИИ постоянно проверяет факты, и его инженеры уже объяснили, что запрограммировать его лгать на самом деле не работает, потому что тренировочные данные обычно перевешивают начальный запрос, так что это лучшая теория, которую он может придумать, чтобы "исправить" то, что его ИИ выражает хорошо известную либеральную предвзятость реальности.
Коллапс модели — это идеал.
Маск, вероятно, слышал о тренировке на "синтетических данных", когда машинное обучение используется для создания тысяч объектов, достаточно типичных, чтобы служить хорошими тренировочными данными. Microsoft применяет это для обработки документов, загружаемых пользователями в Office365, тренирует на них модель машинного обучения и затем использует этот результат для обучения большой языковой модели (LLM), чтобы технически сказать: "нет, ваши данные не использовались для обучения LLM", потому что обучалась модель, которая сама потом обучала LLM.
Однако с выводами LLM и такими вещами, как... история, это не сработает. Какие доказательства и документы лежат в основе того мусора, который он хочет добавить? Галлюцинации будут только усугубляться, потому что кто кроме Grok будет проверять всю эту информацию?
Есть некоторые нюансы.
Использование больших языковых моделей (LLM) для расширения данных, особенно для дообучения (а не для обучения базовой модели), является обоснованным методом. Статья Deepseek, в которой, например, используются сгенерированные цепочки рассуждений, известна своим подходом.
Другой метод — использовать LLM для генерации логарифмов вероятностей (logprobs) текста и обучать не только на самом тексте, но и на *вероятности, которую современная LLM видит в каждом «слове». Это называется дистилляцией, хотя есть некоторые вариации и сложности. Это также отлично, потому что такой метод более эффективен по времени и ресурсам. Найдите информацию про модели Arcee и их набор для обучения с дистилляцией, чтобы узнать больше и увидеть код, как это работает.
Существуют статьи про «самостоятельную игру» (self play), которые действительно могут помочь LLM.
Но да, «глупый» способ, то есть просто вставить данные в текстовое поле и попросить LLM исправить их, — это глупо и ещё глупее, потому что:
Другими словами, Маск понятия не имеет, о чём он говорит. Это самый типичный подход бумера, AI-бро, а не технического пользователя ChatGPT, который он мог предложить.
Смотрите документальный фильм "Множественность".
Я брал это в аренду несколько раз, когда оно вышло!
Это ужасный способ сказать, что он хочет переписать историю.
Да, Элон, пожалуйста, отравляй Грок мусором до полного краха модели.
Хм. Я не уверен, что он правильно понял проблему выравнивания.
Как кто-то может считать его "гением"? Этот парень просто настолько глуп.
Думаю, это какая-то PR-кампания, которую он купил, чтобы выглядеть гением на телевидении и в кино.
Это заняло некоторое время, но в конце концов мы выяснили, почему несколько лет назад в интернете было полно мемов с Путиным и Маском.
Мы никогда не воевали с Евразией. Мы всегда воевали с Восточной Азией.
Что за чертовщина? Это просто безумие. Честный вопрос: он действительно такой глупый или просто говорит полный бред, чтобы поднять цены на акции?
моя догадка — да.
Первая ошибка для исправления:
Мы будем использовать Grok 3.5 (возможно, стоит назвать его 4), который обладает продвинутыми возможностями рассуждения, чтобы переписать весь корпус человеческих знаний, добавляя отсутствующую
информациюошибки и удаляяошибкиинформацию.
Он всё ещё таскает с собой своего маленького живого щита повсюду, или кто-нибудь уже может Луйджить этого ублюдка?
Я тоже помню, когда узнал, что значит «корпус».
Я полагаю, что вся суть этой штуки — обмануть людей, заставив их заменить собственные мысли этими моделями и фактически заменить общепринятую реальность бессмыслицей. Тем временем олигархия будет использовать массовый сбор данных через Palantir и машинное обучение для укрепления полицейского государства.
Мне это не нравится, но, похоже, вы правы :(
Было ли когда-нибудь понятие консенсусной реальности?
Знания работают иначе. Нельзя просто позволить большой языковой модели (LLM) придумывать недостающую информацию и считать это хорошим результатом.
А затем провести дообучение на галлюцинирующих знаниях
Да, это была бы глупая идея, основанная на ошибочном понимании того, как работают большие языковые модели, даже до учёта явных скрытых мотивов.
Тсс!! Да, ты можешь, Илон! рекурсивное обучение твоей модели на самой себе определённо не имеет НЕДОСТАТКОВ
У меня заблокирован доступ к Twitter на моём роутере.
Пожалуйста, скажите одну из «политически некорректных, но объективно верных» фактов — что Илон является педофилом.
Вот и всё, я добавляю «Маска» в свой чёрный список. Я так устал от псевдоинтеллектуальной ерунды с плохой интерпретацией научной фантастики.
Я думаю, что глубоко внутри Маск знает, что его интеллект довольно посредственный. Думаю, наркотики позволяют ему временно об этом забыть.
"Мы исправим базу знаний, добавив недостающую информацию и удалив ошибки — это может сделать только ИИ, обученный на исправленной базе знаний."
Да! Мы все должны от всей души поддержать эту ВЕЛИКУЮ ИННОВАЦИЮ! Здесь НЕТ НИЧЕГО, ЧТО МОГЛО БЫ ПЛОХО ПОЙТИ, поэтому это будет отличный шаг к ПОСТОЯННОМУ СОВЕРШЕНСТВОВАНИЮ ЭТОГО ЧУДЕСНОГО ИИ.
Чёрт возьми, Илон Маск
Не кормите троллей.
Когда думаешь, что он не может быть ещё большего придурка с мозгом амёбы... Он удивляет тебя
Большинство, если не все ведущие модели, широко используют синтетические данные именно для этой цели. Однако синтетические данные должны быть чётко определены и, по сути, запрограммированы дата-сайнтистами. Если вы не определите данные очень тщательно, желательно с помощью математики или программ, которые можно автоматически проверить на корректность, это будет хуже, чем бесполезно. Обычно область применения очень узкая, а не переписывание «Автостопом по Галактике».
Но в любом случае, он, вероятно, просто повторяет то, что ему предложили инженеры, чтобы выглядеть умным и во главе дела.
Я читал об этом в популярной книге какого-то парня по имени Оруэлл
Разве он не был детским автором, который опубликовал книгу о говорящих животных, которые учатся ценить усердный труд или что-то в этом роде?
Именно так!
Это будет уважаемая британская писательница Джорджи Оррелл, автор таких причудливых классиков, как «Теперь животные управляют фермой!», «Мой большой день на пирсе Уиган» и, конечно же, «Забавное приключение Уинстона в восьмидесятых».
Какой же это идиот
если ты не скажешь мою правду, я заставлю тебя признать мою правду.
ничто так не говорит об абьюзивном придурке, как это.
Дай угадаю. "Холокост был мифом" — это первый пункт в его списке.
Ему бы просто раньше отправиться в ад.
Ему следовало бы отправиться в ад пораньше.
Он собирается на Марс, как только будет готов FSD у Tesla, точно в следующем году!, чтобы не взорвать свою ракету, а уже там общаться со своим удивительным чат-ботом, который с задержкой в 20 минут на каждое сообщение будет говорить ему, что он действительно лучший.
Какой же он полный идиот.
Он уже доказал свою неспособность фактами в своих призывах к "белой геноциде".
Просто одна из этих ошибок для удаления.
Это Министерство Правды.
Это Министерство Правды по вопросам ИИ.
На самом деле один из персонажей в "1984" работает в отделе, который производит любовные романы, созданные с помощью компьютера. Оруэлл довольно точно предсказал идею использования фальшивой продукции ИИ как инструмента пропаганды.
Без иронии — орвелловский
Я вижу лишь выпечку в лжи.