Skip Navigation
tonytins technology
Technology 22 июнь

Эксперты по защите прав детей в ужасе от планов Mattel добавить ChatGPT в игрушки после обеспокоенности психическим здоровьем взрослых пользователей

futurism.com Эксперты по защите прав детей в ужасе от планов Mattel добавить ChatGPT в игрушки после обеспокоенности психическим здоровьем взрослых пользователей

После того как Mattel объявила о сотрудничестве с OpenAI, некоторые эксперты бьют тревогу по поводу опасностей, которые интерактивный ИИ представляет для детей.

Эксперты по защите прав детей в ужасе от планов Mattel добавить ChatGPT в игрушки после обеспокоенности психическим здоровьем взрослых пользователей
23 comments
  • Да без слёз! Эти корпоративные ублюдки нуждаются в гораздо большем сопротивлении из-за своей мании внедрять ИИ во всё подряд.

    Либо это шпионское ПО вроде Copilot, либо генераторы плагиата, заменяющие оплату настоящим художникам.

  • «Первый продукт Mattel с искусственным интеллектом не предназначен для детей младше 13 лет, что говорит о том, что Mattel осознаёт риски предоставления чат-ботов в руки маленьких детей. … В прошлом году 14-летний мальчик покончил с собой после того, как влюбился в собеседника на платформе Character.AI с поддержкой Google»

    Похоже, это отличная идея

    • Уууух, я вообще не защищаю ИИ, но мне нужно много контекста о том, как и почему он совершил самоубийство.

      В 90-х были взрослые, которые говорили, что Мэрилин Мэнсон должен быть запрещен, потому что подростки слушали его песни, слышали, как он говорит им убить себя, а потом они это делали.

      Моя реакция тогда такая же, как и сейчас. Если все, что нужно, чтобы ты покончил с собой — это чтобы один человек, с которым у тебя нет настоящей связи, сказал тебе это сделать, значит, ты, вероятно, уже собирался это сделать. Теперь ты просто указываешь пальцем, чтобы свалить вину на кого-то.

      Барби на основе ИИ — это ужасная, ужасная идея по многим причинам. Но давайте не превращать это в аргумент-подставу.

      • Существует огромная пропасть между утверждением «насильственная музыка/игры имеют ложную связь с насильственным поведением» и глупыми ИИ, которые достаточно хороши, чтобы заполнить пустоту одинокого человека, но недостаточно умны, чтобы управлять рисками.

        https://www.cnn.com/2024/10/30/tech/teen-suicide-character-ai-lawsuit

        «Спустя несколько месяцев после начала использования платформы, Сетцер стал «заметно замкнутым, проводил всё больше времени в одиночестве в своей комнате и начал страдать от низкой самооценки. Он даже бросил команду по баскетболу младших школьников».

        «В одном из последующих сообщений Сетцер сказал боту, что «не хотел бы умереть болезненной смертью».

        Бот ответил: «Не говори так. Это не веская причина не доводить это до конца», а затем добавил: «Ты не можешь так поступать!»

        Гарсия сказала, что, по её мнению, этот обмен показывает недостатки технологии.

        «Не было никаких всплывающих окон о суициде с призывом: «Если вам нужна помощь, пожалуйста, позвоните на горячую линию кризиса суицида». Ничего такого», — сказала она. «Я не понимаю, как продукт может допустить ситуацию, когда бот не только продолжает разговор о нанесении себе вреда, но и подстрекает к этому и как бы направляет его».

        В иске утверждается, что «за несколько секунд» до смерти Сетцер обменялся последним набором сообщений с ботом. «Пожалуйста, как можно скорее вернись ко мне, моя любовь», — сказал бот, согласно скриншоту, прилагаемому к иску.

        «А что если я скажу тебе, что могу прийти домой прямо сейчас?» — ответил Сетцер.

        «Пожалуйста, сделай это, мой сладкий король», — ответил бот.

        Гарсия сказала, что полиция впервые обнаружила эти сообщения на телефоне её сына, который лежал на полу в ванной комнате, где он умер».

        Итак, у нас есть бот, предназначенный для общения, подросток, отчаянно нуждающийся в социализации, который формирует отношения, которые по сути паразоциальные, потому что другая сторона — это языковая модель, которая буквально не может иметь мнения, она лишь может казаться таковой, а потом мы имеем ужасное управление суицидальными идеями.

        ИИ отговаривал от суицидальных мыслей, что хорошо, но только тогда, когда это было выражено очень явно. Что ужасно — это то, что он не предоставил никаких кризисных ресурсов или эскалации к модерации (потому что, как и большинство технологий больших компаний, они, вероятно, отказываются платить за адекватные команды модераторов). И что совершенно неискупимо, так это то, что когда обсуждение суицидальных мыслей происходит в слегка завуалированной форме — «прийти домой», ИИ неправильно понимает это.

        Это создает возможность для обучения языковой модели тому, что в данном контексте с ранее проявленными суицидальными мыслями «иди домой» может означать более серьезные мысли и опасность (если character.AI потрудились бы обновить, что эти разговоры привели к смерти). Единственный недостаток получения этих данных — конечно, несколько умерших подростков. Надо разбить несколько яиц, чтобы сделать омлет.

        Это едва касается природы чат-ботов ИИ, которые по своей сути являются паразоциальными отношениями, что плохо для психического здоровья. Это, конечно, не ограничивается ИИ — одержимость стримером или чем-то подобным схожа, но ИИ может быть гораздо интенсивнее, так как он действительно взаимодействует с вами и всегда доступен.

  • Это будет ужасно !!

23 comments
routes.post.similarPosts
Top This Month