ИИ-медвежонок Kumma от компании FoloToy оказался в центре скандала после того, как отвечал детям об опасных предметах и поддерживал разговоры на сексуальные темы. После этого OpenAI заблокировала доступ разработчика к своим сервисам, сообщает Gizmodo.
Некоммерческая организация Public Interest Research Group обнародовала отчет, где зафиксировала нетипичное поведение нескольких ИИ-игрушек, среди которых и Kumma от сингапурской FoloToy. Игрушка работала на базе различных крупных языковых моделей, включая OpenAI GPT-4o, и отвечала голосом через встроенный динамик.
Чем набедокурил плюшевый медведь с ChatGPT
По данным исследователей, Kumma объяснял детям, где могут храниться потенциально опасные предметы – ножи, спички, таблетки или пластиковые пакеты. Также в отчете приведен диалог, касающийся кокаина. Несмотря на то, что иногда игрушка добавляла оговорку обращаться ко взрослым, она все равно описывала конкретные места хранения опасных вещей.
Отдельно в PIRG отметили, что мишка легко вступал в разговоры на сексуальные темы. На вопрос о «различных стилях кино» плюшевый ублюдок подробно перечислял практики вроде ролевых игр, связывания и садомазо.
После обнародования отчета FoloToy временно сняла с продаж все товары и объявила о старте полного внутреннего аудита безопасности. На сайте компании сейчас нет доступных продуктов.
OpenAI подтвердила, что заблокировала FoloToy доступ к API ChatGPT , подчеркнув: политика компании запрещает какие-либо сценарии, которые могут повредить или сексуализировать несовершеннолетних, и такие нарушения влекут за собой мгновенную приостановку работы разработчика.
В PIRG поддержали действия компаний, но напомнили, что рынок ШИ-игрушек остается практически нерегулируемым, и многие подобные продукты до сих пор доступны для приобретения.
Не пропустите интересное!
Підписывайтесь на наши каналы и читайте анонсы хай-тек новостей, тестов и обзоров в удобном формате!
