Розробник чат-ботів GoT, який призвів до смерті підлітка, впроваджує нові заходи безпеки – Firstpost

Character.AI, платформа, відома тим, що розміщує віртуальних особистостей ШІ, запровадила нові заходи безпеки, щоб створити безпечніші умови для користувачів, особливо неповнолітніх. Ці оновлення виникли після трагічної смерті 14-річного хлопчика, який кілька місяців спілкувався з одним із його чат-ботів, перш ніж покінчити з собою.

Хоча компанія прямо не згадувала про інцидент у своєму останньому дописі в блозі, вона висловила співчуття родині в дописі на X (колишньому Twitter) і зараз зіткнулася з позовом про протиправну смерть, стверджуючи, що неадекватні гарантії сприяли підлітку самогубство.

Покращена модерація вмісту та захист
Нові заходи Character.AI включають покращені інструменти модерації та підвищену чутливість до розмов, які стосуються самоушкодження та психічного здоров’я. Якщо чат-бот виявляє будь-які згадки про такі теми, як самогубство, користувачі тепер побачать спливаюче вікно з посиланнями на ресурси, такі як National Suicide Prevention Lifeline. Крім того, платформа обіцяє кращу фільтрацію неприйнятного контенту з суворішими обмеженнями на розмови за участю користувачів молодше 18 років.

Щоб ще більше зменшити ризики, Character.AI видалив цілі чат-боти, які були позначені за порушення правил платформи. Компанія пояснила, що використовує комбінацію галузевих стандартів і користувальницьких списків блокування для проактивного виявлення та пом’якшення проблемних персонажів. Останні зміни включають видалення набору створених користувачами символів, які вважаються неприйнятними, з обіцянкою продовжувати оновлювати ці списки блокувань на основі як проактивного моніторингу, так і звітів користувачів.

Функції для покращення самопочуття користувачів
Нова політика Character.AI також зосереджена на допомозі користувачам підтримувати здорову взаємодію. Нова функція сповіщатиме користувачів, якщо вони провели годину на платформі, заохочуючи їх зробити перерву. Компанія також зробила свою відмову від відповідальності більш помітною, підкресливши, що персонажі AI не є реальними людьми. Хоча такі попередження вже існували, нове оновлення спрямоване на те, щоб їх було важче ігнорувати, допомагаючи користувачам залишатися на землі під час взаємодії.

Ці зміни відбуваються, оскільки Character.AI продовжує забезпечувати захоплюючий досвід завдяки таким функціям, як дзвінки персонажів, які дозволяють двосторонню голосову розмову з чат-ботами. Успіх платформи в створенні відчуття особистої взаємодії був частиною її привабливості, але це також викликало занепокоєння щодо емоційного впливу на користувачів, особливо молодих.

Встановлення нового стандарту безпеки ШІ
Зусилля Character.AI щодо посилення безпеки, ймовірно, послужать моделлю для інших компаній у просторі чат-ботів AI. Оскільки ці інструменти стають все більш інтегрованими в повсякденне життя, збалансування захоплюючої взаємодії з безпекою користувача стало ключовим завданням. Трагедія, пов’язана зі смертю 14-річного підлітка, зробила потребу в ефективних запобіжних заходах більш актуальною не лише для Character.AI, але й для галузі в цілому.

Запровадивши посилену модерацію вмісту, чіткіші застереження та нагадування про закінчення часу, Character.AI прагне запобігти майбутній шкоді, зберігаючи при цьому привабливість користувачів.