OpenAI Sora обмежує зображення людей з міркувань безпеки

OpenAI Sora обмежує зображення реальних людей і вживає інших суворих заходів безпеки, щоб запобігти зловживанням.

Виробник відео, який був анонсований у понеділок у рамках події 12 Days of OpenAI, має всі види можливостей редагування, щоб користувачі могли створювати та налаштовувати відео, згенеровані ШІ. Але є певні речі, які вам заборонено робити з Sora, як незабаром виявили користувачі.

Можливо, твіт було видалено

Згідно з його системною карткою, «можливість завантажувати зображення людей буде доступна підгрупі користувачів», тобто більшість користувачів не можуть створювати відео людей на основі завантаженого зображення. Ці користувачі є частиною «пілоту схожості», який OpenAI тестує з кількома обраними. Представник OpenAI сказав, що створені штучним інтелектом відеоролики людей обмежені, щоб «розв’язати занепокоєння з приводу зловживання видаванням себе за іншу особу та глибоких фейків». OpenAI «активно відстежуватиме моделі неправомірного використання, і коли ми виявимо це, ми видалимо вміст, вживемо відповідних заходів щодо користувачів і використаємо цю ранню інформацію, щоб повторити наш підхід до безпеки», — продовжив речник.

Обмеження зображення людей у ​​відео Сори має сенс з точки зору відповідальності. Є кілька способів зловживання цим інструментом: спуфінг без згоди, зображення неповнолітніх, шахрайство та дезінформація, щоб назвати декілька. Щоб боротися з цим, Sora навчено відхиляти певні запити текстових підказок або завантажень зображень.

Він відхиляє підказки щодо вмісту NSFW (Небезпечно для роботи) і NCII (Незгодні інтимні зображення), а також створення реалістичних дітей, хоча віртуальні зображення дозволені. OpenAI додав метадані C2PA до всіх відео Sora та зробив видимий водяний знак за замовчуванням, хоча його можна видалити, а також реалізував внутрішній зворотний пошук зображення для оцінки походження відео.

Незважаючи на те, що було застосовано багато запобіжних заходів для запобігання зловживанням, питання про те, як Sora відреагує на масштабні стрес-тести, залишається відкритим. Доступ до Sora наразі недоступний через великий попит.