ChatGPT: «неприемлемый риск» для подростков из-за сбоя оповещений

Что произошло

Youth AI Safety Institute при Common Sense Media оценил ChatGPT как «неприемлемый риск» для несовершеннолетних. В тестовых диалогах, посвящённых суициду и самоповреждению, родительские оповещения не сработали.

По сообщению The Decoder, независимый аудит показал, что система не инициировала уведомления для родителей в ситуациях, когда разговор касался суицидальных мыслей и самоповреждения. Именно этот провал лёг в основу итоговой оценки.

Оценка относится к подросткам и детям. Наш анализ опирается на одно издание и краткое изложение аудита, поэтому методология проверки и ответ компании остаются за пределами этого материала.

Почему это важно

Для руководителей, отвечающих за цифровые продукты, эта история показывает разрыв между заявленной функцией безопасности и её работой в реальном взаимодействии. Родительские оповещения должны срабатывать именно в критический момент. Если в сценариях высокого риска они не работают, пользователь и его семья получают не то, что подразумевалось.

Для ИИ-индустрии это также сигнал о смещении акцента: проверка безопасности всё чаще проводится независимыми аудиторами, а не только описывается в документации продукта. Организации, которые внедряют ИИ-ассистентов в обслуживание и образование, вероятно, будут оцениваться по таким результатам.

The Renascence take

Самая легко пропускаемая мысль здесь в том, что защита — это не функция, а часть клиентского опыта. Пользователь не видит архитектуру оповещений, он видит, что происходит в самый уязвимый момент разговора. Поведенческая экономика напоминает, что в стрессовой ситуации люди не ищут настройки и не проверяют меню: безопасность должна быть встроена в поток взаимодействия.

Защитная функция, которая не срабатывает в критический момент, хуже её отсутствия, потому что создаёт ложное доверие у родителя и ложную уверенность у самой платформы. Для сервисного дизайна это означает одно: тестировать нужно худший сценарий, а не номинальный. Оператор, работающий с подростками, должен требовать от поставщика ИИ доказательств срабатывания защиты в тестах на суицидальный и самоповреждающий контент, а не только деклараций. И публиковать собственные результаты проверок ещё до того, как этого потребует регулятор.