Google приостановила bug bounty для open source из-за потока ИИ-заявок

Что произошло

Google приостановила работу своей программы по поиску уязвимостей (bug bounty) для проектов с открытым исходным кодом после резкого роста числа заявок, сгенерированных с помощью искусственного интеллекта. По данным TechCrunch, поток таких отчётов оказался слишком велик для команд, которые вручную проверяют и подтверждают каждую заявку, что и вынудило компанию временно остановить приём новых сообщений об уязвимостях.

Компания не назвала точную дату возобновления программы, отметив лишь, что пауза введена на неопределённый срок — до тех пор, пока не будет найден способ справиться с возросшей нагрузкой.

Почему это важно

История демонстрирует оборотную сторону массового применения генеративного ИИ: инструменты, которые ускоряют поиск потенциальных уязвимостей, одновременно создают избыточную нагрузку на человеческое звено процесса — проверку, верификацию и принятие решений. Программы bug bounty изначально строились на модели доверия и ограниченного числа квалифицированных исследователей; появление ИИ-генерируемых заявок меняет саму экономику этой модели, резко увеличивая объём входящего потока при том же количестве людей, способных его обработать.

Для организаций, выстраивающих процессы с участием ИИ — будь то служба поддержки, модерация контента или, как в этом случае, безопасность — сигнал один: масштабирование входящего потока с помощью ИИ должно сопровождаться параллельным пересмотром пропускной способности на стороне проверки и принятия решений человеком, иначе система перегружается быстрее, чем успевает адаптироваться.

Мнение Renascence

На первый взгляд это техническая новость про безопасность кода, но по сути — классический кейс из области сервис-дизайна: один из каналов «входящих обращений» внезапно масштабировался в разы благодаря инструменту, который не был рассчитан на такой объём, и инфраструктура проверки не выдержала.

Большинство комментаторов увидят в этом историю про спам или издержки ИИ. Мы видим в ней напоминание о базовом принципе сервис-дизайна: любой канал, который вы открываете для внешних обращений — будь то заявка на баг, жалоба клиента или запрос в поддержку — должен проектироваться с учётом максимально возможного объёма и скорости поступления, а не среднего. Организациям, которые внедряют ИИ в клиентские или партнёрские каналы, стоит заранее смоделировать сценарий кратного роста обращений и продумать, как изменится нагрузка на людей, принимающих решения, прежде чем открывать шлюз — иначе придётся делать то же, что сделала Google: закрывать канал и чинить процесс на лету.