Volantis: фотоника внутри ИИ-ускорителей для преодоления «стены памяти»

Что произошло

Стартап Volantis, который поддерживает Сэм Альтман, по данным The Register планирует заменить медные межсоединения фотоникой внутри ускорителей искусственного интеллекта. Цель компании — смягчить узкое место пропускной способности памяти, которое, по описанию издания, ограничивает производительность и стоимость ИИ-систем.

Анонс касается архитектуры самих ускорителей, а не отдельного программного продукта. Речь идёт о том, как данные передаются между вычислительным ядром и памятью, то есть о так называемой «стене памяти» (memory wall). Сообщение The Register отражает замысел компании. Сроки вывода технологии на рынок, детали реализации и измеримые показатели эффективности в доступном материале не приведены, поэтому в этом обзоре мы на них не опираемся.

Почему это важно

Для руководителей, которые внедряют ИИ, эта новость касается экономики работы систем. Если передача данных внутри ускорителя станет быстрее и дешевле, изменится стоимость полезного результата и задержка ответа. От этих параметров зависит, какие сервисы можно запускать в реальном времени, а какие остаются пакетными.

Для лидеров цифровой трансформации это напоминание о том, что решения на уровне инфраструктуры влияют на качество сервиса. Организациям, которые планируют ИИ-сервисы, стоит спрашивать поставщиков не только о качестве модели, но и об аппаратных ограничениях, определяющих время отклика и затраты.

Позиция Renascence

Обсуждение, скорее всего, сосредоточится на скорости чипов. С точки зрения клиентского опыта важнее предсказуемость задержки, чем пиковая производительность.

Большинство читателей обратят внимание на обещание более быстрых чипов, но клиент, который ждёт ответа ИИ, ощущает именно паузу, а не пропускную способность. Лежащий в основе принцип из поведенческой экономики прост: воспринимаемая отзывчивость формирует доверие сильнее, чем результаты бенчмарков. Поэтому операторам стоит сначала найти, где задержки сегодня ломают их клиентские пути, и закладывать в контракты с поставщиками уровни обслуживания, связанные с отзывчивостью, а не только с точностью модели.