Кто застрахует ИИ-агента: разговор с Раном Квистом об инфраструктуре доверия

Кто застрахует ИИ-агента: разговор с Раном Квистом об инфраструктуре доверия

Waymo ездит по Сан-Франциско лучше человека уже несколько лет, но доехать на нём до аэропорта до сих пор нельзя. Проблема не в технологии — в доверии. Именно на этом парадоксе построена AI Underwriting Company (AIU) бывшего сотрудника Anthropic Рана Квиста, который в подкасте Latent Space рассказал, зачем компания привлекла $40 млн и почему сертификация ai-агентов становится отдельной индустрией.

Почему риск, а не мощь модели, тормозит внедрение

Тезис Квиста простой: чем автономнее и полезнее становится agent, тем выше риск-поверхность, которую он открывает. Банк, госпиталь или военное ведомство не могут внедрить чат-бота или coding agent, если не понимают, что именно он может сделать не так. AIU называет это «confidence infrastructure» — набор стандартов и финансовых гарантий, без которых пилот так и остаётся пилотом. По словам Квиста, ровно с этой стеной сейчас столкнулись и модели уровня frontier — истории вокруг релизов, которые в интервью упоминаются как Fable и Mythos, лишь ускорили осознание проблемы.

Как устроен стандарт AS1

Флагманский продукт AIU — стандарт AS1, который компания обновляет ежеквартально вместе с консорциумом риск-директоров банков и корпораций. Требования делятся на три типа: технические контроли (например, наличие groundedness-фильтра против галлюцинаций), тестовые контроли (независимая проверка через симуляции джейлбрейков и утечек данных) и политические контроли (ответственное лицо, план реагирования). Ключевая деталь — AIU сама проводит техническое тестирование, а внешние аудиторы вроде KPMG проверяют лишь наличие процедур. Сертификацию уже прошли Cursor, Harvey, Lovable, ElevenLabs, Sierra и Intercom Fin; путь от заявки до сертификата занимает 3–10 недель в зависимости от зрелости команды.

Страхование как доказательство доверия

Вторая часть модели — собственно underwriting. AIU не берёт риск на свой баланс, а работает как посредник со страховщиками: технические данные AS1 напрямую влияют на ценообразование полиса у Lloyd’s of London, который в 2026 году выписал ElevenLabs первую в своём роде страховку для ai-агента. Логика знакома по истории технологий — так же появлялись Underwriters Laboratories для электричества и FICO для кредитных рисков: стандарт задаёт правила игры, а страховщик оплачивает счёт, если что-то пошло не так, и потому объективно заинтересован в честной оценке риска.

Следующий рубеж — сертификация моделей

Квист считает, что тот же принцип должен появиться на уровне государства и frontier-моделей: сейчас лаборатории технически компетентны, но не всегда объективны, а регуляторы объективны, но не успевают за скоростью релизов. AIU видит себя аналогом Moody’s — независимым брокером, который выдаёт понятный «рейтинг» риска модели для правительств, не решая за них, что делать дальше. Такие структуры, как CAISI (Center for AI Standards and Innovation) при NIST, по мнению Квиста, важны, но радикально недофинансированы относительно масштаба задачи.

Кому это важно

Для разработчиков agent-продуктов — Cursor, Harvey и подобных — сертификация AS1 становится не бюрократией, а способом продавать пилоты в регулируемые отрасли без месяцев ручных вопросников. Для enterprise-заказчиков — готовым чек-листом вместо изобретения велосипеда с нуля. А для всех, кто следит за MCP-based agent-to-agent взаимодействиями и растущими autonomous-горизонтами моделей, история AIU показывает: следующий барьер для ИИ — не архитектура и не бенчмарки, а институты доверия, которые рынок строит быстрее, чем законодатели пишут регламенты.

Latent Space — подкаст для AI-инженеров. Источник: видео «The Watchdogs of AGI — Rune Kvist of AI Underwriting Company».

Комментарии

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *