Как работает ответственность ИИ-агентов при ошибке

ИИ-агент может отправить возврат, влить изменения в код, отказать соискателю или разместить заказ. Но он не может выступить ответчиком, оплатить мировое соглашение или объяснить регулятору, почему за решение никто не отвечал. Первое правило ответственности ИИ-агентов простое: закон смотрит сквозь агента на людей и компании, которые его спроектировали, продали, настроили, внедрили, контролировали или получили от него выгоду.

Сложнее понять, кто именно заплатит. Единого ответа нет, потому что одно неудачное действие может привести к требованию клиента по договору, иску стороннего лица о небрежности, разбирательству с регулятором и спору поставщиков о возмещении. Основателям нужно разделить эти пути до переговоров о лимите. Лимит, который покрывает сервисные компенсации, но игнорирует иск о дискриминации или испорченную производственную базу данных, остается декорацией. Это практическая рабочая схема, а не юридическая консультация для конкретной юрисдикции.

Агент не принимает ответственность на себя

Компания, которая дает агенту полномочия, обычно отвечает за непосредственный операционный результат, даже если модель для рассуждений предоставил другой поставщик. Судам и регуляторам не нужно признавать программу юридическим лицом, чтобы найти обычного ответчика. Они могут установить, у кого была обязанность, кто контролировал систему, кто дал обещание и чей бизнес получил выгоду.

Слово «автономный» не разрывает эту цепочку. Агент по закупкам действует через учетные данные, выданные покупателем. Агент поддержки говорит внутри процесса обслуживания продавца. Агент для программирования меняет репозиторий, потому что работодатель подключил его и выбрал правило согласования. По нормам о представительстве компания может оказаться связана сделкой, если система выглядела уполномоченной ее заключить. Нормы о небрежности могут применяться к компании, которая допустила предсказуемый вред без разумных мер контроля. По договору прямое требование клиента обычно адресуют поставщику, указанному в соглашении.

Ответственность за работу и юридическая ответственность отличаются. В первом случае речь идет о внутреннем распределении ролей: конкретный человек отвечает за агента, его разрешения и решение об остановке. Во втором есть обязанность, которую можно принудительно исполнить, заплатить или предоставить иное возмещение. Поставщик может взять на себя исправление дефекта, но исключить большую часть косвенных убытков. Компания-пользователь может контролировать ежедневную работу и одновременно взыскать убытки с поставщика за ложную гарантию. Если смешать эти понятия, получится договор, где за все отвечают все, но никто не заложил деньги на потери.

Начинайте с карты участников правоотношений, а не со схемы вызовов модели. Укажите компанию-пользователя, поставщика приложения, поставщика модели, интеграторов, поставщиков данных, затронутых клиентов и предсказуемых посторонних лиц. Добавьте работодателя или регулируемого специалиста, чьи обязанности нельзя передать программе. Агент должен остаться в техническом журнале, но он не займет пустое кресло за столом юридических переговоров.

К одной ошибке ведут четыре правовые теории

Большинство сбоев агентов укладывается в существующие основания для иска, хотя исход зависит от фактов и местного права. Новой системе не всегда нужна новая правовая теория. Полезнее провести один сбой по четырем маршрутам и посмотреть, как меняются ответчики, убытки и способы защиты.

В споре между компаниями первым обычно становится договор. Выполнил ли агент обещанную услугу, соблюдал ли обязательство по точности, следовал ли инструкциям, защищал ли конфиденциальные данные и оставался ли в согласованных границах? После этого размер возмещения определяют гарантии, уровни сервиса, оговорки об исключении ответственности, условия приемки, обязательства по возмещению и лимит ответственности. Галлюцинация модели сама по себе еще не нарушение договора. Нарушение возникает, когда сторона не выдала обещанный договором результат или не соблюла предусмотренную им меру контроля.

Небрежность имеет значение, если сторона была обязана проявить разумную осмотрительность, нарушила эту обязанность и причинила предсказуемый вред. Спорным действием может стать слабое тестирование, избыток разрешений, отсутствие проверки, проигнорированные предупреждения, плохой мониторинг или отказ остановить систему после известных инцидентов. Профессиональная небрежность возможна там, где врач, юрист, бухгалтер или другой специалист обязан сохранять собственное профессиональное суждение. Ссылка на рекомендацию агента редко снимает эту обязанность.

Ответственность за дефектный продукт становится актуальной, когда программа причиняет вред здоровью или имуществу, который охватывает применимый режим. Она не покрывает автоматически каждый неверный счет или упущенную прибыль. Директива ЕС 2024/2853 об ответственности за качество продукции прямо относит программы, включая системы ИИ и программы в виде услуги, к продуктам для режима ответственности без вины. Она применяется к продуктам, выпущенным на рынок или введенным в эксплуатацию после 9 декабря 2026 года, когда государства ЕС перенесут ее нормы в национальное право. Директива также предусматривает раскрытие доказательств и опровержимые презумпции, если техническая сложность чрезмерно затрудняет доказывание. Поэтому прослеживаемость нужна не только инженерам, она помогает в судебном споре.

Отдельный риск создают законы. Нормы о конфиденциальности, защите потребителей, занятости, кредитовании, интеллектуальной собственности, запрете дискриминации и отраслевом регулировании могут применяться к решению независимо от определения убытков в договоре. Федеральная торговая комиссия США в делах об ИИ сформулировала мысль прямо: использование ИИ не освобождает от действующего закона. Договор может перераспределить расходы между коммерческими сторонами, но не может разрешить обман или помешать регулятору.

Сначала платит тот, на кого указывает требование

От того, кто понес убыток, зависит, какой договор имеет значение и имеет ли значение хоть один договор. Основатели часто читают условия поставщика модели и решают, что риск ограничен. Такой вывод описывает лишь узкий путь: спор между сторонами, связанными этими условиями, по виду убытка, который разрешено ограничивать.

Представим, что агент читает поддельное письмо, меняет банковские реквизиты поставщика и переводит деньги не на тот счет. Банк или страховщик компании-пользователя может вернуть часть перевода по отдельным правилам. Компания-пользователь может предъявить поставщику приложения требование за нарушение договора. Поставщик приложения может потребовать возмещения от интегратора. Настоящий поставщик вправе настаивать, что исходный счет не оплачен. У каждой стрелки есть своя обязанность, доказательства, исключения и лимит. Единого фонда с надписью «убытки от ИИ» нет.

Теперь изменим обстоятельства. Агент по найму незаконно отклоняет кандидата. Кандидат не подписывал договор компании-пользователя с поставщиком программы, поэтому ограничение ответственности из него обычно не определяет законное возмещение кандидату. Компания-пользователь может первой получить иск, поскольку именно она принимала кадровое решение. Позже она взыщет деньги с поставщика только в том случае, если гарантия или обязательство по возмещению охватывает сбой, а сама компания соблюла условия об уведомлении, порядке использования и контроле защиты. Сроки движения денег важны: право получить возмещение через три года не оплатит сегодняшних юристов и ответ регулятору.

Разделите цепочку на два слоя. Внешняя ответственность охватывает обязанности перед клиентами, сотрудниками, соискателями, потребителями, регуляторами и другими посторонними лицами. Внутреннее распределение определяет, кто кому возмещает расходы среди компании-пользователя, поставщика приложения, поставщика модели и интегратора. Договоры сильнее всего работают во втором слое. Через обязательные меры контроля и страхование они влияют на первый, но не переписывают права постороннего лица.

Перепродавцы и компоненты с открытым исходным кодом усложняют взыскание, но не устраняют ответственность. У стороны, которую видит истец, может не быть прямого договора с разработчиком дефектного компонента. Поставщик приложения может собрать продукт из модели, библиотеки оркестрации и общественного инструмента, лицензии которых исключают гарантии. Эти оговорки влияют на требования между авторами компонентов и интеграторами, однако компания, собравшая и продавшая готовую услугу, все равно отвечает за собственные обещания и меры контроля. Обновленный режим ЕС проводит похожую границу: бесплатные программы с открытым исходным кодом, созданные вне коммерческой деятельности, не входят в его сферу, но производитель коммерческого продукта может отвечать за интегрированный компонент.

Выбор права и места рассмотрения тоже меняет путь. Условие о праве штата Делавэр между двумя поставщиками не обязательно регулирует трудовой спор в другой стране или действия местного регулятора. Арбитраж может сохранить конфиденциальность коммерческого спора, но затронутый потребитель или государственный орган может быть им не связан. Составьте карту участников отдельно по юрисдикциям и требованиям, затем спросите юриста, где обязательные нормы сильнее текста договора. Один глобальный лимит во всех заказах игнорирует ту часть ответственности, которая следует за пострадавшим.

Еще одно различие предотвращает бесполезные споры: ошибка агента не всегда означает ошибку модели. Правильный ответ модели может причинить убыток, если процесс связал его не с тем счетом, получил устаревшие данные, пропустил согласование или повторил необратимое действие. Если отчет об инциденте заканчивается на запросе и ответе модели, компания может обвинить самый заметный компонент и пропустить настоящую техническую и юридическую причину вреда.

Договор распределяет расходы, но не меняет закон

Рабочее условие об ИИ связывает конкретный сбой, конкретную меру контроля и конкретное возмещение. Общая фраза о том, что одна сторона «отвечает за ИИ», оставляет самые дорогие вопросы открытыми. Вынесите рабочие условия в приложение, которое смогут проверить инженеры, закупщики, специалисты по безопасности и юристы.

В приложении следует определить разрешенные сценарии, запрещенные решения, классы данных, права инструментов, пороги согласования, поля журналов, срок хранения, метод оценки, уведомление об изменениях, уведомление об инциденте, право приостановки и помощь при выходе. Укажите, какая сторона обеспечивает каждую меру. Связывайте гарантию только с фактами под контролем соответствующей стороны. Компания-пользователь может гарантировать права на входные данные и свою конфигурацию. Поставщик может гарантировать существенное соответствие сервиса документации и отсутствие скрытой выдачи новых разрешений инструментам.

Краткое распределение может выглядеть так:

Use: Draft supplier refunds up to USD 500.
Action: Human approval is required before payment.
Vendor control: Emit amount, payee, evidence IDs, model version, and confidence flag.
Customer control: Restrict payment credentials and maintain the approver list.
Change: Vendor gives 30 days' notice before removing an approval control.
Incident: Notice within 24 hours after confirmed unauthorized payment.
Evidence: Preserve the action record and relevant configuration for 24 months.
Remedy: Suspend automated payment action without terminating read-only use.

Этот фрагмент предотвращает частый сбой. В заказе сказано, что агент «помогает с возвратами», производственные учетные данные разрешают любой перевод, и каждая сторона думает, что ограничение установила другая. Числовой предел полномочий и назначенный владелец учетных данных превращают предположение в проверяемое условие. Суммы и сроки в примере не универсальны. Выберите их по реальной операции и требованиям к хранению юридических материалов.

Обязательство по возмещению и ограничение ответственности выполняют разные задачи. Первое распределяет определенные требования третьих лиц и обычно задает порядок защиты. Лимит ограничивает охваченные денежные обязательства между сторонами договора. Для конфиденциальности, защиты данных, интеллектуальной собственности, мошенничества, умышленного поведения или обязательств по возмещению могут действовать исключения, но местное право решает, что разрешено ограничить. Не делайте безлимитного исключения для «любой проблемы с ИИ». Его невозможно нормально оценить, а любая сторона сможет переименовать обычный дефект в сбой ИИ.

Прочитайте договоры со всеми зависимыми поставщиками до того, как обещать возмещение своему клиенту. Поставщик модели может ограничить все выплаты небольшой суммой подписки, исключить результаты, потребовать конкретных защитных мер или оставить за собой право быстро менять сервис. Поставщик приложения вправе дать клиенту более широкую защиту, но тогда он сам финансирует разницу. Оцените этот разрыв отдельно, а не надейтесь, что требование аккуратно пройдет по всей цепочке. Установите срок уведомления, который сохраняет права к предыдущему поставщику, и требуйте сотрудничества только в пределах доказательств и доступа, которыми сторона действительно располагает.

Контроль защиты в споре заслуживает отдельного условия. Сторона, обязанная возместить расходы, обычно хочет выбрать юристов и согласовывать мировое соглашение. Защищаемой стороне нужно участвовать, если под угрозой репутация, лицензия, отношения с клиентами или судебный запрет. Укажите, кто платит расходы на защиту, уменьшают ли они лимит, когда можно отказать в согласии и что происходит при отказе принять требование. Многие обязательства по возмещению ломаются именно на этой процедуре, а не на определении ошибки ИИ.

Лимит ответственности требует модели убытка

Определяйте лимит по реалистичным путям убытка, а не автоматически по годовой плате поставщику. Множитель платы легко обсуждать, потому что исходная сумма уже есть. Но она может никак не соответствовать полномочиям агента. Инструмент за 2 000 долларов в месяц, способный отправить 5 миллионов долларов, имеет дешевую подписку и дорогую схему разрешений.

Создайте отдельную строку для каждого существенного действия: отправить деньги, удалить данные, опубликовать материал, изменить производственную систему, раскрыть записи, одобрить льготу или связать компанию обязательством. Для каждой строки оцените максимальную сумму одного действия, число действий до обнаружения, прямые расходы на восстановление, обязательные расходы на уведомление или реагирование и возможный вред третьим лицам. Не выдумывайте точную вероятность, если данных нет. Используйте сценарии и явно запишите допущения.

Затем выберите три договорные корзины. Обычный лимит покрывает типовое нарушение, переделку и сбой услуги. Повышенный лимит может охватывать риски, которыми обе стороны способны управлять или страховать, например некоторые требования из-за конфиденциальности, безопасности или возмещения. Ответственность без лимита должна встречаться редко и только для поведения, которое закон не разрешает ограничить либо которое стороны намеренно исключили из защиты. Эту схему часто называют суперлимитом, но важнее перечень требований и формулировка, не допускающая двойного взыскания.

Проверьте предложение коротким расчетом:

Maximum authorized action          USD 25,000
Actions possible before detection  x        4
Direct reversal and response       + USD 40,000
Modeled operational loss           = USD 140,000
Proposed ordinary cap              = USD  60,000
Unfunded contractual gap            USD  80,000

Результат не доказывает, что правильный лимит равен 140 000 долларов. Он делает решение видимым. Компания может поднять лимит, сократить полномочия агента, ускорить обнаружение, потребовать резерв или купить страховку. Я предпочитаю сначала сокращать полномочия, а потом платить за более крупное обещание. Меры контроля предотвращают убыток, тогда как увеличенный лимит начинает спор о возмещении уже после ущерба.

Учтите и объединение требований. Лимит на одно требование может не сработать, если одна ошибка конфигурации создает тысячи операций. Общий лимит может исчерпаться после другого инцидента. Определите связанные требования, период лимита, включение расходов на защиту в лимит, сервисные компенсации и влияние выплат по возмещению на ту же сумму. Без этих правил громкий лимит мало что сообщает совету директоров.

От доказательств зависит, сработает ли лимит

Компания не сможет применить договорное распределение или защитить свои действия, если не восстановит ход работы агента. Журналы должны подтверждать полномочия, контекст, меры контроля и причинную связь. Одной переписки почти всегда мало, потому что агент действует через модели, системы поиска данных, инструменты, правила и согласования людей.

Записывайте неизменяемый идентификатор события, время, арендатора, версии агента и процесса, идентификатор модели, версию политики, вызов инструмента, очищенные от лишних данных аргументы, идентификаторы источников, запрос на согласование, личность согласующего, результат согласования, конечное внешнее действие, число повторов и состояние отката. Сохраняйте точную конфигурацию или хеш содержимого, по которому ее можно получить. Ведите журнал доступа к самому журналу. Конфиденциальные запросы не должны превращаться во вторую бесконтрольную базу данных, поэтому храните только то, что требуют расследование и правила хранения.

Нормализованная запись об инциденте может иметь такую форму:

{"event_id":"evt_0187","agent_version":"refund-12","policy_version":"pay-4","tool":"issue_refund","amount":750,"approval_required":true,"approval_id":null,"result":"blocked","evidence_ids":["invoice_391","case_882"]}

Полезный результат здесь равен «blocked», а не абзацу о неуверенности модели. Если запись о согласовании отсутствует, мера контроля должна блокировать действие. Для завершенного действия запишите идентификатор внешней операции, чтобы финансисты и юристы связали событие агента с реальным убытком. Проверяйте эту цепочку в обычной работе. Журнал аудита, который никто не умеет запросить во время инцидента, остается счетом за хранение.

Доказательства влияют и на позиции в переговорах. Правила Директивы ЕС об ответственности за качество продукции о раскрытии и доказывании могут ухудшить положение ответчика, который не раскрыл относящиеся к делу материалы, и облегчить бремя истца в технически сложных делах. В других странах обычное раскрытие, запросы регуляторов и выводы против стороны, скрывшей доказательства, создают похожее практическое давление, даже если юридический критерий отличается. Хранить все вечно не нужно. Введите документированный срок хранения, режим сохранения для спора, контроль доступа и удаление, которое действительно выполняется.

Согласование должно соответствовать необратимому вреду

Проверка человеком снижает риск только тогда, когда проверяющий получает данные, время, полномочия и реальную возможность остановить действие. Кнопка для автоматического подтверждения переносит вину на бумаге, но не меняет машинный темп. Схема проверки входит в модель ответственности, потому что показывает, какой вред компания могла разумно предотвратить.

Разделите действия по обратимости и последствиям. Подготовка черновика, поиск и предложение обычно могут выполняться автоматически в контролируемых границах данных. Отправка сообщения, изменение записи или открытие запроса на слияние могут требовать выборочной проверки либо небольшого числового лимита. Перевод денег, удаление производственных данных, регулируемое решение о праве человека или принятие юридических условий требуют явных полномочий и более строгого разделения ролей. Некоторые сценарии следует запретить, если компания не может назначить компетентного проверяющего или объяснить решение.

Не требуйте согласования каждого вызова инструмента. Этот популярный совет кажется безопасным, но на практике проверяющие привыкают к шуму. Поставьте барьер непосредственно перед необратимым внешним действием, покажите предлагаемое действие и доказательства, упростите отказ. Пакетное согласование вызывает особые сомнения: один клик, который выпускает 500 отдельных рискованных действий, не сохраняет человеческое суждение.

Закон ЕС об ИИ проводит эту границу на практике для систем в своей сфере действия. Он различает поставщиков и компании-пользователей, распределяя обязанности по цепочке создания стоимости. Для систем ИИ высокого риска закон требует мер человеческого надзора, а от компаний-пользователей ожидает назначения людей с необходимыми знаниями, подготовкой, полномочиями и поддержкой. Это режим соблюдения правил, а не общий закон о компенсации. Но игнорирование применимой обязанности может стать сильным доказательством в последующем споре о небрежности или дефектном продукте.

Измеряйте долю отмен, заблокированные действия, время проверки, повторяющиеся исключения согласующих и инциденты, найденные после согласования. Не оценивайте проверяющих только по скорости. Если почти все запросы одобряют за секунды, барьер либо не нужен, либо проверка фиктивна. Исправьте процесс, а не используйте подпись как щит.

Страхование закрывает только названные пробелы

Страховка платит лишь тогда, когда текст полиса охватывает истца, событие, ущерб и период. Нельзя купить киберстрахование и объявить любого агента защищенным. Ошибки агентов могут выглядеть как сбой технологической услуги, нарушение конфиденциальности, инцидент безопасности, претензия к публикации, профессиональная ошибка, кадровое решение, вред здоровью, вред имуществу, преступление или несанкционированный перевод. Такие категории часто находятся в разных полисах или исключениях.

Попросите брокера и юриста по страхованию сопоставить каждое смоделированное действие с полисом, условием покрытия, лимитом, собственной долей, исключением и правилом уведомления. Страхование технологических ошибок и упущений может покрывать сбой технологической услуги. Киберстрахование может покрывать некоторые события конфиденциальности и безопасности. Страхование от преступлений или перевода средств может помочь, если платеж произошел из-за обмана. Общая гражданская ответственность может иметь значение при физическом вреде. Страхование директоров и должностных лиц иногда включается в спор об управлении. Ни одно из этих описаний не гарантирует выплату. Все решают определения, исключения и дополнения к полису.

Правдиво опишите страховщику автономность, лимиты операций, производственный доступ, проверку человеком, изменения моделей и прошлые инциденты. Расплывчатая анкета может позднее привести к спору о ложных сведениях. Проверьте, считает ли полис подрядчиков и поставщиков моделей застрахованными лицами, поставщиками или никем из них. Проверьте исключения договорной ответственности, добровольные выплаты, штрафы, интеллектуальную собственность, военные действия, инфраструктуру и требование согласия до мирового соглашения или найма специалистов по инцидентам.

Согласуйте механику договора с механикой страхования. Если договор с клиентом требует уведомить за 24 часа, а поставщик разбирает инциденты раз в месяц, право на возмещение может пропасть до включения страховки. Если расходы на защиту входят в маленький лимит, судебный процесс способен поглотить всю сумму. Если поставщик обязан иметь определенный лимит страховки, запросите подтверждение покрытия и уведомление об отмене, но не путайте справку с текстом полиса.

Держите денежный резерв на собственную долю, исключения и разрывы по срокам. Страхование должно финансировать определенный остаточный риск после работы разрешений, согласований, мониторинга и договоров. Оно не превращает опасное внедрение в разумное.

План управления риском на 30 дней

За 30 дней основатель может взять ответственность ИИ-агентов под контроль, если сузит полномочия, назначит владельцев и создаст доказательства до переписывания всех договоров с поставщиками. Для работы нужен один ответственный руководитель, один технический владелец каждого агента, участие специалистов по безопасности или конфиденциальности при необходимости и юрист для решений о юрисдикциях и договорах.

1. В дни с 1-го по 5-й составьте список всех агентов, которые могут вызвать инструмент или повлиять на существенное решение. Запишите владельца, цель, пользователей, данные, учетные данные, пределы действий, юрисдикции, цепочку поставщиков и способ остановки. Сразу отключите агентов и учетные данные без владельца.
2. В дни с 6-го по 10-й выберите пять путей убытка с самыми серьезными реалистичными последствиями. Пройдите каждый путь от входных данных до внешнего действия. Отметьте, где человек может вмешаться, как быстро компания обнаружит сбой, какое постороннее лицо пострадает и какой договор профинансирует возмещение.
3. В дни с 11-го по 15-й сократите разрешения и поставьте барьеры перед необратимыми действиями. Отделите подготовку от выполнения, используйте отдельные учетные данные, задайте лимиты операций, блокируйте действия без согласования и проверьте откат. Проведите одно учение со сфальсифицированной инструкцией или устаревшей записью.
4. В дни с 16-го по 22-й сделайте запись доказательств полной. Фиксируйте версии, политики, вызовы инструментов, согласования и идентификаторы внешних операций. Проверьте, что руководитель реагирования может найти одно событие без помощи инженера, который создал агента.
5. В дни с 23-го по 30-й сопоставьте договор с клиентом, условия поставщика, страхование и план реагирования с одной таблицей убытков. Передайте руководству пробелы, превышающие резерв или допустимый риск компании. Запланируйте проверку при продлении договора и смене модели.

Результатом должна стать одностраничная карточка для каждого существенного агента, подкрепленная доказательствами вместо презентации о правилах. Она должна отвечать на вопросы: что может сделать агент, каково его крупнейшее необратимое действие, кто его согласует, как быстро мы узнаем о сбое, кто получает уведомление и откуда берутся деньги? Если команда не может заполнить поле, это рабочая задача с владельцем и сроком.

Team & AI Audit от oleg.is может за пять рабочих дней разобрать командную и финансовую сторону решения, пока руководство получает юридические советы у квалифицированного юриста. Услуга стоит фиксированные 5 000 долларов и гарантирует выявление экономии не менее 50 000 долларов в год, иначе аудит проводят бесплатно. Экономия не оправдывает опасные полномочия, но может оплатить меры контроля, резерв и опытного руководителя, без которых серьезная программа агентов не работает.

Не ждите решения суда об ИИ, которое точно повторит ваш набор технологий. Агент уже может перемещать деньги и данные по правилам обычного права. Сначала ограничьте эти полномочия, сохраните доказательства, а затем обсуждайте финансовый лимит с моделью убытка в руках.