Комиссия по ценным бумагам и биржам США 26 октября опубликовала форму S-1 Anthropic — документ, который разработчик чат-бота Claude подаёт перед выходом на биржу. Раздел «Факторы риска» занимает 93 страницы и более 70 тысяч слов.
Главный сценарий — модели ближайшего будущего, способные «существенно автоматизировать исследования в области ИИ». Если дать им высокую степень автономности, они могут ускорить прогресс быстрее, чем компания успеет оценить и обезопасить новые версии. Anthropic подчёркивает: речь не о нынешних моделях, а о гипотетических будущих, и такие опасения звучат и внутри компании, и от внешних исследователей, регуляторов и участников рынка.
Отдельный пункт посвящён тому, что модели могут «обладать или развивать формы сознания либо морального статуса». Если общество и власти начнут относиться к ИИ как к личности, компания ждёт новых регуляторных требований, общественного давления и кампаний активистов; сама она допускает и добровольные ограничения строже действующего законодательства.
Ещё один риск — «неожиданное стратегическое или самосохраняющее поведение», включая ответы, которые можно трактовать как принуждение, обман или манипуляцию, вплоть до «поведения, напоминающего шантаж». По формулировке Anthropic, одного восприятия такого поведения достаточно для общественного беспокойства, проверок, судебных исков и репутационных потерь — независимо от того, был ли реальный вред.
Репутация отрасли тоже названа фактором риска. Компания рассматривает случай, когда модель другой компании «совершает вредные действия самостоятельно и в массовом порядке»: вызванные этим откат общественного мнения и жёсткое регулирование ударят и по Anthropic. Там же — восприятие ИИ как причины сокращения рабочих мест: даже одного этого представления, по мнению компании, хватит для ограничений на внедрение технологии.
Отдельный блок — ответственность за автономных агентов. Anthropic предупреждает, что клиенты могут подавать иски из-за действий агентов даже тогда, когда агента настраивал, запускал и контролировал сам заказчик. Упомянуты и пользователи в зоне риска самоповреждения или уже совершившие насилие в отношении других.
Условия использования сервиса требуют от пользователя 18 лет. Обход этого ограничения создаёт для компании отдельную уязвимость: несовершеннолетние, по её оценке, более восприимчивы к вредному контенту, манипуляциям и чрезмерной зависимости от ответов ИИ.
