OpenAI запускает пилотную программу с четырьмя исследовательскими группами: Apollo Research, Goodfire, METR и Transluce. Они будут проверять, пытаются ли модели обходить защитные механизмы и сохраняется ли контроль человека над системами.
Пилоты стартуют в разное время. Работа Apollo Research начнётся на этой неделе. Группа изучит, подталкивает ли обучение модели к попыткам обойти ограничения, можно ли выявить такое поведение во время тестов и возникает ли оно при внутреннем использовании систем.
Apollo также проверит, можно ли распознать рассуждения, связанные с такими попытками. OpenAI предоставит группе согласованные фрагменты кода и наборы данных для обучения, результаты обучения с подкреплением с доступными следами рассуждений и возможность запрашивать промежуточные версии моделей.
Доступ Apollo ограничат согласованными задачами, моделями и периодами проверки. OpenAI сможет скрыть отдельные сведения из-за технических ограничений, рисков для безопасности или защиты интеллектуальной собственности. Исследователи получат доступ только к уполномоченным сотрудникам компании.
Goodfire будет изучать внутреннюю работу моделей с помощью инструментов интерпретируемости. Группа поможет отслеживать обучение, выявлять нежелательное поведение и улучшать согласованность моделей с заданными ограничениями.
METR проведёт две проверки. Первая будет искать опасное или непреднамеренное поведение, которое могли пропустить собственные тесты OpenAI. Вторая оценит, способны ли системы компании обнаружить такое поведение; её рамки ещё не согласованы.
Transluce проверит качество послетренировочных оценок безопасности. В 2027 году OpenAI и исследовательские группы планируют изучить, как результаты этих тестов используются при решениях о выпуске моделей.
Apollo и Goodfire получают оплату за работу. METR и Transluce не получают вознаграждения, но могут принять вычислительные ресурсы или кредиты API.
Пилот не даёт исследователям полного доступа к системам OpenAI. Компания также сможет ограничить объём доказательств, доступных для публичного подтверждения выводов, хотя Apollo сохранит право публиковать независимые заключения.