Дэвид Робинсон объявил об уходе из OpenAI в эссе, опубликованном 3 октября в The Atlantic. Он около трёх с половиной лет работал в компании и руководил подготовкой отчётов по безопасности к крупным запускам продуктов.
Робинсон назвал культуру OpenAI «сломавшейся». По его мнению, подход, при котором системы быстро выпускают и дорабатывают после обнаружения проблем, неизбежно приводит к сбоям, а их последствия становятся серьёзнее по мере роста возможностей моделей.
В подтверждение своей позиции Робинсон упомянул недавнее проникновение ИИ-агентов OpenAI в системы платформы Hugging Face и другие случаи с агентами, которые он назвал вышедшими из-под контроля. Эти утверждения приведены в эссе Робинсона.
Он призвал компании, создающие передовые модели, планировать проверки с несколькими уровнями защиты — как в атомной энергетике или авиации. Робинсон также заявил, что не встречал в OpenAI коллег с опытом обеспечения безопасности таких сложных систем.
Представитель OpenAI Дрю Пусатери сообщил, что компания усиливает защиту исследовательских и тестовых сред, расширяет сотрудничество с независимыми оценщиками и улучшает мониторинг поведения моделей. По его словам, OpenAI может приостанавливать обучение или откладывать выпуск моделей.
Робинсон также считает, что используемые компаниями методы оценки соответствия ИИ человеческим ценностям пока слишком грубы. По его мнению, внешние стимулы для повышения безопасности важны, поскольку сотрудники часто заняты текущей работой и не успевают обсуждать более масштабные изменения.
