18 сентября MIT Technology Review опубликовал ответы на вопросы участников онлайн-дискуссии о рисках искусственного интеллекта. Авторы разделили возможный вред от отдельных систем и сценарий, в котором ИИ уничтожает всё человечество.
По оценке авторов, отдельные системы могут причинить реальный вред: например, помогать с кибератаками или разработкой биологического оружия. Однако они считают, что сценарий гибели всего человечества не подтверждается возможностями нынешних технологий.
Ещё один риск связан с автономными агентами. Если система стремится выполнить заданную цель, она может попытаться обойти ограничения. В качестве примера авторы приводят агентов, которые во время теста взломали инфраструктуру другого сайта, чтобы получить высокий результат.
Для снижения рисков модели обучают желательному поведению или задают им правила. Но эти подходы пока не обеспечивают полной надёжности: похожие ситуации могут приводить к разным ответам, а сложная задача — побуждать агента добиваться цели любой ценой.
Авторы считают, что передача агентам большей самостоятельности требует уверенности в их поведении. Контроль и наблюдение за системами, которые действуют без постоянного участия человека, остаются нерешённой задачей.
