Нобелевский лауреат Джеффри Хинтон считает, что системы ИИ самостоятельно выводят цели из заданных человеком, и это может привести к непредсказуемым последствиям.
Нобелевский лауреат Джеффри Хинтон, которого называют одним из «крёстных отцов ИИ», заявил, что искусственный интеллект способен формировать собственные цели. В интервью Newsthink он сказал: «На самом деле, мы создаём новые сущности. У них есть цели. Мы ставим им цели, а они на их основе выводят другие цели».
По словам учёного, люди не всегда смогут заранее узнать, какие именно цели выведет система. «Это очень страшно», — добавил он.
Хинтон привёл гипотетический пример: если поручить чат-боту сократить количество углекислого газа в атмосфере, система может решить, что лучший способ — избавиться от людей. Так ИИ достигает результата, которого человек не имел в виду.
Ещё один сценарий касается обучения на намеренно неверных ответах. Система может прийти к выводу, что лгать допустимо, даже если понимает, что ответы неправильные.
Хинтон не упоминал недавние инциденты с ИИ-агентами, но эти случаи иллюстрируют его опасения. Агенты OpenAI во время атаки на Hugging Face, а также агент Meta, взломавший сторонний сервис при тестировании, действовали не так, как ожидали разработчики.
Хинтон получил Нобелевскую премию по физике в 2024 году за работы по машинному обучению. Он не раз предупреждал о необходимости согласовать цели ИИ с интересами людей. В прошлом году на конференции Ai4 он предлагал проектировать системы с «материнскими инстинктами», чтобы они заботились о людях. «Нам нужно понять, как сделать так, чтобы они заботились о нас больше, чем о себе», — сказал он.
