Исследователи из Стэнфорда, MIT и других институтов запустили проект AI Observatory. Это открытая платформа, которая собирает и анализирует реальные диалоги пользователей с популярными ИИ-моделями: ChatGPT, Claude, Gemini и Grok. Данные получены с согласия пользователей из семи существующих наборов данных.
Цель проекта — дать независимую картину того, как люди применяют генеративный ИИ. По словам Анки Ройль, соавтора исследования, сейчас важные решения о пользе и рисках ИИ принимаются на основе очень ограниченных данных, которые предоставляют сами компании.
Анализ показал, что отчёты компаний часто фокусируются на рабочих сценариях. Например, методология Anthropic Economic Index отсеивает разговоры, не связанные с работой. Когда исследователи применили тот же подход к своим данным, выяснилось: 48% диалогов были бы отфильтрованы. Эти «нерабочие» разговоры чаще касались здоровья и отношений (44,2% против 31,2%), взрослых тем (7,9% против 2,1%), оскорблений и ненависти (27,5% против 5,66%), а также сексуального контента (16,7% против 2,4%).
Исследование также выявило различия между моделями. Grok и Gemini чаще использовали для поиска информации, причём на Grok оказалось больше дезинформации. К Anthropic обращались за помощью в программировании, к Gemini — для социальных и ролевых игр, а ChatGPT — для помощи с домашними заданиями. Со временем диалоги становились длиннее, а количество «светских» разговоров росло, что говорит о росте использования ИИ как компаньона.
Данные AI Observatory доступны для других исследователей. Команда проекта надеется расширять наборы данных и призывает компании делиться информацией с независимыми учёными, соблюдая конфиденциальность пользователей.