Новый сервис «In the Weights» анализирует ответы языковых моделей на запросы о людях, чтобы определить их «вес» в данных, на которых обучался искусственный интеллект.
Сервис «In the Weights» позволяет оценить, насколько хорошо различные ИИ-модели «помнят» конкретного человека. Он анализирует ответы моделей на основе данных, использованных при их обучении, без обращения к поисковым системам.
Идея сервиса заключается в том, что «быть в весах» означает, что существование человека было признано важным при создании ИИ. «In the Weights» отправляет запросы к таким моделям, как Grok, Gemini, различные версии GPT, Claude и Llama, с просьбой предоставить информацию о человеке.
Сервис группирует похожие описания и присваивает каждому человеку «оценочный балл силы». Этот показатель отражает, насколько уверенно и детально ИИ смог описать человека, основываясь только на своих внутренних данных.
Создатели сервиса, Томас Димсон и Джоуи Флинн, бывшие сотрудники OpenAI, запустили «In the Weights», чтобы исследовать, как информация о людях кодируется в числовых параметрах ИИ-моделей. Они отмечают, что традиционные «тщеславные поиски» в Google теряют актуальность, поскольку все больше информации передается через чат-ботов.
Результаты могут быть неожиданными. Сервис также может выявлять потенциальные «галлюцинации» ИИ, когда модели предоставляют неточную или вымышленную информацию.
Сервис имеет дизайн в ретро-стиле, напоминающем игры Nintendo. Разработчики планируют изучить, почему разные модели дают разные результаты, какие модели предвзяты к определенным типам людей и как можно улучшить представление о людях в ИИ.
