Amazon, начинавшая как книжный магазин, теперь покупает редкие книги, отрезает корешки и сканирует страницы для обучения ИИ. Журналисты 404 Media вложили в книгу трекер и нашли её на складе Amazon VGT3 в Лас-Вегасе. Склад обозначается символом динозавра с книгой в когтях.
В Amazon заявили, что «покупают книги через коммерческие каналы для улучшения продуктов и услуг, которыми пользуются клиенты». Компания не уточнила, сколько книг уже было переработано.
Такая практика объясняется огромной потребностью в текстах для обучения больших языковых моделей. Интернет-данные уже во многом исчерпаны, поэтому компании ищут новые источники. Некоторые, как Anthropic, использовали нелегально скопированные книги.
Редкие печатные издания — особенно те, что давно не переиздавались и отсутствуют в сети — становятся ценным источником «чистого» текста. Их содержание создано людьми до 2022 года и не затронуто «модельным коллапсом» при обучении ИИ на сгенерированном материале.
Использование сканов книг позволяет Amazon получать данные, которых нет ни в одной открытой базе. Это снижает риск повторения синтаксических ошибок и бессмысленных комбинаций, характерных для моделей, обученных на текстах других нейросетей.
