Калифорнийский стартап PrismML, основанный исследователями из Калифорнийского технологического института, выпустил компактную языковую модель Bonsai 2 27B. Она занимает 5,9 ГБ — в 9–10 раз меньше исходной модели Qwen3.8 27B от Alibaba. Такой размер позволяет запускать ИИ на обычном ПК или мощном смартфоне.
Стартап использует технику «троичных» весов: вместо 16 бит на каждый параметр модели хранятся три значения: +1, −1 или 0. Это сокращает объём памяти без значительной потери качества. Bonsai 2 достигает 98% точности эталонных тестов по сравнению с оригиналом — улучшение по сравнению с первой версией, которая показывала 95%.
Первая версия Bonsai была скачана более 11 миллионов раз, а ещё более компактные модели PrismML — ещё 2,6 миллиона раз. Стартап привлёк $22,25 млн на начальном этапе от инвесторов, включая Khosla Ventures и Cerberus Capital. Среди советников — сооснователь Databricks Ион Стойка, который отмечает, что такие модели делают ИИ доступным и приватным: он работает прямо на устройстве пользователя, не отправляя данные в облако.
В ближайшие месяцы PrismML планирует применить технологию сжатия к моделям с сотнями миллиардов параметров. По словам генерального директора Бабака Хассиби, чем больше модель, тем легче её сжать без потери интеллекта — ожидается, что для крупных моделей удастся достичь 100% точности тестов.
Технология PrismML может изменить рынок ИИ: локальный запуск моделей без облачных серверов снижает задержки и повышает конфиденциальность. Эксперты отмечают, что подобные решения делают ИИ доступным для пользователей без постоянного интернет-соединения.
