Американский стартап Subquadratic представил новую модель SubQ, которая, по утверждению компании, работает быстрее, дешевле и потребляет меньше энергии, решая десятилетнюю проблему в развитии больших языковых моделей.
Стартап Subquadratic из Майами анонсировал модель больших языковых моделей (LLM) SubQ. Компания заявляет, что модель решает математическую проблему, замедлявшую развитие LLM около десяти лет, и превосходит существующие аналоги по скорости, стоимости и энергоэффективности.
Существующие LLM используют механизм «плотного внимания» (dense attention) в сетях Transformer. Этот подход требует большого количества вычислений, так как каждое слово (токен) сравнивается с каждым другим. Например, обработка 10 000 слов требует около 50 миллионов умножений, что делает LLM энергозатратными.
SubQ применяет «разреженное внимание» (sparse attention), снижая вычислительную нагрузку. Модель динамически определяет наиболее важные связи между словами, вместо использования фиксированных паттернов.
Независимое тестирование, проведенное компанией Appen, показало, что SubQ в 56 раз быстрее моделей с предыдущими методами разреженного внимания. На тесте LiveCodeBench, оценивающем решение задач по программированию, SubQ показал 89.7%.
Компания также заявляет о значительной экономии средств. По словам соучредителя Джастина Дангела, обработка данных с помощью LLM Opus от Anthropic стоила $2600, тогда как аналогичная задача с SubQ обошлась в $8.
SubQ имеет увеличенное «контекстное окно» до 12 миллионов токенов, что позволяет обрабатывать большие объемы информации. Для сравнения, у конкурентов окна достигают 1 миллиона токенов.
В демонстрации SubQ смог проанализировать 400 документов за несколько секунд. Тест «иголка в стоге сена», оценивающий извлечение конкретной информации из больших данных, показал 98% для SubQ при окнах в 6 и 12 миллионов токенов.
Некоторые эксперты ожидают более широкого доступа к модели для самостоятельной проверки. Если заявления Subquadratic подтвердятся, это может привести к повышению эффективности в разработке LLM.
