Исследование Microsoft показало, что обработка одного запроса к большим языковым моделям стала значительно более энергоэффективной, чем считалось ранее.
Microsoft опубликовала результаты исследования, согласно которым современные ИИ-системы потребляют в 8-20 раз меньше энергии на обработку одного запроса. Это стало возможным благодаря оптимизации крупных языковых моделей (LLM) и инфраструктуры дата-центров.
Исследование, проведенное Microsoft AI for Good Lab, Microsoft Sustainability и Azure, показало, что типичный запрос к мощным LLM требует от 0,16 до 0,60 Вт⋅ч электроэнергии. Это сопоставимо с потреблением обычного ПК за 15-60 секунд.
Ранее оценки энергопотребления были выше, так как не учитывали эффективность работы крупномасштабных, оптимизированных ИИ-систем, обрабатывающих миллиарды запросов ежедневно.
Потребление воды на один запрос оценивается в 0-0,067 мл, что составляет менее одной капли. Ожидается, что этот показатель снизится с развитием технологий дата-центров, включая те, что используют нулевое потребление воды.
Исследователи отмечают, что чем крупнее ИИ-система, тем выше ее эффективность. Крупные операторы, такие как Microsoft Azure, применяют методы оптимизации, снижающие затраты энергии на каждый отдельный запрос.
При обработке одного миллиарда запросов в день, энергоэффективные системы потребляют около 0,3 ГВт⋅ч, что более чем в два раза меньше базовых показателей. Оптимизация сокращает общее потребление энергии более чем наполовину даже для сложных задач, таких как генерация кода.
Microsoft инвестирует в повышение эффективности ИИ через оптимизацию моделей (например, Phi и Fara-7B), улучшение оркестровки запросов в дата-центрах и использование более производительного оборудования, включая специализированные ИИ-чипы, такие как Microsoft Maia 200.
