22 октября Hugging Face выпустила открытую модель Carbon-X. Она принимает вопросы о ДНК на обычном языке и отвечает, как изменения в генетических последовательностях могут влиять на активность генов и здоровье.
Модель разработали вместе с учёными Zhongguancun Academy в Китае и Неаполитанского университета имени Федерико II в Италии. Её обучали на данных о млекопитающих, других позвоночных и беспозвоночных, растениях, грибах и простейших.
В основу Carbon-X взяли языковую модель и расширили её словарь, чтобы она обрабатывала ДНК группами по шесть букв. Затем модель обучили на 300 млрд токенов: генетических последовательностях, английском тексте и примерах, связывающих участки ДНК с биологическими описаниями.
Исследователи могут спрашивать, например, связана ли конкретная мутация с заболеванием или она безвредна. Разработчики рассчитывают, что Carbon-X поможет в исследованиях лекарств и генетической терапии.
У модели 14 млрд параметров. Она рассчитана на локальный запуск, без отправки пользовательских данных в облако. Carbon-X обрабатывает фрагменты ДНК длиной примерно до 50 тысяч пар оснований, поэтому загрузить целый человеческий геном нельзя. Вирусные последовательности в обучении не использовали.
Разработчики не проверяли прогнозы Carbon-X в лабораторных экспериментах и пока не могут оценить их точность. Модель предназначена для исследовательской работы, а не для подтверждения медицинских выводов.
