Немецкая Aleph Alpha опубликовала англо-немецкую языковую модель Kolibri под лицензией Apache 2.0. Она содержит 78,1 млрд параметров, из которых при обработке каждого токена задействованы 3,46 млрд. Модель поддерживает рассуждения, вызов инструментов и контекст до 1 048 576 токенов; для сложных задач разработчики рекомендуют ограничиваться 262 144.
«Без отправки внутренних данных сторонним сервисам», — так Aleph Alpha описывает преимущество развёртывания модели внутри организации.
Малое число активных параметров снижает объём вычислений, однако хранить в памяти нужно всю модель. Только веса в опубликованном формате FP8 занимают около 78 ГБ; для запуска потребуется дополнительная память под контекст и рабочие данные.
Сообщение Aleph Alpha · Модель и требования к оборудованию
#новости #ИИ #Kolibri #AlephAlpha
@digitaltimeslv
Original in Telegram: https://t.me/digitaltimeslv/10824