Стартап из Индии придумал систему для запуска ИИ-моделей на CPU

[TechnoLab]

Индийский стартап Ziroh Labs разработал систему, которая позволяет запускать передовые ИИ-модели без необходимости использовать мощные чипы. Об этом пишет Bloomberg.


Платформа Kompact AI разработана совместно с Индийским технологическим институтом в Мадрасе. Она дает возможность нейросетям эффективно работать на центральных процессорах (CPU), используемых в обычных вычислительных устройствах.


Стартап ориентируется на процесс вывода, то есть работу ИИ-модели после ее обучения. Он оптимизирует ведущие нейросети для применения на ПК. В качестве примера продемонстрирована работа Llama 2 от Meta и Qwen2.5 от Alibaba на ноутбуке с процессором Intel Xeon.


Ziroh Labs утверждает, что его подход демонстрирует высококачественный результат, а технологию протестировали американские чипмейкеры Intel и Advanced Micro Devices.

«В ближайшие годы это окажет очень сильное влияние на рынок», — считает технический советник стартапа Уильям Радучел.

Директор Индийского технологического института в Мадрасе Ви Камакоти подчеркнул наличие проблемы с доступом к мощным графическим процессорам (GPU) у различных стран вроде Индии.

«Разрыв в области ИИ связан с тем, что только те, у кого есть дорогостоящие ресурсы с GPU, могут получить доступ, разработать и внедрить мощный искусственный интеллект. Мы демонстрируем, что вам не нужен револьвер, чтобы убить комара», — отметил он.

Напомним, в январе китайский стартап DeepSeek выпустил эффективную ИИ-модель R1, чем вызвал вопросы касательно необходимости тратить миллиардные инвестиции на графические чипы.


Тем временем Nvidia анонсировала новые процессоры для создания и запуска ИИ-моделей — Blackwell Ultra и Vera Rubin. Также представлен движок для моделирования движения роботов и ряд других продуктов.