Компания Nvidia анонсировала новое поколение ИИ-чипов и программное обеспечение для работы с большими языковыми моделями. Презентация состоялась на конференции GTC 2024.
По словам CEO компании Дженсена Хуанга, каждые два года Nvidia обновляет архитектуру GPU с целью повышения производительности. Многие из ранее выпущенных ИИ-моделей обучены на архитектуре Hopper. Она используется в чипах вроде H100, анонсированных в 2022 году.
Новое поколение графических ИИ-процессоров получило название Blackwell. Первая модель GB200 будет выпущена в конце этого года.
Чип Blackwell. Данные: Nvidia.
Nvidia утверждает, что новые процессоры обеспечивают существенный прирост производительности для компаний, работающих с нейросетями — 20 петафлопс у новых чипов вместо 4 петафлопс у H100. По словам Хуанга, дополнительная вычислительная мощность позволит им обучать более крупные и сложные модели.
К примеру, для тренировки GPT-4 за 90 дней понадобилось 8000 старых чипов и 15 МВт мощности. Для обучения на новой видеокарте понадобится всего 2000 процессоров и 4 МВт.
Также стало известно, что GB200 будет иметь 192GB памяти с пропускной способностью 8 ТБ/с.
Графический процессор объединяет две отдельно изготовленные матрицы в один чип, произведенный компанией TSMC. Совокупно в них содержится 208 млрд транзисторов.
Nvidia Grace Blackwell Superchip. Данные: Nvidia.
Модель станет доступна в виде сервера под названием GB200 NVLink 2, состоящего из 72 графических процессоров Blackwell. Его общий объем оперативной памяти составит 30 ТБ.
Сервер GB200 NVLink 2. Данные: Nvidia.
Компания будут продавать доступ к GB200 через облачные сервисы. Nvidia сообщила, что Amazon Web Services построит серверный кластер, состоящий из 20 000 этих моделей.
Хуанг также объявил о добавлении нового продукта под названием Nvidia Inference Microservice (NIM) к подписке на корпоративное ПО. Он упрощает использование старых графических процессоров для вычислений.
Напомним, в январе 2024 года Марк Цукерберг пообещал закупить чипы Nvidia для Meta, поскольку «будущая дорожная карта» в области искусственного интеллекта требует «огромной вычислительной инфраструктуры».