NVIDIA Corporation — американская корпорация, зарегистрированная в штате Делавэр в 1993 году, с главным офисом в Санта-Кларе, Калифорния. Основана Дженсеном Хуангом, Крисом Малаховским и Кертисом Приемом. Изначально известная как гигант рынка графических ускорителей (GPU) для гейминга, в середине 2000-х NVIDIA совершила стратегически важный шаг, создав платформу CUDA. Это решение превратило видеокарты в универсальные инструменты для параллельных вычислений, что фактически сделало возможным современную революцию глубокого обучения. К 2025 году NVIDIA контролирует более 80% рынка GPU для обучения и развёртывания моделей искусственного интеллекта.
Компания не ограничивает свои исследования разработкой GPU и CUDA, а активно развивает технологии обучения и инференса LLM. Так в гибридной архитектуре Nemotron-H инженеры решили проблему квадратичного роста сложности традиционных трансформеров, заменив большинство слоев Self-Attention на слои Mamba-2 (State Space Models). В отличие от трансформера, который предсказывает следующее слово на основе всей истории, слой Mamba имеет константную стоимость генерации токена и фиксированный размер состояния, добавляя в сеть динамику — своего рода рекуррентную память, которая обновляется с каждым новым токеном, подобно тому, как человек держит в уме суть разговора, а не весь текст дословно. NVIDIA развивает направление эффективности обучения и активно использует Production-Ready FP8 Training, позволяющее обучать модели полностью в 8-битном формате без потери качества, сокращая требования к памяти вдвое. Отдельного внимания заслуживает технология MiniPuzzle (Pruning + Distillation), метод экстремального «вырезания» наименее важных весов с последующим дообучением, что уменьшает размер модели и ускоряет ее работу на 20% при сохранении точности. Еще один пример концепция Budgeted Reasoning (реализовано в моделях Nemotron Nano), или «контролируемого мышления»: модель учится варьировать глубину рассуждений, используя укороченные цепочки мыслей, чтобы адаптироваться к ограниченным ресурсам и выдавать ответ быстрее при исчерпании «бюджета» выделенного на обдумывание ответа.
NVIDIA занимает уникальную позицию в экосистеме открытого ИИ. На платформе Hugging Face компания представила более 600 моделей и 150+ открытых датасетов. Таким образом NVIDIA сегодня — это не просто производитель "железа", а компания, которая формирует стандарты новшества индустрии LLM по всем ключевым направлениям: от чипов и форматов данных до архитектур нейросетей и сред для их развертывания.