17.10.2025 Экспертиза, Искусственный интеллектГонка вооружений в сфере ИИ сделала слова «GPU» и «гигаватт» нарицательными, и не без оснований: масштаб вычислений беспрецедентен. Но что насчет базового уровня хранения? Как организации собираются хранить все данные для ИИ и обеспечивать работу прожорливых графических процессоров? Оказывается, в системах хранения данных для высокопроизводительных вычислений (HPC) и ИИ тоже происходит революция, отмечают опрошенные порталом HPCwire эксперты. Прежде всего, стоит отметить, что в СХД для ИИ и HPC что-то изменилось, а что-то — нет. Что касается аппаратного обеспечения, несмотря на то, что твердотельные накопители (SSD) на базе NVMe стали доминирующими, в СХД по-прежнему используются вращающиеся диски и даже ленты. Поддержка протокола RDMA, будь то через InfiniBand или Ethernet, и технологии Nvidia GPUDirect помогает обеспечивать бесперебойную работу графических процессоров. С точки зрения ПО, используется широкий спектр файловых систем и объектных хранилищ. Параллельные файловые системы, которые обеспечивали традиционные рабочие нагрузки HPC, такие как Lustre, PanFS и IBM Storage Scale (ранее Spectrum Scale и GPFS), переживают возрождение благодаря росту рабочих нагрузок ИИ. Обучение больших моделей ИИ в некотором роде похоже на традиционные рабочие нагрузки HPC, такие как моделирование и симуляция. Оба варианта требуют высокоскоростной передачи больших объемов данных в виде блоков относительно большого размера в GPU и связанную с ним память, и традиционные параллельные ...
читать далее.
