23.11.2019 Новости, Высокопроизводительные системы, Исследования и разработки, Итоги и тенденцииКомпания NVIDIA представила набор ПО Magnum IO, которое позволяет исследователям в области ИИ и HPC обрабатывать большие объемы данных за считаные минуты вместо нескольких часов. Magnum IO устраняет узкие места при хранении и передаче данных, ускоряя до 20 раз обработку массивов данных в многосерверных мульти-GPU вычислительных узлах и позволяя быстро выполнять финансовый анализ, моделирование климата и другие HPC-задачи. Новое решение разработано NVIDIA IO в сотрудничестве с лидерами индустрии в сегменте передачи и хранения данных, включая DataDirect Networks, Excelero, IBM, Mellanox и WekaIO. В основе Magnum IO лежит технология GPUDirect, позволяющая данным обходить CPU и перемещаться по магистралям, созданным графическими процессорами, накопителями и сетевыми устройствами. GPUDirect совместима с широким спектром интерфейсов и API, включая NVIDIA NVLink и NCCL, а также OpenMPI и UCX, и состоит из одноранговых (peer-to-peer) и RDMA элементов. Новейшим элементом в решении является GPUDirect Storage, позволяющий в обход CPU получать доступ к хранимым файлам для моделирования, анализа и визуализации. Как комментируют в NVIDIA, в основе всего, что связано с ИИ, лежит обработка больших объемов собранных или смоделированных данных. По мере экспоненциального увеличения объемов и скорости поступления данных их обработка становится одной из крайне затратных задач для ЦОД. Для экстремальных вычислений нужны экстремально быстрые интерфейсы, и именно это обеспечивает ПО Magnum IO ...
читать далее.
