В Корее объединили память отдельных устройств в единый пул, чтобы решить проблему нехватки памяти для ИИ

Корреспондент Гу Бон Хёк

- Объединение памяти серверов и ускорителей в общий пул обеспечивает инновационную производительность.

- Оптимизирует инфраструктуру искусственного интеллекта и больших данных с использованием стандартного Ethernet

Исследователи ETRI настраивают и проверяют производительность системы расширения памяти на базе Ethernet для обучения искусственного интеллекта в сверхбольших масштабах. [Предоставлено ETRI]

Корейские исследователи успешно разработали ключевую технологию, которая фундаментально решает хроническую проблему «нехватки памяти» при обучении искусственного интеллекта (ИИ) в сверхбольших масштабах.

Научно-исследовательский институт электроники и телекоммуникаций Южной Кореи (ETRI) сообщил о разработке «OmniXtend» - новой технологии памяти, которая решает проблему ограничений памяти у графических процессоров (GPU) и узких мест в передаче данных, считающихся наиболее серьезными проблемами при обучении ИИ в сверхбольших масштабах.

С недавним ростом спроса на крупномасштабные модели ИИ и высокопроизводительные вычисления (HPC) объем данных, требующих обработки, также вырос в геометрической прогрессии.

Однако проблема «барьера памяти», при которой вычислительная эффективность резко падает при недостаточной емкости памяти, независимо от улучшения производительности GPU, оставалась нерешенной.

OmniXtend от ETRI позволяет использовать отдельные памяти серверов и ускорителей (устройств) как единая память большой емкости через стандартную Ethernet.

По сути, она расширяет память, изолированную внутри каждого устройства, на всю сеть, реализуя структуру, которая позволяет гибко распределять память, необходимую для обучения ИИ, по мере необходимости.

Благодаря внедрению этой масштабируемой структуры для совместного использования памяти через Ethernet, OmniExtend одновременно обеспечила производительность, масштабируемость и экономическую эффективность для обучения ИИ в очень больших масштабах.

Во-первых, минимизация задержки передачи данных улучшила скорость обучения ИИ. Кроме того, возможность расширения памяти без замены серверов, как ожидается, снизит затраты на строительство и эксплуатацию центров обработки данных.

Примечательно, что существующие архитектуры на основе высокоскоростного последовательного интерфейса связи (PCIe) сталкивались с ограничениями в части расстояния между устройствами и масштабируемости системы.

В отличие от них, OmniExtend использует Ethernet-коммутаторы для физического подключения географически распределенных устройств к единому пулу памяти. Это признано высокомасштабируемой архитектурой, подходящей для сред сверхмасштабного искусственного интеллекта.

Во время живой демонстрации было успешно показано, как несколько устройств в среде Ethernet образуют общий пул памяти и получают доступ к памяти друг друга в режиме реального времени.

Исследовательская группа ETRI, разработавшая технологию OmniExtend (слева направо): доктор Ча Сын Чжун, глава департамента Ким Кан Хо, доктор Сок Сон У и руководитель отдела Ко Кван Вон [Предоставлено ETRI]

Результаты экспериментов показали, что в то время как производительность большой языковой модели (LLM) значительно снижалась в средах с недостаточным объемом памяти, при расширении памяти через Ethernet ее производительность выросла более чем в два раза.

ETRI планирует продолжить передачу технологий, ориентированную на компании, занимающиеся аппаратным и программным обеспечением для центров обработки данных, с целью продвижения коммерциализации этой технологии.

«Мы планируем существенно расширить исследования в области межсоединений памяти, ориентированных на нейронные процессоры (NPU) и ускорители, посредством планирования новых проектов» - сказал Ким Кан Хо, глава Департамента исследований в области сверхвысокопроизводительных вычислений при ETRI.

nbgkoo@heraldcorp.com

#южнаякорея #корея #политика #экономика #промышленность #технология #медицина #компьютер #гаджеты #икт #бизнес #финансы #память #интернет #искусственнйинтеллект #машинноеобучение #общество #культура #искусство #азия