빅터 펭 AMD AECG 사장 "PC에서 데이터센터까지 AI 시장 잡겠다" > IT/과학기사 | it/science

"AMD의 인공지능AI 플랫폼은 ‘열린’ 소프트웨어 접근, ‘검증된’ AI 관련 역량, 주요 AI 모델들에 대한 ‘대비’를 모두 갖췄다."

빅터 펭Victor Peng AMD 어댑티브 임베디드 컴퓨팅그룹AECG 사장은 13일현지시각 미국 캘리포니아주 샌프란시스코에서 열린 ‘AMD 데이터 센터 amp; AI 테크놀로지 프리미어’ 행사에서 데이터센터용 인공지능AI 관련 시장에 대한 신제품과 전략을 발표하며 이같이 밝혔다.

AMD는 이번 행사를 통해 추론과 학습 영역 모두에서, 데이터센터에서 엣지와 엔드포인트에 이르는 광범위한 솔루션 포트폴리오를 갖추고 있음을 강조했다. PC에서는 최신 라이젠 프로세서에 ‘라이젠 AI’ 엔진을 탑재하고, 데이터센터 영역에서는 인공지능과 HPC를 위한 새로운 ‘AMD 인스팅트Instinct’ MI300A, MI300X 모델을 발표했다. MI300A는 현재 샘플링이 제공되고 있고, MI300X는 3분기 중 샘플링이 제공될 계획이다.

◇ 메가트렌드 ‘AI’ 위한 광범위한 솔루션 포트폴리오 갖춰

빅터 펭 AMD AECG 사장은 이 자리에서 AMD의 AI 플랫폼이 가진 특징으로 ‘열린’ 소프트웨어 접근, ‘검증된’ AI 관련 역량, 주요 AI 모델들에 대한 ‘대비’를 꼽았다. AMD의 AI 플랫폼은 적용 제품군에 따라 데이터센터 GPU를 위한 ‘ROCm’, 데이터센터 CPU를 위한 ‘ZenDNN’, 엣지와 엔드포인트를 위한 ‘바이티스 AIVitis AI’ 등을 갖추고 있다. 이들 소프트웨어 플랫폼 모두에서 라이브러리와 프레임워크 툴에 이르기까지 ‘개방형’ 생태계를 강조한다.

ROCm은 데이터센터용 GPU를 위한 최적화된 AI 소프트웨어 스택이며, AMD 인스팅트 GPU를 다양한 AI 생태계 환경에서 최적화된 형태로 사용할 수 있게 하는 다양한 도구들을 제공한다. AMD는 이 자리에서 파이토치PyTorch 2.0이 ROCm 5.4.2에서 모든 AMD 인스팅트 가속기를 지원할 수 있도록 파이토치 재단과 협력한다고 소개했다. 개발자들도 이번 협력을 통해 코드의 플랫폼 이전에서 큰 수정 없이 이동성을 확보할 수 있을 것으로 기대했다.

AMD는 오픈 플랫폼 AI 빌더 ‘허깅페이스Hugging Face’와 협력해 허깅페이스가 제공하는 수천 개의 모델들을 AMD의 폭넓은 AI 하드웨어 플랫폼 포트폴리오에 최적화할 것이라고 발표했다. 허깅페이스는 이 자리에서, 이번 협력이 오픈 사이언스와 오픈소스 AI의 혁신을 가속화할 계기가 될 수 있을 것이며, AI 기술 활용을 위한 환경 구축의 어려움을 낮출 수 있을 것으로 기대한다고 밝혔다.

◇ AI 시대로의 전환 가속화 위한 새로운 ‘인스팅트’ 가속기 선보여

AMD는 이번 행사를 통해 생성형 AI 등을 위한 차세대 아키텍처인 ‘CDNA 3’ 기반 AI 가속기 ‘인스팅트 MI300’ 시리즈 제품군을 공개했다. 새로운 제품 중 ‘인스팅트 MI300A’는 ‘젠 4’ 아키텍처 기반 24코어 프로세서와 AI 워크로드 가속을 위한 GPU, 128GB HBM3 메모리가 하나의 패키지에 탑재된 ‘APU’ 가속기 구성을 갖췄다. 또한 CPU와 GPU가 단일 메모리 공간을 공유하는 구조를 갖춰, 기존의 일반적인 ‘GPU’ 대비 높은 성능 효율을 제공한다.

이 ‘인스팅트 MI300A’는 설계와 제조 모두에서 흥미로운 부분이 많다. 먼저, 이 제품의 제조 측면에서는 ‘칩렛’ 기술과 함께 ‘3D 적층’ 기술이 활용됐다. MI300 APU에는 CDNA3 기반 GPU 코어 다이 3개, 젠4 기반 CPU 코어 다이 3개가 결합됐으며, CPU와 GPU가 같은 메모리 영역을 사용하면서 메모리 구조가 단순해졌다.

‘인스팅트 MI300X’는 전통적인 ‘GPU’ 형태의 AI 가속기로, 192GB의 대용량 HBM3 메모리를 갖춘 것이 특징이다. 연산에 특화된 CDNA3 아키텍처를 기반으로 24GB HBM3 모듈을 8개 활용해 192GB 메모리를 갖췄다. 메모리 대역폭은 5.2TB/s이며, GPU간 연결에 사용되는 ‘인피니티 패브릭’의 대역폭은 896GB/s에 이른다. 이 ‘MI300X’도 3D 적층 기술과 칩렛 구성을 기반으로 한다.

AMD는 이 ‘MI300X’가 엔비디아 H100 대비 2.4배 높은 HBM 밀도와 1.6배 높은 대역폭을 제공하며, 전체 AI 모델이 올라갈 만한 메모리 환경을 제공한다고 소개했다. 이는 생성형 AI 등의 초거대언어모델LLM 구현을 더 적은 GPU로 할 수 있게 한다. AMD는 이 MI300X의 192GB 메모리에, 400억 개 파라미터 모델을 가진 ‘팔콘-40Falcon-40’ 모델을 올릴 수 있다고 언급했다.

한편, AMD는 이 MI300X를 최대 8개까지 결합할 수 있는 ‘AMD 인스팅트 플랫폼’을 소개했다. 이 플랫폼은 OCP 표준 기반 디자인에서 최대 8개의 MI300X를 장착해 최대 1.5TB의 HBM3 메모리를 확보할 수 있다. 또한 GPU간 연결에는 896GB/s 대역폭의 인피니티 패브릭을 사용한다.

샌프란시스코=권용만 기자 yongman.kwon@chosunbiz.com