ㅣ데일리포스트=김정은 기자 ㅣ미국 반도체 기업 엔비디아(NVIDIA)가 AI 및 고성능 컴퓨팅(HPC)용 GPU 'H200'을 11월 13일(현지시간) 발표했다.
챗GPT 등 생성형 인공지능(AI)의 인기 속에 엔비디아는 AI의 두뇌 역할을 하는 그래픽처리장치(GPU) 시장을 선도하고 있다. 엔비디아는 이날 H200이 이전 모델 H100에 비해 추론 속도 2배, x86 CPU에 비해 HPC 성능이 110배 향상됐다고 강조했다.
H200은 아키텍처 호퍼(Hopper™)를 채택한 GPU로, AI 처리나 HPC용으로 최적화되어 있다. 동일한 호퍼를 기반으로 한 이전 세대 모델 H100 역시 AI 개발에 필요한 추론 및 학습에서 매우 높은 성능을 발휘한다. H100은 지난해 3월 발표된 제품이지만 일부 서버 제조사는 입고까지 6개월 이상 기다릴 정도로 폭발적인 인기를 끌었다.
이를 한층 개선한 H200은 5세대 고대역폭 메모리 기술 HBM3e를 제공하는 최초의 GPU로 알려졌으며, 메모리 용량은 141GB, 메모리 대역폭은 4.8TB 초당에 달한다. 초당 3.35TB 속도인 H100 대비 출력 속도가 2배 가까이 빨라졌고 용량과 대역폭(밴드위스)도 2배 이상 증가했다
아래가 엔비디아가 제시한 H100과 H200의 추론 속도 비교 그래프다. H100과 비교해 라마 2(Llama 2)의 경우 최대 2배에 가까운 추론 속도를 실현하는 것을 확인할 수 있다. 또 H100과 호환도 가능해, 기존 서버 시스템이나 소프트웨어를 변경할 필요가 없다.
HPC 성능은 X86 CPU의 110배로 엔비디아의 GPU 'A100'과 비교해도 2배의 고성능을 실현했다.
이안 벅(Ian Buck) 엔비디아 하이퍼스케일 부사장은 "생성형 AI와 HPC 애플리케이션으로 인텔리전스를 생성하기 위해서는 대규모의 빠른 GPU 메모리를 기반으로 방대한 데이터를 빠르고 효율적으로 처리해야 한다. 업계 최고의 엔드투엔드 AI 슈퍼컴퓨팅 플랫폼인 엔비디아 H200을 통해 세계에서 가장 중요한 과제를 해결할 수 있는 속도가 더욱 빨라졌다"고 언급했다.
엔비디아는 아마존웹서비스(AWS)·MS 애저, 구글클라우드 등 클라우드 서비스 업체와 하드웨어 업체들과 협력해 2024년 2분기를 목표로 H200 반도체를 탑재한 AI 서비스를 선보일 수 있을 것으로 내다봤다.
한편, 엔비디아 H200은 제2의 엔비디아로 불리는 AMD의 첨단 AI반도체 MI300X와 경쟁하게 될 것으로 보인다. MI300X는 H100 대비 메모리 트랜지스터 밀도는 2.4배, 대역폭은 1.6배 이상 늘린 것으로 알려졌다. AI 반도체 분야의 격차를 줄이기 위해 연내 MI300X 출시에 매진해온 AMD 입장에서 이번 H200는 큰 걸림돌이 될 전망이다.