삼성SDS, 국내 최초 '엔비디아 B300' 클라우드 서비스 전격 출시!
'AI 추론' 시대 겨냥, 국내 첫 B300 구독형 서비스(GPUaaS) 오픈
삼성SDS가 자사 클라우드 플랫폼인 'SCP(Samsung Cloud Platform)'를 통해 국내 최초로 엔비디아의 최신 가속기 'B300' 기반의 GPU 구독형 서비스(GPUaaS)를 공식 출시했습니다. 막대한 초기 구축 비용 없이도 최상급 AI 인프라를 클라우드로 빌려 쓸 수 있게 된 것입니다.
이번 서비스 출시는 최근 AI 시장의 트렌드가 모델 '개발'을 넘어 실제 서비스에 적용하는 '추론(Inference)' 단계로 빠르게 넘어가고 있는 상황을 정확히 겨냥했습니다. 챗GPT 같은 서비스를 운영하며 폭발적으로 급증하는 고성능 컴퓨팅 수요를 선점하겠다는 삼성SDS의 발 빠른 전략으로 풀이됩니다.
H100 대비 압도적 스펙… 지긋지긋한 '데이터 병목' 잡았다
이번에 도입된 B300 GPU는 현존 최고 수준의 12단 HBM3E(고대역폭메모리)를 탑재하여 괴물 같은 성능을 자랑합니다. GPU당 무려 288GB의 넉넉한 메모리 용량과 초당 8TB(테라바이트)라는 경이로운 데이터 대역폭을 제공하여, 이전 세대인 H100과 비교하면 용량은 3.6배, 대역폭은 2.4배나 껑충 뛰었습니다.
이러한 압도적인 하드웨어 업그레이드는 거대언어모델(LLM) 구동 시 가장 큰 골칫거리였던 '데이터 병목 현상'을 획기적으로 해결해 줍니다. 그동안은 GPU의 연산 속도가 아무리 빨라도 메모리의 데이터 전송 속도가 이를 따라가지 못해 전체 성능이 저하되었는데, B300의 넓은 대역폭이 이 꽉 막힌 도로를 뻥 뚫어준 셈입니다.
쓴 만큼만 내는 '서버리스 추론'… 하반기 AI 혁신 이끈다
삼성SDS의 혁신은 여기서 멈추지 않습니다. 다가오는 올 3분기에는 무거운 인프라 사용료를 통째로 내는 대신, AI 모델이 실제로 응답한 '토큰 양'만큼만 알뜰하게 비용을 지불하는 '서버리스 추론 서비스'를 연달아 선보일 계획입니다.
여기에 개발자가 코드와 데이터만 입력하면 복잡한 과정 없이 즉시 AI를 분산 학습시켜 주는 똑똑한 'AI 학습 서비스'도 함께 출격 대기 중입니다. 자원 최적화와 에너지 절감 기술을 꽉 채운 SCP 플랫폼을 통해, 대기업부터 중소기업까지 국내 모든 기업의 AX(AI 전환)를 적극적으로 돕겠다는 포부가 엿보입니다.