망고부스트, AI 추론 최적화 소프트웨어 ‘망고 LLM부스트’ 출시
지난 1월 17일 ‘망고부스트’는 AI(인공지능) 추론 성능과 효율성을 향상시키는 시스템 최적화 소프트웨어 ‘망고 LLM부스트’(Mango LLMBoost™)를 출시했다고 밝혔다. 망고부스트는 AI 데이터 센터 효율성을 극대화하기 위한 첨단 시스템 솔루션을 제공하는 스타트업이다. 카드, 서버, 랙을 포함한 다양한 솔루션의 핵심인 망고부스트의 데이터센터용 데이터처리가속기(DPU)는 범용 그래픽처리장치(GPU), 가속기, 스토리지 제품과 호환돼 비용 효율적이고 표준화된 AI 인프라를 구현하는 게 특징이다. 망고 LLM부스트는 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 사전패칭(Prefetching) 기술 및 최신 GPU를 최대한 활용한 모델 양자화(Quantization) 기술을 기반으로 개발됐다. 망고부스트에 따르면 해당 모델을 적용하고 거대언어모델(LLM)을 구동한 경우, 최대 12.6배의 상대적 성능이 향상되고 92%의 비용이 절감됐다. 망고부스트 관계자는 “망고부스트 LLM부스트는 경쟁 솔루션 대비 압도적인 성능 향상과 비용 절감 효과를 증명하고 있다.”며 “정식 출시 전부터 강력한 도입 의향을 보인 빅테크 해외 지사에서 도입을 앞두고 있다.”고
