최첨단 기업 AI 모델 미스트랄 NeMo 12B의 등장

 

 NVIDIA와 Mistral AI가 손을 잡고 새로운 언어 모델인 미스트랄 NeMo 12B를 발표했습니다. 이 모델은 채팅봇, 다국어 작업, 코딩 및 요약 등 다양한 기업용 애플리케이션을 위해 개발자들이 쉽게 커스터마이징하고 배포할 수 있도록 설계되었습니다.

 Mistral NeMo 12B는 NVIDIA의 최적화된 하드웨어와 소프트웨어 생태계와 Mistral AI의 데이터 훈련 전문 지식을 결합하여 높은 성능을 제공합니다. 특히, 엔터프라이즈 등급의 지원과 보안을 바탕으로 전례 없는 정확성과 유연성을 갖추고 있습니다. 이는 Mistral AI의 공동 창립자 겸 최고 과학자인 기욤 램플의 언급에서 확인할 수 있습니다. "NVIDIA 팀과의 협업은 큰 행운입니다. 우리는 NVIDIA AI Enterprise 배포 덕분에 뛰어난 정확성, 유연성, 고효율, 엔터프라이즈급 지원 및 보안을 갖춘 모델을 개발했습니다."

 미스트랄 NeMo는 NVIDIA DGX 클라우드 AI 플랫폼에서 훈련되었으며, 이는 최신 NVIDIA 아키텍처에 대한 전용 및 확장 가능한 액세스를 제공합니다. NVIDIA TensorRT-LLM과 NeMo 개발 플랫폼을 통해 대규모 언어 모델의 추론 성능을 가속화하고, 맞춤형 생성 AI 모델을 구축할 수 있습니다.

 

미스트랄 NeMo 12B: 비할 데 없는 정확성과 유연성

 미스트랄 NeMo는 멀티턴 대화, 수학, 상식 추론, 세계 지식 및 코딩 등 다양한 작업에서 탁월한 성능을 자랑합니다. 이 모델은 128K 문맥 길이를 가지고 있어 방대한 정보와 복잡한 내용을 보다 일관되게 처리하고, 정확하고 관련성 있는 출력을 보장합니다.

 또한 Apache 2.0 라이선스 하에 출시되어 혁신을 촉진하고 더 넓은 AI 커뮤니티를 지원합니다. 이 모델은 120억 개의 매개변수를 가지고 있으며, FP8 데이터 형식을 사용하여 메모리 크기를 줄이고 배포 속도를 높이면서도 정확도에는 영향을 미치지 않습니다.

 미스트랄 NeMo는 NVIDIA NIM 추론 마이크로서비스로 패키징되어 NVIDIA TensorRT-LLM 엔진과 함께 최적화된 성능을 제공합니다. 이 컨테이너화된 형식 덕분에 다양한 애플리케이션에 대해 쉽게 배포할 수 있으며, 모델을 며칠이 아닌 몇 분 내에 어디서나 배포할 수 있습니다.

 NIM은 전용 기능 브랜치, 엄격한 검증 과정 및 엔터프라이즈급 보안 및 지원을 포함하는 엔터프라이즈급 소프트웨어를 특징으로 하며, 신뢰할 수 있는 일관된 성능을 제공합니다.

고급 모델 개발 및 커스터마이제이션

 Mistral AI와 NVIDIA 엔지니어의 결합된 전문 지식은 미스트랄 NeMo의 훈련과 추론을 최적화했습니다. 특히 다국어, 코드 및 멀티턴 콘텐츠에 대한 Mistral AI의 전문 지식으로 훈련된 이 모델은 NVIDIA의 풀 스택을 통한 가속화된 훈련을 통해 성능을 극대화했습니다.

 미스트랄 NeMo는 Megatron-LM을 활용하여 효율적인 모델 병렬 처리 기술, 확장성 및 혼합 정밀도를 통해 최적의 성능을 발휘하도록 설계되었습니다. 이 모델은 NVIDIA NeMo의 일부인 Megatron-LM을 사용하여 DGX 클라우드에서 3,072개의 H100 80GB 텐서 코어 GPU를 통해 훈련되었습니다.

 

가용성 및 배포

 미스트랄 NeMo는 클라우드, 데이터 센터 또는 RTX 워크스테이션 등 어디서든 실행할 수 있는 유연성을 갖추고 있어 다양한 플랫폼에서 AI 애플리케이션을 혁신할 준비가 되어 있습니다. NVIDIA NIM을 통해 오늘 바로 ai.nvidia.com에서 미스트랄 NeMo를 경험할 수 있으며, 곧 다운로드 가능한 NIM도 출시될 예정입니다.

 

개인적 견해

 미스트랄 NeMo 12B의 출시는 AI 기술의 새로운 가능성을 열어줍니다. 특히 기업 환경에서 다양하고 복잡한 작업을 처리할 수 있는 능력은 주목할 만합니다. NVIDIA의 강력한 하드웨어와 소프트웨어 지원 덕분에 Mistral NeMo는 단순한 AI 모델 그 이상을 제공합니다.

 미스트랄 NeMo의 주요 장점 중 하나는 유연성과 배포의 용이성입니다. 컨테이너화된 형식 덕분에 다양한 환경에서 모델을 신속하게 배포할 수 있으며, 이는 기업이 AI 솔루션을 더 빠르고 효과적으로 통합할 수 있게 해줍니다. 또한, Apache 2.0 라이선스 하에 공개됨으로써 더 넓은 AI 커뮤니티와의 협력을 촉진하고 혁신을 가속화할 수 있는 기회를 제공합니다.

 미스트랄 NeMo 12B는 AI 개발자와 기업들에게 새로운 가능성과 도전을 제시합니다. 앞으로 이 모델이 어떻게 활용되고 발전할지 기대됩니다. NVIDIA와 Mistral AI의 협업이 어떤 혁신을 가져올지 지켜보는 것도 흥미로운 일입니다.