메타(Meta)의 Llama 3.2 발표 소식

 오늘날 AI 기술의 발전은 인간의 상상력을 뛰어넘는 속도로 이루어지고 있으며, Meta에서 발표한 Llama 3.2는 이러한 발전의 선두에 서 있는 중요한 이정표 중 하나입니다. Llama 3.2는 특히 엣지와 모바일 환경에서의 인공지능(AI) 모델 구현에 최적화된 소형 및 중형 사이즈 비전 LLMs(대규모 언어 모델)과 경량 텍스트 전용 모델들을 포함하고 있어, 다양한 환경에서 강력한 AI 기능을 제공하는 데 중요한 역할을 할 것으로 기대됩니다. 이번 발표는 AI가 더 많은 사람들에게 접근 가능해지고, 다양한 응용 프로그램에서 보다 쉽게 활용될 수 있도록 만들어가는 중요한 변화를 상징합니다.

 

엣지와 모바일 디바이스에 최적화된 Llama 3.2의 주요 특징

 Llama 3.2는 1B 및 3B 크기의 경량 모델을 통해 엣지와 모바일 기기에서도 AI를 실행할 수 있도록 설계되었습니다. 이 모델들은 텍스트 요약, 지시 사항 이행, 텍스트 재작성 등의 작업을 로컬 환경에서 실행할 수 있는 성능을 갖추고 있으며, Qualcomm과 MediaTek 하드웨어를 비롯한 다양한 환경에서 최적화되어 있습니다. 또한 이 모델들은 128K 토큰이라는 긴 컨텍스트 길이를 지원하여 복잡한 데이터를 처리하는 데 적합하며, ARM 프로세서에서도 효과적으로 동작할 수 있습니다.

 이러한 경량 모델들은 특히 엣지에서 실행되는 응용 프로그램에 적합합니다. 엣지에서 AI를 실행한다는 것은 데이터를 클라우드로 전송하지 않고 로컬에서 바로 처리함으로써 프라이버시를 강화하고 응답 속도를 크게 향상시킬 수 있다는 장점이 있습니다. 예를 들어, 이러한 응용 프로그램은 사용자에게서 받은 메시지를 요약하거나, 중요한 작업을 추출하여 캘린더 초대장을 자동으로 생성하는 등의 기능을 제공합니다. 이처럼 로컬에서 처리되는 AI는 사용자의 개인 정보를 보호하면서도 실시간에 가까운 반응을 제공할 수 있습니다.

비전과 언어의 융합을 통한 새로운 가능성

 Llama 3.2의 가장 큰 발전 중 하나는 11B와 90B 모델을 통해 비전 태스크(이미지 이해 및 시각적 추론)를 처리할 수 있다는 점입니다. 이 모델들은 문서 수준의 이미지 이해, 이미지 캡션 생성, 시각적 정보 기반 방향성 제시 등의 작업을 수행할 수 있습니다. 예를 들어, 사용자가 지난 한 해 동안 자사의 판매 성과를 묻는 질문을 하면, Llama 3.2는 그래프를 분석하여 특정 달의 최고 성과를 빠르게 추론할 수 있습니다. 또 다른 예로, 지도 상의 정보를 분석하여 특정 등산로의 경사도나 거리를 추론하는 것도 가능합니다.

 이 모델들은 단순히 이미지와 텍스트를 따로 처리하는 것이 아니라, 둘을 결합하여 의미를 파악하고 더 깊이 있는 이해를 제공합니다. 이는 Llama 모델이 비전과 언어의 경계를 넘어서 더욱 풍부한 에이전트 능력을 갖추는 중요한 단계로 볼 수 있습니다.

파트너십과 생태계 확장

 Meta는 Llama 3.2의 출시와 함께 광범위한 파트너십을 맺고 생태계를 확장하고 있습니다. AMD, AWS, Google Cloud, IBM, Intel, NVIDIA 등 25개 이상의 기업과 협력하여 다양한 서비스와 솔루션을 제공하고 있으며, 엣지와 모바일 기기를 대상으로는 ARM, MediaTek, Qualcomm과 협력하여 더욱 광범위한 플랫폼에서 Llama 3.2 모델을 활용할 수 있도록 지원하고 있습니다.

 또한 Llama 3.2의 공개를 통해 개발자들이 손쉽게 접근할 수 있는 Llama Stack을 제공하고 있으며, 이를 통해 단일 노드, 온프레미스, 클라우드, 온디바이스 등 다양한 환경에서 간편하게 AI 응용 프로그램을 배포할 수 있습니다. 이러한 지원은 Llama 모델의 사용성을 크게 향상시키고, 더 많은 개발자와 기업이 Llama 3.2를 통해 혁신적인 응용 프로그램을 만들 수 있도록 돕고 있습니다.

경량 모델의 혁신적인 기술

 Llama 3.2는 강력한 성능을 유지하면서도 경량화된 모델을 제공하는 데 중점을 두고 있습니다. 1B와 3B 크기의 경량 모델은 크기는 작지만, 텍스트 생성과 도구 호출 등의 기능에서 매우 뛰어난 성능을 발휘합니다. 이를 가능하게 한 핵심 기술 중 하나는 가지치기(pruning)와 지식 증류(distillation)입니다. 가지치기 기술을 통해 기존 모델의 네트워크 일부를 체계적으로 제거하여 모델 크기를 줄이면서도 성능을 최대한 유지할 수 있었고, 지식 증류는 더 큰 네트워크가 더 작은 네트워크로 지식을 전달하는 방법으로, 작은 모델이 더 나은 성능을 발휘할 수 있도록 했습니다.

 이러한 경량 모델들은 엣지 및 모바일 기기에서 효율적으로 작동하며, 데이터 프라이버시를 보호하면서도 높은 성능을 제공할 수 있습니다. 특히 Llama 3.2의 경량 모델들은 다국어 텍스트 생성, 지시 사항 이행, 도구 호출 기능 등을 통해 사용자 맞춤형 에이전트 응용 프로그램을 구축하는 데 큰 도움이 될 것입니다.

결론: 열린 혁신과 AI의 미래

 Meta는 Llama 3.2를 통해 AI의 개방성과 모듈성을 강조하며, 혁신의 속도를 가속화하고 있습니다. Llama 3.2는 비전과 언어를 융합한 고성능 AI 모델을 제공함으로써 다양한 응용 프로그램에서 더 깊이 있는 문제 해결을 가능하게 하며, 엣지와 모바일 환경에서도 강력한 AI 기능을 사용할 수 있도록 만들어 줍니다.

 이제 AI는 더 이상 일부 소수의 전문가나 대기업만이 활용할 수 있는 기술이 아닙니다. Meta는 AI 기술을 보다 많은 사람들이 사용할 수 있도록 개방하고 있으며, 이를 통해 창의적이고 유용한 응용 프로그램이 더욱 많이 개발될 수 있을 것입니다. Llama 3.2는 그 혁신의 중요한 한 축을 담당하며, 앞으로도 AI 기술의 발전을 이끌어 나갈 것입니다.

 

 

출처

Llama 3.2: Revolutionizing edge AI and vision with open, customizable models

https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/

 

Ollama, HuggingFace 등 다양한 플랫폼에서 사용 가능합니다.