Xiaomi MiMo-V2.5 공개: 311B MoE 구조와 1M 컨텍스트 핵심 정리
·
IT/AI 소식
안녕하세요, DeepCode 입니다. 오늘은 Xiaomi가 새롭게 선보인 옴니모달 모델 MiMo-V2.5를 정리해보겠습니다. 거대 파라미터 규모를 유지하면서도 실질적인 추론 효율성을 극대화한 이 모델의 설계 방식은 오픈소스 진영에 시사하는 바가 큽니다.출처: 공식 1. Xiaomi MiMo-V2.5, 무엇이 새로워졌나Xiaomi는 최근 311B(3,110억 개)의 전체 파라미터를 보유한 대규모 옴니모달 모델인 MiMo-V2.5를 오픈소스로 전격 공개했습니다. 이 모델은 단순히 크기만 키운 것이 아니라, Mixture-of-Experts(MoE) 구조를 채택하여 실제 연산에 참여하는 활성 파라미터(Active Parameters)를 15B(150억 개) 수준으로 최적화했습니다.가장 눈에 띄는 지표는 1M(..