출처 : SONOW
Qwen이 발표한 'Qwen3-Omni'는 텍스트, 이미지, 오디오, 비디오를 하나의 시스템으로 통합한 순수 엔드 투 엔드 옴니모달 모델이다. 사용자 맞춤 설정과 도구 호출 기능을 갖추고RetryYREdit있으며, 빠른 응답 속도와 멀티모달 이해 성능에서도 우수한 결과를 보였다.
Qwen3-Omni, 순수 엔드 투 엔드 옴니모달 아키텍처 구현
Qwen3-Omni는 텍스트, 이미지, 오디오, 비디오를 별도로 처리한 후 결합하는 기존 멀티모달 모델들과 달리, 모든 모달리티를 단일 신경망 내에서 동시에 처리하는 순수 엔드 투 엔드 아키텍처를 채택했다. 이는 각 모달리티 간의 상호작용을 더 깊이 이해하고, 정보 손실 없이 통합된 표현을 생성할 수 있게 한다. 예를 들어 영상 속 대화를 분석할 때 음성의 톤, 화자의 표정, 배경 정보를 동시에 고려하여 맥락을 파악한다. 이러한 통합 처리 방식은 더 정확하고 풍부한 이해를 가능하게 하며, 복잡한 멀티모달 작업에서 탁월한 성능을 발휘한다.
사용자 맞춤 설정과 도구 호출 기능으로 확장성 강화
Qwen3-Omni는 사용자 맞춤 설정 기능을 통해 특정 도메인이나 작업에 최적화될 수 있다. 의료, 법률, 교육, 엔터테인먼트 등 다양한 분야에 맞게 모델의 행동과 출력 스타일을 조정할 수 있다. 또한 도구 호출(tool calling) 기능을 탑재하여 외부 API, 데이터베이스, 계산 도구 등과 연동할 수 있다. 예를 들어 사용자가 날씨를 물어보면 날씨 API를 호출하고, 복잡한 수학 문제가 주어지면 계산 도구를 사용하는 식이다. 이는 모델의 능력을 크게 확장하며, 실제 비즈니스 환경에서 더욱 유용하게 활용될 수 있도록 한다.
빠른 응답 속도와 높은 멀티모달 이해 성능 입증
Qwen3-Omni는 벤치마크 테스트에서 빠른 응답 속도와 우수한 멀티모달 이해 성능을 입증했다. 텍스트와 이미지를 결합한 질의응답, 영상 분석 및 요약, 음성 인식 및 번역 등 다양한 작업에서 높은 정확도를 기록했다. 특히 실시간 처리가 필요한 응용 분야에서 저지연과 고성능을 동시에 달성했다는 점이 주목할 만하다. 옴니모달 AI 시장은 OpenAI의 GPT-4V, Google의 Gemini, Anthropic의 Claude 3 등이 경쟁하고 있으며, 각사는 모달리티 통합의 깊이, 처리 속도, 확장성 등에서 차별화를 추구하고 있다. Qwen3-Omni의 등장은 특히 아시아 시장에서 언어와 문화적 특성을 반영한 멀티모달 AI 서비스 확대에 기여할 것으로 예상된다.