출처 : SONOW
온디바이스 AI 기술, 본격 상용화 시점 맞이
퀄컴 테크놀로지가 8월 7일, 오픈AI가 오픈소스로 공개한 대규모 언어 모델 ‘gpt-oss-20b’를 스냅드래곤 칩셋 기반 스마트폰에서 성공적으로 구동했다고 밝혔다. 이 모델은 총 200억 개의 파라미터로 구성된 체인-오브-쏘트(chain-of-thought) 기반 추론 모델로, 지금까지는 클라우드 환경에서만 가능했던 고차원적 추론을 단말기 자체에서 처리할 수 있게 된 점에서 획기적인 전환점으로 주목된다.
퀄컴은 이번 구현에 자사의 ‘퀄컴 AI 스택’과 ‘퀄컴 AI 엔진’을 통합해 적용했으며, 고성능 스냅드래곤 프로세서 탑재 기기에서의 안정성과 처리 효율을 동시에 확보했다. 특히 스마트폰과 태블릿 등 소비자 기기에서 모델이 직접 작동함으로써, AI 추론의 실시간성 및 프라이버시 강화 측면에서 큰 의미가 있다는 분석이다.
클라우드 의존 탈피…AI 에지 처리의 분수령
퀄컴 측은 “이번 결과는 클라우드 중심 AI에서 온디바이스 AI로 무게중심이 옮겨지는 전환점”이라며, “프라이버시 보호, 지연 시간 단축, 네트워크 불필요성 등 온디바이스 AI의 이점이 본격적으로 실현 가능해졌다”고 평가했다.
gpt-oss-20b는 향후 허깅페이스(Hugging Face), 올라마(Ollama) 등을 통해 개발자들에게 제공될 예정이다. 특히 올라마의 오픈소스 LLM 플랫폼에서는 웹 검색 기능과 '터보 모드' 등 확장 기능이 탑재되어 있으며, 로컬 PC는 물론 모바일 기기까지도 커버 가능한 범용 AI 모델로 각광받고 있다.
온디바이스 AI는 기존 AI 서비스의 병목으로 지적되던 클라우드 전송 과정의 한계를 제거한다. 특히 사생활 보호와 법적 데이터 주권 요구가 강화되는 추세에서, 분산형 AI 추론 방식은 기업·개인 사용자 모두에게 선택지가 될 수 있다.
스마트폰 중심 AI 진화 가속화…소비자 경험 바꾼다
업계는 퀄컴과 오픈AI의 협업이 단순한 기술 구현을 넘어, AI 플랫폼 생태계의 개방형 혁신 가속화로 이어질 것으로 보고 있다. 특히 스마트폰의 연산 능력 및 메모리 용량 증가, 운영체제 최적화가 동반되면서 향후 수년 내 온디바이스 AI 모델의 범용화는 더욱 탄력을 받을 전망이다.
이러한 기술은 맞춤형 AI 비서, 오프라인 음성 인식, 실시간 번역, 의료·보안 영역의 엣지 컴퓨팅 등 다양한 분야에 활용될 수 있으며, 플랫폼 종속에서 벗어난 독립형 에이전트 환경 구현도 가능해질 것으로 보인다.
기술 민주화와 AI 분권 시대, 가속화될까?
이번 협업은 대형 모델을 오픈소스화한 오픈AI와, 하드웨어 최적화 역량을 가진 퀄컴이 결합해 AI의 접근성과 자율성을 동시에 확보한 사례로 주목된다. 전문가들은 “AI 기술이 대기업 독점에서 벗어나 개방형 생태계로 확산되는 전환점”이라며, 향후 소비자 중심의 AI 설계와 윤리적 AI 구현에도 긍정적 영향을 줄 것으로 전망한다.