스마트폰 기반 몰입형 XR 기술 구현의 획기적 돌파구.
한국전자통신연구원(ETRI)이 가상현실(VR)과 증강현실(AR)을 융합한 '몰입형 XR(확장현실)' 기술 개발에 성공했습니다. 4월 19일 ETRI가 발표한 이 기술은 기존 고가 장비 의존도를 낮추고 일반 스마트폰으로 구현 가능한 확장현실의 새로운 패러다임을 제시했습니다. 몰입형 XR 기술은 사용자가 현실과 가상 사이의 경계를 넘나들며 더욱 생생하고 현실감 넘치는 체험을 가능케 합니다.
이번에 개발된 기술은 다중·이형센서기반 상황적응형 인터랙션 프레임워크, 다인칭 사용자 3차원 정밀 동작분석 기술, 복합공간상 사용자 위치추정 기술, 개인 모바일 디바이스 인터랙션 증강 기술 등 총 4가지 핵심 요소로 구성되어 있습니다. 특히 이 기술의 가장 큰 특징은 고가의 장비 없이도 스마트폰만으로 사용자의 움직임과 위치를 정밀하게 파악하고, 이를 가상현실에 실시간으로 반영할 수 있다는 점입니다.
기존 VR과 AR 기술은 고성능 그래픽처리장치(GPU)와 특수 센서 등 고가의 장비가 필수적이었으나, ETRI의 새로운 기술은 일상에서 사용하는 스마트폰의 카메라와 센서만으로도 고품질의 XR 경험을 제공합니다. 이는 XR 기술의 대중화와 접근성 향상에 크게 기여할 것으로 기대됩니다.
3차원 정밀 동작분석과 복합공간 위치추정 기술의 혁신.
몰입형 XR의 핵심은 '다인칭 사용자 3차원 정밀 동작분석'과 '복합공간상 사용자 위치추정 기술'에 있습니다. 다인칭 사용자 3차원 정밀 동작분석 기술은 모바일 환경에서 딥러닝 알고리즘을 활용해 스마트폰 카메라로 촬영된 2차원 영상만으로 사용자의 3차원 관절 위치정보를 정확하게 추론합니다. 기존 3D 모션 캡처 시스템이 여러 대의 카메라와 특수 마커, 고가의 그래픽처리장치를 필요로 했던 것과 달리, 이 기술은 일반 스마트폰만으로도 효율적인 동작 인식이 가능합니다.
또한 '복합공간상 사용자 위치추정 기술'은 증강현실 콘텐츠를 현실세계에 자연스럽게 융합하기 위한 핵심 기술입니다. 이 기술은 스마트폰 카메라로 촬영된 영상에서 특징점을 추출하고, 이를 기반으로 3차원 포인트 클라우드를 생성 및 보정해 환경맵을 구축합니다. 생성된 맵을 활용해 사용자 디바이스의 위치를 센티미터(cm) 단위로 정밀하게 추정할 수 있어, 증강현실 콘텐츠가 실제 환경과 자연스럽게 어우러지도록 합니다.
이러한 기술의 결합은 사용자가 AR 환경에서 몰입감을 극대화할 수 있도록 설계되었으며, 가상·증강 환경에서 사용자의 행동을 정밀하게 해석하여 다수의 사용자에게 별도의 제약 없이 동일한 품질의 인터랙션을 제공합니다. 이는 XR 기술이 단순한 시각적 체험을 넘어 사용자의 행동과 위치를 인식하고 반응하는 양방향 소통으로 발전했음을 의미합니다.
ETRI 콘텐츠융합연구실 정성욱 책임연구원은 "R&D 결과물의 조기 사업화를 위해 테마파크 및 국립박물관 등에서 실·가상 환경을 융합한 직관적 인터랙션을 제공하게 됐다"며 "과기정통부의 지원을 받아 향후 다양한 산업분야로 확산될 수 있도록 노력할 것"이라고 말했다.
다중참여 원격몰입 XR, 다양한 분야로 확산 기대.
ETRI 연구진은 이 기술을 통해 실제 공간과 가상 공간을 연동해 두 개의 공간을 공유하며 사용자의 제스처 인식까지 가상의 캐릭터에 실시간으로 반영하는 데 성공했습니다. 이는 원격에 있는 다수의 사용자가 동일한 가상 공간에 접속해 실시간으로 상호작용할 수 있음을 의미합니다. 특히 스마트폰이라는 보편적 디바이스를 활용해 몰입감을 극대화할 수 있도록 설계되어, XR 기술의 접근성과 활용도를 크게 높였습니다.
개발된 몰입형 XR 기술은 이미 다양한 시범 서비스에 적용되고 있습니다. 서울 노원기차마을 스키장 디오라마와 국립중앙도서관의 '자산어보' 전시 등에서 관람객들이 직접 체험할 수 있는 서비스가 제공되고 있습니다. 이러한 시범 서비스는 사용자들이 실제 공간과 가상 공간을 자연스럽게 오가며 새로운 형태의 콘텐츠를 경험할 수 있는 기회를 제공하고 있습니다.
이번 기술 개발은 ETRI를 주축으로 KAIST, 제이투와이소프트, 토즈와의 공동연구를 통해 이루어졌으며, 국내외 특허출원 17건, 3건의 기술이전 등 가시적인 성과를 거두었습니다. 향후 테마파크, 박물관 등 문화·관광 분야뿐만 아니라 교육, 의료, 제조 등 다양한 산업 분야로 확대 적용될 것으로 기대됩니다. 특히 원격 협업, 원격 교육, 가상 여행 등 코로나19 이후 비대면 시대에 더욱 중요해진 분야에서 혁신적인 사용자 경험을 제공할 수 있을 것으로 전망됩니다.