출처 : SONOW
산업별 특화 한국어 데이터셋 부족으로 글로벌 AI 경쟁에서 뒤처질 우려
글로벌 AI 시장에서 한국어 모델의 성능이 주요 경쟁력으로 부상하고 있다. 영어 중심의 AI 개발 환경에서 한국어 처리 능력을 끌어올리기 위해서는 양질의 데이터셋 확보가 시급하다. 현재 한국어 AI 학습에 활용되는 데이터는 주로 뉴스, 위키백과, 웹 크롤링 텍스트 등 일반 도메인에 편중되어 있어 법률, 의료, 금융 등 전문 분야에서의 성능은 상대적으로 취약한 실정이다.
특히 한국어의 언어적 특성을 반영한 형태소 분석과 문맥 이해에 필요한 고품질 데이터가 부족하여, 영어 기반 모델을 단순 번역하거나 적용할 경우 정확도와 자연스러움이 크게 저하되는 문제가 발생한다. 국내 AI 기업들은 이러한 한계를 극복하기 위해 자체 데이터셋 구축에 투자하고 있으나, 개별 기업 차원의 노력만으로는 글로벌 대형 모델과의 격차를 좁히기 어려운 상황이다.
정밀한 라벨링과 도메인별 코퍼스 구축이 한국어 AI 성능 향상의 관건
한국어 AI 성능 향상을 위해서는 단순한 데이터 양의 증가보다 정밀한 라벨링과 도메인별 특화 코퍼스 구축이 필수적이다. 최근 연구에 따르면, 동일한 양의 데이터라도 라벨링 품질에 따라 모델 성능이 최대 30%까지 차이날 수 있는 것으로 나타났다. 특히 한국어의 경우 동음이의어, 문맥 의존적 의미 해석, 존댓말과 반말의 구분 등 언어적 특성을 반영한 세밀한 라벨링이 중요하다.
산업별 특화 코퍼스 구축도 시급한 과제다. 법률 문서, 의료 기록, 특허 명세서 등 전문 분야별 텍스트는 일반 언어와 어휘 사용이나 문장 구조가 크게 다르기 때문에, 해당 분야의 전문가와 AI 연구자가 협력하여 도메인 지식이 반영된 데이터셋을 구축해야 한다. 이를 위해 산학연 협력 체계와 공공 데이터 개방 확대가 필요하다는 목소리가 높아지고 있다.
표준화된 한국어 평가셋 개발로 모델 성능 객관적 측정 기반 마련 필요
한국어 AI 모델의 지속적인 발전을 위해서는 객관적인 성능 측정이 가능한 표준화된 평가셋 개발이 필수적이다. 현재는 기업이나 연구기관마다 서로 다른 평가 방식을 사용하고 있어 모델 간 성능 비교가 어렵고, 개선 방향을 설정하는 데 한계가 있다. 영어권에서는 GLUE, SuperGLUE 등 표준화된 벤치마크가 AI 발전을 가속화했듯이, 한국어에 특화된 종합적인 평가 체계 구축이 시급하다.
정부와 학계에서는 2026년까지 한국어 AI 평가 플랫폼 구축을 목표로 하는 'K-벤치마크' 프로젝트를 추진 중이며, 이를 통해 한국어 모델의 객관적 성능 측정과 글로벌 경쟁력 확보를 도모하고 있다. 이러한 노력이 결실을 맺기 위해서는 산업계의 적극적인 참여와 데이터 공유 문화 정착이 필요하다는 것이 전문가들의 공통된 의견이다.