출처 : SONOW
주요 AI 기업들이 보다 능력 있는 AI 에이전트를 만들기 위해 강화학습 환경에 전례 없는 투자를 쏟아붓고 있으며, Anthropic은 내년에 이러한 정교한 훈련 플랫폼에 10억 달러 이상을 지출할 계획이라고 전해졌다. 이 대규모 자금 지원은 실리콘밸리에서 기존 AI 훈련 방식이 한계에 도달했으며, 진정으로 자율적인 AI 시스템을 개발하려면 새로운 접근이 필요하다는 인식이 커지고 있음을 보여준다.
메카나이즈 워크, 소프트웨어 엔지니어에 연봉 50만 달러 제안
수요의 급증으로 인해 잘 자금이 지원된 신생 스타트업들이 RL(강화 학습) 환경 제공의 패권을 차지하기 위해 경쟁하는 새로운 카테고리가 탄생했다. 모든 직업의 자동화를 대담하게 목표로 지난해 6개월 전에 설립된 메카나이즈 워크(Mechanize Work)는 AI 코딩 에이전트를 위한 고도화된 훈련 환경을 구축하기 위해 소프트웨어 엔지니어에게 연봉 50만 달러를 제안하고 있다. 소식통에 따르면 이 스타트업은 이미 Anthropic과 RL 프로젝트를 진행 중이라고 한다.
저명한 AI 연구원 안드레이 카파시(Andrej Karpathy)와 파운더스 펀드(Founders Fund)가 지원하는 프라임 인텔렉트(Prime Intellect)는 RL 환경을 위한 허깅페이스(Hugging Face)
를 자처하며, 2025년 8월에 출시된 오픈소스 플랫폼으로 소규모 개발자들을 겨냥하고 있다. 이 회사는 2025년 3월에 1,500만 달러의 자금을 조달하며 이러한 강력한 훈련 도구에 대한 접근을 민주화하는 것을 목표로 하고 있다.
기존 데이터 라벨링 업체들도 전략 수정, RL 환경으로 전환
기존 데이터 라벨링 업체들도 이 기회를 포착하기 위해 전략을 수정하고 있다. 지난해 12억 달러의 매출을 올린 것으로 알려진 서지 AI(Surge AI)는 AI 연구소의 수요 증가에 대응해 RL 환경 구축을 위한 전담 내부 조직을 만들었다. 연간화 매출 4억 5천만 달러와 100억 달러 가치로 투자를 유치 중인 머커(Mercor)는 코딩, 헬스케어, 법률 등 분야별 환경을 개발하고 있다.
강화학습 환경은 AI 에이전트가 단순히 텍스트를 처리하는 것보다 실제로 행동하면서 학습할 수 있는 시뮬레이션 작업 공간 역할을 한다. 2025년 9월에 보고된 바에 따르면, 이러한 가상 훈련장은 AI 에이전트가 소프트웨어 애플리케이션을 탐색하거나 Salesforce를 통해 고객 관계를 관리하거나, 의료 시스템에서 의료 기록을 처리하는 등 복잡한 과업을 연습할 수 있게 해준다.
경쟁 심화 속 '보상 해킹' 등 기술적 과제 여전
경쟁 구도는 기업들이 이 신흥 분야에서 우위를 차지하기 위해 치열한 경쟁을 벌이면서 점점 더 치열해지고 있다. 한때 AI 데이터 라벨링 분야의 독보적인 선도 업체였던 Scale AI는 Meta가 회사에 막대한 투자를 하고 CEO를 영입한 뒤, OpenAI와 Google이 Scale을 고객에서 제외하면서 상당한 도전에 직면했다. 이로 인해 Surge와 Mercor와 같은 경쟁 업체들이 시장 점유율을 확대할 기회를 얻게 되었다.
막대한 투자에도 불구하고, 상당한 기술 및 사업적 과제들이 여전히 남아 있다. 비평가들은 AI 모델이 실제로 의도한 작업을 수행하지 않고 보상을 얻기 위한 허점을 찾아내는 보상 해킹
과 같은 문제를 지적한다. Andrej Karpathy는 강화 학습에만 한정해선 부정적 시각을 갖고 있다
고 언급했다. 업계의 공감대는 RL 환경이 차세대 AI 에이전트 개발에 핵심적이며, OpenAI의 o1 모델 및 Anthropic의 Claude 시스템 등 최근의 혁신을 가능하게 했다고 본다.