출처 : SONOW
AI 시스템 전 영역 망라한 50개 보안 점검 항목 최초 표준화
국제 사이버보안 연합(ICSA)과 AI 안전성 연구소(AISR)가 공동으로 AI 시스템의 보안 취약점을 종합적으로 진단할 수 있는 50개 점검 항목을 담은 체크리스트를 발표했다. 이번에 공개된 점검표는 AI 시스템의 핵심 구성요소인 데이터, 모델, 인프라, 사용자 인터페이스 등 4개 영역을 포괄하며, 각 영역별로 10~15개의 세부 점검 항목을 제시하고 있다.
데이터 영역에서는 훈련 데이터의 출처 검증, 데이터 편향성 점검, 개인정보 익명화 수준 등을 평가하며, 모델 영역에서는 적대적 공격 방어 능력, 모델 가중치 보호, 추론 결과 검증 체계 등을 점검한다. 인프라 영역은 API 보안, 컴퓨팅 자원 접근 통제, 네트워크 격리 수준을 다루고, 사용자 영역에서는 인증 체계, 권한 관리, 활동 로깅 등을 평가한다.
기업 AI 도입 확대로 보안 취약점 노출 위험 급증
최근 기업들의 AI 시스템 도입이 급속도로 확대되면서 보안 취약점으로 인한 위험도 비례하여 증가하고 있다. 글로벌 보안업체 시큐리티인사이트의 조사에 따르면, 지난 1년간 AI 시스템을 대상으로 한 사이버 공격이 전년 대비 178% 증가했으며, 특히 모델 탈취와 데이터 중독(data poisoning) 공격이 두드러지게 늘어났다.
AI 시스템은 기존 IT 시스템과 달리 데이터 의존성이 높고, 모델의 블랙박스 특성으로 인해 취약점 발견이 어려운 특징이 있다. 또한 대규모 언어 모델(LLM)의 경우 프롬프트 인젝션 공격에 취약하며, 생성형 AI의 출력물이 기업 의사결정에 활용될 경우 조작된 정보로 인한 피해가 확산될 수 있다.
"AI 시스템은 기존 IT 인프라와 다른 고유한 보안 위험을 내포하고 있어 전통적인 보안 접근법만으로는 충분한 보호가 어렵다"고 ICSA의 마크 존슨 이사는 설명했다.
AI 보안 규제 강화 전망에 기업들 선제적 대응 필요
향후 각국 정부와 국제기구는 AI 시스템에 대한 보안 규제를 강화할 전망이다. 유럽연합은 이미 AI법(AI Act)을 통해 고위험 AI 시스템에 대한 보안 인증을 의무화했으며, 미국과 한국도 유사한 규제 프레임워크를 준비 중이다. 이에 따라 기업들은 규제 대응 비용 증가와 컴플라이언스 리스크에 직면하게 될 것으로 예상된다.
전문가들은 이번에 공개된 보안 점검표를 활용해 기업들이 자체적인 AI 보안 진단을 정기적으로 실시하고, 취약점 발견 시 즉각적인 보완 조치를 취할 것을 권고하고 있다. 특히 금융, 의료, 공공 서비스 등 민감한 개인정보를 다루는 산업군에서는 더욱 철저한 보안 관리가 요구된다.
AI 보안 전문기업 시큐어AI의 김태호 대표는 "이번 체크리스트는 AI 시스템의 전 생애주기에 걸친 보안 관리 체계를 구축하는 데 유용한 가이드라인이 될 것"이라며 "특히 중소기업들이 제한된 보안 자원으로도 효과적인 AI 보안 체계를 갖추는 데 도움이 될 것"이라고 평가했다.