인간의 뇌 신경망과 AI 신경망이 서로 연결되어 학습하는 모습

출처 : SONOW

뇌가소성에서 영감받은 AI 혁명

"인공지능은 인간 뇌의 모방에서 시작되었다." 1943년 워런 맥컬록과 월터 피츠가 제안한 최초의 인공신경망 모델이 바로 뇌의 뉴런 작동 원리를 모사한 것이었다. 80년이 지난 지금, AI와 뇌가소성의 관계는 더욱 정교해지고 있다.

구글 딥마인드의 알파고가 바둑 천재 이세돌을 이긴 2016년, 그 승리의 핵심에는 뇌가소성과 동일한 원리가 있었다. 경험을 통한 학습과 적응이다. 알파고는 수백만 개의 바둑 기보를 학습하며 가중치를 조정했는데, 이는 인간이 반복 학습을 통해 시냅스 연결을 강화하는 것과 본질적으로 같은 과정이다.

현재 ChatGPT, GPT-4 등 대형언어모델(LLM)의 학습 과정은 뇌의 신경가소성과 놀라울 정도로 유사하다. 트랜스포머 구조의 어텐션 메커니즘은 뇌의 선택적 주의 집중과 같고, 파라미터 업데이트는 시냅스 가중치 조절과 동일한 원리로 작동한다. 특히 인간의 뇌운동처럼 AI도 "사용할수록 더 똑똑해진다"는 특성을 보인다.

스탠포드 대학교 AI연구소의 페이페이 리 교수는 "AI의 발전은 뇌과학의 발전과 정비례한다"며 "뇌가소성 원리를 더 정확히 이해할수록 더 강력한 AI를 만들 수 있다"고 설명했다.

학습 메커니즘의 놀라운 공통점

AI 딥러닝과 인간의 뇌가소성은 여러 측면에서 공통된 학습 원리를 보인다. 첫째, 계층적 특징 추출이다. 딥러닝 네트워크는 입력층에서 출력층으로 갈수록 점점 더 복잡하고 추상적인 특징을 학습한다. 인간의 시각피질도 동일하게 작동한다. 1차 시각피질에서는 선분과 모서리를, 고차 영역에서는 얼굴이나 사물 전체를 인식한다.

둘째, 오류 역전파(backpropagation) 방식이다. AI는 예측 오류를 뒤로 전파하며 가중치를 조정하는데, 뇌도 예상과 다른 결과가 나올 때 도파민 신호를 통해 신경 연결을 수정한다. 이는 "실수를 통한 학습"이라는 뇌가소성의 핵심 원리와 일치한다.

셋째, 전이학습(transfer learning) 능력이다. 사전 훈련된 AI 모델이 새로운 작업에 빠르게 적응하는 것처럼, 인간도 기존 지식을 새로운 상황에 응용한다. 예를 들어 자전거를 탈 줄 아는 사람이 오토바이 운전을 더 쉽게 배우는 것과 같은 원리다.

MIT 뇌인지과학과의 토마소 포지오 교수는 "AI와 뇌 모두 데이터 효율성을 극대화하려는 방향으로 진화한다"며 "이는 제한된 자원으로 최대한의 학습 효과를 얻으려는 생물학적 원리의 반영"이라고 분석했다.

뇌과학이 제시하는 AI의 미래 방향

뇌가소성 연구는 AI 발전의 새로운 방향을 제시하고 있다. 현재 주목받는 분야 중 하나는 "신경형태공학(Neuromorphic Computing)"이다. 인텔의 로이히 칩, IBM의 트루노스 칩 등은 뇌의 뉴런과 시냅스를 직접 모방한 하드웨어로, 기존 디지털 컴퓨터보다 에너지 효율이 1000배 높다.

또 다른 혁신은 "평생학습(Lifelong Learning)" AI다. 기존 AI는 학습 완료 후 새로운 정보를 받으면 이전 지식을 잊어버리는 "파국적 망각" 문제가 있었다. 하지만 뇌가소성의 "시냅스 안정성" 원리를 적용한 새로운 알고리즘들이 이 문제를 해결하고 있다.

"메타학습(Meta-Learning)"도 뇌의 학습 전략에서 영감을 받았다. "학습하는 방법을 학습하는" 이 기술은 뇌가 새로운 상황에서 기존 학습 패턴을 빠르게 적용하는 능력을 모방한다. 구글의 MAML, OpenAI의 GPT 시리즈가 대표적 사례다.

카네기멜론 대학교 기계학습과의 톰 미첼 교수는 "뇌가소성의 시간적 역학을 AI에 적용하면 더욱 인간답고 효율적인 학습이 가능하다"며 "뇌운동처럼 점진적이고 지속적인 AI 훈련 방법론이 필요하다"고 강조했다.

인간-AI 협력의 뇌과학적 기반

미래 사회에서 AI와 인간의 협력 관계는 뇌가소성 원리에 기반할 것으로 전망된다. 인간의 뇌는 창의성, 직관, 윤리적 판단에 특화되어 있고, AI는 대용량 데이터 처리와 패턴 인식에 뛰어나다. 이 두 시스템의 "인지적 상호보완"이 핵심이다.

실제로 의료 분야에서는 AI가 영상 분석으로 병변을 찾고, 의사가 최종 진단과 치료 계획을 세우는 협력 모델이 확산되고 있다. 이때 의사의 뇌는 AI 분석 결과를 받아들이며 새로운 진단 패턴을 학습하는 뇌가소성을 보인다.

교육 분야에서도 AI 튜터와 인간 교사의 협력이 각광받고 있다. AI는 학습자의 개별 특성을 분석해 맞춤형 커리큘럼을 제공하고, 교사는 감정적 지지와 동기부여를 담당한다. 이 과정에서 학습자의 뇌는 AI와 인간 모두로부터 최적화된 자극을 받아 뇌운동 효과를 극대화한다.

앞으로 "뇌-컴퓨터 인터페이스(BCI)" 기술이 발전하면 인간의 뇌가소성과 AI 학습이 실시간으로 연동될 수도 있다. 일론 머스크의 뉴럴링크가 목표로 하는 것도 바로 이런 미래다. 뇌와 AI가 서로의 학습 능력을 보완하며 진화하는 새로운 지능의 시대가 열리고 있는 것이다.