뇌영상 보면 당신의 기억과 마음 읽어낼 수 있다?

[토요판] 박형주-정수근의 기억실험실
⑦마음 읽기 기술

경험과 기억에 따라 달라지는
뇌 영역별 활성패턴 분석하면
뇌영상으로 기억 복원 가능
거짓말·거짓기억 식별 연구도

아직은 100% 정확성 어렵지만
실생활에선 기술 적용 시작
‘뇌읽기 기술 어디까지 허용?’
고민을 시작해야 할 때

사람들이 무엇을 봤는지를 그 사람의 뇌영상 자료를 통해 알아낼 수 있을까. 위쪽은 실험 참가자들이 실제 봤던 영상이며, 아래쪽은 참가자들의 뇌영상 자료를 분석해 재구성해낸 합성 영상. 미국 버클리 캘리포니아대학 갤런트 교수가 유튜브에 올린 화면 갈무리

연구자들에게는 전공별로 흔히 듣는 질문들이 있다. 심리학을 전공한 나에게는 “내가 무슨 생각을 하는지 알겠네?”가 단골 질문이었다. 경제학을 전공한 사람이 모두 부자가 되는 게 아닌 것처럼, 심리학에서 사람의 마음이 어떻게 작동하는가를 배웠다고 해서 다른 사람의 마음을 잘 읽을 수 있는 것은 아니다. 다행히 요즘에는 심리학 관련 정보를 다양한 매체에서 쉽게 접하게 되면서, ‘내 마음을 맞혀보라’며 나를 시험에 들게 하는 질문은 거의 듣지 않게 되었다.

심리학은 마음의 작동 원리를 연구하는 분야이고, 마음은 곧 뇌 활동의 결과로 나타나기 때문에 많은 심리학자들도 뇌영상 장비를 사용해서 마음을 연구하고 있다. 덕분에 최근에는 다른 질문을 더 자주 듣는다. “뇌영상 기술로 생각을 다 읽어낼 수 있다면서?”

내가 진짜 겪은 일은 다르게 찍혀

미국 로스앤젤레스 캘리포니아대학의 제시 리스먼 교수와 스탠퍼드대학의 앤서니 와그너 교수는 2016년 뇌영상을 통해 자신의 기억과 남의 기억을 식별할 수 있는지를 실험해봤다. 실험 참가자들은 3주 동안 작은 디지털카메라를 목에 걸고 생활해야 했다. 카메라는 무작위로 참가자의 일상을 기록했고, 카메라에는 엘시디(LCD) 화면이 달려 있지 않아서 참가자들은 언제 어떤 사진이 찍혔는지 알 수 없었다. 3주 뒤 연구진은 참가자들이 자신의 일상 사진과 다른 참가자의 일상 사진을 보는 동안에 그들의 뇌에서 일어나는 반응을 기능적 자기공명영상(fMRI)으로 관찰했다.

뇌영상에서는 차이가 뚜렷하게 나타났다. 참가자들은 자신이 경험한 사진 장면과 다른 사람의 사진 장면을 볼 때에 전전두피질과 두정피질 등 뇌 영역에서 서로 다른 기억 반응의 패턴을 보였다. 예를 들어 신경세포 ㄱ, ㄴ, ㄷ, ㄹ이 있다면, 내 진짜 기억에는 ㄱ, ㄴ, ㄷ 세포가 반응하고 남의 기억에 대해선 ㄷ, ㄹ 세포가 반응하는 식이었다.(자기공명영상으로 신경세포의 활성화를 직접 볼 수는 없지만 뇌 혈관 속의 산소 함량 변화를 추적하면 신경세포의 활동을 간접적으로 측정할 수 있다.)

이런 결과는 기억의 ‘내용’을 읽어낸 것은 아니었지만, 기억을 검색하고 확인하는 과정을 담당하는 뇌 영역의 반응을 살펴보면 그 기억이 직접 경험한 것인지 진위를 알 수 있음을 보여준다.

내가 직접 경험한 기억과 남의 기억을 구분할 수 있다면, 한 일을 하지 않았다고 하거나 반대로 하지 않은 일을 했다고 거짓말을 하는 것도 잡아낼 수 있을까? 통제된 실험 환경에서 이뤄진 ‘마음 읽기’ 연구결과를 현실에 그대로 적용하기는 힘들다. 거짓말을 하면 뇌 반응이 달라질 수 있겠지만, 일상에서 남을 속이기 위해 자발적으로 거짓말을 하는 상황과 실험 연구자의 지시에 따르며 거짓말을 만들어내는 상황이 똑같지는 않기 때문이다.

그러면 실험 참가자들이 자발적으로 속일 때에는 뇌영상에서 어떤 현상이 관찰될까? 하버드대학의 조슈아 그린 교수 연구팀은 실험 참가자들의 자발적인 속임수 행동을 잡아낼 수 있는 독특한 실험 방법을 고안했다. 참가자들은 동전 던지기의 결과를 맞히는 컴퓨터 게임을 했다. 컴퓨터는 50% 확률로 동전의 앞면 또는 뒷면을 보여줬고, 참가자들은 동전 던지기의 결과를 정확히 예측했을 때마다 보상을 받을 수 있었다. 일부 실험에서는 동전의 어느 면이 나올지 예측을 먼저 컴퓨터에 입력하고 난 뒤에 결과를 확인하게 했고, 다른 실험에서는 결과를 본 뒤에 자신의 예상과 같았는지를 참가자가 스스로 입력하게 했다. 즉, 예측을 미리 입력할 필요가 없는 실험에서는 참가자가 거짓말을 하더라도 남들이 확인할 방법이 없는 상황을 만들어주었다.

동전 던지기를 반복하면 앞뒷면 한쪽이 나올 확률은 50%에 가깝게 수렴하게 마련이다. 그러나 사실상 속임수를 허용한 실험에서 상당수의 참가자는 우연이라 하기엔 너무 높은 수준의 정확률을 보였다. 어떤 참가자는 자신이 모든 동전 던지기 결과를 정확히 예측했다고 답하기도 했다.

연구팀은 비정상적으로 높은 정확률을 보고한 사람들이 거짓말을 했을 가능성이 높다고 추정하고서, 거짓말을 했을 이 사람들의 뇌영상을 관찰했다. 그랬더니 전전두피질의 여러 영역에서 높은 활성화 패턴이 나타났다. 하지만 이런 뇌 영역들이 ‘거짓말’을 만들어내는 영역이라고 속단할 수는 없다. 이 영역들은 ‘인지 통제’ 기능과 관련이 있고, 그래서 거짓말을 할까 말까 고민하는 과정에서 활성화되었을 수도 있다. 꼭 거짓말할 때가 아니더라도 복잡한 결정을 하거나 다른 인지 통제 과제를 행할 때도 비슷한 영역이 반응할 수 있다는 것이다. 따라서 참가자가 보일 수 있는 반응의 범위가 어느 정도 제한된 실험 상황이 아니라면, 특정 뇌 영역의 활성화가 거짓말 때문인지 다른 생각 때문인지를 완벽하게 확인하는 데에 아직은 한계가 있다.

생각의 ‘내용’도 대략 맞혀

지금까지 소개한 연구는 ‘내 기억이 맞다 아니다’ 또는 ‘거짓말을 했다 안 했다’를 뇌영상의 차이를 통해 구분한 것들이다. 그러니까 그 자체로는 기억이나 생각의 구체적인 ‘내용’을 알 수는 없었다. 하지만 ‘마음 읽기’라고 말한다면, 영화 <해리 포터>에 나오는 상대방 기억을 읽는 마법이나 영화 <인셉션>처럼 꿈속으로 들어가 숨겨진 무의식을 찾아내는 정도는 돼야 하지 않을까? 현대 뇌과학에서 좀 더 구체적인 정보를 뇌영상을 보고서 읽어내는 게 가능할까?

<해리 포터>에 등장한, 상대방 마음을 읽는 마법과 같은 기술이 현대 과학에서도 가능할까? 영화 <해리 포터> 한 장면.

완전히 불가능한 일은 아니다. 이와 관련한 초기 연구들은 얼굴이나 장소 등 특정한 범주의 정보에 선택적으로 반응하는 뇌 영역들이 따로 있다는 점에 주목했다. 예를 들어 얼굴에 대한 반응은 ‘방추상 얼굴 영역’이라는 뇌 부위에서, 건물이나 풍경 등은 ‘해마곁 공간 영역’으로 불리는 부위에서 강한 신경 반응이 나타난다. 이를 거꾸로 추적해 매사추세츠공과대학의 낸시 캔위셔 교수는 단순히 각 뇌 영역이 언제 얼마나 활성화되었는지만 봐도 사람들이 얼굴을 봤는지 건물을 봤는지를 85% 이상 예측할 수 있음을 2000년에 일찌감치 보여주었다.

재밌게도 사람들이 아무것도 보지 않고 얼굴이나 건물을 상상만 했을 때에도 ‘방추상 얼굴 영역’이나 ‘해마곁 공간 영역’에서 높은 신경 반응이 나타났다. 실제로 얼굴이나 건물을 볼 때 반응하는 영역과 상상했을 때 반응하는 영역은 90% 가까이 겹쳤다. 즉, 무엇인가를 봤을 때의 뇌 반응 패턴을 미리 알면 사람들이 무엇을 생각했는지도 어느 정도 예측할 수 있다는 것이다.

2011년에는 사람들이 무엇을 봤는지를 영상으로 복원해내는 연구가 발표되어 많은 화제를 모았다. 버클리 캘리포니아대학 심리학과의 잭 갤런트 교수 연구팀은 뇌 시각피질 영역이 시각 정보에 어떤 패턴으로 반응하는지를 분석했다. 그리고 그런 시각피질의 반응 패턴을 만들어낼 것으로 예측되는 동영상들을 유튜브에서 골라내 합성해서 사람들이 실제 본 영상과 비교했다. 그 결과, 사람들이 봤던 영상과 얼추 비슷한 모양을 만들어낼 수 있었다. 다시 말해, 사람들이 동영상을 볼 때 나타나는 뇌 활성화 패턴만 분석해도 거꾸로 그 사람이 어떤 동영상을 봤는지를 다시 구성해낼 수 있을 가능성을 보여준 것이다.(이 흥미로운 실험 결과는 유튜브(youtu.be/nsjDnYxJ0bo)에서 볼 수 있다.)

뇌 속 정보는 사생활 아닌가

여러 연구는 뇌에서 생각을 읽어내는 게 어느 정도 가능하다는 것을 보여준다. 하지만 많은 연구자는 ‘마음 읽기’ 기술이 실생활에서 쓰이기엔 아직 한계가 있다는 견해를 밝히고 있다.

우선 뇌영상 장비의 성능이 개선되고 기계학습을 사용해 많은 자료를 정교하게 분석할 수 있게 되었지만, 여전히 100% 정확하다고 장담할 수 없다. 일례로 2009년에 뇌영상 분석 방법의 오류를 지적하는 논문이 나오기도 했으며, 2016년에는 널리 쓰이는 뇌영상 분석 소프트웨어의 오류가 발견되기도 했다.

또한 가짜 기억을 진짜라고 믿는다면, 뇌영상만으로는 가짜와 진짜를 구분하기 어렵다. 하버드대학의 리처드 맥낼리 교수는 불가능한 기억을 연구하기 위해 외계인에게 납치된 적이 있다고 믿는 사람들을 모집했다.(여담으로, 맥낼리 교수는 참가자가 별로 없을까 봐 걱정했지만 외계인 납치를 믿는 사람들은 자신의 경험을 과학으로 검증하기 위해 실험에 적극 참가했다고 한다. 덕분에 참가자 모집이 수월했다.) 외계인에게 납치되었다고 믿는 사람들은 납치 경험(?)을 회상했을 때 심박수와 피부 전도성이 증가했는데, 이는 스트레스를 받은 다른 진짜 기억을 회상했을 때와 동일한 신체 반응이었다. 즉, 진짜라고 믿으면 진짜 기억처럼 작동한다는 것이다. 실제로 다른 연구에서도 진짜라고 믿는 가짜 기억은 뇌영상에서도 진짜 기억과 비슷한 반응을 보였다.

참가자가 실험에 집중하지 않거나 지시에 따르지 않을 때에도 뇌영상으로 생각을 읽어내기는 어렵다. 예를 들어 참가자가 기억하고 있는 장면을 보면서 다른 장면을 상상하거나 딴생각을 하고 있으면 뇌영상에서도 참가자의 진짜 기억이 아닌 것처럼 나타날 수 있다.

연구자들은 기술의 한계를 우려하지만, 이미 뇌영상 기술은 실생활에 쓰이기 시작했다. 2008년 인도에서는 뇌파검사(EEG)가 법정에서 증거로 채택되었다. 용의자에게 범죄에 대한 설명을 들려주었더니 범죄 현장을 경험한 것처럼 뇌 반응이 나왔고, 이를 근거로 유죄가 선고되어 많은 논란이 됐다. 중국에서는 고속철도 운전사의 뇌 신호를 측정해 졸음이나 주의 저하를 감지하는 기술이 사용되기도 했다.

기술적으로 완벽하지 않더라도 실용적인 이점이 있다면 일상생활에도 뇌 읽기 기술을 도입해야 할까? 회사에서 입사 면접 대신 뇌 스캔을 통해 당신을 평가한다면, 업무 중에 뇌 촬영 장비를 쓰고 있어야 한다면 어떨까? 졸음 방지를 위해 뇌를 읽어내는 도중에 내 다른 생각도 읽힐 수 있을까? 뇌 속의 정보도 사생활로 보호되어야 하는 게 아닐까? 이제는 “뇌에서 생각을 읽어낼 수 있을까”가 아니라 “뇌 읽기 기술을 어디까지 허용하고 제한해야 할까”라는 고민을 시작해야 할 때가 온 것 같다.

정수근 한국뇌연구원 선임연구원(심리학)

▶박형주·정수근의 기억 실험실: 기억은 뇌 어디에 어떻게 자리 잡고 있을까? 기억은 어떻게 저장되고 쇠락하고 변형될까? 인류가 기억에 관해 호기심을 가진 것은 오래됐지만, 기억의 실체가 과학적으로 규명되기 시작한 건 최근 뇌과학이 발전하면서부터다. 정부 산하 뇌 분야 전문 연구기관인 한국뇌연구원의 박형주·정수근 선임연구원이 뇌과학이 밝혀낸 기억의 비밀을 번갈아 들려준다. 격주 연재.