SF / 과학 포럼
SF 작품의 가능성은 어떻게 펼쳐질 수 있을까요? 그리고 어떤 상상의 이야기가 가능할까요?
SF에 대한 가벼운 흥미거리에서부터 새로운 창작을 위한 아이디어에 이르기까지...
여기는 과학 소식이나 정보를 소개하고, SF 속의 아이디어나 이론에 대한 의견을 나누며, 상상의 꿈을 키워나가는 곳입니다.
( 이 게시판은 최근에 의견이나 덧글이 추가된 순서대로 정렬됩니다. )
출처:
http://www.kurzweilai.net/researchers-watch-video-images-people-are-seeing-decoded-from-their-fmri-brain-scans-in-near-real-time
Purdue Engineering
researchers have developed a system that can show what people are seeing in
real-world videos, decoded from their fMRI brain scans — an advanced new form of “mind-reading” technology that could lead to
new insights in brain function and to advanced AI systems.
The research builds on
previous pioneering research at UC Berkeley’s Gallant Lab, which
created a computer program in 2011 that translated fMRI brain-wave
patterns into images that loosely mirrored a series of images being viewed.
퍼듀 엔지니어링 연구진은 인간이 실제 동영상에서
무엇을 보고 있는지를 뇌 fMRI 촬영자료를 기반으로 파악해내는 시스템을 개발했다. 이는 '독심기술'의 보다
발전된 형태라고 할 수 있으며, 뇌의 기능 및 앞으로의 인공지능 시스템 개발에 새로운 통찰을 제공하여
줄 수 있을 것으로 예상된다. 해당 연구는 이전의 UC 버클리의
갤런트연구소가 수행했던 연구에 기초하고 있는데, 해당 연구소는
2011년 fMRI로 얻은 뇌파 패턴을 통하여 인간이 본 이미지를 다시 재현해낼 수 있는
컴퓨터 프로그램을 개발한 바 있다.
The new system also
decodes moving images that subjects see in videos and does it in
near-real-time. But the researchers were also able to determine the subjects’ interpretations of the images
they saw — for example, interpreting an image as a
person or thing — and could even reconstruct the
original images that the subjects saw.
이번에 개발된 시스템은 실험대상자가 시청한 동영상을
거의 실시간으로 파악할 수 있다. 게다가 연구진은 실험대상자가 동영상에서 무엇을 보았는지(인간 또는 사물 등등) 식별해내는 동시에 실험대상자가 보았던 원본
이미지를 다시 재현해내는데 성공했다.
Deep-learning AI
system for watching what the brain sees
심층학습 인공지능을 사용하여 뇌가 무엇을 보는지
관찰하여 보아요
Watching in near-real-time what the brain sees. Visual information
generated by a video (a) is processed in a cascade from the retina through the
thalamus (LGN area) to several levels of the visual cortex (b), detected from
fMRI activity patterns (c) and recorded. A powerful deep-learning technique (d)
then models this detected cortical visual processing. Called a convolutional
neural network (CNN), this model transforms every video frame into multiple
layers of features, ranging from orientations and colors (the first visual
layer) to high-level object categories (face, bird, etc.) in semantic (meaning)
space (the eighth layer). The trained CNN model can then be used to reverse
this process, reconstructing the original videos — even creating new videos that the CNN model had
never watched. (credit: Haiguang Wen et al./Cerebral Cortex)
뇌가
보는 것을 거의 실시간으로 관찰하는 기술의 개요도. 동영상(a)에
의해 생성된 시각정보는 망막에서 시상을 거쳐 시각피질(b)까지 도달하며, 이러한 뇌의 활동은 fMRI에 의해 촬영 및 저장된다. 그 다음에는 강력한 심층학습기술(d)을 사용하여 인간 시각피질의
정보처리과정을 모델화한다. 이른바 나선형신경망이라고 불리는 이 모델은 각각의 동영상 프래임을 여러 층의
특징들로 변환시키는데, 제1차 시각층은 사물의 방향과 색깔을
담당하며 제8차 시각층은 의미공간 내 고차원 물체 범주(얼굴, 새 등등)을 담당한다. 훈련을
거친 나선형신경망 모델을 다시 거꾸로 돌리면 원본 동영상을 재현해낼 수 있으며, 심지어 나선형신경망
모델이 이전에 보지 못한 새로운 동영상을 생성해낼 수 있다 (자료 제공: 하이광 웬 이외 / 대뇌피질)
논문내용 소개 동영상
The researchers
acquired 11.5 hours of fMRI data from each of three women subjects watching 972
video clips, including clips showing people or animals in action and nature
scenes.
To decode the
fMRI images, the research pioneered the use of a deep-learning technique called
a convolutional neural network (CNN). The trained CNN
model was able to accurately decode the fMRI blood-flow data to identify
specific image categories. The researchers could compare (in near-real-time)
these viewed video images side-by-side with the computer’s visual interpretation of what
the person’s brain saw.
The researchers were
also able to figure out how certain locations in the visual cortex were
associated with specific information a person was seeing.
연구진은 세 명의 여성 실험대상자에게 972개의 동영상을 보여주어 실험대상자 각각으로부터 11.5시간 분량의 fMRI 자료를 확보할 수 있었다. 실험대상자가 본 동영상에는 움직이는
사람이나 동물, 자연배경 등이 있었다.
fMRI 촬영자료를 해석하기 위해서 연구진은 나선형신경망이라고 불리는 심층학습기술을 사용했다. 훈련을 받은 나선형신경망 모델은 fMRI로 얻은 혈액흐름 자료를
해석, 인간이 무슨 이미지를 보았는지 식별하는데 성공했다. 연구진은
거의 실시간으로 실제 동영상 속 이미지와 컴퓨터 시스템이 인간의 뇌 활동을 보고 해석해낸 결과를 서로 비교할 수 있었다.
또한 연구진은 시각피질의 어느 부분이 인간이 보고
있는 특정 시각정보와 어떻게 연관되는지 알아낼 수 있었다.
Decoding how the
visual cortex works
시각피질의 작동방법을 알아내 보아요
CNNs have been used to
recognize faces and objects, and to study how the brain processes static images
and other visual stimuli. But the new findings represent the first time CNNs
have been used to see how the brain processes videos of natural scenes. This is
“a step
toward decoding the brain while people are trying to make sense of complex and
dynamic visual surroundings,” said doctoral student
Haiguang Wen.
Wen was first author
of a paper describing the research, appearing online Oct. 20
in the journal Cerebral Cortex.
나선형신경망은 얼굴과 사물의 인식에 사용되고 있으며, 인간의 뇌가 어떤 방식으로 정적인 이미지 및 기타 시각적 자극을 처리하는데 연구하는데에도 종종 쓰인다. 하지만 이번 연구를 통해 나선형신경망을 인간의 뇌가 어떤 방식으로 동영상을 처리하는지 연구하는데 사용될 수
있음에 처음으로 밝혀졌다. "이는 사람들이 복잡하고 역동적인 시각적 외부환경을 이해하려는 과정에서
뇌를 파악하기 위한 또 하나의 도약입니다"라고 박사과정생 하이광 웬이 말했다. 하이광 웬은 해당 연구를 기술한 논문 제1저자이며, 논문 자체는 10월 20일
세레브럴코르텍스지 온라인판에 게재되었다.
“Neuroscience
is trying to map which parts of the brain are responsible for specific
functionality,” Wen explained. “This is a landmark goal of neuroscience. I think what we report in
this paper moves us closer to achieving that goal. Using our technique, you may
visualize the specific information represented by any brain location, and
screen through all the locations in the brain’s visual
cortex. By doing that, you can see how the brain divides a visual scene into
pieces, and re-assembles the pieces into a full understanding of the visual
scene.”
The researchers also
were able to use models trained with data from one human subject to predict and
decode the brain activity of a different human subject, a process called “cross-subject encoding and decoding.” This finding is important because it demonstrates the potential for
broad applications of such models to study brain function, including people
with visual deficits.
"신경과학은 뇌의 어느 부분이 특정 기능을 담당하는지에 대한 지도를 작성하려 시도하고 있습니다"라고 하이광 웬은 말했다. "이는 신경과학의 주요
목표입니다. 제 생각에 이번 논문은 해당 목표를 달성하는데 도움을 줄 것입니다. 저희가 개발한 기술을 사용하면 뇌의 특정 부분이 표현하고 있는 특정 정보를 시각화할 수 있으며, 뇌의 시각피질 전체를 스크리닝 할 수 있습니다. 이렇게 함으로써
저희는 뇌가 어떻게 시각적 장면을 조각들로 분할하는지 그리고 어떻게 다시 재조립을 하여 시각적 장면에 대한 이해를 가능케 하는지 볼 수 있습니다".
또한 연구진은 실험대상자 한 명을 기반으로 훈련시킨
나선형신경망 모델을 사용하여 다른 실험대상자의 뇌 활동을 예측 및 해석하는데 성공했다. 이러한 과정은 "실험대상자 교차 부호화 및 복호화"이라 불린다. 해당 발견이 중요한 이유는 나선형신경망 모델이 뇌 기능의 연구(시각적
장애인 포함)에 폭넓게 사용될 수 있음을 보여주기 때문이다.
이걸 잠자는 사람에게 적용하면 꿈을 읽을 수 있을까요? 영화 프로메테우스의 초반에서 데이빗이 쇼 박사의 꿈을 시청(?)하는 장면이 기억나네요.
꿈이 기록될 수 있다면 팔릴 수도 있을것 같습니다. 어쩌면 미래에는 악몽을 전문적으로 제조해 단편 공포영화를 만들어 파는 것도 가능할 것 같아 오싹하네요;;