출처: https://singularityhub.com/2016/12/07/this-one-equation-may-be-the-root-of-intelligence/

How does intelligence work?

지능은 어떻게 작동하는가?

According to Dr. Joe Tsien, a leading neuroscientist at Augusta University in Georgia, the key lies in one simple, unassuming equation: N = 2ⁱ–1.

At its core, Tsien’s theory of connectivity describes how our billions of neurons flexibly assemble to not only gather knowledge, but to crystalize concepts and extrapolate from learned ideas to reason about things we have not yet experienced.

"Intelligence is really about dealing with uncertainty and infinite possibilities," Tsien said in a press release.

조지아주에 소재한 오거스타 대학의 저명한 신경과학자인 조 치엔 박사는 이 질문에 대한 답이 다음의 단순하면서 평범한 방정식에 있다고 주장한다: N = 2ⁱ–1.

이러한 주장의 중심에 있는 조 치엔 박사의 "연결성이론"은 수십 억개에 달하는 신경들이 어떻게 유연하게 결합하여 지식을 얻은 동시에 개념을 정립하고 기존에 배웠던 아이디어에서 우리가 아직 경험하지 않은 것들을 도출해내는지 설명하고 있다.

If you’re staring at the equation in disbelief, you’re not alone. The theory is so seemingly banal that it’s easy to dismiss as another pompous attempt at solving the brain’s neural code — all theory, no evidence.

만일 당신이 위 방정식을 의심의 눈초리로 보고 있다면, 당신은 혼자가 아니다. 조 치엔 박사가 주장하는 "연결성이론"은 얼핏 보기에 너무나도 단순해서, 자칫 이론만 있고 증거는 하나도 없이 뇌의 신경코드를 풀어내려는 또 하나의 허풍선이 시도로 무시당할 수 있다.

But in a new paper published in Frontiers in Systems Neuroscience, Tsien and his team took the theory to task in a series of animal experiments and found it at work in seven different brain regions, governing basic behaviors such as feeding, memory and fear.

And simplicity isn’t the most shocking aspect of Tsien’s idea.

하지만 조 치엔 박사와 그 연구팀은 Frontiers in Systems Neuroscience에 게재한 자신의 논문에서 동물을 대상으로 한 일련의 실험을 통해, 상기 이론이 섭취와 기억, 공포와 같이 기본적인 기능을 관장하는 7개의 뇌 영역에서 실제로 들어맞는 것을 발견했다.

그리고 조 치엔의 아이디어에서 가장 충격적인 것은 그 단순함이 아니다.

Even more controversially, the theory goes head-to-head with a fundamental teaching in neuroscience: cells that fire together, wire together.

The century-old idea is so widely accepted it may as well be dogma. It suggests that when neurons activate together to encode an object, concept or memory, their connections strengthen. If any part of the ensemble activates in the future, it triggers recall of the entire memory. In other words, cells fire randomly, but connect non-randomly through learning.

가장 논란이 되는 부분은 상기 이론이 신경과학의 근본명제, "동시에 점화하는 신경세포들은 서로 연결된다"를 부정하고 있다는 점이다.

약 1세기 전에 정립된 이 명제는 거의 도그마처럼 받아들여지고 있다. 이 명제에 따르면, 신경세포들이 어떤 사물이나 개념, 기억을 기록하기 위해 동시에 점화되는 경우, 해당 신경세포들 간의 연결은 강화된다. 만일 시간이 지나서 이 연결집단 중 어느 부분이 활성화(점화)되는 경우, 이는 기억 전체의 상기를 야기시킨다. 다르게 말해서 신경세포 각각은 우연하게 점화하지면, 학습을 통해서 비우연적으로 연결된다.

At a fundamental level the brain’s wiring is innate.

근본적인 수준에서 봤을 때 뇌의 신경연결은 선천적이다.

The theory makes sense from both the computational and cellular perspectives, but is “beautifully vague,” according to Tsien.

In stark contrast, Tsien predicts the brain runs on a series of pre-programmed, conserved networks. These networks are not learned; instead, they’re made up of pre-established neural networks, wired according to a simple mathematical principle.

In other words, at a fundamental level the brain’s wiring is innate — the motifs, established by genetics, underlie our ability to extract features, discover relational patterns, abstract knowledge and ultimately, reason.

해당 이론은 계산학적/세포학적 관점에서는 합리적으로 보이지만 "아름답게 애매모호하다"라고 조 치엔 박사는 주장한다.

이와 정반대로 조 치엔 박사는 뇌가 일련의 사전 프로그래밍되어 고착된 신경망들로 작동한다고 주장한다. 이 신경망들은 학습으로 형성된 것이 아니라 단순한 수학적 원리에 따라 연결되어 사전에 구축된 신경망들로 구성되어 있다.

다르게 말해서, 근본적인 수준에 봤을 때 뇌의 신경연결은 선천적이라는 것이다. 유전에 의해 확정된 모티브가 특징의 추출, 관계적 패턴의 발견, 추상적 지식을 형성하는 능력, 그리고 최종적으로는 사고를 좌우한다는 것이다.

"In my view, Joe Tsien proposes an interesting idea that proposes a simple organizational principle of the brain, and that is supported by intriguing and suggestive evidence," said Dr. Thomas C. Südhof, a Stanford neuroscientist studying memory formation and a winner of the 2013 Nobel Prize in Physiology or Medicine.

"This idea is very much worth testing further," he said.

"제가 보기에 조 치엔 박사의 이론은 뇌의 조직화에 대해 단순한 원리를 제공한다는 점에서 흥미롭다고 할 수 있으며, 또한 놀랍고도 암시적인 증거들에 의해 뒷받침되고 있습니다"라고 토마스 수드호프 박사가 말했다. 토마스 수드호프 박사는 기억형성을 연구하는 스탠포드 대학의 신경과학자로 2013년에 노벨생리의학상을 수상했다.
"이 아이디어는 계속해서 연구할 가치가 있습니다"라고 그는 말했다.

The theory of connectivity

연결성 이론

Tsien is no stranger to the study of intelligence.

While working at Princeton University 17 years ago, Tsien was among the first to genetically engineer “smart mice” that learned faster, remembered longer and solved complex maze problems faster than their ordinary brethren.

조 치엔 박사는 지능 연구에 있어서 문외한이 아니다.

그는 17년 전 프린스턴 대학에서 일하면서 처음으로 유전자 조작을 통해 학습속도와 기억력이 개선된 "스마트 쥐"를 만들어냈다. 이 "스마트 쥐"는 기존의 쥐들보다 더 길고 복잡한 미로 과제를 풀었다.

The creation of the Doogie mouse, named after the genius teen in the TV show Doogie Howser, MD, sparked an idea: if tinkering with just a few genes can drastically alter cognition regardless of training, it may be because the studies were messing with the brain’s fundamental wiring.

Doogie Howser, MD라는 제목의 TV 프로그램에 등장하는 천재 10대의 이름을 딴 "Doogie 쥐"의 탄생은 조 치엔 박사에게 또 하나의 아이디어를 주었다. 만일 유전자 몇 개를 조작하는 것만으로도 훈련을 할 필요없이 인지능력을 크게 바꿀 수 있다면, 아마도 연구 과정에서 쥐 뇌의 기초적인 신경연결이 영향을 받았기 때문일 것이다.

Years later, while studying how mice form different types of fear memories, Tsien discovered that cells in the hippocampus — the “memory center” of the brain — varied in their activation patterns.

수 년이 지나고 조 치엔 박사는 쥐가 어떻게 해서 다양한 종류의 공포 기억을 형성하는지 연구하는 과정에서, 뇌의 "기억 센터" 역할을 하는 해마 내 신경세포들이 다양한 점화패턴을 가지고 있음을 발견했다.

Some cells fired to any type of fearful event — an air-blow on the back (simulating an owl attack), an earthquake-like shake or a sudden free fall. Others responded to a subset of events, such as to a shake and drop, but not to an air blow. Yet others were even pickier, only activating to context-specific events, such as an earthquake in a blue but not red room.

When mapped out, the neurons formed clusters ranging from specific to general.

어떤 신경세포들은 공포를 불러일으키는 모든 사건에 반응했다(마치 올빼미가 공격하는 것처럼 쥐 등에 바람 불기, 지진을 연상케 하는 흔들림이나 갑작스런 수직 낙하 등). 하지만 어떤 신경세포들은 특정한 사건에만 반응했다(흔들림이나 낙하에는 반응하나 등에 바람 불기에는 반응하지 않는 등). 게다가 어떤 신경세포들은 특정 상황 하의 사건들에 대해서만 반응했다(파란 방에서 일어난 지진에는 반응하나 빨간 방에서 일어난 지진에는 반응하지 않는 등).

실험 결과를 토대로 해당 신경세포들의 전체 지도를 만들자, 해당 신경세포들이 구체적인 사건에 반응하는 것들로부터 일반적인 사건에 반응하는 것까지 다양한 집단을 형성하고 있음이 드러났다.

“This seed of an idea led to the theory of connectivity,” said Tsien.

At the core of the theory is N = 2ⁱ–1, or a power-of-two-based mathematical wiring logic that illustrates how neural networks go from specific to general.

"이것이 저의 연결성이론에 대한 단초를 제공했습니다"라고 조 치엔 박사는 말했다.

연결성이론의 핵심은 방정식 N = 2ⁱ–1, 또는 2의 거듭제곱에 기반한 수학적 연결논리가 있으며, 이 연결논리는 신경망들이 어떻게 해서 구체적인 것들로부터 일반적인 것들까지 올라가는지를 보여준다.

Each neural network is called a “clique.” A simple clique includes neurons that receive a specific input. Unlike the popular belief individual neurons are the brain’s basic computational unit, Tsien says these neuron clusters should take the role.

“This allows the system to avoid a catastrophic failure in the event of losing a single neuron,” explains Tsien.

These simple neural cliques then wire up into larger networks called functional connectivity motifs (FCMs) according to N = 2ⁱ–1. Here, “N” is the number of neural cliques connected in different ways and “i" is the types of information they receive.

신경망 각각은 "패(또는 패거리 -_-)"라 불린다. 단순한 패에는 특정한 입력만을 수용하는 신경들로 구성되어 있다. 개별 신경들이 뇌의 기초적인 계산단위라는 일반적인 생각과 달리, 조 치엔 박사는 신경 클러스터가 중요하다고 주장한다.

"신경체계는 신경 클러스터를 기본 계산단위로 삼음으로써 개별 신경이 고장나는 경우 재앙적인 결과를 피할 수 있습니다"라고 조 치엔은 말했다.
이 단순한 신경패들은 서로 연결되어 더 큰 신경망, 이른바 기능적 연결모티브를 구성하며, 이 때 N = 2ⁱ–1 방정식을 따른다.

이 방정식에서 N은 다양한 방식으로 서로 간에 연결된 신경패의 개수이며, i는 해당 신경패들이 받아들이는 입력의 종류이다.

For example, say you have an animal that wants food and mates (i=2). This means it needs three neural cliques (N=2*2-1) to fully represent its needs.

“According to this equation, each FCM is predicted to consist of a full range of neural cliques that extract and process a variety of inputs in a combinatorial manner,” said Tsien.

예를 들어 어떤 동물이 배가 고픈 동시에 교접( -_-)을 하고 싶어한다고 가정하자(이 경우 i = 2이다). 그렇다면 해당 욕구가 뇌에 실제로 표현되기 위해서는 총 3개의 신경패(N = 2*2-1)가 필요하다는 뜻이다.

"이 방정식에 따르면, 기능적 연결모티브 각각은 다양한 신경패들로 구성되어 있으며, 이 신경패들 각각은 다양한 입력을 추출, 조합적 방식으로 처리하는 역할을 합니다"라고 조 치엔 박사는 주장한다.

By combining these patterns, the brain can build new ideas and concepts about the world, said Tsien. In a way, it’s kind of like flexibly recombining Lego blocks to make new structures.

이 패턴들을 서로 조합함으로써 뇌는 세계에 관한 새로운 아이디어와 개념을 만들어낸다고 조 치엔 박사는 말한다. 쉽게 말해서 이는 레고 블럭을 다양하게 조립하여 새로운 구조물을 만들어내는 것과 유사하다.

For an animal that deals with more complex inputs, each neural clique handles a different aspect of incoming information. Together, they wire together to form diverse larger motifs capable of processing higher-level input.

These motifs are pre-programmed, not learned, and according to Tsien are the basic computational building blocks of the brain.

In this way, the brain can take information and turn combinations of specific features such as “earthquake” and “landslide” to more generalized knowledge, such as “natural disasters.”

더 복잡한 입력을 처리해야 하는 동물의 경우 각각의 신경패들은 입력정보의 제각기 다른 양상을 처리한다. 또 이 신경패들은 서로 간에 연결되어 더 고차원적 입력을 처리할 수 있는 다양한 모티브를 형성한다.

이 모티브들은 사전에 프로그래밍된 것이어서 학습을 통해 만들어질 수 없고, 이 모티브들이야 말로 뇌의 기본적인 계산단위라고 조 치엔 박사는 주장한다.

이렇게 해서 뇌는 "지진"이나 "산사태"와 같은 특정 개념에 관한 정보를 수집, 조립하여 더 일반적인 개념인 "자연재해"를 만들어낸다는 것이다.

Because neurons network together in this particular way, they form circuits that can find patterns from all sorts of information. By combining these patterns, the brain can build new ideas and concepts about the world, said Tsien. In a way, it’s kind of like flexibly recombining Lego blocks to make new structures.

신경들이 이러한 특정한 방식으로 서로 연결되기 때문에, 신경들은 모든 종류의 정보에서 패턴을 찾아낼 수 있는 회로를 형성한다. 이러한 패턴들을 서로 조합함으로써 뇌는 세계에 대한 새로운 아이디어와 개념을 만들어낼 수 있다. 이는 마치 레고 블럭을 사용하여 새 구조물을 만드는 것과 유사하다.

Testing the theory

이론 검증하기

If the brain really operates on N= 2ⁱ-1, the theory should hold for multiple types of cognitive tasks. Putting the idea to the test, the researchers fitted mice with arrays of electrodes to listen in on their neural chatter.

In one experiment, they gave the animals different combinations of four types of food — standard chow, sugar pellets, rice or skim milk droplets. According to the theory, the mice should have 15 (N= 2⁴-1) neuronal cliques to fully represent each food type and their various combinations.

And that’s what they found.

만일 뇌가 정말로 방정식 N= 2ⁱ-1에 기반하여 작동한다면, 이 이론은 다양한 종류의 인지적 과제들에 대해 맞아떨어져야 한다. 이론을 실제로 검증하기 위해 연구진은 쥐에 일련의 전극들을 설치하고 그 신경활동을 기록했다.

어떤 실험에서 연구진은 쥐에게 4가지 음식(일반 사료, 설탕조각, 쌀, 탈지우유 방울)을 혼합하여 먹였다. 조 치엔 박사의 이론에 따르면, 쥐의 뇌가 음식 각각과 그 혼합물들을 완벽히 표현하기 위해서는 총 15개의 신경패(N= 2⁴-1)가 있어야 했다.

When recording from the amygdala, a brain area that processes emotions, some neurons responded generally to all kinds of food, whereas others were more specific. When clustered for their activity patterns, a total of 15 cliques emerged — just as the theory predicted. 

In another experiment aimed at triggering fear, the animals were subjected to four scary scenarios: a sudden puff of air, an earthquake-like shake, an unexpected free-fall or a light electrical zap to the feet. This time, recordings from a region of the cortex important for controlling fear also unveiled 15 cell cliques. This suggests the equation is at work in many — though not all — cognitive modalities, say the researchers.

Similar results were found in other areas of the brain — altogether, seven distinct regions. The notable exception was dopamine neurons in the reward circuit, which tend to fire in a more binary manner to encode things like good or bad.

This suggests the equation is at work in many — though not all — cognitive modalities, say the researchers.

또한 연구진의 뇌의 다른 7개 부위에서도 유사한 결과를 얻을 수 있었다. 여기에서 예외가 하나 있었는데, 바로 도파민 신경과 보상회로였다. 도파민 신경과 보상회로는 좀 더이분법적인 방식으로 점화하여 좋음과 나쁨을 구별했다.

They then moved on to testing the prediction that the algorithm is pre-configured by evolution and development, rather than learned. Here, they repeated the above experiments, but with a type of genetically modified mice that lacked the NMDA receptor — a master switch that is necessary for learning-induced network changes.

그 다음에 연구진은 해당 알고리즘이 과연 학습이 아니라 진화와 성장에서 비롯된 것인지를 실험하기 시작했다. 연구진은 이제 NMDA 수용체(학습으로 인한 신경연결의 변화에 필요한 일종의 스위치이다)가 없는 유전자조작 쥐를 가지고 위 실험을 반복했다.

Surprisingly, the mathematical rule remained intact even after the genetic deletion.

Given that neurons in mice without NMDA receptors cannot “fire together, wire together,” the authors concluded that the theory of connectivity is fundamentally different than our current notion of plasticity, in that it’s not learned, but innate.

놀랍게도, 조 치엔 박사가 주장한 방정식 N = 2ⁱ–1은 NMDA 수용체의 유무를 관장하는 유전자를 제거한 후에도 그대로 적용되었다.

NMDA 수용체가 없는 쥐의 신경세포는 "동시에 점화하면 서로 연결된다"는 신경과학의 기본명제를 따를 수 없기 때문에, 연구진은 연결성이론이 오늘날 우리가 알고 있는 가소성의 개념과는 근본적으로 다르며, 학습으로 얻어지는 것이 아니라 선천적으로 확정된다고 결론내렸다.

Now what?

그래서 어쩌라고? -_-)

Tsien believes the theory can be immediately used to reexamine data regarding how memories are physically stored in the brain and potentially lead to new insights about how disease and aging affect the brain at the cell-assembly level.

With a well-described algorithm ready for testing, the theory could also potentially inform neuromorphic computing, teaching artificial circuits to discover knowledge and generate flexible behaviors.

조 치엔 박사는 빠른 시일 내에 자신의 이론이 뇌가 기억을 저장하는 방식에 관한 각종 데이터를 재검사하거나 세포군 수준에서 질환이나 노화가 어떻게 뇌에 영향을 주는지에 대해 새로운 통찰을 제공할 수 있을 것으로 확신하고 있다.

또한 해당 이론은 그 알고리즘이 검증가능한 정도로 구체적으로 기술되었다는 점에서 뉴로모픽 컴퓨팅의 발전에 기여하고 인공적 신경회로로 하여금 지식의 발견과 유연한 행동의 창발을 가능케 할 것으로 기대된다.

But for someone who studies intelligence, Tsien is rather hesitant to take his algorithm to the realm of machines.

“It is important to note that artificial general intelligence based on brain principles can come with great benefits,” he says, “and potentially even greater risks.”

하지만 지능을 연구하는 과학자로써 조 치엔 박사는 자신의 알고리즘을 기계에 적용하는 것을 주저하고 있다.

"뇌의 기본원리에 기초한 인공일반지능은 큰 혜택을 가져다 줄 수 있으면서도 동시에 더 큰 위험을 불러일으킬 수 있습니다"라고 조 치엔 박사는 말했다.