Each of those nine boxes is the PathNet at a different iteration. In this case, the PathNet was trained on two different games using a Advantage Actor-critic or A3C. Although Pong and Alien seem very different at first, we observe a positive transfer learning using PathNet (take a look at the score graph).

그림 1의 박스 각각은 훈련단계별 PathNet을 보여주고 있다. 본 예제에서 PathNet은 퐁과 에일리언을 학습했다. 비록 퐁과 에일리언은 매우 다른 게임이지만, 그림 1 아래에 있는 게임점수 추이를 보면 PathNet의 이전학습이 긍정적임을 알 수 있다(다시 말해서 처음에 퐁을 배웠던 것이 나중에 에일리언을 배우는데 도움이 되었다).

How does it train

대체 어떻게 학습을 하는 거요?

First of all, we need to define the modules. Let L be the number of layers and N be the maximum number of modules per layer (the paper indicates that N is typically 3 or 4). This last layer represents the value function and policy evaluation.

먼저 모듈이 무엇인지 정의해야 한다. L이 층의 개수이고 N은 한 층당 최대 모듈 개수라고 하자(딥마인드에서 발표한 논문을 보면 N이 대략 3 ~ 4개라고 한다). 마지막 층은 가치함수와 정책평가를 표현한다.

After defining those modules, P genotypes (=pathways) are generated in the network. After T episodes, a worker selects a couple of other pathways to compare to, if any of those pathways have a better fitness, it adopts it and continues training with that new pathway. If not, the worker continues evaluating the fitness of its pathway.

모듈을 정의하고 나면 PathNet 내부에 P개의 유전자형(=경로들)이 생성된다. T번의 연습이 끝난 뒤 몇 개의 경로들을 골라 서로 비교하여 어느 경로가 가장 점수를 많이 올렸는지 확인한다. 이 중에서 가장 많이 점수를 올린 경로를 선택하여 그 경로를 가지고 학습을 계속한다. 만일 딱히 점수를 높게 받은 경로가 없을 경우에는 평가작업을 계속 진행한다.

Transfer learning

전이학습

After learning a task, the network fixes all parameters on the optimal path. All other parameters must be reinitialized, otherwise PathNet will perform poorly on a new task.

과제를 학습한 뒤에 PathNet은 최적의 경로를 이루는 모든 파라미터를 고정시킨다. 그 외에 다른 파라미터들은 모두 초기화된다. 이렇게 하지 않으면 PathNet은 나중에 새로운 과제를 수행할 때 어려움을 겪게 된다.

Results

결과

그림 2. 위 표는 각 게임쌍에 대한 성능(게임 1을 먼저 학습시킨 다음 게임 2를 학습시켰을 때

점수를 더 잘 따는지 아니면 못 따는지 여부)를 비교한 것이다.

여기서 맨 위 열에 있는 de novo는 특정 게임 하나만 전문적으로 학습시킨 인공신경망을 말하며, 해당 인공신경망의 성능을 1로 놓았다.

그 아래 3열은 미세조정을 거친 인공신경망, 마지막 3열은 PathNet이다.

칸의 점수가 1보다 크면 게임 하나만 전문적으로 배운 인공신경망보다 점수를 더 빨리 많이 땄다는 것이고,

1보다 작으면 그 반대로 점수를 잘 못 땄다는 것이다.

다시 말해 칸의 점수가 1보다 크면(녹색칸) 이전학습이 성공적인 것이고, 1보다 작으면(파랑칸) 그 반대이다.

PathNet does not work on every pair of game (blue cells equal negative transfer). But the important takeaway here is that PathNet actually works for some sets of games, which is already an immense step towards better transfer learning.

위 표를 보면 알 수 있듯이 PathNet은 모든 게임쌍에 대해 효과가 있지는 않았다(파란 칸은 전이학습이 부정적으로 이루어진 것을 뜻한다). 하지만 중요한 점은 PathNet이 실제로 몇몇 게임쌍에 대해 효과가 있었다는 점이다. 이는 좀 더 개선된 전이학습을 향한 큰 도약이라 할 수 있다.

Extrapolating

전망

We can imagine that in the future, we will have giant AIs trained on thousands of tasks and able to generalize. In short, General Artificial Intelligence.

미래에는 수 천개의 다양한 과제를 학습하면서 일반화를 할 수 있는 거대 인공지능들이 개발될 수도 있다. 이는 곧 일반인공지능(멀티백? -_-)의 등장을 의미한다.

논문링크: https://arxiv.org/pdf/1701.08734.pdf