There’s a video of Gal Gadot having sex with her stepbrother on the internet. But it’s not really Gadot’s body, and it’s barely her own face. It’s an approximation, face-swapped to look like she’s performing in an existing incest-themed porn video.

The video was created with a machine learning algorithm, using easily accessible materials and open-source code that anyone with a working knowledge of deep learning algorithms could put together.

최근 인터넷에서 여배우 갤 가돗이 자신의 이복형제와 성관계를 맺는 동영상이 배포되고 있다. 하지만 몸은 갤 가돗의 것이 아니며, 그냥 얼굴만 갤 가돗일 뿐이다. 다시 말해서 원래 등장인물의 얼굴을 갤 가돗의 얼굴로 바꿔치기 한 것이다.

해당 동영상은 기계학습 알고리즘을 사용하여 제작되었는데, 해당 알고리즘은 인터넷에서 쉽게 구할 수 있는 자료와 심층학습에 관한 지식을 가진 사람이라면 누구나 만질 수 있을 정도의 오픈소스 코드를 이용하여 만들어졌다.

A clip from the full video, hosted on SendVids, showing Gal Gadot's face on a porn star's body.

SendVid에 올라온 동영상 캡쳐. 기존 성인물 배우의 얼굴에 갤 가돗의 얼굴을 덧씌운 것이다.

It's not going to fool anyone who looks closely. Sometimes the face doesn't track correctly and there's an uncanny valley effect at play, but at a glance it seems believable. It's especially striking considering that it's allegedly the work of one person—a Redditor who goes by the name 'deepfakes'—not a big special effects studio that can digitally recreate a young Princess Leia in Rogue One using CGI. Instead, deepfakes uses open-source machine learning tools like TensorFlow, which Google makes freely available to researchers, graduate students, and anyone with an interest in machine learning.

물론 자세히 보면 금방 알아차릴 수 있을 정도로 티가 많이 난다. 가끔씩 얼굴이 올바르게 트래킹이 되지 않아 불편한 골짜기 효과가 발생한다. 하지만 처음 봤을 때에는 꽤 사실적으로 느껴진다. 충격적인 점은 이것이 한 사람의 작품이라는 것이다. 해당 인물은 레딧 유저로 딥페이크라는 별명을 가지고 있으며, 로그 원에서처럼 CGI를 사용하여 레이아 공주를 재현할 정도로 특수효과에 뛰어난 사람은 결코 아니다. 그 대신 딥페이크는 텐서플로우와 같은 오픈소스 기계학습 도구를 사용했다. 텐서플로우의 경우 구글은 연구원, 대학원생, 기계학습에 관심을 가지는 누구나 사용할 수 있도록 허용하고 있다.

Like the Adobe tool that can make people say anything, and the Face2Face algorithm that can swap a recorded video with real-time face tracking, this new type of fake porn shows that we're on the verge of living in a world where it's trivially easy to fabricate believable videos of people doing and saying things they never did. Even having sex.

So far, deepfakes has posted hardcore porn videos featuring the faces of Scarlett Johansson, Maisie Williams, Taylor Swift, Aubrey Plaza, and Gal Gadot on Reddit. I’ve reached out to the management companies and/or publicists who represent each of these actors informing them of the fake videos, and will update if I hear back.

사람의 목소리를 조작할 수 있는 어도비 툴이나 녹화된 비디오에서 실시간으로 화자의 얼굴을 바꿔치기 할 수 있는 페이스투페이스 알고리즘과 유사하게, 위에서 말한 가짜 성인물은 사람이 실제로는 하지 않은 행동 또는 실제로는 말하지 않은 발언을 한 것처럼 동영상을 조작할 수 있는 시대에 우리가 접어들었음을 보여주고 있다.  심지어 성관계도 예외는 아니다.

현재 딥페이크는 스칼렛 요한슨, 메이시 윌리엄스, 테일러 스위프트, 오브리 플라자, 갤 가돗의 얼굴을 합성한 하드코어 성인물을 게시한 상태이다. 기자는 해당 연예인을 대표하는 매니지먼트 에이전시 및(또는) 홍보담당자와 연락하여 가짜 동영상에 대해 알리고 새로운 정보가 있을 경우 다시 연락을 주겠다고 말했다.

Fake celebrity porn, where images are photoshopped to look like famous people are posing nude, is a years-old category of porn with an ardent fan base. People commenting and voting in the subreddit where deepfakes posts are big fans of his work. This is the latest advancement in that genre.

“This is no longer rocket science.”

According to deepfakes—who declined to give his identity to me to avoid public scrutiny—the software is based on multiple open-source libraries, like Keras with TensorFlow backend. To compile the celebrities’ faces, deepfakes said he used Google image search, stock photos, and YouTube videos. Deep learning consists of networks of interconnected nodes that autonomously run computations on input data. In this case, he trained the algorithm on porn videos and Gal Gadot’s face. After enough of this “training,” the nodes arrange themselves to complete a particular task, like convincingly manipulating video on the fly.

마치 유명인이 나체로 포즈를 취하고 있는 듯한 가짜 성인물은 매우 오래된 음란물의 장르로써 열렬한 팬 기반( -_-)을 보유하고 있다. 딥페이크의 게시글에 댓글을 달거나 추천을 하는 사람들은 그의 작품에 열광하고 있다. 이는 위에서 말한 장르의 최첨단에 있다고 할 수 있다.

"이것은 더 이상 로켓과학이 아닙니다".

자신의 정체를 숨기고 있는 딥페이크의 주장에 따르면, 자신이 사용한 소프트웨어는 다수의 오픈소스 라이브러리에 기반하고 있으며, 여기에는 텐서플로우가 연동된 케라스 등이 포함된다. 유명인의 얼굴을 컴파일하기 위해서 딥페이크는 구글의 이미지 검색 기능과 사진자료, 유튜브 비디오를 활용했다. 심층학습 기술은 자율적으로 입력자료를 계산처리하는, 상호연결된 노드의 네트워크들로 구성된다. 이 경우에 딥페이크는 성인물 비디오와 갤 가돗의 얼굴을 가지고 알고리즘을 훈련시켰다. 훈련을 거치는 과정에서 네트워크 노드들은 특정 과제(예를 들면 동영상을 실시간으로 변조하는 과제)를 수행하기 위해 연결을 수정한다.

Artificial intelligence researcher Alex Champandard told me in an email that a decent, consumer-grade graphics card could process this effect in hours, but a CPU would work just as well, only more slowly, over days.

“This is no longer rocket science,” Champandard said.

The ease with which someone could do this is frightening. Aside from the technical challenge, all someone would need is enough images of your face, and many of us are already creating sprawling databases of our own faces: People around the world uploaded 24 billion selfies to Google Photos in 2015-2016. It isn’t difficult to imagine an amateur programmer running their own algorithm to create a sex tape of someone they want to harass.

인공지능 연구자 알렉스 챔팬다드는 기자에게 이메일을 보내 최근에 시판되고 있는 그래픽 카드만 있으면 해당 효과를 몇 시간 내로 처리할 수 있지만, 그냥 CPU만 있어도 충분하다고 말한다(이 경우에는 며칠이 걸리겠지만).

"이것은 더 이상 로켓과학이 아닙니다"라고 그는 말했다.

누군가가 이런 일을 쉽게 벌일 수 있다는 사실은 섬뜩한 일이다. 기술적인 어려움 외에 필요한 것은 당신의 얼굴 이미지 뿐이며, 우리 대부분은 자기 자신의 얼굴을 포함한 대규모의 데이터베이스를 이미 만들고 있다. 2015년부터 201년까지 세계 곳곳의 사람들은 약 240억 개에 달하는 자기 사진을 구글 포토에 업로드했다. 아마추어 프로그래머가 자신만의 알고리즘을 가지고 누군가를 괴롭히기 위하여 가짜 성인물을 만드는 것은 더 이상 공상이 아니다.

Deepfakes told me he’s not a professional researcher, just a programmer with an interest in machine learning.

“I just found a clever way to do face-swap,” he said, referring to his algorithm. “With hundreds of face images, I can easily generate millions of distorted images to train the network,” he said. “After that if I feed the network someone else's face, the network will think it's just another distorted image and try to make it look like the training face.”

In a comment thread on Reddit, deepfakes mentioned that he is using an algorithm similar to one developed by Nvidia researchers that uses deep learning to, for example, instantly turn a video of a summer scene into a winter one. The Nvidia researchers who developed the algorithm declined to comment on this possible application.

딥페이크는 기자에게 자신은 전문적인 연구자가 아니며, 그저 기계학습에 관심이 있는 프로그래머일 뿐이라고 말했다.

"저는 그저 얼굴을 바꿔치기 하는 방법을 찾아냈을 뿐입니다"라고 그는 말했다. "수백 개의 얼굴 이미지가 있으니 수 백만개의 변형된 이미지를 자동으로 생성하여 인공신경망을 훈련시키는 것은 쉬운 일입니다"라고 그는 말했다. "그런 다음에 제가 인공신경망에 누군가의 얼굴을 입력하면, 인공신경망은 그 얼굴이 그저 또다른 변형된 이미지일 거라 생각하고 훈련 시에 입력시킨 얼굴처럼 보이도록 만드는 것이지요".

레딧의 댓글에 딥페이크는 자신이 엔비디아 연구진이 사용하는 것과 유사한 알고리즘을 쓰고 있다고 밝혔다. 최근에 엔비디아에서는 심층학습 기술을 활용하여 여름 풍경을 찍은 동영상을 겨울 풍경 동영상으로 바꿔놓는데 성공했다. 해당 알고리즘을 개발한 엔비디아 연구진은 앞으로 활용방안에 대한 질문에 답변을 회피했다.

In almost all of the examples deepfakes has posted, the result isn’t perfect. In the Gadot video, a box occasionally appeared around her face where the original image peeks through, and her mouth and eyes don’t quite line up to the words the actress is saying—but if you squint a little and suspend your belief, it might as well be Gadot; other videos deepfakes have made are even more convincing.

딥페이크가 게시한 예제 동영상의 거의 대부분은 완벽하지 않았다. 갤 가돗의 얼굴을 합성한 동영상의 경우에는 갤 가돗의 얼굴 주변에 박스가 종종 나타나서 원본 동영상 일부분이 보인다. 그리고 합성된 얼굴의 입과 눈은 원본 등장배우가 말하는 내용과 맞지 않는다. 하지만 눈을 약간 가늘게 뜨고 의구심을 가진다면 갤 가돗처럼 보일 것이다( -_-). 사실 딥페이크가 게시한 다른 동영상은 더 진짜처럼 보인다.

I asked deepfakes whether he considered the ethical implications of this technology. Did consent, revenge porn, and blackmail enter their mind while developing this algorithm?

“Every technology can be used with bad motivations, and it's impossible to stop that,” he said, likening it to the same technology that recreated Paul Walker’s post-mortem performance in Furious 7. “The main difference is how easy [it is] to do that by everyone. I don't think it's a bad thing for more average people [to] engage in machine learning research.”

나는 딥페이크에게 그가 해당 기술의 도덕적인 파급효과를 고려했는지 물었다. 이 알고리즘을 개발하는 과정에서 동의 여부, 복수 목적의 음란물, 블랙메일 등의 위험을 생각했을까?

"모든 기술은 나쁜 의도로 사용될 수 있으며, 이는 막을 수 없습니다"라고 그는 말했다. 사실 동일한 기술이 영화에 퓨리어스7에서 폴 워커를 재현하는데 사용되었다고 그는 덧붙였다. "중요한 점은 모두가 이를 얼마나 쉽게 할 수 있는지 여부입니다. 평범한 일반인들도 기계학습 연구에 참여하도록 하는 것이 나쁜 일이라고는 생각하지 않습니다".

Ethically, the implications are “huge,” Champandard said. Malicious use of technology often can’t be avoided, but it can be countered.

“We need to have a very loud and public debate,” he said. ”Everyone needs to know just how easy it is to fake images and videos, to the point where we won't able to distinguish forgeries in a few months from now. Of course, this was possible for a long time but it would have taken a lot of resources and professionals in visual effects to pull this off. Now it can be done by a single programmer with recent computer hardware.”

Champandard said researchers can then begin developing technology to detect fake videos and help moderate what’s fake and what isn’t, and internet policy can improve to regulate what happens when these types of forgeries and harassment come up.

“In a strange way,” this is a good thing, Champandard said. “We need to put our focus on transforming society to be able to deal with this.”

도덕적인 측면에서 파급효과는 굉장히 크다고 알렉스 챔팬다드는 말했다. 이러한 기술의 악용은 막을 수는 없으나 대응은 가능하다.

"우리는 이에 대해서 공적인 토론을 시작해야 합니다"라고 그는 말했다. "모든 사람들이 가짜 이미지, 가짜 동영상을 만들기가 얼마나 쉬운지 알아며 하며, 지금부터 몇 개월이 지나면 우리는 가짜를 구분할 수 없을 지경에 이를 수도 있습니다. 물론 예전에도 조작은 가능했지만, 당시에는 엄청난 자원과 시각효과 전문인력을 필요로 했습니다. 하지만 지금은 단 한 명의 프로그래머가 최신 컴퓨터 하드웨어로 이를 할 수 있습니다"

알렉스 챔팬다드는 연구자들이 가짜 동영상을 발견하는 기술 개발을 시작해야 하며 가짜 여부를 판별하는데 적극 도움을 제공하고, 이러한 위조물과 괴롭힘이 발생했을 때에 대비하여 인터넷 정책을 개선해야 한다고 말한다.

"좀 이상하게 들리겠지만 이건 좋은 현상입니다"라고 그는 말했다. "우리는 이러한 현상에 대비하기 위해 사회 변혁에 초점을 맞출 필요가 있습니다"