출처: https://www.newscientist.com/article/2142059-sneaky-attacks-trick-ais-into-seeing-or-hearing-whats-not-there/

When it comes to AI, seeing isn’t always believing. It’s possible to trick machine learning systems into hearing and seeing things that aren’t really there.

We already know that wearing a pair of snazzy glasses can fool face recognition software into thinking you’re someone else, but research from Facebook now shows that the same approach can fool other algorithms too.

인공지능한테 보는 것은 곧 믿는 것을 뜻하지 않는다. 기계학습 시스템이 현실에 없는 것을 보거나 듣도록 속일 수 있기 때문이다.

세련된 안경을 낀 사람의 경우 얼굴인식 소프트웨어가 다른 사람으로 오판할 수 있다는 것은 이미 알려져 있지만, 페이스북 연구진은 이와 동일한 방법으로 다른 알고리즘도 속일 수 있음을 밝혀냈다.

The technique – known as an adversarial example ­– could be used by hackers to trick driverless cars into ignoring stop signs or prevent a CCTV camera from spotting a suspect in a crowd.

Show an algorithm a photo of a cat that’s been manipulated in a subtle way and it will think it’s looking at a dog. The alterations, however, may be so slight that a human would never be able to tell the image had been tampered with.

적대적 예제라 불리는 이 방법은 자율주행차로 하여금 멈춤 표지판을 무시하게 만들거나 CCTV 카메라가 군중 속에 있는 수배범을 발견하지 못하도록 만들 수 있다.

알고리즘에게 약간 조작된 고양이 사진을 보여주면 알고리즘은 그것을 개 사진으로 인식할 것이다. 하지만 해당 조작은 너무나도 미미해서 사람이 눈으로 봐서는 해당 사진이 조작된 것인지 구분할 수가 없다.

Moustapha Cissé, an AI researcher at Facebook, and his colleagues figured out that a similar technique  – which they have called Houdini – can be used to fool both voice recognition and machine vision systems, by adding such small amounts of digital noise to images and sounds that humans would not notice.

To find a way of deceiving such systems, a hacker would just need to know what an algorithm is seeing or hearing when faced with a particular situation.

페이스북의 인공지능 연구원인 무스타파 시세와 그 동료들은 위에서 말한 것과 유사한 방법 (이들은 해당 방법을 '후디니'라 명명했다)으로 음성인식시스템과 이미지인식 시스템을 속일 수 있음을 발견했다. 해당 방법은 이미지와 음성에 인간이 알아채지 못할 정도로 작은 디지털 잡음을 추가하는 것이다.

해커가 해당 시스템을 속이기 위해서는 단지 특정 상황에서 알고리즘이 무엇을 보고 듣는지 알아내기만 하면 된다.

While there’s no evidence that these kinds of attack have been used in the real world, Marta Kwiatkowska at the University of Oxford says it’s only a matter of time before we will see them being used. “At the moment we have no protection,” she says, although systems vulnerable to these attacks are already in use in CCTV cameras.

실제로 이러한 종류의 공격이 발생했는지에 대한 증거는 없으나, 옥스포드대학교의 마르타 퀴아코스카는 이러한 공격이 시간 문제일 뿐이라고 말한다. 이러한 공격에 취약한 시스템들이 이미 CCTV 카메라에 사용되고 있음에도 불구하고, "현재로써는 해당 공격에 대한 방어책이 없습니다"라고 마르타 퀴아코스카는 말했다.

Nicolas Papernot at Pennsylvania State University agrees. “It is likely that machine learning will be exploited to attack systems. More research is needed to invent new machine learning techniques so we can use them as a defence,” he says.

펜실바니아주립애학교의 니콜라스 페이퍼노트도 여기에 동의한다. "기계학습이 다른 시스템을 공격하는데 이용될 가능성이 있습니다. 따라서 새로운 기계학습 기술을 개발하여 방어책으로 사용할 수 있도록 연구가 필요한 상황입니다"라고 그는 말했다.

Sleight of hand

교묘한 속임수

Cissé found that the types of image classification algorithm used in driverless cars could be made to ignore pedestrians or parked cars. “I think we should worry about how we can ensure that the neural networks we put in cars are safe,” he says.

The Facebook study showed that this approach can also be extended to voice recognition systems. Cissé’s team inserted a small amount of digital noise into a voice recording of a person speaking a phrase, and played that recording to the Google Voice speech recognition app.

Presented with this adversarial example, the app thought it was hearing a completely different sentence to the one that was actually spoken.

But not everyone is sure that attacks will work in the real world. David Forsyth at the University of Illinois at Urbana-Champaign built a fake stop sign that was digitally altered to try and fool such algorithms.

무스타파 시세는 자율주행자에서 사용되는 이미지분류 알고리즘이 보행자나 주차차량을 무시할 수 있도록 만들 수 있음을 발견했다. "제 생각으로는 자율주행자에서 사용되고 있는 인공신경망이 얼마나 안전한지에 대한 고민이 필요합니다"라고 그는 말했다.

페이스북의 이번 연구에 다르면 해당 속임수는 음성인식 시스템에도 적용할 수 있다. 무스타파 시세의 연구팀은 사람이 말하는 목소리에 희미한 디지털 잡음을 삽입하여 구글의 음성인식 앱에게 녹음시켰다. 이러한 적대적 예제가 입력되자 음성인식 앱은 실제로 사람이 발음한 문장과는 전혀 다른 내용의 문장을 인식했다. 하지만 이러한 공격이 실제 세계에서도 통할지는 아직 의심의 여지가 있다. 참고로 일리노이주립대학교의 데이빗 포싯은 이미지인식 알고리즘을 속이기 위해 디지털 조작된 가짜 멈춤 표지판을 제작했다.

He found that when the signs were viewed by a moving camera – as they would be from a driverless car – they didn’t actually fool the algorithm. Adversarial examples might work under perfect conditions, he says, but in the real world factors such as lighting and viewing angles might make them much less successful. “The attacks may be more difficult to deliver than they seem,” he says.

그는 자율주행차의 경우처럼 카메라가 움직이면서 표지판을 촬영하는 경우에는 속임수가 통하지 않는다는 것을 발견했다. 위에서 말한 적대적 예제는 완벽한 상황에서는 효과를 발휘할 수 있으나 조명이나 보는 각도와 같은 실제 세계의 여러 변수들 때문에 그 성공확률이 감소한다고 그는 말했다. "이러한 공격은 겉으로 보기보다 훨씬 어려울 수 있습니다"라고 그는 덧붙였다.

AI research lab OpenAI responded to Forsyth’s paper with a blog post that showed it is possible to trick image recognition algorithms even if the image is viewed from different distances and angles.

The main problem is that we still don’t know why algorithms are so responsive to minute changes that humans would never even notice, says Forsyth. “We basically don’t understand what’s going on inside them.”

인공지능연구소 OpenAI는 데이빗 포싯의 이번 연구결과에 대해 블로그에 올린 글에서 이미지를 다양한 거리 및 각도에서 보는 경우에도 이미지 알고리즘을 속일 수 있음을 보였다.

문제는 왜 알고리즘들이 인간한테는 보이지 않을 정도로 작은 변화에 과민한 반응을 보이는지 그 이유가 아직 밝혀지지 않았다는 점이다. "아직도 우리는 알고리즘 안에서 무슨 일이 벌어지는지 이해하지 못하고 있습니다"라고 데이빗 포싯은 말했다.

논문링크: arxiv.org/abs/1707.05373