1. 인간에게 해를 끼치지 않는다.
2. 1번에 위배되지 않는 한 인간의 명령을 따른다.
3. 1번, 2번에 위배되지 않는 한 스스로를 보호한다.

근데 이걸 정한것도 인간이잖습니까.

표XX님의 무인 전투기 글을 보다보니까 든 생각인데 말이죠.

거기에서는 '무인 전투기의 AI'가 인간을 죽일 수 있느냐 없느냐에 대한 윤리적 문제가 간단히 언급되고 넘어가서 말입니다.
http://www.joysf.com/forum_sf/2107084  )

사실 이 글에서는 그 부분을 집중적으로 따지기보다는 유인전투기가 무인전투기보다 더 효율적일 수 있는 설정 같은 걸 생각해보자는 취지에 가깝다고 생각.

사실 저는 개인적으로 저 로봇3원칙의 파기 가능성을 예전부터 생각을 했었기 때문에 이 글을 보고나니 그부분이 유독 떠올라서 말입니다.
전쟁은 노룰인 거 같으면서도 일단의 불문율 같은 게 있습니다. (라기보단.......있겠죠.......라는 쪽에 가까운.)

전쟁도 결국엔 외교의 일종이니까 말입니다. 승리를 쟁취했는데 남은 국물이란게 아무것도 없다면.......그건 이기나 지나 아무런 의미가 없겠죠. 어찌보면 전쟁은 서로 자기가 더 유리한 쪽으로 협상을 끌어내기 위한 사전 작업같은거라고 보는쪽에 가까운 듯 합니다.

그럼 본론으로 돌아와서 로봇의 전투수행 능력의 효율이 점차 높아지게 된 시점에서 말이죠............ 저 로봇의 3원칙이 파기될 지점이 어느정도쯤일까요?

마치 '핵폭탄을 실전 사용할 만한 전쟁 상황이 앞으로 올 수 있을까요?' 라는 질문을 던지는 것 같습니다만 이걸 다른 분들이 이 '핵폭탄의 선택 문제'와 얼마나 가까운 문제로 생각할지 궁금했거든요.

실제로 어떠한 시점('인공지능'이라고 할 수는 있는지 없는지 좀 애매모호하긴 하지만 일단 일련의 예기치 못한 상황에 어느 정도까지는 대처하는 그런 수준?)........까지 갔을 경우 이게 과연 '로봇 3원칙' 을 적용시킬 수 있을만한 AI인지 아닌지에 대한 적용의 문제도 생길 수 있구요.

예를들어........
http://www.joysf.com/?mid=club_military&search_target=title&search_keyword=%EC%82%BC%EC%84%B1&document_srl=3852199 이런 로봇인 경우? 로봇의 3원칙을 일단 이해하지도 못할 인공지능이긴 합니다만 매우 단순한 형태일지언정 어떠한 알고리즘이 아군 적군을 판별해서 사람을 쏴제낀다는건 사실이지요.

하지만 이런 정도의 로봇일 경우 '아, 안돼 이것은 훗날 로봇의 인간정복의 시발점.' 이럴 사람은 없을겁니다.

저건 스카이넷도 아니고 여튼간 뭔가를 판단하기는 하지만 '가치판단'은 아니니까 말입니다. 가치판단은 인간이 내리고 저 로봇은 그냥 방아쇠만 당기는거죠.

하지만 이걸 확장하면 '인간이 정하는' 로봇(무인장치)의 인간 살해 선택 기준을 어디까지 둘 것인지가 애매해질 가능성도 있지 않느냐 하는것. 그러니까 아직까진 '총이 사람을 죽이는게 아니라 사람이 사람을 죽이는 것'이 명확하지만 점차 '총이 사람을 죽이는건지 사람이 사람을 죽이는건지' 애매해질 수도 있지 않느냐 하는겁니다.

일종의 '버그' 같은 걸로 애초의 프로그래머가 의도치 않았던 인간 집단군이 공격을 당하고 죽는다면 이건 일종의 '총기 오발사고' 같은걸로 생각할 수 있을까요?

그리고 저 '로봇의 3원칙'을 이해할 수 없는 인공지능을 사용하는 한은 전투 기계에 AI를 사용하는 것을 인간들이 별 무리 없이 받아들일 수 있을까요?

가치판단은 하지 못하지만 하드웨어상 거의 그정도 판단능력이 가능할 수준의 인공지능은 어떨까요?

예를들어 마크로스플러스에 등장하는 '고스트' 나 쟈니5 의 'No5 시리즈' 라던가 영화 '스텔스'에 등장하는 무인 전투기는 용도 자체가 살상용이므로 로봇의 3원칙이 들어가지 않을겁니다.
물론 저 작품의 저 로봇들은 당연하게도 '가치판단'을 하지는 않습니다만 거의 그정도 수준의 하드웨어 가능성은 갖고 있다는 설정이 들어가 있는듯 하더군요.
(마크로스 플러스의 '고스트'는 결국 샤론에플-얘도 인공지능이죠.-과 연결되면서 문제가 생기게 되고 넘버5와 '스텔스' 는 전기쇼크 한번 받더니 애가 이상해졌죠. '로봇의 3원칙'이 필요할 정도로 말입니다. )

이런 경우 이런 인공지능들의 경우 '의사결정'을 하는 게 아닌 '단순한 방아쇠'일 뿐이니 인간들은 '허용할 수 있는 한도' 로 받아들일까요?

만약에 '허용할 수 없다' 라는 여론이 형성되긴 했지만 그 여론이 바뀔만한 가능성은 없을까요?
예를들어 인간들끼리의 분쟁 격화.......이건 현재의 '핵폭탄 문제'와 너무 유사하다면 인공지능의 신뢰도가 더 높아져서 '인공지능을 사용해서 기존의 재래식 무기보다 더 윤리적인데다가 전투 수행의 효율성도 높일 수 있는 방법'이 생긴다면?

즉 정리하자면 이 모든 '규칙'이라는 게 결국 인간이 만드는 것이고 기술이 발전하면 할수록 어디까지 적용할 수 있는 문제인지 애매해질 수 있지 않는가. 그리고 그 결과 '로봇의 3원칙'이 쓰여져야 할만한 상황인데도 로봇이 인간을 살해할 수 있는 상황이 될 수 있지 않을까 하는 것입니다.

크로마뇽인은 우리 가슴속에.