SF / 과학 포럼
SF 속의 상상 과학과 그 실현 가능성, 그리고 과학 이야기.
SF 작품의 가능성은 어떻게 펼쳐질 수 있을까요? 그리고 어떤 상상의 이야기가 가능할까요?
SF에 대한 가벼운 흥미거리에서부터 새로운 창작을 위한 아이디어에 이르기까지...
여기는 과학 소식이나 정보를 소개하고, SF 속의 아이디어나 이론에 대한 의견을 나누며, 상상의 꿈을 키워나가는 곳입니다.
( 이 게시판은 최근에 의견이나 덧글이 추가된 순서대로 정렬됩니다. )
SF 작품의 가능성은 어떻게 펼쳐질 수 있을까요? 그리고 어떤 상상의 이야기가 가능할까요?
SF에 대한 가벼운 흥미거리에서부터 새로운 창작을 위한 아이디어에 이르기까지...
여기는 과학 소식이나 정보를 소개하고, SF 속의 아이디어나 이론에 대한 의견을 나누며, 상상의 꿈을 키워나가는 곳입니다.
( 이 게시판은 최근에 의견이나 덧글이 추가된 순서대로 정렬됩니다. )
글 수 327
1. 인간에게 해를 끼치지 않는다.
2. 1번에 위배되지 않는 한 인간의 명령을 따른다.
3. 1번, 2번에 위배되지 않는 한 스스로를 보호한다.
근데 이걸 정한것도 인간이잖습니까.
표XX님의 무인 전투기 글을 보다보니까 든 생각인데 말이죠.
거기에서는 '무인 전투기의 AI'가 인간을 죽일 수 있느냐 없느냐에 대한 윤리적 문제가 간단히 언급되고 넘어가서 말입니다.
( http://www.joysf.com/forum_sf/2107084 )
사실 이 글에서는 그 부분을 집중적으로 따지기보다는 유인전투기가 무인전투기보다 더 효율적일 수 있는 설정 같은 걸 생각해보자는 취지에 가깝다고 생각.
사실 저는 개인적으로 저 로봇3원칙의 파기 가능성을 예전부터 생각을 했었기 때문에 이 글을 보고나니 그부분이 유독 떠올라서 말입니다.
전쟁은 노룰인 거 같으면서도 일단의 불문율 같은 게 있습니다. (라기보단.......있겠죠.......라는 쪽에 가까운.)
전쟁도 결국엔 외교의 일종이니까 말입니다. 승리를 쟁취했는데 남은 국물이란게 아무것도 없다면.......그건 이기나 지나 아무런 의미가 없겠죠. 어찌보면 전쟁은 서로 자기가 더 유리한 쪽으로 협상을 끌어내기 위한 사전 작업같은거라고 보는쪽에 가까운 듯 합니다.
그럼 본론으로 돌아와서 로봇의 전투수행 능력의 효율이 점차 높아지게 된 시점에서 말이죠............ 저 로봇의 3원칙이 파기될 지점이 어느정도쯤일까요?
마치 '핵폭탄을 실전 사용할 만한 전쟁 상황이 앞으로 올 수 있을까요?' 라는 질문을 던지는 것 같습니다만 이걸 다른 분들이 이 '핵폭탄의 선택 문제'와 얼마나 가까운 문제로 생각할지 궁금했거든요.
실제로 어떠한 시점('인공지능'이라고 할 수는 있는지 없는지 좀 애매모호하긴 하지만 일단 일련의 예기치 못한 상황에 어느 정도까지는 대처하는 그런 수준?)........까지 갔을 경우 이게 과연 '로봇 3원칙' 을 적용시킬 수 있을만한 AI인지 아닌지에 대한 적용의 문제도 생길 수 있구요.
예를들어........
http://www.joysf.com/?mid=club_military&search_target=title&search_keyword=%EC%82%BC%EC%84%B1&document_srl=3852199 이런 로봇인 경우? 로봇의 3원칙을 일단 이해하지도 못할 인공지능이긴 합니다만 매우 단순한 형태일지언정 어떠한 알고리즘이 아군 적군을 판별해서 사람을 쏴제낀다는건 사실이지요.
하지만 이런 정도의 로봇일 경우 '아, 안돼 이것은 훗날 로봇의 인간정복의 시발점.' 이럴 사람은 없을겁니다.
저건 스카이넷도 아니고 여튼간 뭔가를 판단하기는 하지만 '가치판단'은 아니니까 말입니다. 가치판단은 인간이 내리고 저 로봇은 그냥 방아쇠만 당기는거죠.
하지만 이걸 확장하면 '인간이 정하는' 로봇(무인장치)의 인간 살해 선택 기준을 어디까지 둘 것인지가 애매해질 가능성도 있지 않느냐 하는것. 그러니까 아직까진 '총이 사람을 죽이는게 아니라 사람이 사람을 죽이는 것'이 명확하지만 점차 '총이 사람을 죽이는건지 사람이 사람을 죽이는건지' 애매해질 수도 있지 않느냐 하는겁니다.
일종의 '버그' 같은 걸로 애초의 프로그래머가 의도치 않았던 인간 집단군이 공격을 당하고 죽는다면 이건 일종의 '총기 오발사고' 같은걸로 생각할 수 있을까요?
그리고 저 '로봇의 3원칙'을 이해할 수 없는 인공지능을 사용하는 한은 전투 기계에 AI를 사용하는 것을 인간들이 별 무리 없이 받아들일 수 있을까요?
가치판단은 하지 못하지만 하드웨어상 거의 그정도 판단능력이 가능할 수준의 인공지능은 어떨까요?
예를들어 마크로스플러스에 등장하는 '고스트' 나 쟈니5 의 'No5 시리즈' 라던가 영화 '스텔스'에 등장하는 무인 전투기는 용도 자체가 살상용이므로 로봇의 3원칙이 들어가지 않을겁니다.
물론 저 작품의 저 로봇들은 당연하게도 '가치판단'을 하지는 않습니다만 거의 그정도 수준의 하드웨어 가능성은 갖고 있다는 설정이 들어가 있는듯 하더군요.
(마크로스 플러스의 '고스트'는 결국 샤론에플-얘도 인공지능이죠.-과 연결되면서 문제가 생기게 되고 넘버5와 '스텔스' 는 전기쇼크 한번 받더니 애가 이상해졌죠. '로봇의 3원칙'이 필요할 정도로 말입니다. )
이런 경우 이런 인공지능들의 경우 '의사결정'을 하는 게 아닌 '단순한 방아쇠'일 뿐이니 인간들은 '허용할 수 있는 한도' 로 받아들일까요?
만약에 '허용할 수 없다' 라는 여론이 형성되긴 했지만 그 여론이 바뀔만한 가능성은 없을까요?
예를들어 인간들끼리의 분쟁 격화.......이건 현재의 '핵폭탄 문제'와 너무 유사하다면 인공지능의 신뢰도가 더 높아져서 '인공지능을 사용해서 기존의 재래식 무기보다 더 윤리적인데다가 전투 수행의 효율성도 높일 수 있는 방법'이 생긴다면?
즉 정리하자면 이 모든 '규칙'이라는 게 결국 인간이 만드는 것이고 기술이 발전하면 할수록 어디까지 적용할 수 있는 문제인지 애매해질 수 있지 않는가. 그리고 그 결과 '로봇의 3원칙'이 쓰여져야 할만한 상황인데도 로봇이 인간을 살해할 수 있는 상황이 될 수 있지 않을까 하는 것입니다.
2. 1번에 위배되지 않는 한 인간의 명령을 따른다.
3. 1번, 2번에 위배되지 않는 한 스스로를 보호한다.
근데 이걸 정한것도 인간이잖습니까.
표XX님의 무인 전투기 글을 보다보니까 든 생각인데 말이죠.
거기에서는 '무인 전투기의 AI'가 인간을 죽일 수 있느냐 없느냐에 대한 윤리적 문제가 간단히 언급되고 넘어가서 말입니다.
( http://www.joysf.com/forum_sf/2107084 )
사실 이 글에서는 그 부분을 집중적으로 따지기보다는 유인전투기가 무인전투기보다 더 효율적일 수 있는 설정 같은 걸 생각해보자는 취지에 가깝다고 생각.
사실 저는 개인적으로 저 로봇3원칙의 파기 가능성을 예전부터 생각을 했었기 때문에 이 글을 보고나니 그부분이 유독 떠올라서 말입니다.
전쟁은 노룰인 거 같으면서도 일단의 불문율 같은 게 있습니다. (라기보단.......있겠죠.......라는 쪽에 가까운.)
전쟁도 결국엔 외교의 일종이니까 말입니다. 승리를 쟁취했는데 남은 국물이란게 아무것도 없다면.......그건 이기나 지나 아무런 의미가 없겠죠. 어찌보면 전쟁은 서로 자기가 더 유리한 쪽으로 협상을 끌어내기 위한 사전 작업같은거라고 보는쪽에 가까운 듯 합니다.
그럼 본론으로 돌아와서 로봇의 전투수행 능력의 효율이 점차 높아지게 된 시점에서 말이죠............ 저 로봇의 3원칙이 파기될 지점이 어느정도쯤일까요?
마치 '핵폭탄을 실전 사용할 만한 전쟁 상황이 앞으로 올 수 있을까요?' 라는 질문을 던지는 것 같습니다만 이걸 다른 분들이 이 '핵폭탄의 선택 문제'와 얼마나 가까운 문제로 생각할지 궁금했거든요.
실제로 어떠한 시점('인공지능'이라고 할 수는 있는지 없는지 좀 애매모호하긴 하지만 일단 일련의 예기치 못한 상황에 어느 정도까지는 대처하는 그런 수준?)........까지 갔을 경우 이게 과연 '로봇 3원칙' 을 적용시킬 수 있을만한 AI인지 아닌지에 대한 적용의 문제도 생길 수 있구요.
예를들어........
http://www.joysf.com/?mid=club_military&search_target=title&search_keyword=%EC%82%BC%EC%84%B1&document_srl=3852199 이런 로봇인 경우? 로봇의 3원칙을 일단 이해하지도 못할 인공지능이긴 합니다만 매우 단순한 형태일지언정 어떠한 알고리즘이 아군 적군을 판별해서 사람을 쏴제낀다는건 사실이지요.
하지만 이런 정도의 로봇일 경우 '아, 안돼 이것은 훗날 로봇의 인간정복의 시발점.' 이럴 사람은 없을겁니다.
저건 스카이넷도 아니고 여튼간 뭔가를 판단하기는 하지만 '가치판단'은 아니니까 말입니다. 가치판단은 인간이 내리고 저 로봇은 그냥 방아쇠만 당기는거죠.
하지만 이걸 확장하면 '인간이 정하는' 로봇(무인장치)의 인간 살해 선택 기준을 어디까지 둘 것인지가 애매해질 가능성도 있지 않느냐 하는것. 그러니까 아직까진 '총이 사람을 죽이는게 아니라 사람이 사람을 죽이는 것'이 명확하지만 점차 '총이 사람을 죽이는건지 사람이 사람을 죽이는건지' 애매해질 수도 있지 않느냐 하는겁니다.
일종의 '버그' 같은 걸로 애초의 프로그래머가 의도치 않았던 인간 집단군이 공격을 당하고 죽는다면 이건 일종의 '총기 오발사고' 같은걸로 생각할 수 있을까요?
그리고 저 '로봇의 3원칙'을 이해할 수 없는 인공지능을 사용하는 한은 전투 기계에 AI를 사용하는 것을 인간들이 별 무리 없이 받아들일 수 있을까요?
가치판단은 하지 못하지만 하드웨어상 거의 그정도 판단능력이 가능할 수준의 인공지능은 어떨까요?
예를들어 마크로스플러스에 등장하는 '고스트' 나 쟈니5 의 'No5 시리즈' 라던가 영화 '스텔스'에 등장하는 무인 전투기는 용도 자체가 살상용이므로 로봇의 3원칙이 들어가지 않을겁니다.
물론 저 작품의 저 로봇들은 당연하게도 '가치판단'을 하지는 않습니다만 거의 그정도 수준의 하드웨어 가능성은 갖고 있다는 설정이 들어가 있는듯 하더군요.
(마크로스 플러스의 '고스트'는 결국 샤론에플-얘도 인공지능이죠.-과 연결되면서 문제가 생기게 되고 넘버5와 '스텔스' 는 전기쇼크 한번 받더니 애가 이상해졌죠. '로봇의 3원칙'이 필요할 정도로 말입니다. )
이런 경우 이런 인공지능들의 경우 '의사결정'을 하는 게 아닌 '단순한 방아쇠'일 뿐이니 인간들은 '허용할 수 있는 한도' 로 받아들일까요?
만약에 '허용할 수 없다' 라는 여론이 형성되긴 했지만 그 여론이 바뀔만한 가능성은 없을까요?
예를들어 인간들끼리의 분쟁 격화.......이건 현재의 '핵폭탄 문제'와 너무 유사하다면 인공지능의 신뢰도가 더 높아져서 '인공지능을 사용해서 기존의 재래식 무기보다 더 윤리적인데다가 전투 수행의 효율성도 높일 수 있는 방법'이 생긴다면?
즉 정리하자면 이 모든 '규칙'이라는 게 결국 인간이 만드는 것이고 기술이 발전하면 할수록 어디까지 적용할 수 있는 문제인지 애매해질 수 있지 않는가. 그리고 그 결과 '로봇의 3원칙'이 쓰여져야 할만한 상황인데도 로봇이 인간을 살해할 수 있는 상황이 될 수 있지 않을까 하는 것입니다.
크로마뇽인은 우리 가슴속에.
2009.04.08 03:02:49
로봇3원칙을 다 지켜 가면서 싸울수 있는 방법이 있기는 합니다. 국가간에 "배틀필드"를 적용하고 그 지역내에 인간의 거주및 출입을 금지 시키고, 무인병기만을 이용한 전투를 하면 가능하겠지요. 또한 피한방울 흘리지 않고 전쟁을 수행할 것이라면 온라인상에 워게임을 개발하여 국가간의 대전을 통해서 자원 인구수 식량등을 승전국이 차지하는 방식도 하나의 방법이 되지 않을까 생각합니다.
전자의 경우는 실제 배틀필드에서 로봇을 가지고 전쟁을 치루는 방식이고 후자는 사이버공간에서 전쟁을 치루는 방식이겠지요.
다만 이 2가지 방식의 가장큰 단점은 더이상 인구수가 전쟁등에 의해서 줄어들지 않기 때문에 인류가 멸망을 가속화 시키는 하나의 방법으로 작용할수 있다고 봅니다.
AI의 반란 없이도 충분히 인류가 자멸하는 가상 시나리오 겠지요.
전자의 경우는 실제 배틀필드에서 로봇을 가지고 전쟁을 치루는 방식이고 후자는 사이버공간에서 전쟁을 치루는 방식이겠지요.
다만 이 2가지 방식의 가장큰 단점은 더이상 인구수가 전쟁등에 의해서 줄어들지 않기 때문에 인류가 멸망을 가속화 시키는 하나의 방법으로 작용할수 있다고 봅니다.
AI의 반란 없이도 충분히 인류가 자멸하는 가상 시나리오 겠지요.
2009.04.08 12:00:57
결론적으로 댓글을 다신 분들은 '로봇이 자신만의 판단으로 인간을 살해할 수 있는 일은 절대 있어선 안되고 어떤 상황이 돼도 로봇을 위배하는 선택을 할 수 있도록 인간이 허용하지 않을것.' 이라는 뜻인지?
이런 선택의 문제를 핵폭탄 사용과 비교하자면.
핵폭탄 사용시 이득 / 매우 훌륭하고 효과적으로 적을 (민간 포함인지 아닌지는 일단 차치하고) 제압할 수 있는 살상무기.
핵폭탄 사용시 손실 / 핵공격 공격 시작뒤 똑같이 핵무기로 보복 공격을 당하게 되면 피해가 크다. 최종적으로 공멸의 가능성이 있음.
여기에서 현재의 인식으로는 이득 < 손실로 판단되기 때문에 핵무기 사용은 자체적으로 억제되고 있습니다.
그럼 로봇에게 저런 인간 살상 권한을 부여하는 것을 따져볼때.
권한 부여시 이득 / 매우 다양한 이득이 있을 수 있음. 전쟁수행 인력 절감이 가능하고 여건이 된다면 대량 생산이 가능. 경우에 따라서는 인간보다 더 효과적인 작전 수행도 가능.(예를들어 인간보다 환경의 영향을 덜 받으므로) 생명유지장치등의 부가적인 장치가 필요하지 않다...등등.
권한 부여시 손실 / 가치판단을 거쳐 인간을 해할 수 있는 로봇이 생기게 된다면 '제 3의 적'이 될 가능성이 있음.
여기에서 '손실' 로 따지자면 핵무기 사용시의 리스크는 매우 직접적이고 예측이 쉽습니다만 저 로보의 3원칙 파기의 문제로는 일단 예측이 쉽지 않고 애매하며 직접적인 피해를 예상하기가 힘들다는거죠. 즉 전자의 문제는 위험도가 크게 느껴지므로 자체적인 불문율적인 통제가 이루어지지만 후자의 경우 인간이 스스로를 통제(즉 로봇에게 자체적인 판단으로 인간을 살상할 수 있는 권리를 주지 않는것.)하는데 있어 저 핵무기 문제보다 더 쉽게 생각할 수 있지 않을까 하는것이랄까요.
3원칙 하에 어떤식으로 전쟁수행에 쓰일까라는 것과는 조금 다른 얘기일 수도 있지요.
이런 선택의 문제를 핵폭탄 사용과 비교하자면.
핵폭탄 사용시 이득 / 매우 훌륭하고 효과적으로 적을 (민간 포함인지 아닌지는 일단 차치하고) 제압할 수 있는 살상무기.
핵폭탄 사용시 손실 / 핵공격 공격 시작뒤 똑같이 핵무기로 보복 공격을 당하게 되면 피해가 크다. 최종적으로 공멸의 가능성이 있음.
여기에서 현재의 인식으로는 이득 < 손실로 판단되기 때문에 핵무기 사용은 자체적으로 억제되고 있습니다.
그럼 로봇에게 저런 인간 살상 권한을 부여하는 것을 따져볼때.
권한 부여시 이득 / 매우 다양한 이득이 있을 수 있음. 전쟁수행 인력 절감이 가능하고 여건이 된다면 대량 생산이 가능. 경우에 따라서는 인간보다 더 효과적인 작전 수행도 가능.(예를들어 인간보다 환경의 영향을 덜 받으므로) 생명유지장치등의 부가적인 장치가 필요하지 않다...등등.
권한 부여시 손실 / 가치판단을 거쳐 인간을 해할 수 있는 로봇이 생기게 된다면 '제 3의 적'이 될 가능성이 있음.
여기에서 '손실' 로 따지자면 핵무기 사용시의 리스크는 매우 직접적이고 예측이 쉽습니다만 저 로보의 3원칙 파기의 문제로는 일단 예측이 쉽지 않고 애매하며 직접적인 피해를 예상하기가 힘들다는거죠. 즉 전자의 문제는 위험도가 크게 느껴지므로 자체적인 불문율적인 통제가 이루어지지만 후자의 경우 인간이 스스로를 통제(즉 로봇에게 자체적인 판단으로 인간을 살상할 수 있는 권리를 주지 않는것.)하는데 있어 저 핵무기 문제보다 더 쉽게 생각할 수 있지 않을까 하는것이랄까요.
3원칙 하에 어떤식으로 전쟁수행에 쓰일까라는 것과는 조금 다른 얘기일 수도 있지요.
2009.04.08 12:15:50
실제 닥칠 문제는 우리가 로봇 3원칙을 이해할 수 있는 '로봇'을 만들 수 있는가? 만들었다면 그건 어떻게 대우해 주어야 하는가? 라는 거죠.
일반적으로는 그냥 자동 기계를 로봇이라고 하지만 엄밀한 의미에서의 로봇은 스스로 판단하고 선택하여 결정하는 능력을 가진, 자의식에 가까운 뭔가를 가진 존재입니다. 이런 로봇이라면 발제의 문제가 논란이 되겠지만 본문에 나온 종류의 로봇들은 애초 슈팅 게임에 나오는 아군 기체를 실물화 한 것에 불과하기 때문에 원칙을 적용하고 자시고 할 것도 없죠.
아시모프의 로봇과 달리 본문의 로봇에 대해 걱정해야 할 것은 통제를 유지할 수 있는가(=고장없고 신뢰도 높은 상태를 유지할 수 있는가)라는 것이죠. 저런 류의 로봇은 3원칙에 상관없이 문제가 발생했다면 고장이 났거나 운용이 잘못되었거나 테러범들에게 강탈 당했거나 셋 중 하납니다.
혹은 셋 다거나.
일반적으로는 그냥 자동 기계를 로봇이라고 하지만 엄밀한 의미에서의 로봇은 스스로 판단하고 선택하여 결정하는 능력을 가진, 자의식에 가까운 뭔가를 가진 존재입니다. 이런 로봇이라면 발제의 문제가 논란이 되겠지만 본문에 나온 종류의 로봇들은 애초 슈팅 게임에 나오는 아군 기체를 실물화 한 것에 불과하기 때문에 원칙을 적용하고 자시고 할 것도 없죠.
아시모프의 로봇과 달리 본문의 로봇에 대해 걱정해야 할 것은 통제를 유지할 수 있는가(=고장없고 신뢰도 높은 상태를 유지할 수 있는가)라는 것이죠. 저런 류의 로봇은 3원칙에 상관없이 문제가 발생했다면 고장이 났거나 운용이 잘못되었거나 테러범들에게 강탈 당했거나 셋 중 하납니다.
혹은 셋 다거나.
2009.04.08 13:09:57
본문에서 말하고 싶었던 내용 중 일부는 스스로 판단 선택 결정이 가능한 로봇이 생겼고 그 로봇에게 3원칙을 벗어날 수 있는 권한을 주었을 때 전쟁수행시 큰 효과를 볼 수 있다면, 인간은 그 로봇에게 그런 권한을 부여할까? 라는 것도 포함하고 있습니다.
(그런 뉘앙스가 전달이 되지 않았다면......내가 글을 제대로 못 썼거나 쓰다가 까먹었던 것이겠음. -_-;)
('그런 상황' 이 구체적으로 어떤 상황인지는 따로 생각해 봐야 할듯. 그런 판단문제는 인간이 할 수 있을테지만, 예를들어 가치판단이 포함된 전술적 조언을 해줄 수 있는 인공지능도 있겠죠. )
그리고 사람들이 알아서 스스로 핵무기 사용을 자제하는 것과 달리 이 부분에 있어서 로봇에게 그런 권한을 주는 게 조금 덜 위험스러운 것으로 느껴질 수 있는 이유로서 '스스로 판단 선택 결정' 하는 것과 '시키는 대로만 하는' 의 경계가 모호해질 수도 있지 않느냐 하는 걸 덧붙인 것에 가깝습니다.
뭐랄까. 개구리가 뜨거운 물에 갑자기 들어가면 위험을 바로 감지하고 뛰어나오겠지만 처음엔 미지근한 물에 들어간 개구리가 천천히 물이 뜨거워질 경우 위험해질 때까지도 그 위험을 감지하지 못하고 그냥 물속에 머물 수 있을 수도 있지 않을까? 라는 것과 비슷한 걸 표현하고자 했던.
(그런 뉘앙스가 전달이 되지 않았다면......내가 글을 제대로 못 썼거나 쓰다가 까먹었던 것이겠음. -_-;)
('그런 상황' 이 구체적으로 어떤 상황인지는 따로 생각해 봐야 할듯. 그런 판단문제는 인간이 할 수 있을테지만, 예를들어 가치판단이 포함된 전술적 조언을 해줄 수 있는 인공지능도 있겠죠. )
그리고 사람들이 알아서 스스로 핵무기 사용을 자제하는 것과 달리 이 부분에 있어서 로봇에게 그런 권한을 주는 게 조금 덜 위험스러운 것으로 느껴질 수 있는 이유로서 '스스로 판단 선택 결정' 하는 것과 '시키는 대로만 하는' 의 경계가 모호해질 수도 있지 않느냐 하는 걸 덧붙인 것에 가깝습니다.
뭐랄까. 개구리가 뜨거운 물에 갑자기 들어가면 위험을 바로 감지하고 뛰어나오겠지만 처음엔 미지근한 물에 들어간 개구리가 천천히 물이 뜨거워질 경우 위험해질 때까지도 그 위험을 감지하지 못하고 그냥 물속에 머물 수 있을 수도 있지 않을까? 라는 것과 비슷한 걸 표현하고자 했던.
2009.04.08 16:41:06
그보다 전쟁에 투입되는 병사로봇이 로봇 3원칙을 넘어서도록 프로그래밍 할 필요가 있는가 하는점부터 지적하고 싶습니다.
우선 이 게시판에서 로봇 3원칙으로 검색해보면 알 수 있는 일이지만 로봇 3원칙이라는 자체가 논리만으로는 규정이 불가능한 명제라는 것을 지적하고 싶습니다. 최우선적으로는 인간이라는 것은 무엇인가 하는 명제에 대한 논리적인 결론이 필요하거든요. 게다가 아무리 방대한 규정을 지정하고, 또한 그것을 인지 할 수 있는 로봇이 있다고 가정하더라도 문제는 발생 할 수 있을 것입니다.
또한 전쟁용 로봇이라는 것에서 로봇 3 원칙의 첫번째 명제에 대한 도전이 과연 불능인가에 대해서 고찰해볼 수도 있을 것입니다. 단순 상해에 대해 복잡한 명령을 내림으로써 전투로봇의 존재가능성을 늘릴수도 있으니까요. 즉 생명에는 피해가 없이 인간이 어떤 사상을 가지든 그 행동을 저지하는 것까지 두번째 명제인 "인간을 보호하라"는 것에 포함을 시킬것인지 아닌지에 따라서 전쟁터에서 로봇은 자율적인 행동을 할 수 있을 것인가 아닌가를 지정 할 수도 있는 것이거든요.
극단적으로 이야기하자면 인간을 계급화시켜서 어느 국가 소속 인간일 경우를 기본으로 두고 그 사람이 어떤 사상을 가졌고, 그 사상을 어느정도 레벨로 현실화 할 것인가 하는 것을 판단하고, 거기에 대해 어떤 행동을 할 것인가를 규정하는것 만으로도 로봇에게 암살하도록 결정하거나 상해후 응급조치, 그 후 본부에 응급상황 전달로 상황종결을 할 지, 혹은 단순히 기절에서 구속등의 행동만으로 끝낼지를 결정 할 수 있다는 것을 생각하면 그 복잡성은 더욱 증대하지만, 결국은 패턴화가 가능하긴 하거든요. 그런점을 생각하면 원칙을 뛰어넘도록 프로그래밍 할 필요는 사라지는거죠. 그냥 원칙의 하부구조를 추가하기만 하면 해결되는 문제이니까요. 오히려 중국의 홍위병사태때보다 더 간단할수도 있다는거죠.
우선 이 게시판에서 로봇 3원칙으로 검색해보면 알 수 있는 일이지만 로봇 3원칙이라는 자체가 논리만으로는 규정이 불가능한 명제라는 것을 지적하고 싶습니다. 최우선적으로는 인간이라는 것은 무엇인가 하는 명제에 대한 논리적인 결론이 필요하거든요. 게다가 아무리 방대한 규정을 지정하고, 또한 그것을 인지 할 수 있는 로봇이 있다고 가정하더라도 문제는 발생 할 수 있을 것입니다.
또한 전쟁용 로봇이라는 것에서 로봇 3 원칙의 첫번째 명제에 대한 도전이 과연 불능인가에 대해서 고찰해볼 수도 있을 것입니다. 단순 상해에 대해 복잡한 명령을 내림으로써 전투로봇의 존재가능성을 늘릴수도 있으니까요. 즉 생명에는 피해가 없이 인간이 어떤 사상을 가지든 그 행동을 저지하는 것까지 두번째 명제인 "인간을 보호하라"는 것에 포함을 시킬것인지 아닌지에 따라서 전쟁터에서 로봇은 자율적인 행동을 할 수 있을 것인가 아닌가를 지정 할 수도 있는 것이거든요.
극단적으로 이야기하자면 인간을 계급화시켜서 어느 국가 소속 인간일 경우를 기본으로 두고 그 사람이 어떤 사상을 가졌고, 그 사상을 어느정도 레벨로 현실화 할 것인가 하는 것을 판단하고, 거기에 대해 어떤 행동을 할 것인가를 규정하는것 만으로도 로봇에게 암살하도록 결정하거나 상해후 응급조치, 그 후 본부에 응급상황 전달로 상황종결을 할 지, 혹은 단순히 기절에서 구속등의 행동만으로 끝낼지를 결정 할 수 있다는 것을 생각하면 그 복잡성은 더욱 증대하지만, 결국은 패턴화가 가능하긴 하거든요. 그런점을 생각하면 원칙을 뛰어넘도록 프로그래밍 할 필요는 사라지는거죠. 그냥 원칙의 하부구조를 추가하기만 하면 해결되는 문제이니까요. 오히려 중국의 홍위병사태때보다 더 간단할수도 있다는거죠.
2009.04.08 18:24:08
참 어려운 질문같은데요.
만약 원칙1대로한다면 설령 자기를 겨누는 총을 든 적국병사라도 사람인 이상
저항을 하지 않을 것입니다. 그렇다면 전쟁터에 로봇을 내모는것은 진짜 삽질이 될테지요.
그런데 만약 원칙2를 위해 전쟁에서 보조역할을 하게 되는경우 로봇은 극히 한정된 업무.
즉,수송,보급,정찰,의무등을 맡게 될것입니다. 물론 윤리적 프로세스가 완벽하게 작동한다면
아군일지언정 사람을 죽이는데 힘을보태는 일이므로 로봇은 명령을 거부하게 될테죠.
그런데 만약 원칙3을 중시하게 된다면 인간인 병사들은 탈영로봇을 잡기위해 난리부르스르 추게
될것입니다. 이로서의 결론은 로봇3원칙의 준수를 원한다면 로봇은 전투용이 되어서는 안된다와
만약 로봇3원칙을 무시하게 로봇을 만든다면 인간은 참혹한 댓가를 치루게 된다는거죠.
그 증명을 이미 전장을 날아다니는 무수한 미슬에서 찾아봅니다.
만약 원칙1대로한다면 설령 자기를 겨누는 총을 든 적국병사라도 사람인 이상
저항을 하지 않을 것입니다. 그렇다면 전쟁터에 로봇을 내모는것은 진짜 삽질이 될테지요.
그런데 만약 원칙2를 위해 전쟁에서 보조역할을 하게 되는경우 로봇은 극히 한정된 업무.
즉,수송,보급,정찰,의무등을 맡게 될것입니다. 물론 윤리적 프로세스가 완벽하게 작동한다면
아군일지언정 사람을 죽이는데 힘을보태는 일이므로 로봇은 명령을 거부하게 될테죠.
그런데 만약 원칙3을 중시하게 된다면 인간인 병사들은 탈영로봇을 잡기위해 난리부르스르 추게
될것입니다. 이로서의 결론은 로봇3원칙의 준수를 원한다면 로봇은 전투용이 되어서는 안된다와
만약 로봇3원칙을 무시하게 로봇을 만든다면 인간은 참혹한 댓가를 치루게 된다는거죠.
그 증명을 이미 전장을 날아다니는 무수한 미슬에서 찾아봅니다.
2009.04.08 19:55:11
3원칙은 이미 아시모프 스스로 한계를 표현했습니다.
로봇시리즈 후반에 가면 3원칙에 사로잡힌 로봇과 마찬가지로 3원칙에 사로잡힌 인간들에 관한 언급이 있지요
또한 3원칙에서 인간을 어디까지 구분하느냐로 고성능 로봇이 인간에게 위해를 가하기도 합니다.
이ㅈ 님꼐서 의도하신 바는 이해하겠습니다만
3원칙이 적용 될정도의 판단력을 살상이나 전쟁정도의 행위에 쓰는건 낭비라고 생각합니다.
단순히 목적에 맞는 도구 수준이면 충분할 테니까요.
현재 기술 발전 방향도 대부분 돈과 기술로 인명 피해를 줄이는 쪽으로
더불어 전투용 AI의 경우 성능좋은 총이나 도구 이상을 넘어서지 않고 있으며
무인기의 경우에도 전투용일 경우 신뢰성에 있어서 AI 보다는 무선 조종을 선택하고 있지요.
2009.04.09 09:58:55
高麗Dragon / 애초에 사람이 쓰는 언어로 표현된 원칙이라는 게 범위를 어떻게 잡느냐에 따라 엿가락처럼 의미가 바뀔 수 있으니 이걸 기계에 적용시키자면 하부 구조가 필요할겁니다. 어쩌면 저 원칙이라는 것도 기계에 집어 넣은 프로그램 성향이 대충 어떻다는 걸 사람이 알아들을 수 있게 표현한 것에 가까울 지도요. (물론 저건 소설용 설정이긴 합니다만.......실제로 적용시킨다면 그렇게 될 거 같습니다.)
예를들어, C언어는 프로그램 언어지만 그 표현양식은 어쨌거나 사람이 대충 알아볼 수 있는 형태로 표현되는 것 처럼요. 왜냐하면 그걸 다루는 게 사람이라 사람이 그걸 보고 대충은 이해할 수 있어야 하니까.
말씀하신 건 개념은 단순하지만 적용하는건 어려울 수 있는 그런 문제일 수도 있을듯 합니다. 하지만 어쨌든 필요한 부분일듯 하군요. 아마 구조가 복잡해지면 오류가 발생할 가능성도 높기는 하겠습니다만 어쨌든 제가 생각지 못했던 부분이네요.
돌.균. / 어떠한 수준의 기술력이 어느 용도로 쓰이는 것이 낭비인지 적합한 수준인 것인지는 그 시대가 처한 상황과 기술력의 수준에 따라 달라진다고 봅니다. 예를들어 무인기의 AI가 현재의 상황과 기술력 수준에 있어 신뢰성이 상대적으로 무선조종보다 떨어져서 쓰이는 것이지 그런 상황이 절대적으로 언제나 그럴 것이라고 단정할 수는 없겠죠.
예를들어, C언어는 프로그램 언어지만 그 표현양식은 어쨌거나 사람이 대충 알아볼 수 있는 형태로 표현되는 것 처럼요. 왜냐하면 그걸 다루는 게 사람이라 사람이 그걸 보고 대충은 이해할 수 있어야 하니까.
말씀하신 건 개념은 단순하지만 적용하는건 어려울 수 있는 그런 문제일 수도 있을듯 합니다. 하지만 어쨌든 필요한 부분일듯 하군요. 아마 구조가 복잡해지면 오류가 발생할 가능성도 높기는 하겠습니다만 어쨌든 제가 생각지 못했던 부분이네요.
돌.균. / 어떠한 수준의 기술력이 어느 용도로 쓰이는 것이 낭비인지 적합한 수준인 것인지는 그 시대가 처한 상황과 기술력의 수준에 따라 달라진다고 봅니다. 예를들어 무인기의 AI가 현재의 상황과 기술력 수준에 있어 신뢰성이 상대적으로 무선조종보다 떨어져서 쓰이는 것이지 그런 상황이 절대적으로 언제나 그럴 것이라고 단정할 수는 없겠죠.
그러니 세심하게 작전을 진행해야 한다면 인간을 로봇과 같이 투입하겠지요. 3원칙이 있는 이상, 그리고 인간의 조종력이 한계가 있는 이상 로봇만으로 모든 전투를 이끌지는 못할 겁니다.