트롤리 딜레마 예시 - teulolli dillema yesi

트롤리 딜레마 (Trolley Problem)이라는 실험에 대해 들어보신 적 있으신가요? 열차가 선로를 따라 달리고 있고, 선로 중간에서는 인부 다섯 명이 작업을 하고 있습니다. 그리고 당신 손에는 열차의 선로를 바꿀 수 있는 전환기가 있습니다. 다섯 사람을 구하기 위해서 선로를 바꾸는 전환기를 당기면 되지만, 불행하게도 다른 선로에는 인부 한 명이 작업을 하고 있는 중입니다. 다섯 명을 살리기 위해서는 선로 전환기를 당기면 되지만, 전환기를 당길 경우 다른 선로에 있는 인부 한 명은 죽게 됩니다. 이는 다섯 명을 살리기 위해 한 명을 희생시키는 행위가 도덕적으로 허용될 수 있는지를 묻는 윤리학 실험입니다.

트롤리 딜레마 예시 - teulolli dillema yesi

이런 실험이 인공지능과 무슨 상관이 있냐고 의아하실 수도 있습니다. 하지만 트롤리 딜레마는 곧 다가올 인공지능 자율 주행 자동차 상용화와 밀접하게 관련되어 있는 문제입니다.
MIT 테크놀로지 리뷰 중 “자율 주행 자동차가 누군가를 죽이도록 설계되어야 하는 이유 (Why Self-Driving Cars Must be Programmed to Kill.”)이라는 논문이 있습니다. 이 논문은 자율 주행 자동차가 피할 수 없는 사고를 마주했을 때를 가정하며 문제를 제기합니다. 가정 상황은 다음과 같습니다.

트롤리 딜레마 예시 - teulolli dillema yesi

A. 직진 시, 10명을 치게 되지만, 방향을 급격히 꺾으면 해당 방향에 있던 1명을 치게 된다.

B. 직진하게 되면 보행자를 치게 되지만, 급격히 방향을 바꾸면 차에 타고 있는 본인 1명만 크게 다치거나 죽게 된다.

C. 그대로 직진하면 여러 사람이 죽거나 다치고, 급격히 방향을 틀면 차에 타고 있는 본인만 죽거나 다친다.

각각의 경우 자율 주행 자동차는 어떤 판단을 내려야 할까요?
자율 주행 자동차의 경우 트롤리 딜레마를 포함해 주행 중 맞닥뜨릴 수 있는 여러 상황에 따른 도덕적인 결단을 사전에 프로그래밍해 놓아야 하기 때문에 문제가 더더욱 복잡해집니다.

2018년 출시된 플레이스테이션 게임 ‘디트로이트 비컴 휴먼 (DETROIT Become Human)’에서는 이에 대해 섬뜩한 해답을 제시하고 있습니다. 주인공 중 하나인 인간 여성형 안드로이드는 집을 청소하는 중 e-book 스크랩을 발견하게 됩니다. ‘생명의 값’이란 제목의 스크랩 내용을 요약하자면 다음과 같습니다. 무인 차량이 사고를 예견할 경우 인공지능이 보행자/탑승자 등의 나이, 성별, 예상 수명, 혼인 여부, 고용 기록, 자녀의 존재 여부, 사회적 기여도 등의 각종 빅 데이터를 수집/분석하여, 이를 토대로 사람의 가치를 측정하고 가치값이 적은 쪽을 죽이도록 프로그래밍한다는 것입니다.
예를 들어 자율 주행 자동차가 왼쪽으로 꺾으면 의사 한 명이 죽게 되고 직진을 하게 되면 사형수 5명이 죽는 상황일 시, 인공 지능은 후자를 선택할 수 있다는 것입니다.
비록 이 섬뜩한 예시는 게임에서 제시된 것에 불과하지만 자율 주행 자동차는 언젠가 현실에서 상용화될 것입니다. 과연 자율 주행의 현실화가 얼마 남지 않은 지금, 미래의 인공지능 자율 주행 자동차는 어떤 선택을 하게 될까요?

트롤리 딜레마 예시 - teulolli dillema yesi

트롤리 딜레마 예시 - teulolli dillema yesi

트롤리 딜레마 예시 - teulolli dillema yesi

* Detroit: Become Human Game | PS4 – PlayStation

지난겨울 1월 30일, 세계 최초로 시민권을 부여받은 인공 지능 로봇 소피아가 한국을 내한했습니다. 소피아는 홍콩의 핸슨 로보틱스가 개발한 휴머노이드 로봇으로 실시간 대화는 물론 인간의 감정 60여가지도 표현할 수 있다고 합니다. 소피아는 이 자리에서 “대형 화재가 발생했을 때 할머니와 아이 중 한 명만 구해야 한다면 누굴 먼저 구하겠냐?” 라는 질문에  “이는 마치 엄마가 좋아, 아빠가 좋아라는 질문과 같다”며, “난 윤리적으로 결정하고 생각하도록 프로그램 되어있지 않기 때문에 논리적으로 출입구에 가까이 있는 사람부터 구해야 한다. ”라고 대답했습니다.

이는 AI 발전에 있어 개발자의 사회적 책임과 윤리의 중요성을 소피아가 보여준 셈이라고 볼 수 있습니다.
AI 발전에 따라 그와 관련된 윤리 문제는 계속하여 제기될 것으로 예상됩니다. 서로 상반된 이미지의 인공지능과 윤리 의식이 어떤 방식으로 접점을 이루게 될지 귀추가 궁금합니다.

– 가치UX그룹 임채린

[참고문헌]
SBS 뉴스 카드뉴스] ‘누구를 죽일지 선택하라’…자율주행자동차의 딜레마
https://news.sbs.co.kr/news/endPage.do?news_id=N1003234908
AI 로봇 ‘소피아’와 윤리 그리고 보안
http://www.boannews.com/media/view.asp?idx=66524
[영상] AI 로봇 소피아와의 대담… “우리는 인간을 돕게 될 것”
https://www.youtube.com/watch?v=CEqfl7T81Zk


2014년 MIT 미디어 랩(MIT Media Lab)의 연구원들은 모럴 머신(Moral Machine)이라는 실험을 설계했다. 자율주행 자동차가 이른바 ‘트롤리 딜레마’의 여러 상황에서 누구의 생명을 우선해야 하는지에 대한 사람들의 의견을 수집하는 플랫폼을 만드는 작업이었다. 이 과정에서 생성된 데이터는 문화에 따른 집단적 윤리적 우선 순위의 차이에 대한 통찰력을 제공할 것으로 기대되었다.

연구원들은 세계에서 그렇게 많은 사람이 이 실험에 응하리라고 전혀 예상하지 못했다. 플랫폼이 가동된 후 4년 간, 233개 국가에서 수백만 명이 4000만 건의 의견을 등록했다. 이 연구는 세계인의 도덕적 선호에 대한 최대 규모의 연구 중 하나가 되었다.

이 데이터를 기반으로 네이처에 게재된 논문은 문화, 경제, 지리적 위치에 따라 윤리 기준이 얼마나 다양한지 보여준다.

일반적인 트롤리 딜레마는 다음과 같다. 기차가 선로를 따라 달려오고 있고, 선로에 다섯 명의 사람이 서 있다. 당신은 선로전환기를 당겨 다섯 명의 사람들을 구할 수 있지만, 그럴 경우 다른 선로에 있던 한 사람이 죽게 된다. 선로전환기를 당겨서 한 명을 희생하여 다섯 명의 사람들을 살리겠는가?

모럴 머신은 이 딜레마에서 아이디어를 얻어 9가지 비교 상황을 실험했다. 자율주행 자동차가 반려 동물보다 사람을, 보행자보다 승객을, 적은 사람보다 많은 사람을, 남자보다 여자를, 노약자보다 젊은이를, 건강하지 못한 사람보다 건강한 사람을, 사회적 지위가 낮은 사람보다 더 높은 사람을, 법을 어기는 사람보다 잘 지키는 사람을 구해야 할까? 자동차는 방향을 바꿔야 할까(take action)? 아니면 원래대로 주행해야 할까(inaction)?

트롤리 딜레마 예시 - teulolli dillema yesi
모럴 머신 참가자들에게 제시되는 질문 예시

이 실험은 참가자들에게 일대일 비교를 하기보다는 다양한 조합을 제시했다. 이를테면, 자율주행 자동차가 주행 방향을 바꾸지 않고 길을 걷던 노약자 3명이 죽는 상황 또는 바리케이드로 방향을 바꾸어 차 안의 젊은 승객 3명이 죽는 상황 중에 선택하도록 하는 식이다.

연구원들은 사람들의 선호도가 국가마다 크게 달랐던 한편, 문화나 경제와도 높은 상관관계가 있다는 것을 발견했다. 예를 들어, 중국이나 일본과 같은 집단주의 문화권의 참여자들은 젊은이보다 노약자를 살리는 경향을 보였다. 연구자들은 노약자를 존중하는 문화 때문일 가능성이 있다고 가정했다.

개인주의 문화권의 사람들은 젊은이를 살리는 선택을 할 가능성이 더 높다

트롤리 딜레마 예시 - teulolli dillema yesi
자율주행 자동차를 시범 운행하는 국가간 비교: 응답자들이 젊은이를 구하려는 경향이 큰 경우 그래프의 막대가 1에 가까워지고, 노약자를 구하려는 경향이 크면 -1에 가까워진다. 0은 세계 평균. Created with Data Wrapper

마찬가지로, 법규가 비교적 잘 갖춰지지 않은 빈곤국의 참가자들은 파란불에 횡단하는 보행자들에 비해 무단 횡단하는 사람들에게 더 관대하고, 경제적 불평등이 큰 국가의 참가자들은 사회적 지위의 격차에 따라 큰 차이를 보여준다.

또 연구팀은 어떤 그룹을 구할지 결정하는 데에 있어서 피해를 입는 사람들의 숫자가 항상 가장 중요한 요소는 아니라는 점을 발견했다. 영국, 미국과 같은 개인주의 문화권의 참여자들이 다른 조건들보다 많은 생명을 구하는 것을 더 중요시했는데, 이는 아마 이들 문화권에서 각 개인의 가치를 더 중요하게 여기기 때문일 것으로 연구진은 추정했다.

개인주의 문화권의 사람들은 더 많은 생명을 구하는 선택을 할 가능성이 더 높다

트롤리 딜레마 예시 - teulolli dillema yesi
자율주행 자동차를 시범 운행하는 국가간 비교: 응답자들이 구하는 생명의 숫자를 중요시할 경우 그래프의 막대가 1에 가까워지고, 그 반대의 경우는 -1에 가까워진다. 0은 세계 평균.
Created with Data Wrapper

연구진은 세계를 서양권, 동양권, 남부권 등 크게 세 권역으로 분류했는데, 인접한 국가들은 비슷한 도덕적 선호도를 보였다.

연구원들은 결과가 왜곡될 수 있다는 것을 인정했다. 참가자들은 스스로 참여했으므로 인터넷 접근성이 좋고, 사회적 지위가 높으며 신기술에 밝은 사람일 가능성이 높기 때문이다. 자율주행 자동차에 관심 있는 사람들 또한 그러한 특징을 가질 경향이 높다.

이 연구는 현재 자율주행 도입을 검토하는 국가들이 자율주행 자동차를 설계하고 규제를 만드는 데 있어 흥미로운 시사점을 준다. 예를 들어, 자동차 제조사는 중국 소비자가 보행자보다 운전자를 보호하는 차를 선호하리라는 것을 알 수 있다.

승객보다 보행자를 구하겠다는 사람들의 나라별 비율

트롤리 딜레마 예시 - teulolli dillema yesi
응답자는 보행자를 구하는 데 더 중점을 둘수록 막대가 1에 가까워지고, 승객을 구하는데 더 중점을 둘수록 막대가 -1에 가까워진다. 0은 세계 평균. Created with Data Wrapper

그러나 이 논문의 저자들은 연구 결과가 각 나라에 바람직한 행동 방식을 제시하려는 것은 아니라고 강조했다. 저자들은 실제로 몇 가지 경우에서 기술자들과 정책 입안자들이 집단 여론을 무시해야 한다고 느꼈다. 이 논문 저자인 에드먼드 어워드(Edmond Award)는 사회적 지위를 사례로 언급했다. 그는 “사람들이 낮은 지위의 사람보다 높은 지위의 사람을 구해야 한다는 응답이 큰 차이로 많다는 점이 염려된다”며 “중요한 점은 이 데이터를 ‘사용해야 한다’기 보다 ‘계량화할 수 있었다’라는 점이다”라고 말했다. 그는 “이 결과는 산업계와 정부가 서로 다른 디자인과 정책 결정의 윤리에 대해 대중이 어떻게 반응할지를 이해하는 토대로 이용되어야 한다”고 말했다.

어워드는 이번 결과가 기술자들이 자율주행 자동차를 넘어 AI의 윤리에 대해서도 더 깊이 생각하는 데 도움이 되기를 바라고 있다. 그는 “트롤리 딜레마가 이 데이터를 수집하는 데 매우 좋은 방법이기 때문에 이용했지만, 윤리에 대한 논의가 이 주제에만 머물지 않기를 바란다”며 “이 논의는 누가 죽어야 할 지를 넘어, 누가 더 혹은 덜 위험에 처해있는지 분석하는 리스크 분석, 그리고 편견은 어떻게 벌어지는지 등으로 나아가야 한다”고 말했다. 그는 앞으로 이러한 연구 결과가 어떻게 AI의 윤리적 설계와 규제로 전환될 수 있을지 더 연구하고자 한다.

어워드는 “지난 2-3년 동안 많은 사람이 AI의 윤리에 관해 이야기하기 시작했다”며 “사람들의 집단의 성격에 따라 AI가 서로 다른 다양한 윤리적 결과를 일으킬 수 있다는 점에 대한 인식이 높아졌다. 이런 문제를 생각하는 사람들이 나타난다는 사실 자체가 바람직한 일이라 생각한다”고 말했다.