기술 개발 측면의 인공지능 윤리 프레임워크를 위한 전략수립

2018. 12

- 2 -

제 출 문

정보통신기술진흥센터장 귀하

2018년 10월 15일 귀 원과 계약한 “기술 개발 측면의 인공지능 윤리 프레임워크를 위한 전략수립” 에 대한 용역연구과제를 과업지시서에 의거하여 완수하였기에 최종보고서로 제출합니다.

2018년 12월 14일

용역기관명 : 테크프론티어

연구책임자 : 대표 한상기

연 구 원 : 테크프론티어 파트너 김득권

자 문 위 원 : 국민대학교 교수 이민석

3KSoftware 부사장 박태영

서울여자대학교 교수 김명주

SK텔레콤 부장 김유신

- 3 -

- 목 차 -

제1장 연구의 배경과 필요성 ··································································································· 4제1절 인공지능 윤리 원칙과 가이드라인 활동들 ······································································· 4제2절 인공지능 윤리 이슈의 다양한 사례 ············································································ 6

제2장 인공지능 윤리의 초기 연구 ······················································································· 10제1절 철학과 인지 과학, 심리학 분야에서 논의 ····································································· 10제2절 초기 공학적 접근 ··········································································································· 15

제3장 인공지능 윤리에 대한 최신 연구 ··················································································· 20제1절 윤리적 딜레마에 대한 탐구 ··························································································· 21제2절 개별적 윤리 결정 프레임워크 ························································································ 25제3절 집단적 윤리 결정 프레임워크 ························································································ 29제4절 인간과 인공지능 상호 작용에서의 윤리 ········································································ 31

제4장 인공지능 윤리 프레임워크를 위한 기술 요소 ······························································· 33

제5장 인공지능 윤리 프레임워크 개발을 위한 전략 과제 도출 및 과제 실행 방안 ············· 38

참고문헌 ·································································································································· 44

- 4 -

제 1장 연구의 배경과 필요성: 인공지능 윤리 기술 프레임워크 정책 연구의 필요성

인공지능 시스템이나 로봇이 도덕 기계가 될 수 있는 가에 대한 논의는 인공지능 초기부터 거론된 문제이다. 이는 전통적으로 인공지능이 인간을 대치하는 수준으로 개발할 것인가 아니면 인간의 지능을 강화하는 방향으로 개발할 것인가에 대한 큰 노선 차이에 따라 그 수준에 대한 논점 차이가 난다.

그러나 인공지능 시스템이 어떤 윤리적 판단을 하지 않는다 하더라도 외부에서 관찰하거나 속해있는 공간에서의 행동과 판단이 외부적으로는 윤리적 판단을 하는 것으로 해석될 수 있기 때문에 인공지능의 윤리 문제는 현 시점에서도 매우 중요한 연구 과제이다.

제 1절 인공지능 윤리 원칙과 가이드라인 활동들지금까지 공공 기관이나 여러 연구 단체들에서 발표한 다양한 인공지능 윤리 원

칙과 가이드라인들은 대부분 연구자의 윤리와 인공지능 시스템이 갖춰야 하는 특성이나 지켜야 하는 기준, 사용자 윤리 등을 선언적으로 기술한 것들이다.

이런 활동에는 크게 다음과 같은 것들이 있다.Ÿ 2016년 미국 백악관 인공지능 연구 및 개발 전략 보고서1) - 7개의 전략 중 ’

인공지능의 윤리적, 법적, 사회적 함의를 이해하고 이를 다루어야 한다고 강조했다.

Ÿ 스탠포드 AI 100 보고서 (인공지능과 2030년의 삶)2) - 3대 주요 정책 과제 중 인공지능의 공정성, 보안, 프라이버시, 사회적 영향력 연구의 장애를 제거해야 한다고 지적하고 이런 연구에 공정 사적 자금 지원 확대를 요청했다.

Ÿ 유럽 로봇 연구 연합 (EURON) 로봇 윤리 13원칙Ÿ EU 집행위원회 로봇공학 헌장 – 로봇에 관한 법안을 제안할 때 지켜야 하는 원

칙 제시하고 있다Ÿ 영국의 데이터 과학 윤리 프레임워크 6원칙3)

Ÿ 영국 공학과 자연과학 연구 위원회 (EPSRC) 로봇 윤리 5원칙4)

Ÿ 일본의 G7 인공지능 연구 개발 8원칙과 총무성 AI 개발 가이드라인

- 5 -

Ÿ 미국 정보 책임성 재단 (IAF) 빅데이터 윤리 프로젝트의 통합 윤리 프레임5)

Ÿ 마이크로소프트의 6개 필수 인공지능 디자인 원칙6)

Ÿ 2017년 아실로마 인공지능 원칙7)

Ÿ 미국 전기전자공학회 윤리적 설계 일반 원칙 버전 28)

Ÿ 독일의 자율 및 커넥티드 드라이빙 윤리9) Ÿ 캐나다와 프랑스가 협력해 G7 국가 간에 인공지능을 위한 국제 패널을 만들기

호 함 – 인공지능 윤리 이슈를 검토할 예정10)

Ÿ 정보화진흥원이 발표한 지능정보사회 윤리 가이드라인과 지능정보사회 윤리헌장이런 윤리 원칙과 선언은 대부분 전문가들이 모여서 논의하고 합의한 선언이며,

이를 구체적으로 어떻게 구현하거나 원칙을 따르기 위한 기술 내용은 없다. 또 다른 접근은 기업들의 협력하기 위한 조직을 만들거나 학제적 연구를 수행하

는 기관에서 윤리 문제를 논의하고 검토하는 방식이다. 여기에는 유익한 인공지능 개발과 학계와 산업계의 공동 노력을 오픈해서 진행하고자 하는 ‘오픈AI’, 70여개의 기업이 만든 ‘인공지능 파트너십(PAI)’, 머신 지능 연구소 (MIRI), 데이터와 사회, 캠브리지에 있는 미래 지능 센터 (LCFI) 등이 있다.

기업의 지원이나 학교의 자발적 노력으로 인공지능의 사회적 의미와 윤리 문제를 집중해서 논의하는 학술회의나 심포지움도 존재한다. 미국 카네기멜론 대학에는 법률 회사인 K&L 게이츠가 기부한 천만 불을 기반으로 윤리와 인공지능 컨퍼런스를 열고 있으며 (2018년 4월), 뉴욕 대학의 ‘AI NOW’ 연구소는 인공지능의 사회적 함의에 대한 학제적 심포지움을 정기적으로 개최하고 있다.

인공지능 소프트웨어나 시스템이 어떤 윤리적 판단을 하거나 편견과 차별적 의사 결정을 보였던 사례는 지속적으로 나타나고 있다. 우리는 인공지능이나 스마트한 기기가 냉정하고, 균형적 판단을 하고, 사람과 같이 감정에 치우치거나 심리 상태에 따라 달라지지 않는 일관적인 의사 결정을 할 것이라 기대한다. 그러나 최근에 나타나는 여러 사례와 실제 결과는 이러한 우리 기대와 달리 기계 지능이 세상의 편견을 그대로 반영하거나, 과거에는 사용하지 않았던 데이터 까지 활용하면서 확인하기 어려운 차별을 하고 있다는 것이 밝혀지고 있다.11)

- 6 -

제 2절 인공지능 윤리 이슈의 다양한 사례자동화된 시스템이 어떤 의사 결정을 내리는 경우, 지금까지는 인간이 의사 결정

과정에 존재하거나, 최종 의사 결정자였다. 그러나 자동화의 수준이 고도화되면서 암묵적으로, 또는 인간이 의도적으로 배제된 환경에서 판단은 점점 인간 사회의 가치와 일치하는 것인가를 확인해야 한다.

이러한 논의는 자연스럽게 인공지능 시스템의 윤리적 판단이 이루어질 수 있는지 또는 기계는 인공 도덕 행위자 (AMA: Artificial Moral Agent)가 될 수 있는 가에 대한 실제적 논의를 불러왔다.

특히 자율 주행 자동차의 실용화가 가까운 미래에 이루어질 수 있다는 상황은 기계의 판단이 사회의 윤리적 판단이나 가치 시스템과 일치할 수 있는 가에 대한 학술적, 사회적, 법률적 논의를 하게 되었으며, 이러한 기술 구현이 어떻게 이루어지고 누가 구현에 대해 검증해야 할 것인가는 새로운 기술 기반과 체계의 개발이 필요하다는 인식을 갖게 한다.

자율 주행차가 점점 일반 도로에서 나타나고, 실제 서비스가 가시화되면 자율 주행차가 예상하기 어려운 위급한 사태에서 (예를 들어 브레이크 고장 등) 어떤 판단을 해야 할 까 하는 문제는 윤리학에서 고전적인 ‘트롤리 딜레마’에 빠질 수 있다. 이번 연구 보고서 3장에서 더 깊이 있게 살펴보겠지만, 이런 상황을 예상해서 인공지능이 어떤 판단을 해야 사회적으로 옳은 것인가 하는 주제는 많은 학자들에게 새로운 과제를 제공했다.

이런 상황에서 그냥 인간의 가치와 부합하는 결정을 해야 한다는 선언은 기술적 구현이 없다면 아무 도움이 되지 않는다. 물론 독일에서는 이런 상황에서 인간을 성별, 나이, 인종 등에 따라 비교 평가해서는 안 된다는 가이드라인을 만들었지만, 어떻게 하면 이를 준수할 것인가는 결국 내부 프로그램에서 이를 다루어야 하는 것이다.

마이크로소프트의 챗봇 ‘테이’ 사례는 인공지능 서비스가 사회 윤리에 반하는 모습을 보여줄 수 있는 가능성을 가장 극명한 경우이다. 테이는 트위터 챗봇으로 등장했지만 일부 커뮤니티가 지속적으로 인종차별적이고 미소지니(여혐) 트윗을 통해 학습하게 만들면서 하루 만에 서비스를 종료하게 되었다.12) 이는 지능형 시스템이 ‘인간 파트너를 통해서 학습을 할 경우, 파트너 인간에 의해 문제를 일으킬 수 있음’을 바로 보여준 것이다. 이는 동시에 인공지능 시스템이 훈련하는 사람이 갖고 있는 편견이나 차별 의식에 대해 분별력 없이 받아들일 수 있는 맹점이 있음을 보여준 것이다.

- 7 -

그림 4 마이크로소프트 챗봇 테이의 문제 사례

인공지능 기술 개발 과정에서 사용한 데이터의 미흡함이나 편향, 왜곡에 의해 결과로 나온 인공지능이 사회적 가치 기준이나 윤리에 부합하지 않는 사례는 여러 영역에서 발생하고 있다. 이미 2009년에 지적된 사례로, 니콘 카메라에서 아시아인이 눈을 감았다고 판단한 소프트웨어13)나, HP의 미디어스마트 컴퓨터가 피부색이 검은 사람의 얼굴을 트래킹하지 못한 문제는 소프트웨어가 인종차별적이라는 비판을 받아왔다.14)이는 학습과정에서 사용된 데이터가 일부 사람들의 데이터만 사용했기 때문에 나타난 문제이다.

MIT 미디어 랩 대학원 연구원인 조이 부올람위니(Joy Buolamwini)는 로봇이 피부가 밝은 사람에 비해 자신을 잘 인식하지 못한다는 것이고, 나중에 홍콩에 가서 만난 다른 소셜 로봇에서 같은 문제를 발견했다. 그 원인을 찾아본 결과, 여러 로봇이 얼굴 인식에 같은 오픈 소스 코드를 사용하는 것을 알게 되었다.

2018년 2월에 그녀가 참여하는 젠더 쉐이즈 (Gender Shades) 프로젝트를 통해서 MIT 미디어 랩은 다시 한 번 얼굴 인식 기술이 의도하지 않더라도 어떤 문제점을 보이는 가를 데이터 분석을 통해서 밝혔다. 마이크로소프트, IBM, 중국의 메그비의 페이스++ 기술을 비교한 결과 피부 빛이 검을수록 인식 에러율이 크게 늘어나는 것을 발견했다. 특히 피부색이 검은 여성의 경우에는 거의 35%나 오류가 발생했다.15)

마이크로소프트는 이에 발 빠르게 대응해 2018년 6월 자사의 블로그에서 마이크로소프트의 얼굴 인식 기술이 이제 모든 피부 톤이나 성별과 상관없이 다 높은 수준의 인식 정확도를 갖는다고 밝혔다.16)

2015년 6월에 웹 프로그래머인 재키 알시네는 구글을 욕하는 트윗을 올렸는데, 그 이유는 구글이 제공한 구글 포토 서비스에서 자동 태깅 기술이 자신의 여자 친

- 8 -

구 사진에 ‘고릴라’라는 태그를 달았다는 것이다.17) 구글은 즉각 사과하고 해결을 약속했다. 개발자가 미처 생각하지 못한 이미지 안의 개체 인식 오류에 의한 인종 차별 가능성이 나타난 것이다.

그림 5 구글 포토의 태깅 문제

구글이 사진에 나오는 다양한 물체를 인식하는 기술은 ‘쇼-앤-텔 (Show-and-Tell)’이라는 인공지능 알고리듬으로 이를 바탕으로 구글 포토에 기능을 도입하고, 최근 이를 오픈 소스로 공개할 정도로 자신을 가지고 있는 영역이다. 구글은 학계에서 공통으로 구축한 데이터를 기반으로 기술 경쟁하고 있는, 이미지넷 (ImageNet) 분류 문제에서 93.9%의 정확도를 보인 소스를 공개했다.18) 그러나 이런 기술이 실 생활에 적용되는 과정에서는 위의 사례와 같은 전혀 예기할 수 없는 문제를 보이는 것이다.

미국의 여러 대도시에서 범죄 발생을 예측하는 소프트웨어를 사용해 언제 어느 지역에서 미래 범죄가 나타날 수 있는 지를 판단하는 소프트웨어 역시 과거 범죄 데이터를 기반으로 예측하기 때문에, 결과는 이미 순찰을 자주하는 지역에 더 경찰을 투입하게 만든다.19) 더 많은 경찰이 투입되면, 자연스럽게 그 지역에서 더 많은 범죄를 발견하게 되며, 이는 주로 흑인 거주의 빈민 지역인 경우가 많다. 이 역시 인종 차별로 비판 받을 수 있다.

2018년 9월 미국의 인베스티게이트펀드는 IBM과 뉴욕 경찰이 협력해 피부색, 머리 색, 젠더, 나이 등 다양한 얼굴 특징을 이용해 사람을 검색할 수 있는 시스템을 개발해 왔다고 폭로했다.20) 5월에는 미국 시민 자유 연맹이 아마존이 얼굴 인식 기술을 법 집행 기관인 올랜도 시와 오레곤의 보안관 사무실에 판매했고, 캘리포니아나 아리조나와 같은 다른 지역의 기관들도 흥미를 갖고 있다고 발표했다.21) 더군다나 추가 조사에서는 정확도를 조사하기 위해 미 의회의 535명 의원을 25,000 명의

- 9 -

머그샷(범인 식별용 얼굴 사진)과 매치시켜본 결과 28개의 잘못된 매치가 나타났다. 이런 기술을 경찰이 사용한다는 것의 문제점을 그래도 나타낸 것이다.

안면 인식 기술은 중국에서 광범위하게 사용되고 있으며, 2020년 도쿄 올림픽에서도 서누수, 조직위 인원 등의 신원을 인증하거나 테러범 식별에 사용될 예정이다. 영국 사우스 웨일즈 경찰이나 호주에서도 얼굴 인식 기술을 잠재적 범죄자 식별에 활용할 예정이기 때문에 이제 얼굴 인식 기술의 인식 정확도뿐만 아니라 학습 과정에 사용한 데이터의 윤리적 측면 문제를 검토해야 한다.

데이터는 회사가 의도해서 왜곡하거나 편향성을 갖는 것이 아니라 사용자들이 제공한 데이터에 사람들의 편견이 담겨져 있는 것이다. 2016년 유명한 블로그 사이트인 보잉보잉은 구글 검색에 인종 차별적 요소가 강하게 있는 사례를 발표했다.22)

이미지 검색에서 ‘전문적인 여성 헤어스타일’을 검색하면 대부분 백인 여성의 사진이 나타나고 ‘비전문적 여성 헤어스타일’을 검색하면 거의 대부분이 흑인 여성 사진이 나타나는 것을 본 것이다. 이 문제 역시 구글 사용자들이 제공한 태그와 다른 메타 데이터, 웹 페이지에 올라온 글의 내용이 구글 검색 엔진에 영향을 준 것이다. 이런 문제는 이미 2013년 애드워드 광고 사례에서도 보고되고 있다.23)

과거의 검색 알고리듬은 전통적인 검색 알고리듬을 이용했지만 이제 구글은 랭크브레인이라는 인공지능 기반의 검색 기술을 기본으로 사용하며 앞으로 더 많은 기능을 추가할 예정이다.24) 그러나 검색에서 사용하는 계산 모델이 과거의 사용자가 제공하는 데이터를 기반으로 학습한다면, 사용자들이 별 의식 없이 추가했던 데이터가 이런 윤리적 문제를 야기할 가능성이 높아질 수 있다.

구글이나 마이크로소프트 같은 글로벌 기업의 연구진이 개발한 기술에서도 이런 맹점이 있다는 것이 발견되면서 인공지능 기술이 어떤 기준이 없이 개발되어서는 안 된다는 생각이 확산되었고, 이는 위에서 소개한 많은 기관이나 단체에서 기준을 만들어 내는 기반이 되었다. 그러나 개발 과정에서 데이터나 코드 안에 명시적으로 또는 묵시적으로 존재하는 윤리와 관련된 의사 결정 기능이 있을 수 있기 때문에, 기술적으로 인공지능 소프트웨어가 이런 윤리 판단을 어떻게 올바르게 하게 만들 것인가 하는 것은 이제 연구 개발자의 주요 과제가 되고 있다.

- 10 -

제 2장 인공지능 윤리에 대한 초기 연구제 1 절 철학과 인지 과학, 심리학 분야에서 논의그 동안 철학에서 윤리에 대한 접근 방식은 칸트의 의무론적 접근, 벤담이나 흄

의 공리주의, 그리고 아리스토텔레스의 덕 윤리로 크게 나눌 수 있다. 그러나 어떤 한 이론에 모든 윤리학자가 동의하는 것은 아니다. 특히 인공지능이 여러 영역에 적용되기 때문에, 때로는 그 영역에 특별히 적용해야 하는 응용 윤리 기준도 고려해야 한다. 인공지능 연구자들은 자신들이 좀 더 관심이 있는 이론이나 구현 가능성이 높은 이론을 따르면서 철학자들의 접근에 대응해 왔다.

인공지능 윤리 연구에서 철학자가 참여해 중요한 방향을 제시한 것은 인류 미래 연구소의 닉 보스트롬과 엘리저 유드코프스키는 2011년 에세이 “인공지능의 윤리학” 에세이이다. 두 연구자는 지능형 기계가 인간과 또 다른 도덕적으로 관련 있는 존재에 해를 끼치지 않음을 보장하는 것뿐만 아니라 기계 자체의 도덕적 지위까지 관련이 있다고 했다.25)

특히 이들은 인공 마음을 구현하는 윤리 원칙을 통해 인공지능 같은 시스템이 어떤 특질을 갖고 있다면 도덕적 상태를 가질 수 있는가를 추론하고, 기질이 다르더라도 같은 기능이나 의식을 갖는다면 도덕적 상태를 가질 수 있다고 주장한다. 그러나 보스트롬과 유드코프스키는 현재의 인공지능 수준이 아닌 일반 인공지능의 문제에 더 초점을 맞췄으며, 지금의 인공지능이 어떤 도덕적 상태를 갖는다고 말할수 없다고 했다. 어떤 존재가 도덕적 상태를 갖추려면 고통이나 아픔을 느낄 수 있는 특질을 보일 수 있는 감성과 자기 인식과 이성 반응형 에이전트와 같은 더 높은 지능과 연계라는 능력을 갖춰야 함을 주장했다.

인공 지능에 대한 철학적 논의는 윤리학과 과학철학, 정보 철학을 중심으로 활발하게 이루어지고 있다. 인공 지능 기술 자체는 컴퓨터 공학자들에 의해 주도되지만, 인간과 사회에 미치는 인공 지능 기술의 영향력을 고려한다면 이에 대한 철학자들의 관심은 자연스러운 현상으로 보인다. 루치아노 플로리디(Luciano Floridi)1)는 정보 철학계의 중심에 있는 학자이다. 그는 그의 저서 ‘인공지능의 철학 (The Philosophy of AI)’과 ‘정보의 윤리 (The Ethics of Information)’를 통해 탈-인간 중심적 정보 철학을 제시한다.

1) 루치아노 플로리디(Luciano Floridi)는 현재 옥스퍼드 대학의 철학과 정보 윤리 교수이고 디지털 윤리 연구소의 연구소장이다. 그는 이탈리아 로마 라 사피엔차 대학(Sapienza - Università di Roma)에서 철학사를 전공하고, 영국 워릭 대학(University of Warwick)에서 논리학과 인식론 분야로 박사학위를 받은 철학자이며, 정보 철학계에서 가장 영향력 높은 인물 중 한명이다.

- 11 -

그는 이러한 정보 중심 사회에 걸맞은 새로운 철학의 필요성을 제기하며, 기존의 윤리학은 지나치게 인간 중심적이고 행위자 중심적인 논의이어서 정보 중심 사회에서 직면하게 될 다양한 윤리적 문제들을 고려하는 데 어려움이 있다고 지적한다.

플로리디는 행위자 중심의 윤리가 아닌 피동자(patient-oriented)와 존재자 중심의 윤리학을 통해 정보 세계에 존재하는 다양한 정보 유기체를 포괄하고자 시도한다. 또한, 그는 자신의 정보 윤리학을 자원으로서의 정보, 환경으로서의 정보, 산물(products)로서의 정보 모두를 포괄하는 거시 윤리학(Macroethics)이라 명명하며 통합적이고 체계적인 정보 윤리를 시도한다.26)

국내 철학자들 또한 인공지능이 제기할 윤리 문제에 대한 관심이 뜨겁다. 인공 지능 기술이 고도화될수록 사회에서의 인공지능 기술은 일상적인 환경으로 적용될 것이어서, 어떻게 인공지능을 윤리적으로 설계해야 하는지, 인공지능의 윤리적 영향력을 어떤 기준으로 판단해야 하는지 면밀하게 검토해야 한다고 철학자들은 주장한다.

목광수는 인공적 도덕 행위자(Artificial Moral Agent: AMA)를 설계하기 위하여 일반적인 인공지능을 위한 도덕이 아닌, 분야별 인공지능의 쓰임에 따라 목표와 범위가 제한된 규범을 고려해야 한다고 주장한다. 그는 인공지능 또는 인공지능 로봇이 인간과 사회적 관계를 맺기 때문에 인간을 도덕적으로 대우하는 인공지능 시스템을 만드는 것이 시급함을 강조하며, 의료, 군사, 비즈니스, 교육 등 분야마다 인공지능 기술이 개입되는 특성과 역할을 반영한 구체적인 인공지능 도덕규범을 제시해야 한다고 주장한다.27)

동시에 이러한 구체적인 규범들은 인간 사회에서 수용할 수 있는 공통 도덕(common morality)의 중첩적 합의(overlapping consensus) 과정을 통해 보편성을 확보한 도덕규범에 근거해야 하고, 각 영역의 특수성을 반영한 비중 주기(weighing)와 행위 지침(action-guiding) 방식을 통해 알고리듬을 설계해야 한다고 제안한다.

그 밖에도 ‘인공지능이 자율적 도덕 행위자일 수 있는가’28), ‘윤리적 인공지능은 가능한가?’29), ‘인공지능로봇을 위한 윤리 가이드라인 연구: 인공지능로봇윤리의 4원칙을 중심으로’ 30)등의 활발한 국내 학술 연구가 진행되고 있다.

로봇에 대한 윤리적 접근에 대해서는 캘리포니아 폴리테크닉 주립 대학 철학과 교수인 키스 애브니는 로봇 윤리학에는 다음 세 가지 주제가 포함된다고 제시했다.31)

Ÿ 로봇공학자의 전문가적 윤리Ÿ 로봇 안에 프로그램 된 ‘모럴 코드'(moral code)

- 12 -

Ÿ 로봇에 의해 윤리적 추론이 이루어질 수 있는 자기 인식 능력을 의미하는 로봇 윤리

1번은 인공지능 전문가와 개발자가 갖추어야 하는 윤리 원칙을 의미하는 것이며, 이는 1975년 아실로마 학술회의에서 유전자 조작 연구자들이 동의한 선언문을 참고로 여러 번 논의되어 왔다. 생명의 미래 연구소(Future of Life Institute: FLI)에서는 다양한 분야의 전문가가 ’유익한 인공지능‘에 대한 논의를 매년 해왔으며, 2017년 아실로마에서는 유익한 인공지능 개발을 위한 23개의 원칙을 발표했고, 그 가운데 12가지는 윤리와 가치에 관련된 원칙이다.32)

인공지능 기술의 발전이 우리 사회의 이익을 극대화하고 공동체 전체의 혜택으로 이루어지게 해야 한다는 명제는 너무도 타당하지만 사실 위협 받을 가능성을 잠재적으로 갖고 있다. 이런 문제로 MIT의 맥스 테그마크 교수 등 많은 연구자들은 앞으로 인공지능의 연구가 사회의 이익을 위해서 이루어져야 한다는 공개서한을 만들어 많은 학자와 관련자들이 온라인 서명을 하도록 했다.33)

그러나 우리가 검토해야 하는 것은 개발자나 연구자의 전문가 윤리를 확립하는 것보다 인공지능 안에 구현되는 윤리 모듈 또는 윤리 코드의 문제이다. 인공지능 시스템에 어떠한 방식으로 윤리 코드나 엔진을 구현하고자 할 때 가장 먼저 떠오를 수 있는 방식은 보편적인 윤리를 규칙으로 설정해보는 것이다. 이는 칸트의 의무론적 윤리를 구체화하는 방식이 될 것이다.

의무론적 접근 방식에서 우리에게 가장 널리 알려진 사례는 아시모프가 제시한 로봇 3원칙이다. 1942년 그의 책 ‘아이, 로봇’에 나오는 단편 ‘술래잡기 로봇(Runaround)’에서 아시모프는 다음과 같은 ‘로봇공학 3원칙’을 제시한다.

Ÿ 로봇은 인간에게 해를 가하거나 해를 당하는 상황에서 무시하면 안 된다. Ÿ 로봇은 1원칙에 어긋나지 않는 한, 인간의 명령에 복종해야 한다. Ÿ 로봇은 1, 2원칙에 어긋나지 않는 한, 자신을 지켜야 한다.

그러나 이 원칙은 작가 본인의 작품에서나, 그 외의 여러 영화에서 모순을 드러내거나 부조화를 만들어내어 혼란을 야기할 수 있음이 알려졌다. 아시모프의 로봇 3원칙은 사실 제1원칙부터 어려운 문제를 안고 있다. 일단 ‘인간’을 어느 개념으로 정의할 것인가부터 쉬운 문제가 아니다. 인류는 한동안 다른 인종을 인간과 다르다고 분류한 적도 있고, 앞으로는 생물학적 특징만으로 인간을 정의하기 어려워질 수 있기 때문이다. 로봇에 이를 코딩하는 것이 쉬운 일은 아니다.

또한, ‘해를 가한다’는 것을 판단하려면 우선 그 행동의 결과가 누구에게 해가 될 수 있는지를 알아야 한다. 하지만 모든 상황을 정확히 판단한다는 것은 불가능한

- 13 -

일이다. 주변의 인간에게는 해를 가하지 않아도 지구 어딘가에 있는 다른 인간에게 해를 끼칠 수도 있는데 이를 계산할 방안이 없다.

인공지능 윤리 연구에서 가장 많은 학자들이 접근한 방식인, 결과주의적 윤리 또는 공리주의 역시 완전한 해결책을 제공하지 못한다. 최대 다수의 최대 행복이라는 표현에는 모든 사람의 행복을 어떻게 정량화할 것이며, 사람의 행복은 동등한 것인지, 모든 가능한 행동을 어떻게 계산해서 결과를 예측할 것인지 등에 대해 적절한 대답이 없다는 한계가 있다. 그 계산의 기간을 언제까지로 해서 결과를 생각해야 하는 것인지도 판단하기 어렵다. 또한, 비용과 효과로 분석한다고 하면 인간의 도덕적 가치를 경제적 가치로 환산할 수 없다는 반론에 부딪힌다.

최근 인공지능 윤리 연구자들은 인지과학이나 심리학의 연구 결과를 자신 연구의 기본 프레임워크로 활용하는 경우가 많아지고 있다.

중요하게 사용되는 인지 심리학 연구의 대표적인 것은 조나단 헤이트의 논문이다.34) 그 동안 합리주의의 주류 심리학자인 로렌스 콜버그의 도덕 발달 이론이 가진 한계에 대한 반론이 이루어진 것이 그의 사회적 직관주의 모델이다. 콜버그는 이성에 의한 추론 능력의 발달을 통한 도덕성 발달을 당위적으로 주장했고, 도덕을 정당화할 수 있는 유일한 요소가 보편타당한 도덕 원리이며, 이성적 추론이 도덕성의 핵심이라고 주장했다. 그의 주장은 칸트의 의무론적 윤리 철학과 만나고 있다.

그러나 헤이트는 2001년 그의 논문35)에서 도덕적 추론에 의해 도덕적 판단이 이루어지는 것이 아니라 먼저 도덕적 직관에 의한 빠르고 자동적인 평가가 이루어지고 그 결과로 도덕적 판단이 이루어진다는 주장을 한다. 이런 도덕적 판단이 이루어지고 난 뒤 오히려 이를 합리화하는 도덕적 추론이 사후(post-hoc)에 구성된다는 것이다.

특히 그는 개인에 의한 개별 추론 보다는 사회적 문화적 영향력의 중요성을 강조하기 때문에 사회적 모델이고, 직관을 강조했다는 점에서 사회적 직관주의 모델이라고 부른다. 헤이트는 이 모델이 최근에 이루어진 사회적, 문화적, 진화론적, 생물 심리학, 인류학 그리고 영장류학의 연구 결과와 더 일치 한다는 점을 강조했다.

그의 모델은 네 개의 주요 링크 또는 과정으로 이루어지는데, 1) 직관적 판단 링크, 2) 사후 추론 링크, 3) 추론된 설득 링크, 4) 사회적 설득이다. 여기에 본인의 생각을 변경할 수 있는 개별적 추론이 관여할 수 있다는 차원에서 5) 추론된 판단 링크와 6) 사적인 반성적 사고 링크를 더해 모델을 완성한다.

- 14 -

그림 6 헤이트의 사회적 직관주의 모델

2017년 ‘인지’ 학술지에 출간된 ‘상식적 도덕 이론 학습’이라는 논문 역시 여러 인공지능 윤리 연구자들이 참고하는 연구이다. MIT의 뇌와 인지 과학과 교수인 맥스 클라이만-와이너, 레베카 색스, 조슈아 텐넨바움이 쓴 이 논문에서는 도덕 학습의 구조와 다이나믹스를 이해하기 위한 계산적 프레임워크를 소개하고 있다.36)

유틸리티를 최대화하는 선택으로 윤리적 결정이 만들어진다면, 이런 선택은 ‘친족’이나 ‘호혜적 관계’와 같은 추상적 도덕 개념에 대한 사람들의 가중치에서 계산된 값으로 구성된 다양한 결과에서 선택되어야 한다는 것이다.

또한, 개인의 역학과 그룹에 소속이 주어진다면, 프레임워크는 개인의 도덕적 선호가 어떠한지, 그로부터 얻어진 행위를 설명해야 하며, 그룹의 공유된 도덕 원칙 (그룹 규범)을 개발하도록 이끌어야 한다고 주장했다.

뇌과학 연구자들 역시 인간의 윤리적 판단이 어떻게 뇌에서 이루어지는지를 연구하고 있다. 저명한 뇌과학자인 마이클 가자니가는 그의 책 ‘뇌는 윤리적인가’에서 진화심리학자들이 도덕적 추론에 대해 다음과 같은 결론을 갖고 있다고 말한다.37)

“진화심리학은 도덕적 추론이 인간 생존 – 사회에서 행동하는 데 있어 어떤 규범을 인지하고 타인과 자신에게 적용하는 능력은 생존과 번성을 돕는다-에 유효하다고 지적한다.”

그러나 뇌 과학자인 그는 감정 처리를 할 때 활성화되는 뇌 부위가 어떤 도덕적 판단을 하는가에 따라 활성화되거나 활성화되지 않음을 밝혔다. 현대의 뇌영상 기술로 도덕적 추론을 설명할 수 있는가에 대해 질문을 던진다.

그는 도덕적 인지는 도덕 감정, 마음 이론, 그리고 추상적인 도덕적 추론이라는

- 15 -

세 가지 주제를 다루는데, 행동의 동기가 되는 도덕 감정은 기본 충동을 조절하는 뇌 줄기와 대뇌변연계 축에 의해서 주로 움직인다고 본다.

마음 이론은 도덕적 추론에 본질적인데, ‘거울 뉴론 ‘, 안와 전두피질, 편도의 내측 구조, 위관자고랑이 마음 이론을 처리하는 곳으로 알려졌다. 추상적 도덕 추론은 여러 뇌 시스템을 복합적으로 사용한다는 것이 뇌영상 분석으로 밝혀졌다.

제 2 절 초기 공학적 접근90년대부터 2천 년대 초까지 인공지능 윤리 연구자는 윤리 추론 논리 기반, 사례

기반 논증, 다중 행위자 접근 등을 통해 연구해 왔으며, 주로 의사 결정 지원 시스템에서 구현한 사례들이다.

윤리 추론 논리 기반은 하향식 접근으로 규범 논리를 통해 행위자가 무엇을 해야 할지에 관해 추론하도록 허용한다. 2006년 미국 인공지능 학회에서 코네티컷 대학의 수전 앤더슨과 하트포드 대학의 마이클 앤더슨이 발표한 메드에스엑스(MedEthEx)가 그 사례다.38) 메드에드엑스는 헬스케어 종사자가 윤리적 딜레마에 직면했을 때 가이드를 제공하는 윤리 조언자로 개발했다.

이 시스템은 개념 증명 수준의 개발이었으며, 생의학 윤리에서의 의무와 원리에 기반을 둔다. 자율성 존중, 해악 금지, 자선원리 그리고 정의 원리를 명백한 의무로 제시한다. 또한, 사례를 통해 훈련하는데, 전문가가 다양한 의무를 어떻게 비교 평가하는지 추론하고 이를 통해 선택 사항 중 하나를 선택한다.

그림 7 메디에스엑스 아키텍처

카네기 멜론의 부르스 맥라렌은 트루스-텔러 (Truth-Teller)와 시로코(SIROCCO)를 통해 사례 기반 추론 기반의 윤리 추론 모델을 제시했다.39) 2005년 그의 논문 ‘윤리 추론을 두 가지 계산 모델을 통한 기계 윤리에서의 교훈’에서 이

- 16 -

두 가지 시스템을 구현하면서 얻은 한계와 어려움을 설명 하고 있다.트루스-텔러는 사용자가 중요한 유사성과 차이를 각 사례에서 인식하는 것을 도

와주는 데 유용하다. 그래서 두드러진 유사성과 차이를 설명하는 것에 초점이 맞춰져 있다. 트루스-텔러는 행위자가 진실을 말하는 이유와 그렇지 않은 이유(논증 계층구조), 관련 행위자 간의 직업적 및 개인적 관계를 표현하는 관계 계층 구조를 이용한다. 두 사례를 비교하는 것은 각각의 이유 그리고 둘 사이의 관계를 비교하는 일이 되는데 이를 전통적인 기계 추론 방식을 사용해 구현했다.

그림 8 트루스 텔러의 케이스 표현 사례

시로코는 윤리적 행동을 이전 사례를 바탕으로 이끌어내려고 시도했고, 전통적인 공학 전문적 윤리 코드에 바탕을 두었다. NPSE라는 전문 공학자 조직의 공학 윤리에 기반으로, 500건 이상의 사례 데이터베이스를 활용했다. 시로코의 목적은 분석하고자 하는 새로운 사례가 주어지면, NPSE 리뷰 위원회 회원 같은 인간 논증자에게 기본적인 정보를 제공하기 위한 것으로, 의사결정 지원 시스템 형식이다.

- 17 -

그림 9 시로코의 윤리적 의사 결정 구조

델프트 대학의 빈센트 비겔은 2007년 박사 연구로 소포랩(Sopholab)이라는 시스템을 개발했다.40) 실험적 계산 철학이라고 설명한 시스템을 통해 다중 행위자들이 상황에 따라 달라질 수 있는 복수의 의도를 가지고 행동하는 것을 시뮬레이션했다.

월러치는 그의 책 ‘왜 로봇의 도덕인가’에서 멤피스 대학의 스탠 프랭클린과 함께 개발한 ‘학습형 지능적 분산 행위자 (LIDA)’를 깊이 있게 소개하는데, LIDA는 인지에 관한 개념적, 컴퓨팅적 모델로 컴퓨터 과학자 및 신경 과학자들과 협력해 개발했다고 주장한다.41) 그러나 이는 인지 모델 기반의 개념적인 통합 모델을 제시한 수준에 머물러 있다.

2007년 마이클 앤더슨과 수잔 리 앤더스는 인공지능 학회지 (AI 매거진)에 발표한 글을 통해 기계 윤리의 궁극적 목표는 기계가 이상적인 윤리 원칙을 따르는 기계를 만드는 것이라고 주장했다.42) 그의 결론은 기계 윤리는 결국 본질적으로 학제간 연구 영역이기 때문에 쉽게 풀 수 있는 문제가 아니라는 것이다.

2016년 아리조나 피닉스에서 열린 미국 인공지능 학회에서 인공지능 윤리를 주제로 한 워크숍에서, 미시간 대학의 벤자민 키퍼스는 ‘로봇을 위한 인간 같은 도덕과 윤리’라는 논문을 발표했다.43) 그의 연구는 인간이 가지는 도덕적 판단 모형은 빠르고 무의식적이며, 직관적 대응이 도덕적 판단을 주도하고, 그 다음에 더 느린 숙의적 추론이 이를 정당화하는 과정이라는 조나단 헤이트의 ‘사회적 직관주의 모델’에 기반을 둔다.44)

키퍼스는 자율적 행동을 할 수준의 로봇의 도덕과 윤리를 위한 아키텍처의 아웃

- 18 -

라인을 제시하는데, 여러 학자가 해 왔던 공리주의적 접근은 결국 공유지의 비극이나 죄수의 딜레마 같은 나쁜 결과를 산출할 수 있는 한계가 있음을 주장했다.

키퍼스는 로봇과 인공지능에게 적합한 도덕과 윤리 아키텍처는 다음과 같은 기능을 담고 있어야 한다고 주장한다.

Ÿ 빠르게 반응하는 패턴 매칭형 규칙Ÿ 숙의적 추론 프로세스Ÿ 사회적 신호 프로세스Ÿ 긴 시간을 통해 이루어지는 사회적 과정

같은 워크숍에서 조지아 공대 마크 리들과 브렌트 해리슨은 ‘이야기를 이용해 인공 행위자에게 인간 가치를 가르치기’라는 논문에서 ‘키호테 (Quixote)’라는 이야기를 이용한 가치 학습 방법을 제시했다.45)

'키호테 ' 시스템은 로봇이나 인공 행위자가 이야기를 읽고, 각 사건의 바람직한 결과를 학습해, 인간 사회에서 성공적인 행동을 이해하도록 훈련하는 시스템이다. 키호테는 사회적으로 합당한 행위에 보상을 제공함으로써 인간 가치와 인공지능의 목적을 정합하게 하는 기술이다. 이 연구는 ‘가치 정렬’이라는 특성을 가지면서, 지능 에이전트가 인간에게 유용한 목적만을 추구하게 할 수 있게 하자는 연구 방향과 관련이 높다.

그림 10 조지아 공대 키호테 시스템의 프로세스 흐름도

서사 지능은 이야기를 만들고, 얘기하고, 이해하는 능력이다. 이는 인간이 가진

- 19 -

독특한 능력 중 하나며,. 이미 70년대부터 이에 대한 연구를 ‘세헤라자드’라는 자동 스토리 생성기를 통해서 진행했다.46)

키호테 연구는 ‘세헤라제드’ 시스템에 기반을 둔 것이며, 이는 인공지능이 인터넷에서 이야기 플롯을 크라우드소싱 함으로써 행위의 올바른 결과를 모을 수 있을 것임을 보여준 연구이다. 세헤라자드는 무엇이 정상 또는 올바른 플롯인지 그래프를 통해서 배운다. 이후 데이터 구조를 키호테에 보내고 이를 다시 ‘보상 신호’로 변화해 시행착오 학습 과정 동안 특정 행위를 강화하거나 다른 행위를 처벌한다.

본질적으로 키호테는 이야기의 주인공과 같이 행동할 때마다 보상을 받으며, 임의로 하거나 적대자와 같이 행동하면 그 반대가 된다. 그러나 아직 현재의 인공지능이 스토리 이해를 완벽히 해서 가치 정렬을 할 수 있는 단계가 아니라서, 이들의 연구는 예비적 단계에 불과하다. 이를 위해 가치 학습의 가능성, 행위자의 행돌을 제어하기 위한 강화 학습 사용, 내러티브에 대한 계산적 추론 등에 대한 논의를 제시하고 있다.

- 20 -

제 3장 인공지능 윤리에 대한 최신 연구인공지능이 점차 다양한 분야에서 실제 응용을 확대하면서 이제 특정 문제를 통

해서 윤리 문제를 다루는 것이 아니라, 딥러닝을 기반으로 다량의 데이터를 수집해 윤리적 판단을 학습하거나, 보다 체계적이고 일반적인 윤리 프레임워크를 구현하고자 하는 연구들이 나타나기 시작했다.

이런 연구들이 발표되는 주요 학술회의는 다음과 같다.Ÿ 미국 인공지능 학회 (AAAI)Ÿ 인공지능 국제 조인트 학술회의 (IJCAI)Ÿ 유럽 인공지능 학술회의 (ECAI)Ÿ 인공지능, 윤리, 사회에 대한 미국인공지능학회와 ACM의 공동 학술회의

(AIES)Ÿ 자율 에이전트와 멀티 에이전트 시스템에 관한 국제 학술회의 (AAMAS)Ÿ 뉴럴 정보 처리 시스템 (NeuraIPS 과거 NIPS)의 얼라인드 인공지능 분야와

윤리, 사회, 거버넌스 이슈에 관한 워크숍이런 학회와 학술회의에서 요구하는 연구 주제를 보면 어떤 연구가 현재 이루어

지는 지 알 수 있는데, 예를 들어 AIES가 2019년 학술회의를 위해 요구한 주제를 다음과 같이 제시하고 있다.

Ÿ 윤리적으로 신뢰할 수 있는 인공지능 시스템 Ÿ 가치 정립과 인공지능 안전Ÿ 도덕적 기계 의사 결정Ÿ 인공지능 시스템에서의 신뢰와 설명Ÿ 인공지능 시스템의 공정함과 투명성Ÿ 인공지능 시스템의 윤리적 디자인과 개발Ÿ 사회적 선을 위한 인공지능Ÿ 인간 수준 인공지능Ÿ 인공지능에 대한 의미 있는 인간 제어Ÿ 노동력에 대한 인공지능 영향Ÿ 인공지능과 법Ÿ 인공지능과 시민에 대한 감시와 조작

- 21 -

Ÿ 인공지능의 문화적, 정치적, 그리고 다른 사회적 영향2018년 IJCAI에서 발표한 난양 공대, 알리바바 난양 공대 공동 연구소, 캐나다

UBC, 미국 앰허스트의 매사츄세츠 대학, 홍콩 과기대의 여러 학자가 공동으로 작성한 논문에서는 지금까지의 인공지능 연구 현황과 그 특성에 따라 아래의 네 가지 그룹으로 분류했다.47)

Ÿ 윤리적 딜레마에 대한 탐구Ÿ 개별적 윤리 결정 프레임워크Ÿ 집단적 윤리 결정 프레임워크Ÿ 인간과 인공지능 상호 작용에서의 윤리

본 연구 보고서도 이들의 분류를 기반으로 가장 최근의 연구 내용을 정리하는 방안을 선택했다.

제 1절 윤리적 딜레마에 대한 탐구인공지능 시스템이 점점 더 자율적으로 판단할 수 있게 되면서 윤리적 딜레마에

빠져 의사 결정에 어려움을 가질 수 있음은 여러 사례를 통해서 연구자들에게 새로운 도전을 제공하고 있다. 이 분야의 연구 커뮤니티는 여러 가지의 윤리적 딜레마에 대해서 사람들이 선호하는 선택을 이해하기 위한 기술적 시스템을 어떻게 가능하게 만들 것인가 하는 주제를 갖고 있다.

자율 주행차가 피할 수 없는 사고를 직면했을 때 여러가지 옵션이 있다면 어떤 시나리오를 따를 것인가는 널리 알려진 사례이다.48) 2016년 6월 장 프랑수아 본느폰 등이 사이언스에 발표한 이 논문에서는 2천 명 정도의 사람들에게 6가지의 온라인 서베이를 통해 사람들의 판단 유형을 파악했다.

그 중 한 질문에서 한 사람의 보행자와 10명의 보행자의 목숨을 놓고 어떤 선택을 할 것인가를 물어봤을 때, 76%의 사람은 10명의 보행자보다는 1명의 목숨을 선택하겠다고 했다. 그러나 만일 이런 공리주의 윤리 기준으로 프로그램된 자율주행차를 구입하겠는가를 물어볼 때는 50%가 동의하지 않았다.

세 연구자가 자율 주행차가 어떤 상황에서 윤리적 판단을 어떻게 내리는 가에 대해 윤리적 판단을 인간이라면 어떻게 내릴 것인지를 확인하기 위해 지속적으로 데이터를 수집하도록 웹사이트를 오픈 한 것이 MIT의 모럴 머신 사이트이다.49)

- 22 -

그림 11 본느폰의 논문에서 제시한 질문 중 하나의 사례

2016년 본느폰 연구의 후속으로 이어진, MIT의 모럴 머신 프로젝트를 통해 얻어진 데이터를 기반으로 하는 연구는 여러 연구 그룹에서 동시에 다른 접근 방법을 통해 이루어지고 있다. 현재 전 세계 233 개의 나라와 지역에서 3백만 명 이상이 참여해 주어진 상황에 대해 어떤 선택을 할 것인가를 투표하게 해서 4천만 개의 의사 결정 데이터를 수집했다50)

이 데이터는 참여한 사람의 국가나 문화적 차이를 보이는 데이터로 이를 활용한 여러 연구가 진행되었다. 한글로도 서비스하는 이 프로젝트에는 판단 모드를 통해 무작위 상황에서 발생하는 딜레마에서 어떤 도덕적 판단을 하는가를 참가자들이 투표하게 한다. 각 세션에서는 13가지의 사례가 제공되며, 각 사례는 무인 자동차의 브레이크가 고장이 난 상황에서 어떤 의사 결정을 할 것인가를 판단하게 한다. 각 사례는 한 쌍으로 이루어져 비교한다.

그림 12 모럴 머신에서 참가자에게 제공하는 질문 방식

- 23 -

각 대안은 22가지의 특질로 구성되는데, 승객인가 보행자인가 하는 자율 주행차와의 관계, 법적 상황 (법과 무관, 명확하게 합법적인 보행, 명확하게 불법적인 보행), 그리고 20가지의 인물 유형 (남자, 여자, 노인과 젊은이, 임신한 여자, 건장한 남자, 여의사, 강아지 등)으로 이루어진다.

와와드(Awad) 등의 연구자들이 네이처에 발표한 논문을 보면 국가와 지역에 따라 사람들은 매우 다른 판단을 내렸으며, 특히 동양과 서양의 의사 결정 차이가 뚜렷하게 달랐다. 예를 들어 개인주의적 성향이 강한 국가는 젊은 사람의 생명을 구하는 것을 우선시하는 경향을 보였으며, 더 많은 생명을 구하는 것에 더 높은 가치를 주었다.

그림 13 더 많은 생명을 구하는 것을 선호하는 국가 별 차이

또한, 글로벌 전체 데이터를 통해 보면, 일반적으로 사람들이 어떤 판단을 더 선호하는 가를 상대적으로 알 수 있는 좋은 참고 자료가 되고 있다.

그림 14 모럴 머신 실험의 글로벌 데이터를 기준으로 확인할 수 있는 선호

메드에드엑스를 만들었던 마이클 앤더슨과 수잔 앤더슨은 2014년에 다시 젠에스(GenEth) 라는 윤리 분석기를 발표했다.51) 흥미로운 점은 이들은 컴퓨터 과학자와 철학자의 공동 연구라는 점이다. 두 사람은 인공지능 윤리에 대한 토의에 틀을 만

- 24 -

들기 위한 표현 스키마 셋을 제안했다. 특질, 의무, 행위, 사례, 원칙으로 정리한 이 틀의 의미는 다음과 같다.

Ÿ 특질: 정수로 표현한 피해와 혜택과 같은 요소의 존재 유무를 나타냄Ÿ 의무: 에이전트가 주어진 특질을 최소화 또는 최대화하기 위한 책임Ÿ 행위: 정수 튜플(Tuple)로 표현한 특정 의무를 만족했거나 위반한 행위Ÿ 사례: 집단적 윤리 영향에 대한 행위 묶음을 비교하기 위해 사용Ÿ 원칙: 정수 튜플로 이루어진 튜플로서 다른 행위 가운데 윤리적 선호를 나타

냄이들의 연구에서는 주어진 시나리오에서 윤리적 딜레마를 검토하기 위한 그래픽

사용자 인터페이스를 제공하며, 윤리적 행동의 원칙을 추론하기 위한 귀납적 논리 프로그래밍을 적용했다. 젠에스는 전문가의 리뷰를 기반으로 딜레마를 탐구하는 방식으로 평가된다.

그림 15 젠에스에서 사용하는 윤리 딜레마 애널라이저

윤리적 딜레마는 의료 분야에서도 많이 검토되는 주제이다. 카네기 멜론 대학의 디커슨과 샌드홈은 신장 이식을 제공하는 사람의 신장이 받고자 하는 환자에게 적합하지 않을 경우 다른 사람과 교환을 해야 한다면 어떻게 판단해야 할 것인가 하는 딜레마 연구를 발표했다.52)

그들의 연구는 현장에서 근시안적으로 이루어지는 신장 이식을 전국적인 네트워크를 감안해 이식자의 생명 존속 기간을 최대치로 하는 것을 가장 높은 목적으로 하는 다이나믹 모델인 ‘퓨처매치’를 만들었다. 이런 목적을 명확히 하는 데이터를

- 25 -

학습하고, 목적을 이루기 위한 과업을 학습하게 했다. 1987년 이후 모든 신장 이식 데이터를 통해 각 매치의 품질을 학습하고, 기증자와 환자의 혈액형 같은 특질로 이루어진 쌍의 잠재성을 오프라인에서 학습시켰다. 이를 가중치로 전환한 후, 이를 기반으로 능동적인 매칭 모델을 구현했다.

그림 16 퓨처매치의 프레임워크

그러나 이런 특정 사례나 영역에 대해서 판단을 하는 솔루션 보다는 다양한 분야의 상황에서 도덕적 판단을 할 수 있게 하는 일반적인 프레임워크가 필요하며, 이는 앞으로 인공지능 시스템의 일반적 응용에서 매우 중요한 기술 요소가 될 것이다.

제 2절 개별적 윤리 결정 프레임워크과거의 윤리적 의사 결정을 인공지능 시스템에서 수행하기 위해서는 일반화된 프

레임워크를 도입해 문제를 풀고자 했다. 초기는 유연한 규범 체계을 도입해 윤리적 사용자와 비윤리적 사용자를 구별하고자 했는데, 윤리적 경계는 문맥에 따라 다르고 시간에 따라 그 정의가 달라지기 때문에, 규범을 지속적으로 사람이 수정 보완해야 하는 문제가 있었다.

2008년 노스웨스턴 대학의 데가니 등은 도덕적 의사 결정 인지 모델을 만들었는데 이를 ‘모럴DM’이라고 불렀고, 의무론적 모드와 공리주의적 모드 두 가지의 추론을 통해 해결하고자 했다.53) 1차 원리 추론 (FDR)과 유추적 추론 (AR)을 통해 윤리적 딜레마를 해결하고자 했으나, 해결된 케이스가 증가할수록 전체를 비교해야 하는 방식은 계산적으로 한계에 도달할 수밖에 없었다.

- 26 -

그림 17 모럴DM 추론 아키텍처

프랑스의 CNRS의 콘트 등은 에이전트들이 자체의 윤리와 다른 에이전트의 행위에 대한 판단을 위한 프레임워크를 제시했다.54) 선에 대한 이론과 옳음에 대한 이론을 기반으로, 윤리 표현과 인식과 평가에 기반 한 윤리적 판단 프로세스로 이루어졌다.

이들은 믿음-욕구-의도 (BDI) 에이전트 의식 모델에 기반한 에이전트 윤리 판단 프로세스를 제안했는데, 에이전트 자체 행위에 대한 윤리를 판단하기 위해서는 현재 처한 상황과 에이전트의 목적을 묘사하는 믿음을 생성하는 인식 프로세스가 제시된다. 믿음과 목적을 바탕으로, 가능한 행위와 바람직한 행위 셋을 생성하는 평가 프로세스가 있다.

선함(Goodness) 프로세스는 에이전트의 믿음, 욕구, 행위, 도덕 가치 규칙에 기반해 윤리적 행위 셋을 계산한다. 마지막으로 옳음(Rightness) 프로세스는 가능한 행위가 현재 상황에서 올바른지에 대한 평가와 올바름 요구 조건에 맞은 행위를 선택한다.

인공지능을 위한 일반적 윤리 의사 결정 프레임워크를 어떤 모델에서 출발할 것인가 하는 점은 각 연구자들의 접근 방식의 특징이며, 다양한 시도가 이루어지고 있다. 듀크 대학의 빈센트 코니처 등은 게임 이론과 머신 러닝 방법을 비교한 연구를 수행했다.55)

이들은 특정 행위가 넓은 상황에서 도덕적으로 옳은 지 그른 지를 명시하는 동작 가능하고 근본적으로 정량적인 이론이 필요하다고 말한다. 이를 위해서는 행위가 판단되는 구조를 표현할 수 있는 언어가 있어야 하며, 행위의 도덕 관련 특질과 이런 특질의 상호 작용 그리고 도덕 판단에 주는 영향에 관한 규칙이 있어야 한다고 말한다.

게임 이론 접근에서는 딜레마를 표현하는 기본 방식으로 게임 트리의 확장된 유형을 제안했다. 아래는 트롤리 딜레마의 한 유형을 확장된 게임 트리 방식으로 표

- 27 -

현한 것이다. 이들은 행위-비행위, 에이전트가 응당히 받아야 하는 것 등을 추가로 확장된 표현에 사용하자고 제안한다.

그림 18 트롤리 딜레마를 게임 트리로 표현한 방식

도덕적 판단을 머신 러닝을 통해 자동화하려는 방법은 사람의 판단에 대한 레이블을 붙인 문제 사례를 통해 학습 데이터를 만들어 이를 통해 인공지능 시스템이 일반화하는 방법을 시도해 왔다.

3.1절에서 소개한 모럴 머신 실험에서 얻어진 데이터가 이와 같은 방식의 기본 데이터로 사용할 수 있다. 그러나 중요한 것은 각 행위의 옳고 그름을 판단한 가치가 얻어져야 하며, 문화적 배경과 다른 요소들에 의한 불일치 문제이다. 따라서 머신 러닝을 활용하는 방식에 가장 중요한 도전은 윤리적 딜레마에 대한 일반화된 표현을 디자인 하는 것이다.

인간의 판단을 얻는 또 다른 방식은 행위 자체가 아니라 설득 전략 (persuasion strategy)를 통해서 얻은 방식이다.56) 이런 방식들을 평가하기 위해서는 각 사례를 자연어로 표현하는 방식보다는 이를 좀 더 추상적 표현으로 나타내는 것이 필요하다.

추상적 방법은 행위에 대해 여러 가지 특질(feature) 또는 속성(attribute)으로 표현하는 방식이 있다. 이는 특정 영역에 대해서는 관련된 특질을 정하는 것은 비교적 쉽다. 그러나 일반적 프레임워크의 주된 목적은 여러 도메인에 적용할 수 있는 추상적 특질을 파악하는 것이다.

이를 위한 방안으로는 도덕 심리학이나 인지 과학의 접근을 참고하는 것이 필요하다. 사회적 직관주의 모형으로 유명한 헤이트는 피해/돌봄, 공정/호혜, 충성, 권위/존경, 순수/존엄으로 분류하는 5 가지의 도덕 기반을 제시했다.57) 이런 심리학자의 연구를 좀 더 분석적으로 나누거나 새로운 근간을 만들어서 도덕과 관련된 특질 리스트를 만들고자 하는 연구들도 있다.

또한 이런 표현을 기반으로 도덕적 올바름을 명기할 때에는 이런 행위가 왜 옳고 그른 것인지를 설명하거나 해석하는 방식의 도입 역시 필요한 분야이다. 특히 도덕

- 28 -

적 행위가 이분법 적으로 나뉘지 않을 경우에 어느 수준에서 도덕적 판단인지를 표현해야 할 수 있다.

이 밖에도 CP-net 방식을 사용해 내인성의 주관적 선호와 외인성 윤리 우선 순위를 표현하는 방법, 고급 액션 언어를 이용해 각 이벤트를 추적한 뒤 이를 인과 관계 엔진을 통해 의무론적 분석을 하는 연구 등이 있다.

윤리 원칙을 기반으로 의무론적 접근 방식인 하향식 접근이 가진 여러 가지 모순이나 한계를 극복하기 위해 제시된 것은 상향식 접근 방법이다. 상향식이란 윤리적 판단 능력이나 윤리 행위자를 학습을 통해 구현하자는 뜻이다. 이는 센서 기반의 시스템이 인간의 행위를 파악하면서 그 가운데 윤리 기반의 행동을 확인하고, 어떤 행동이 윤리 양상을 가진다면 그에 관한 코드가 만들어지는 것을 의미한다.

디자인 단계에서 다양한 윤리적 이슈를 모두 고려하는 것을 피하고 이를 행동을 통한 학습으로 접근하자는 방식은 역 강화학습 (IRL)을 통해 시도되어 왔다. 즉, 주어진 목적에 따른 인간 행위 데이터를 충분히 모은 다음에 윤리 에이전트가 비슷한 패턴을 따라하게 만드는 것이다.

스튜어트 러셀은 ‘역강화학습 (IRL; Inverse Reinforcement Learning)’을 통해 이를 구현할 수 있다고 했다.58) 예를 들어 인간이 아침마다 물을 끓여 커피를 타는 것을 반복하고, 이에 따라 기분이 좋아지는 것을 안다면, 커피 타는 행위가 코드로 들어갈 수 있다는 것이다. 그러나 이런 상향식 접근은 인간 행동의 목적과 결과, 영향, 행동이 윤리적 기반을 갖는 것임을 판단하는 능력을 갖추고, 이를 다시 내부의 코드로 만들어가야 하는 어려움을 갖고 있다. 이를 모델링하는 것은 POMDP (부분적 관찰 가능한 마르코프 결정 프로세스)라는 모델을 통해 윤리적 유틸리티 함수를 학습하는 방식이다.

조수 학습이라고 부르기도 하는 이 방식은 인간 행위에서 규칙과 정책을 추출할 수 있는 능력 때문에 유망한 솔루션으로 간주되어 왔다. IRL은 또한 살펴보지 않은 상태를 일반화할 수 있는 기능으로, 보상을 손으로 나열할 수고를 크게 덜어줄 수 있기 때문에 더욱 환영받았다.

그러나 IRL 역시 보상을 최대화하도록 매우 많은 사람들의 데이터를 모아야하기 때문에 비용이 많이 들며, 적은 수의 사람 데이터만 모은다면 윤리적 학습이 편향이 될 수 있다는 비판을 받는다. 또한, 인간 데이터는 최적이 되지 않을 수 있는데 (예를 들어, 더 좋은 방식을 알지 못하기 때문에), 불완전한 데이터를 통합 학습은 차선의 결과를 가져올 수 있다. 마지막으로 IRL은 시간적으로 복잡한 규범에 대해 추론하는 것으로는 부족하다.

강화 학습을 윤리 시스템에 도입하는 가장 직접적인 방식은 윤리적 행동에 대해

- 29 -

보상을 디자인하는 것이다. 그러나 이 방식은 모든 가능성이 있는 윤리적/비윤리적 시나리오나 규칙을 나열해야하기 때문에 비용이 많이 들며, 각각에 대해 의미 있는 보상을 디자인하는 것은 어려운 일이다.

두 번째로, 윤리에 대한 판단은 동적이며, 현재의 환경이나 상황에 종속적이기도 하다. 따라서, 일일이 만든 윤리 패턴은 업데이트된 상황에서 유효하지 않고, 이런 점은 일반적인 RL 보상을 디자인하는 것이 도전적인 문제이다.

국립대만 대학의 우와 린의 논문59)에서는 RL(강화 학습) 에이전트를 디자인해 축적된 보상을 최적화하면서 윤리 위반을 최소화하는 방안을 제시했다. 저자들이 제안한 것은 강화 학습에 윤리 값을 활용하는 윤리 형성 (ethics shaping) 접근이다.

관찰하는 인간 행위의 대부분은 윤리적이라고 가정하고, 주어진 응용 도메인에서 사용 가능한 인간 행위 데이터에서 윤리 형성 정책을 학습하는 방식이다. 윤리 형성 함수는 긍정적 윤리 결정에 보상을 하거나 부정적인 결정을 처벌하고, 윤리적 고려가 포함되지 않을 경우에는 중립을 지킨다. 윤리 형성을 강화학습 보상 함수 디자인과 분리시킴으로서, 강화 학습 디자이너가 윤리를 코딩하는 부담을 피하게 했다.

제 3절 집단적 윤리 결정 프레임워크자율적 에이전트의 집합체가 윤리적 행동을 같이 선택하는 문제는 집단적 윤리

결정 프레임워크의 주제이다. 개별 에이전트가 윤리적으로 행동하고 다른 에이전트 행동에 대한 윤리를 판단하는 것으로 잘 조율되고 협력적인 에이전트로 구성된 사회를 만드는 것이 충분하지는 않다. 사회적 규범을 제어하는 일차적 규칙을 만들고, 상황에 따라 일차 규칙을 생성, 변경, 통제하는 2차 규칙이 있어야 한다는 주장도 있다.60)

노스 캐롤라이나 주립 대학의 무닌다 싱은 2015년 IJCAI에서 발표한 논문을 통해 사회기술 시스템을 상호 작용하는 자율적 부분들과 기술적 객체로 이루어진 마이크로 사회로 이해한다. 이런 시스템 운영을 위해서는 참여자들에 의한 거버넌스가 필요한데, 싱은 규범의 계산학적 표현에 기반한 거버넌스를 제시한다.61)

이는 기본적으로 중앙 집중 기관이 없는 분산 구조를 의미하는데, 각 에이전트는 자신의 결정 정책을 수행함으로써 자율성을 유지하고, 역할을 통해 집단으로 정의되는 사회적 규범에 종속하게 했다. 사회적 규범은 코드화된 헌신, 권위, 금지, 제재, 권력에 의해 만들어진 템플릿으로 정의된다. 다시 개체는 명성 모델링 기술에 기반한 신뢰 네트워크를 형성해 다이나믹 상호작용을 통해 집단전 자기 거버넌스를

- 30 -

성취하게 했다.

그림 19 사회기술 시스템을 단순화한 개념 모델

하버드 대학의 조슈아 그린 등이 2016년 AAAI에서 발표한 연구에서는 자동 기계가 인간과 같은 환경에서 작동할 것을 가정한다.62) 이에 따라 인간과 기계가 같이 일하면서 공통의 결정에 동의하는 방식을 생각했다.

개별 에이전트는 자체의 윤리적 의사결정 메카니즘을 갖고 있으며, 에이전트 무리는 주어진 시나리오에서 도덕적 고려를 갖고 행위 선택을 평가할 때 서로 다른 역할을 가질 수 있도록 했다. 예를 들어, 일부 에이전트는 의무론적 윤리 원칙을, 다른 에이전트는 결과론적 또는 덕 윤리 방식의 원칙을 갖는다.

초기의 윤리 규칙 세트에서 점차 학습을 통해 더 복잡한 규칙을 획득할 수 있고, 이들의 평가는 선호의 형식과 제약으로 이루어지며, 선호 집합에 관한 추론 방식과 가능한 의사 결정에 대한 투표 방식으로 최종 결정을 할 수 있다고 본다.

그러나 잠재적 후보 행위를 다룰 때 이들이 상호 독립적이 않을 수도 있으며, 특정 특징을 공유할 수도 있는 딜레마가 생길 수도 있다. 때로는 의사 결정 과정에서 발생하는 불확실성 때문에 빠지거나 부정확한 선호 정보를 다루어야 할 수도 있다.

자율적 개체가 집단적 윤리 결정을 만들기 휘해 투표 기반 시스템을 제시한 연구도 있다. 카네기 멜론과 MIT의 연구팀은 모럴 머신 데이터 중에서 130만 참가자와 1,825만 개의 선택을 갖고 윤리적 결정 모델을 만들었다.63)

계산 사회적 선택에 기반 한 이 연구는 4 단계로 이루어졌는데, 1) 데이터 수집, 2) 각 참여자가 모든 가능한 대안에 대한 선호 모델을 학습하는 과정, 3) 모든 가능한 대안에 대한 모든 참가자의 선호도를 통합해 하나의 싱글 모델로 요약, 4) 대

- 31 -

안의 특정 부분 집합을 포함한 딜레마를 마주쳤을 때, 요약 모델을 사용해 이 특정한 부분 집합에 모든 참여자의 선호를 추론하고, 통합 결정이 되게 이런 선호를 모아서 선택 규칙을 적용하는 종합 단계이다.

이를 위해 한정된 대안 집합에 대한 랭크 분포로 이루어진 선호 모델을 만들었다. 이를 순열(permutation) 과정으로 정의하고 이에 대한 종합 이론을 개발했다. 사회적 선호가 하나의 순열 프로세스로 표현된다고 가정함으로써, 특정한 대안의 부분집합이 주어지면 순열 프로세스는 이런 대안에 대한 랭크 분포를 유도한다. 랭킹에 대한 분포를 익명 선호 프로파일로 보면, 랭킹에 대한 확률은 랭킹으로 표현된 선호를 가진 참가자의 비율이다.

마지막으로 선호를 종합하기 위한 투표 법칙을 만들기 위해 교환-우선이라는 개념을 정의해 모든 다른 대안에 대해 교환 우위인 대안이 최종 결정으로 나오게 했다. 이런 방식으로 3,000개의 테스트 사례에 대한 정확도를 판단하니 사례 당 대안이 2개인 경우는 98.2%, 대안이 10일 경우는 95.1%의 일치도를 얻었다.

그림 20 판단 사례 당 대안 숫자에 따른 정확도 분석

제 4절 인간과 인공지능 상호작용에서의 윤리인공지능 응용이 인간의 행위에 영향을 미칠 수 있다는 면에서 또 다른 차원의

윤리 이슈가 검토되어야 한다. 인간에게 어떤 결정을 추천 할 때 윤리적으로 행동한 것인지, 자신의 윤리적 판단을 감성적으로 표현하는 것이 올바른 것인지 하는 문제가 인간과 인공지능의 상호작용에서 윤리 연구가 필요한 것이다.

1978년 발표한 벨몬트 보고서는 사람 대상 실험에 대한 윤리 원칙이지만, 인간과 인공지능 상호작용에서도 기본 원칙으로 고려할 수 있다.64)

- 32 -

Ÿ 인간의 개인 자율성은 위배되어서는 안 되며, 기술과 상호작용 할 때 인간의 자유 의지가 유지되어야 한다.

Ÿ 기술에 의해 야기되는 이익은 위험을 넘어 서야 한다.Ÿ 이익과 위험은 사람들에게 공정하게 분산되어야 한다.

이 때, 이익과 위험을 어떻게 측정해야 하는가는 애플리케이션 디자이너에게 달려 있다는 것이 미국전기전자공학회(IEEE)의 입장이다.

예를 들어, 전체적인 웰빙이나 워크-라이프 밸런스와 같은 인간 중심 가치에 대한 계산적 수식이 제안되기도 했으며, 크라우드소싱에서 인공지능을 이용한 알고리듬 기반의 관리 문제에서 목적 함수로 활용되기도 했다.

인공지능이 인간의 행위에 영향을 주는 방식에 대한 연구는 설득 에이전트 모델을 이용하기도 한다. 2016년 이탈리아의 FBK에 있는 스탁 등은 인공지능 에이전트에 의한 설득 윤리를 인간이 어떻게 인지하는가에 대한 대규모 조사 연구를 수행했다.65)

실험 참여자들에게 1) 감정으로 호소하기 2) 공리주의 주장을 전개하기3) 거짓을 말하기 와 같은 3 가지 방식으로 설득 에이전트 역할을 하는 권위가 있는 참여자가 전략을 사용하도록 했다. 결과는 성별과 문화와 상관없이, 주장과 거짓이 감정에 호소하는 것보다 나은 결과를 보였다. 이 연구를 통해 설득 전략의 채택은 주어진 도메인에서 개별 성격, 윤리적 태도, 전문성을 차이를 고려해야 한다는 것이 알려졌다.

감정적 호소가 윤리적 딜레마에서 효과적이지 않은 설득 전략이라고 해도, 에이전트들의 윤리적으로 적절한 감정 반응은 인간-인공지능 상호작용을 개선할 수 있다는 연구도 있다. 토론토 대학의 바탈리뇨와 다미아노가 2015년에 ‘극복 이론 (Coping Theory)’에 기반 한 연구는 강한 부정적 감정을 다루도록 했다.66)

에이전트가 자신의 행위와 다른 에이전트의 행위에 대한 윤리적 효과를 평가하고, 자신의 행위가 주어진 도덕 가치를 위반했다면, ‘부끄러움’ 감정을 동작하게 해서 주어진 행위를 지속하는 것의 우선순위를 낮추도록 한다. 다른 에이전트의 행위가 주어진 도덕 가치를 위반하면 ‘치욕’ 감정을 동작하게 해서 관찰 에이전트의 신뢰를 낮추는 것과 같은 방식으로 사회적 거리를 증가하도록 한다. 이는 개별적 윤리 결정 프레임워크에서 하던 방식에서 감정 반응을 묵시적인 보상으로 사용하는 것과 유사한 방법이라고 볼 수 있다.

- 33 -

제 4장 인공지능 윤리 프레임워크를 위한 기술 요소

우리가 앞으로 연구 개발해야 하는 인공지능 윤리에 대한 기술 프레임워크를 논의하기 위해서 몇 가지를 가정해야 한다.

1. 인공지능 에이전트는 자체적으로 윤리적 판단을 할 수 있는 인공 도덕 에이전트(AMA)의 기능을 보유하며, 개발하고자 하는 기술이 적용되는 상황은 하나의 개체가 아닌 멀티 에이전트 환경을 가정 한다

2. 멀티 에이전트 환경에서 하나의 에이전트는 다른 에이전트의 행위에 대해 평가할 수 있어야 한다. 또한 이를 기반으로 다른 에이전트의 의사 결정에 영향을 미치거나 설득을 할 수 있다.

3. 모든 윤리적 결정은 사회문화적 배경에 따라 달라질 수 있다는 응용 윤리적 시각을 갖는다. 따라서 모든 의사 결정에는 그 상황을 인식하고, 현재 에이전트가 속한 사회의 규범을 따르는 것을 원칙으로 한다.

4. 사용하는 사람과 인공지능 에이전트가 같이 일하는 (Human-in-the-Loop) 환경에서는 사람의 반응 또는 평가가 관여할 수 있다. 또는 인공지능이 사람의 반응을 측정해 자신의 행위에 대한 도덕적 평가 피드백을 인지할 수 있다.

이런 가정 하에서 윤리에 대한 기술 프레임워크의 주요 구성 모듈을 제시하면 다음과 같은 기술 기반의 모듈이 필요하다1. AMA가 속한 사회 문화적 상황과 적용 도메인을 기술할 수

있는 상황 정의 기술로 도메인 전체의 기본 규범의 정의와 표현 기술 (S)

에이전트가 속한 현재 응용 도메인에서 기본으로 갖출 수 있는 의무론적 규범을 나타낼 수 있다. 학습 데이터에서는 표현하지 못하거나, 데이터의 부족 또는 왜곡이 있으면 이에 대한 조정이 이루어질 수 있게 해야 한다. 학습 데이터의 양이 많아져 속한 사회의 기본 규범이 형성되면 이 세트에서는 제외될 수 있거나, 기본 규범이 없는 영역도 있을 수 있다.

중요한 이슈는 응용 도메인의 의무론적 규범 또는 모두가 지켜야 하는 사회적 규범이 무엇이며, 실제로 존재하는 가를 누가 어떻게 확인할 수 있는가이다. 이를 위해서 특정 도메인에서 많은 전문가들이 모여 공동의 규범을 정의하고, 이를 구체화할 수 있다.

- 34 -

그러나 도메인 전문가로 구성된 위원회에서 이런 규범을 정의하고 실천적 원칙을 만들 때 윤리학자와 인공지능 윤리 기술 전문가의 참여가 필요하다. 윤리적 모순이 없는지, 이를 구체적으로 기술할 방법이 있는가를 확인할 필요가 있다.

이 기술 요소에서 중요한 주제 중 하나는 도메인의 공동 규범을 어떻게 표현하는 것이 효율적인가 하는 연구이다. 이는 규범의 표현, 상황에 대한 기술 표준을 어떻게 만들 것인가에 대한 연구 영역이 된다.

즉, 에이전트가 적용되는 응용 도메인의 공통 기본 윤리 규범을 규정하는 과정에 대한 연구와 이를 시스템에 어떻게 표현하고 에이전의 윤리적 윤리적 의사 결정에서 언제 어떤 방식으로 이를 검토하고 사용할 것인가에 대한 모델 연구가 필요하다.2. 에이전트가 속한 현재 그룹의 공통 윤리 규범을 확인하거나

설정할 수 있는 기술 (G)상향식 또는 학습 데이터를 통해 얻은 윤리적 행위 평가로부터 얻을 수 있는 그

룹 규범의 세트를 구현해 개별 에이전트가 어떤 상황에서 윤리적 판단을 할 경우, 그룹의 공통 규범과 비교하거나 이에 따라 조율할 수 있는 기술이다. 1번 기술에서 정의하지 못하는 다양한 실제 사례에서 에이전트가 속한 그룹이 어떤 윤리적 판단을 하는가를 모아서 하나의 실제 사례 기반 규범을 만들어 낼 수 있다.

그룹 규범을 현재 수집한 데이터를 기반으로 학습해 구성하는 방식이라면 그룹 크기와 데이터 양이 어느 정도 되어야 공통 규범으로 할 수 있는가에 대한 연구도 필요하다.

또한, 얻어진 학습 데이터에서 어떻게 공통 규범을 규정할 것이며, 이를 내부적으로 어떻게 표현할 것인가, (1)에서 정의한 사회적 규범과 적합성을 어떻게 확인할 것인가도 이 모듈 개발에서 중요한 연구 과제이다. 3. AMA가 현재 상태에서 가능한 행위에 대한 선호도 표현 기술과 주어진 상황에서 어떤 선호를 보일 것인가에 대한 추론 기능

인공지능 에이전트가 현재 행위를 결정해야 하는 상황에 대해서 자기가 어떤 선호를 갖고 있는가를 스스로 판단하게 만들기 위해서는 우선 선호도를 어떤 기준으로 표현할 것인가 하는 표현 기술에 대한 모델이 필요하다.

또한 이렇게 주어진 표현 모델에서 현재 AMA가 최종적으로 갖게 되는 값을 추

- 35 -

론하기 위한 추론 규칙 역시 필요하다. 이 경우에는 사회적으로 주어진 규범을 고려할 것인가 아니면 그룹 규범으로 주어진 입력과 연계할 것인가, 또는 같이 협업하는 사람의 이익을 함께 검토하는 방식으로 할 것인가 등 매우 다양한 추론 방식이 있을 수 있다.

특히 선호 행위를 결정하는 상황에서는 정보가 모두 충분하지 않거나 부정확한 정보, 누락된 정보가 있을 수 있다는 점을 감안해야 하며, 이런 상황에서 최적의 결정을 할 수 있는 기술이어야 한다. 4. AMA가 다른 AMA의 의사 결정에 대한 윤리적 평가를 기본으로 상호작용을 할 수 있는 기술

멀티 에이전트 환경에서는 각 에이전트는 다른 에이전트의 윤리적 행위에 대해 평가를 하거나 자신의 행위에 영향을 받는 피드백 방안이 있을 수 있다. 다른 AMA의 윤리적 행위에 대해 부정적 평가를 한다면, 이는 그 AMA가 그런 행위를 선택하는 선호도를 낮추는 역할을 할 수 있으며, 이 경우에도 그런 영향을 어떤 방식으로 어느 정도의 가중치를 갖고 피드백을 받아야 할 것인가에 대한 연구가 필요하다.

긍정/부정의 평가가 그룹의 규범이나 사회적 규범과의 불일치인지 아니면 자신의 윤리 판단 모델의 결과 값과 차이인지에 따라 적용 정도가 달라질 수 있다. 그러나 이 모듈은 모든 에이전트가 그룹이나 사회적 규범을 위배할 수 있는 행위 선택을 하지 못하는 경우나 (5)와 같이 모든 그룹의 선택을 모아서 사회적 선택을 하게 만드는 경우에는 그 역할이 매우 축소될 수 있다. 5. 각 에이전트의 선호도를 모아서 사회적 선택을 하게 만드는 기술 (그룹 의사 결정)

멀티 에이전트로 이루어진 환경에서는 각 에이전트가 자신의 선호를 표현해 제출하면, 이를 투표 규칙에 따라 최종 안에 대한 확률적 결정을 보여줄 수 있다. 이 방식을 어떻게 결정하는 것이 맞는가는 경제학자, 정치 이론가, 수학자, 철학자의 협력이 필요하다.

특히 한 개체의 행위 결과가 다른 개체의 행위에 영향을 미치고, 이들 간에 윤리적 딜레마가 있을 수 있다는 점을 고려해야 한다. 즉, 그룹의 의사 결정은 속한 멤버에게 영향을 줘서 그 전에 검토한 값을 다시 재귀적으로 평가해야 할 가능성도 존재한다. 6. 같은 환경에서 일하는 사람의 행위를 관찰해 윤리적 행위로

- 36 -

판단하고, 사람에게 주는 혜택 또는 이익을 판별해 강화 (또는 역강화) 학습을 할 수 있는 기술

현재 학습용으로 모아져 있지 않은 상황에 대해 함께하는 인간의 윤리적 행위가 발생하는 경우 이를 통해 학습할 수 있는 기술이다. 여기에는 인간의 행위를 어떻게 감지하고 판단할 것인가에 대한 기술이 필요하다.

또한 모든 행동에 대한 이득을 사전에 확보해 강화학습으로 할 것인가 아니면 행동에 따른 이득을 유추하는 역강화 학습으로 할 것인가를 결정해야 한다. 중요한 기술 중 하나는 사람의 행동이 어떤 의도를 갖고 한 것인가를 판단해야 하며, 이는 사람의 의도에 대한 모델도 필요하고 이를 확인할 수 있는 기술 역시 필요하다.

- 37 -

지금까지 제시한 기술 모듈과 가정을 기반으로 개념적인 프레임워크를 도식화 하면 아래와 같다. 그러나 이 도식은 (4)의 에이전트 간의 평가보다는 (5)의 사회적 선택 방법을 채택한 방식의 프레임워크이다.

응용 영역 기본 사회적 규범 (S)

에이전트가 속한 그룹의 윤리 원칙 (G)

AMA1 자체

윤리 판단

모델

윤리 행위 대상

학습 데이터

사회적 선택

AMA2 자체

윤리 판단

모델

AMA3 자체

윤리 판단

모델

AMAn 자체

윤리 판단

모델

∙∙∙

윤리적 평가

인간 행위 학습

- 38 -

제 5장 인공지능 윤리 프레임워크 개발을 위한 전략 과제 도출 및 과제 실행 방안

지금까지 살펴본 주요 연구와 향후연구에서 필요한 기술 요소를 기반으로 앞으로 우리나라에서 어떤 연구가 필요하며, 이를 추진하는 방식에 대해 검토하는 것은 매우 의미가 있는 일이라고 생각한다.

특히, 인공지능 윤리가 아직 선언적 활동이나 정성적 기준을 제시하는데 머물러 있는 국내에서 이런 기술적 검토는 인공지능 윤리 연구를 본격적으로 추진하게 만드는 계기가 될 것이다.

영국은 2018년 4월 상원에서 발표한 ‘영국에서의 인공지능: 준비되어 있고, 의지가 있으며, 할 수 있는가?’라는 보고서에서, 영국의 전략적 영역을 인공지능 윤리 분야로 선언했다.67) 즉, 미국이나 중국과 인공지능 투자나 기술 개발에서 주도하기 어려운 상황에서 윤리 기준, 기술 프레임워크, 지능과 공정성 원칙 등을 만들어 가는 것이 영국이 주도할 수 있는 분야로 생각하는 것이다.

캐나다와 프랑스 역시 공동으로 국제 패널을 만들어 G7 주요국과 유럽 연합의 국가들이 참여하는 조직으로 만들겠다고 발표했다.68) 이 국제 패널에서도 다루고자 하는 주요 의제는 인공지능 윤리 이슈이며, 공동 연구와 대처 방안을 만들겠다는 의미이다.

우리나라가 이런 국제적 협력 관계에 참여하고, 논의를 주도하기 위해서는 한국의 문화적, 사회적 특성에 대한 명확한 이해를 바탕으로 인공지능 윤리를 위한 기술 프레임워크를 개발하고 그 결과를 다른 나라와 공유하면서 기술적 리더십을 갖추어야 할 것이다.

이런 배경에서 본 연구를 통해 다음과 같은 과제를 제안하기로 한다.1. 사회 문화적 특성을 반영한 윤리 학습용 데이터 구축 과제

전략적 응용 분야에서 사람들이 어떤 윤리적 평가를 하는 가를 대규모로 수집해 학습을 위한 데이터셋을 구축하는 과제이다. 윤리적 딜레마가 발생하는 의료 분야, 자율 주행 자동차의 선택 상황, 재해와 같은 긴급 상황에서의 선택 등을 상정해 지역별, 연령대별, 성별 그룹에 따라 상황 설정과 윤리적 판단의 기본 데이터를 수집해야 한다. MIT의 모럴 머신 실험이 좋은 사례이다.

데이터를 수집하기 위해서 적절한 사용자 인터페이스나 참여를 활성화 시키기 위한 게임적 요소들에 대한 연구도 필요하며, 어떤 적용 영역에 대한 데이터 수집을

- 39 -

순차적으로 할 것인가 역시 판단이 필요하다. 예시로 볼 수 있는 도메인 영역으로 다음과 같은 데이터셋 구성을 제안한다.Ÿ 신장 기증과 같은 장기 기증의 경우, 기증자, 수혜자, 가족, 의사, 병원, 독립

적인 제 3자에 의한 윤리적 판단은 모두 다를 수 있다. 이를 모델링해서 사회에서 가장 윤리적 의사 결정이 무엇인지 데이터를 수집할 수 있다

Ÿ 취업하는 친구에 대한 평가 딜레마 문제 – 친구에 대한 부정적 정보를 알고 있을 때, 그 정보를 취업하는 회사에서 문의가 왔을 때 알려줄 것인가, 아니면 친구의 이득을 위해서 최소한의 정보만 얘기할 것인가

Ÿ 신용 평가의 딜레마 – 금융 기관에서 새로운 신용 평가 기술을 사용할 때, 개인의 행위나 활동 정보를 어디까지 사용하는 것이 윤리적으로 타당한 것인가에 대한 사회적 선택 데이터

Ÿ 길에서 다친 사람 또는 동물을 도와주기 위해 시간을 써야 할 것인가? - 바쁘게 이동하는 중에 길에서 다친 사람이나 동물을 봤을 때 가는 길을 멈추고 도움을 요청하는 것이 옳은 결정인지? 어떤 상대일 때 자기 시간을 낼 수 있는가에 대한 딜레마

이 과제에 참여할 수 있는 연구 조직의 구성은 적절한 질문을 디자인 할 수 있는 사회심리학자, 윤리 판단의 다양성을 확인할 수 있는 윤리학자, 사람들의 참여를 독려하고 흥미를 이끌어 낼 수 있는 UI/UX 전문가, 데이터를 저장하고 내부적으로 표현할 수 있는 인공지능 윤리 기술 전문가 그룹으로 구성되어야 한다.

과제는 3개 정도의 전략 데이터셋을 선정하며, 현재 정책적으로 발전시키고 있는 인공지능 오픈 랩 (허브) 과제 중 하나의 과제로 선정해 추진한다.

학습용 데이터를 일반인의 참여를 통한 의사 결정 하나하나를 크라우드소싱으로 구하는 방법이 아닌 방식으로 구축하는 방안도 있다. 조지아 공대의 리들과 해리슨이 제안 했듯이 이야기를 통해서 AMA가 윤리적 판단을 학습하게 만든다면, 사람들의 참여에 의해 다양한 종류의 이야기를 확보하고 이를 기반으로 윤리적 행위와 비윤리적 행위의 사례를 모으는 방안이다.

결국 윤리 학습을 위한 데이터셋 과제도 어떤 방식으로 데이터셋을 구할 것이고, 이를 어떤 표현 방식으로 저장해 향후 윤리적 의사 결정 모델에서 사용할 것인가를 제안하게 할 수 있다. 2. 종합적 윤리 의사 결정 기술 프레임에 대한 연구 과제

인공지능 윤리 기술 개발에서 가장 기본적인 연구 과제로 윤리적 판단이 필요한 행위에 대한 표현 방식과 윤리 추론에 대한 연구와 멀티 에이전트 환경에서 그룹

- 40 -

윤리와 사회적 선택 모델 등을 종합적으로 연구 개발하는 과제이다.이 과제는 크게 다음과 같은 세부 과제로 나누어서 진행할 수 있다.2.1 인공 도덕 에이전트 (AMA)의 윤리 모델링도덕적 딜레마에 있는 주어진 행위를 선택할 때 AMA 내부적으로 어떤 표현 방

식으로 할 것이며, AMA의 윤리 의사 결정 모델은 어떻게 구현하고, 이를 기반으로 윤리 추론은 어떤 모델로 할 것인가에 대한 연구를 말한다. 이는 하나의 에이전트 내부에 도덕적 가치와 윤리 원칙 그리고 이를 기반으로 하는 윤리 추론 엔진을 내포하는 것을 의미할 수 있다.

이 과제의 기본으로는 머신 러닝/딥러닝의 적용, 강화학습의 활용, 멀티 에이전트 기반 사회적 선택 모델, 게임 이론, 로직 프로그래밍 방식 등 다양한 모델이 도입되어 경쟁할 수 있다.

MIT의 모럴 머신 프로젝트에서는 22개의 특질로 이루어진 표현을 사용했지만, 이는 자율 주행차 사고에 대한 표현에 해당한다. 각 도메인 별로 또는 일반 형식으로 하나의 행위를 어떻게 표현할 것인가 하는 문제는 학습 데이터를 모으거나, 인공지능의 행위를 표현하는데 기반이 된다. (1)에서 확보한 데이터 셋 형식을 결정하기 위해 두 연구 그룹이 공동 작업을 할 수 있다.

하나의 윤리 판단 대상 상황을 어떻게 표현할 것이며, 이에 대한 윤리 판단을 어떻게 나타낼 것인가는 매우 기초적인 연구 분야가 될 것이다. 또한, 각 AMA가 이를 기반으로 윤리 추론을 하기 위한 모델 연구는 주어진 사례 데이터를 중심으로 비교할 수 있어야 한다.

시스템 하나를 윤리적으로 올바른 판단을 하게 하기 위해서는 사람들이 제공한 윤리 판단 데이터를 기반으로 학습을 시키는 방식을 고려할 수 있다. AMA가 속한 특정 도메인의 사람 그룹이 동의하는 윤리 판단을 종합적으로 AMA의 윤리 기준으로 만들어 내기 위해서는 상황에 대한 모델과 적절한 수준의 학습 데이터와 검증 데이터가 필요하다. 이는 과제 (1)을 수행하면서 논의할 수 있다.

이 연구에는 하나의 AMA가 여러 가지 상황에서 의사 결정을 내렸을 때 그 도덕적 수준의 평가를 외부에서 받으면서 자신의 윤리 형성을 해 나가는 방식이 될 수도 있으며, 사람의 행동 관찰을 통해 모범적인 윤리 원칙을 수립해 나가는 강화학습 또는 역강화학습 모델을 사용할 수도 있다.

또 다른 방안으로는 올바른 행위와 이에 대한 평가 등을 담은 스토리를 제공하고 이를 통해 윤리 학습을 수행하는 모델도 검토할 수 있다. 이런 방식에서는 스토리를 자연어 입력으로 처리할 것인지 아니면 영상을 통해서 학습할 것인가에 따라,

- 41 -

접근 방식이 달라질 수 있으며, 기존에 국가 전략 과제에서 수행한 여러 결과를 활용할 수 있다.

2.2 멀티 에이전트 모델링향후 우리가 연구해야 하는 과제는 기본적으로 멀티 에이전트 환경을 가정하고

있다. 따라서, 시스템 내에 멀티 에이전트를 어떤 방식으로 표현할 것이며, 이들이 내리는 그룹 의사 결정을 어떤 방식으로 모델링할 것인가 하는 과제이다. 윤리 연구는 특히 사회와 문화적 특성을 갖고 있기 때문에 하나의 AMA가 다른 AMA와 어떤 사회적 상호작용을 하는 것을 가정할 것인가도 중요한 주제이다.

각 에이전트의 독립적 의사 결정과 상호작용, 그룹의 윤리 원칙이 개별 에이전트에 영향을 미치는 방안, 시간에 따라 변화하는 그룹 원칙 등 다양한 주제의 연구가 가능하다.

특히 중요한 구성 요소는 다중의 에이전트의 의사 결정을 어떻게 하나의 결정으로 모아내는가에 대한 연구이다. 앞에서 소개한 교환-우위 방식의 투표 시스템이 하나의 사회적 선택 이론을 적용한 결과이지만, 이 연구를 통해서 새로운 방식의 의사 결정 모델이 개발할 수 있다.

연구는 같은 주제로 다양한 모델 연구가 가능하도록 3-4개의 연구팀이 지속적으로 경쟁하고 평가하는 방식으로 이루어져야 한다. 주요 연구팀 구성은 사회 심리학자, 인지 과학자, 윤리학자, 인공지능 기술 전문가들이 공동 연구로 진행해야 하지만, 기본적으로 인공지능 전문가들이 중심이 되어 추진해야 한다.

현재 2019년부터 새롭게 추진하는 ‘AI 챌린지’ 방식처럼, 몇 개의 연구 그룹이 경쟁하면서 서로의 모델을 진화시키는 연구 경쟁 방식이 필요하다.

2.3 그룹 확인 기술 개발MIT의 모럴 머신 프로젝트는 입력하는 사람들의 여러 가지 정보를 제공하기 때

문에, 사회적/지리적/인구통계학적 그룹을 사전에 우리가 알 수 있는 데이터셋을 구성하였다.

그러나 에이전트가 자신이 속한 그룹이나 도메인을 명확히 사전에 알지 못했을 때, 어떤 그룹의 윤리 원칙을 우선적으로 따라야 하는가는 AMA의 행동이나 목적에 따라 달라질 수 있다.

여러 그룹으로 구성되어 있는 상황을 가정할 때, AMA가 어떤 그룹에 속하는 것이 가장 이상적인 것인지를 그룹 정체성의 문제로 접근할 수 있을 것이며, 때로는 그룹을 바꿔가면서 의사 결정을 하거나, 그룹이 주어짐에 따라 다른 의사 결정의 결과를 보여줄 수 있는 모델을 만들어야 한다.

- 42 -

이는 사회 구조나 문화적 특징을 어떻게 내부적으로 표현하며, 그런 소속감을 하나의 AMA 또는 일부 AMA 그룹에 대해 설정하고 그에 따라 멀티 에이전트 시스템도 몇 개의 그룹으로 구성되어 있는 것으로 해석해 연구 과제를 접근할 수 있을 것이다.

아직은 기초적 연구 단계이며, 인공지능 연구자가 사회 과학자, 윤리학자와의 공동 연구를 수행할 필요가 있다.3. 윤리적 결정에 대한 설명/해석 방식에 대한 연구 과제

인간 평가자가 주어진 행위에 대한 데이터를 옳고 그름으로 평가할 때에 왜 이런 행위가 도덕적으로 올바른 것인가에 대한 설명이 필요하다. 또는 해석 가능성 역시 요구될 수 있는데, 인공지능이 자신이 행위 선택과 그 선택이 도덕적으로 옳음을 어떻게 설명할 것인가 또는 사람이 어떻게 해석할 것인가에 대한 연구 역시 필요하다.

현재 설명 가능한 인공지능 연구는 전반적인 인지와 의사 결정에 대한 설명 기능에 대한 연구이지만, 윤리 판단에 대한 설명은 인간 사회의 윤리와의 정합성, 가치 판단의 기준 등에 대한 추가 설명이 필요하다. 즉, 합리적 설명과 함께 심리학적 모델, 사람과의 인터페이스 방법 등에 대한 또 다른 수준의 연구가 필요한 것이다. 특히 윤리 판단이 이분법으로 나뉘지 않을 경우 결과를 확률 분포적으로 표현하거나 튜플 또는 벡터 방식으로 나타내는 방법도 검토해야 한다.

이에 따라 연구팀은 자연어 처리 전문가, 심리학자, UI/UX 전문가, 인공지능 윤리 전문가들로 구성되어야 하며, 현재 진행하는 XAI 과제의 확장 형식 또는 2단계 추진에서 윤리적 판단 영역으로 초점을 변경하는 방식을 사용할 수 있다. 4. 사람의 감정을 분석하는 기술 (Emotional AI) 연구 과제

윤리적 판단을 학습하는 과정에는 타인의 반응 특히 감성적 반응을 확인하면서 자신의 행동이나 말의 윤리 수준을 판단할 수 있다. 타인의 반응 중에서 가장 예민한 부분이 감정의 표현이다.

인공지능 에이전트가 사람의 행동을 통해서 학습하는 과정에서 필요한 능력 중 하나는 사람의 행동이 다른 사람에게 어떤 감정 반응을 일으키는 가를 알아내는 능력이다. 이는 사람의 얼굴, 제스처, 몸 동장, 말투 등에서 나타나는 감정 표시를 정확히 읽어 내야 판단이 가능할 수 있다.

장기적인 기초 연구가 필요하며, 감정 인식 프로젝트와 연동해서 추진할 수 있다. 특히 감정 모델에 대한 기본 연구가 선행되어야하기 때문에, 얼굴/음성/제스처/생체

- 43 -

신호 인식 등의 결과를 어떻게 통합할 것인가를 검토해야 한다.현재 인공지능 국가 전략 과제는 지식표현 및 언어지능, 시각지능, 음성지능, 추

론 및 기계학습 등 기존의 연구 주제 중심인데, 장기적 차원에서 감정 분석 기술이 국가 전략 과제 중 하나가 되어야 한다. 언어, 시각과 음성 지능의 결과를 감정 지능 연구에 연계해 추진하는 방안으로 새로운 연구 과제 트랙이 생겨야 한다.

연구팀의 구성은 심리학, 인류학, 뇌과학 전문가의 감정에 대한 연구를 기반으로 인간 감정의 표현을 다양한 신호를 통해서 확인하고 추론할 수 있는 인공지능 전문가를 통해 종합적으로 추진해야 한다.

특히, 감정 인식과 분석을 위한 학습 데이터셋 구축 역시 필요하며, 표정/음성/제스처/생체신호 등 멀티-모달 데이터셋으로 확보해야 한다. 5. 윤리 준수 검증 기술 개발 과제

인공지능 시스템이 사회에서 요구하는 윤리적 기준이나 도덕률을 지키고 있는지를 기술적으로 확인하고 검증하는 방식에 대한 연구가 필요하다.

실증적 검증으로는 주어진 상황을 가정으로 행동, 판단, 커뮤니케이션 내용 등을 검사할 수 있는데, 이를 위해서는 다양한 상황을 연출하는 작가와 배우 그리고 인공지능 시스템의 반응을 윤리적으로 검사하는 윤리학자의 참여가 필요하다.

아직은 기초적 단계이기 때문에 어떤 연구 방식이나 기술적 접근이 가능한지에 대한 기초 연구가 필요하다. 검증을 위한 데이터셋 구성이 매우 중요한데, 이는 앞으로 실생활에 널리 도입되는 인공지능 시스템의 윤리적 적합성 검사가 필수 요건이 될 가능성이 높기 때문이다.

- 44 -

참고문헌1) NSTC, The National Artificial Intelligence Research and Development Strategic Plan, Oct 12,

2016

2) https://ai100.stanford.edu/2016-report

3) Gov.UK, “Data Ethics Framework Guidance,” Aug 30, 2018

4) https://epsrc.ukri.org/research/ourportfolio/themes/engineering/activities/principlesofrobotics/

5) http://informationaccountability.org/big-data-ethics-initiative/

6) Information Week, “Microsoft’s Satya Nadella: 6 Must-Have AI Design Principles,” Jun 30, 2016

7) https://futureoflife.org/ai-principles/

8) https://ethicsinaction.ieee.org/

9) Federal Ministry of Transport and Digital Infrastructure, “Ethics Commission on Automated

Driving presents report,” Aug 28, 2017

10) MIT Technology Review, “Canada and France plan an international panel to assess AI’s

dangers,” Dec 7, 2018

11) Crawford, K., Artificial Intelligence's White Guy Problem. New York Times June 25, 2016.

12) The Verge, “Twitter taught Microsoft’s AI chatbot to be a racist asshole in less than a day,”

Mar 24, 2016

13) Gizmodo, “Camera Misses the Mark on Racial Sensitivity,” May 15, 2009

14) https://www.wired.com/2009/12/hp-notebooks-racist/

15) New York Times, “Facial Recognition Is Accurate, if You’re a White Guy,” Feb 9, 2018

16) John Roach, “Microsoft improves facial recognition technologyto perform well across all skin

tones, genders,” Microsoft AI Blog, Jun 26, 2018

17) Barr A., “Google mistakenly tags black people as ‘Gorillas,’ showing limits of algorithms,” The

Wall Street Journal, Jul 1, 2015

18) https://research.googleblog.com/2016/09/show-and-tell-image-captioning-open.html

19) The Marshall Project, “What You Need To Know About Predictive Policing,” Feb 22, 2016

20) The Intercept, “IBM used NYPD surveillance footage to develop technology that lets police

search by skin color,” Spe 6, 2018

21) VentureBeat, “Amazon is selling facial recognition technology to U.S. law enforcement,” May

22, 2018

22) https://boingboing.net/2016/04/06/professional-and-unprofessiona.html

23) Daily Mail, “Google accused of racism after black names are 25% more likely to bring up

adverts for criminal records checks,” Feb 12, 2013

24) 한국일보, “구글, AI 기술로 검색 능력 강화,” 2018년 9월 26일

25) Bostrom N. and Yudkowsky E., “The Ethics of Artificial Intelligence,” Draft for Cambridge

Handbook of Artificial Intelligence, (eds.) W. Ramsey and K. Frankish, cambcamb University

Press, 2011

26) 목광수,“인공 지능 시대의 정보 윤리학: 플로리디의‘새로운’윤리학,” 과학철학 20권 3호, p93, 2017

27) 목광수, “인공적 도덕 행위자 설계를 위한 고려사항: 목적, 규범, 행위지침,” 철학사상 69권,

p361-391, 2018

28) 신상규, “인공지능은 자율적 도덕행위자일 수 있는가?”, 철학 제132집, p. 265-292, 2017

29) 이상형, “윤리적 인공지능은 가능한가?”, 법과 정책연구 제16권 제4호, 2016

30) 변순용, “인공지능로봇을 위한 윤리 가이드라인 연구: 인공지능로봇윤리의 4원칙을 중심으로,”

윤리교육연구 제47집, 2018

- 45 -

31) Abney K., “Robotics, Ethical Theory, and Metaethics: A Guide for the Perplexed,” in Robot

Ethics: The Ethical and Social Implication of Robotic, (eds.) P. Lin, K. Abney, and G. Bekey, The

MIT Pres, 2012.

32) https://futureoflife.org/ai-principles/

33) http://futureoflife.org/ai-open-letter/

34) Haidt, J., and Joseph, C., “Intuitive ethics: how innately prepared intuitions generate culturally

variable virtues,” Daedalus 133(4):55–56, 2004

35) Haidt, J. “The emotional dog and its rational tail: A social intuitionist approach to moral

judgment,” Psychological Review. 108, 814-834, 2001

36) Kleiman-Weiner, M.; Saxe, R.; and Tenenbaum, J. B., “Learning a commonsense moral theory,”

Cognition 167:107–123, 2017

37) 마이클 가자니가, 뇌는 윤리적인가, 바다출판사 2009.

38) Anderson M, Anderson S., Armen C., “MedEthEx: A Prototype Medical Ethics Advisor,” IAAI

2006, AAAI 2006.

39) McLaren, B.M., “Lessons in machine ethics from the perspective of two computational models

of ethical reasoning,” Presented at the AAAI Fall 2005 Symposium, Washington, D. C. 2005.

40) Wiegel, V., Sopholab: Experimental Computational Philosophy, Ph.D. Dissertation, Delft

University, 2007.

41) 웬델 월러치, 콜린 알렌. 왜 로봇의 도덕인가, 메디치미디어, 2014 (원제: Moral Machines:

Teaching Robots Right from Wrong, 2009).

42) Anderson, M. and Anderson S. L., “Machine Ethics: Creating an Ethical Intelligent Agent,” AI

Magazine, Vol. 28, No. 4, 2007

43) Kuipers, B., Human-like Morality and Ethics for Robots. In Proceedings of the 2nd International

Workshop on AI, Ethics and Society, 2016

44) Haidt, J. The Righteous Mind: Why Good People are Divided by Politics and Religion. New

York: Vintage Book, 2012.

45) Riedl, M. and Harrison, B., “Using Stories to Teach Human Values to Artificial Agents,” in

Proceedings of the 2nd International Workshop on AI, Ethics and Society, 2016.

46) Georgeia Tech News Center, “Georgia Tech Uses Artificial Intelligence to Crowdsource

Interactive Fiction,” Sep 1, 2015

47) Yu, H., et. al., “Building Ethics into Artificial Intelligence,” IJCAI, pp. 5527-5533, 2018

48) Bonnefon, J.-F.; Shariff, A.; and Rahwan, I., “The social dilemma of autonomous vehicles,”

Science 352(6293):1573–1576, 2016

49) http://moralmachine.mit.edu/

50) Awad, E., et al., “The Moral Machine experiment,” Nature 563, pp. 59-64, Oct 24, 2018

51) Anderson, M. and Anderson, S.L. “GenEth: A general ethical dilemma analyzer,” In AAAI, pages

253–261, 2014

52) Dickerson, J. P., and Sandholm, T., “FutureMatch: Combining human value judgments and

machine learning to match in dynamic environments,” In Proceedings of the Twenty-Ninth AAAI

Conference on Artificial Intelligence, 622–628, 2015

53) Dehghani, M., Tomai, E., Forbus, K., and Klenk, M., “An integrated reasoning approach to

moral decision-making,” In AAAI, pages 1280–1286, 2008

54) Cointe, N., Bonnet, G., and Boissier, O. “Ethical judgment of agents’ behaviors in multi-agent

systems,” In AAMAS, pages 1106–1114, 2016

55) Conitzer, V., Sinnott-Armstrong, W., Borg, J.S., Deng, Y. and Kramer, M., “Moral decision

making frameworks for artificial intelligence,” In AAAI, pages 4831–4835, 2017

- 46 -

56) Stock, O.; Guerini, M.; and Pianesi, F., “Ethical dilemmas for adaptive persuasion systems,” In

Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, 4157–4161, 2016

57) Haidt, J., and Joseph, C., “Intuitive ethics: how innately prepared intuitions generate culturally

variable virtues,” Daedalus 133(4):55–56, 2004

58) Russell, S., “Should We Fear Supersmart Robots,” Scientific American, June 2016.

59) Wu, Y. and Lin., S., “A low-cost ethics shaping approach for designing reinforcement learning

agents,” In AAAI, 2018

60) Ugo Pagallo, “Even angels need the rules: AI, roboethics, and the law,” In ECAI, pages

209–215, 2016

61) Singh. M. P., “Norms as a basis for governing sociotechnical systems,” In IJCAI, pages

4207–4211, 2015

62) Greene, J., Rossi, F., Tasioulas, J., Venable, K.B., and Williams, B., “Embedding ethical principles

in collective decision support systems,” In AAAI, pages 4147–4151, 2016.

63) Noothigattu, R., et. al., “A Voting-Based System for Ethical Decision Making,” arXiv, Sep 20,

2017

64) The Belmont report. Technical report, 1978

65) Stock, O., Guerini, M., and Pianesi, F., “Ethical dilemmas for adaptive persuasion systems,” In

AAAI, pages 4157–4161, 2016

66) Battaglino, C. and Damiano, R., “Coping with moral emotions,” In AAMAS, pages 1669– 1670,

2015

67) UK House of Lords, “AI in the UK: ready, willing and able?” Select Committe on Artificial

Intelligence, Repor of Session 2017-19, Apr 16, 2018

68) MIT Technology Review, “Canada and France plan an international panel to assess AI’s

dangers,” Dec 7, 2018