본 요약본은 ‘10분 독서’ 사용자의 이해를 돕기 위해 (주)이동우콘텐츠연구소에서 제작하였습니다.

콘텐츠 관련 문의 pascallab@naver.com

!1

수학과 데이터, IT기술의 결합으로 탄생한 빅데이터 모형은 편견에 사로잡힌 인간보다 공정하며, 개인의 권리와 이익을 보호한다

고 알려져 있다. 그러나 현실은 정반대다. 정부, 기업, 사회에 도입된 데이터 기반의 알고리즘 모형들은 인종차별, 빈부격차, 지역

차별 등 인간의 편견과 차별, 오만을 코드화해 불평등을 확대하고, 민주주의를 위협하고 있다. 하버드 출신의 수학자이자 세계 최

고의 헤지펀드 퀀트, 실리콘밸리의 데이터과학자였던 캐시 오닐은 수학과 빅데이터의 결합으로 탄생한 ‘대량살상수학무기’가 어

떻게 교육, 노동, 광고, 보험, 정치에 이르기까지 우리의 삶을 파괴하는지 날카롭게 파헤친다.대량살상수학무기(Weapons of Math Destruction)란? 수학과 데이터, IT기술의 결합으로 탄생해 교육, 노동에서 광고, 보험, 정치에 이르기까지 우리 삶의 다양한 영역에 걸쳐 불평등을

조장하고 민주주의를 위협하는 알고리즘 모형. 『대량살상수학무기』는 출간된 후 지금까지 아마존닷컴 52주 연속 분야 1위를 자리를 지키고 있으며, 2016 ‘내셔널 북어워드’ 선정

작에 올랐다. 또한 [뉴욕타임스]를 비롯한 수많은 매체에서 ‘올해의 책(2016)’으로 선정했다.

캐시 오닐

UC버클리를 졸업하고 1999년 하버드대학교에서 대수적 정수론으로 수학박사 학위를 받았다. 매사추세츠공과대학교(MIT)에서

박사후과정을 거친 후 컬럼비아대학교와 공동학위를 수여하는 버나드 칼리지 수학과 종신교수로 재직했다. 2007년 수학을 현실

세계에 활용한다는 아이디어에 매료되어 교수직을 버리고, 헤지펀드 디이 쇼(D.E. Shaw)의 퀀트(quant)가 된다. 디이 쇼의 선물

거래팀을 이끌며 2000년대 글로벌 금융계의 호황과 붕괴를 몸소 겪는다. 수학과 금융의 결탁이 불러온 파괴적 힘에 환멸을 느끼

고 월스트리트를 떠났다. 이후 IT업계에서 데이터과학자로서 금융상품의 위험도, 소비자 구매 패턴 등을 예측하는 수학 모형을

개발했다.

수학자이자 퀀트, 데이터과학자로 일하면서 그녀는 장밋빛으로 포장된 빅데이터 경제가 불평등을 확산하고 민주주의를 위협한

다는 사실을 깨닫게 된다. 현재는 월가점거운동(Occupy Wall Street)의 하위조직인 대안금융그룹을 이끌고 있다. 또한 알고리즘

을 감사하고 위험성을 측정하는 기업 ORCAA를 설립해 빅데이터의 그림자를 세상에 알리는 데 힘쓰고 있다.

!2

『대량살상수학무기』는 수학 이론, 빅데이터, IT기술이 결합해 만들어낸 빅데이터 모형이 정치는 물론 교육, 노동, 서비스, 행정, 보

험 등 우리가 상상할 수 있는 모든 분야에서 막대한 영향력을 행사하고 있다고 말한다. 이 책의 저자 캐시 오닐은 빅데이터 모형

중에서도 인종차별, 빈부격차, 지역감정 등 인간이 가진 편견과 차별 의식을 그대로 코드화한 알고리즘을 사용하는 모형은 ‘대량

살상무기(Weapons of Mass Destruction)’만큼 위험하다고 보고 이것들에 ‘대량살상수학무기(Weapons of Math Destruction)’,

줄여서 WMD란 이름을 붙인다.

캐시 오닐의 독특한 경력 때문에 책이 출간될 당시 미국에서는 “빅데이터 업계의 내부고발자의 책([타임] 서평)”이란 평가를 받았

다. 저자는 하버드대학과 매사추세츠공대(MIT)에서 수학박사와 박사후과정을 이수한 후 젊은 나이에 수학 연구로 유명한 버나드

칼리지 종신교수가 된다. 그러나 2007년 수학을 현실 세계에 활용한다는 매력에 이끌려 교수직을 버리고 세계적인 헤지펀드 업

체 디이 쇼(D.E Shaw)에서 선물거래팀을 이끈다. 저자는 그곳에서 2000년대 후반 글로벌 금융시장의 호황과 추락을 온몸으로

겪게 되는데, 특히 부동산거품을 불러온 서브프라임모기지, 신용부도스와프(CDS), 합성부채담보부증권(CDO) 등 수학과 금융 기

술, 인간의 욕망이 결탁해 탄생한 금융 상품들이 어떻게 대다수 선량한 시민들의 삶을 파괴하는지 뼈저리게 깨닫게 된다.

이후 그녀는 IT업계로 자리를 옮겨 데이터과학자가 되는데 WMD가 ‘빅데이터’와 ‘인공지능’이란 이름으로 금융업계를 넘어 사회

의 곳곳으로 도입되는 것을 목격하게 된다. 예를 들어, 상점이나 카페의 종업원이 밤늦게까지 일하다가 매장문을 닫고 퇴근한 다

음, 불과 몇 시간 후 새벽 동도 트기 전에 다시 출근해서 매장 문을 여는 노동방식을 뜻하는 클로프닝(clopening)은 대표적인 WMD

다. 기업들은 고객들의 이동정보, 날씨, 주요사건, 구매정보 등 다양한 데이터를 분석해 유연하게 노동자의 근무시간을 짜고 있다.

이는 기업 입장에서는 물류(logistics)적으로 올바른 선택이지만, 불규칙한 근무 일정에 내몰린 노동자들은 일하는 것 외에는 어떤

것도 계획을 세울 수 없게 되었다. 클로프닝은 주로 저임금 단순업무에 이용되는데 이 때문에 저소득층일수록 불규칙한 생활환경

에 내몰리고 더 나은 일자리를 위한 교육과 훈련을 받을 수 없어 빈곤의 악순환을 가져오고 있다.

그렇다. 대량살상 수학무기는 불평등을 확산하고, 민주주의

를 위협하는 도구가 될 수 있다는 것이다. 그래서 대량살상

수학무기의 요건을 알아봐야 할 필요가 있다. WMD의 특징

을 상세한 사례와 분석을 통해 파헤친다. WMD의 특징은 3

가지로 요약된다.

첫째 불투명성이다. 2007년 워싱턴 DC 시장으로 취임한 에

이드리언 펜티는 관내 학생들의 낮은 학업 성취도가 무능한

교사들 때문이라고 결론 내리고 새로운 교사 평가 시스템을

도입한다. ‘임팩트’라는 이 교사 평가 시스템은 ‘매스매티카’란 업체가 계발한 알고리즘 기반 모형이다.

임팩트는 전학, 가정불화, 왕따 등 학업 성취도에 영향을 주는 여러 변수는 모두 제외하고 순전히 학생들의 시험 점수만을 가지고

교사들을 평가했다. 정책 당국은 상세한 평가 기준 등은 공개하지 않았다. 누군가 알고리즘을 들여다본다 하더라도 코드화된 알

고리즘에 숨겨진 평가기준은 개발자를 제외하고는 그 누구도 이해하기 힘들었다.

!3

결국, 임팩트가 도입된 2년 동안 206명의 교사가 어떤 설명도 없이 평가 점수가 낮다는 이유로 교단에서 퇴출당했다. 교사 평가

점수가 낮은 교사는 퇴출당한다는 조건 때문에 교사들은 학생들에게 교육자적인 관심을 쏟기보다는 시험 준비에 열을 올렸다. 심

지어 41개 학교에서는 불이익을 우려해 시험 후에 시험답안을 수정하기도 했다. 일부 학교에선 전체 학급의 무려 70%가 이런 부

정행위에 가담했다. WMD의 불투명성은 우리에게 공정한 경쟁, 다양성보다는 획일성과 침묵을 강요하게 된 것이다.

둘째, 확장성이다. 빅데이터 모형은 수천 장에 이르는 각기 다른 사연이 담긴 이력서나 대출 신청서 중에서 가장 유망한 후보자의

이름이 맨 위에 올라가도록 1~2초 안에 깔끔한 목록으로 정리할 수 있다. 이런 프로그램은 기업에는 수익을, 사회에는 효율을, 개

인에게는 공정성을 약속했다. 그러나 WMD가 기업에게는 효율과 수익을 약속하지만 개개인에게는 공정성보다는 확장된 사회통

제를 가하고 있는 것이다.

“기업들이 업무 생산성과 잠재력이 높은 지원자들을 선별하고 채용하도록 돕습니다” 이 문구는 인적성검사 알고리즘을 판매하는

회사들이 기업들에게 홍보하는 메시지다. 표면적으로 보면 맞는 이야기이고, 기업 입장에서는 거부하기 힘든 제안일 수도 있다.

그러나 이런 채용 프로그램들은 입사 후 직무 수행 능력에 관한 정보는 담고 있지 않다. 이것은 이미 아이오와 대학교가 분석한 인

적성검사와 직무 생산성과의 연관성 조사에서 드러난 바 있다.

그럼에도 불구하고, 기업은 왜 인적성검사를 시행하고 있다. 앞서 언급한대로 효울과 수익 때문이다. 즉 행정적 비용을 감소하고

부적합한 직원을 채용할 위험을 줄이기 위함이라는 것이다. 예컨대, 연봉 5만 달러의 직원을 교체하려면 해당 직원 연봉의 20%,

그러니까 1만 달러가 들어간다. 고위 임원을 교체하는 데는 임원 연봉의 1000%가 든다. 상황이 이렇다보니 어떤 직원을 채용하

느냐는 기업의 비용 절감과 직결된다고 생각하는 건 자연스러운 일이다. 그러나 이런 이유가 인적성검사를 사용하는 명분이 되어

서는 안된다.

즉, 인적성검사는 WMD, 즉 대량살상 수학무기가 되고 있다는 말이다. 인적성검사는 결함이 있는데도 불구하고, 채용 과정에서

영향력을 행사하고 있다. 그리고 기업들은 이런 상황을 인지하더라도 수정하려고 하지 않는다. 덕분에 이력서의 72% 정도는 기

계로 걸려져서 인간의 눈으로 심사받을 기회조차 주어지지 않는

다.

마지막, 세 번째, 피해의 악순환이 있다. WMD가 모든 사람에게

파괴적인 영향을 미치는 것은 아니다. WMD 모형 덕분에, 어떤

학생은 잠재력을 인정받아 하버드대학교에 진학하고, 누군가는

저금리 대출을 받거나 좋은 직장을 구한다, 일부 운이 좋은 범죄

자는 가벼운 양형을 받기도 한다. 하지만 일부 예외를 제외하면

고통받는 사람이 너무 많다. 알고리즘에 의해 작동되는 시스템들

은 자신들이 정한 기준에 맞춰 사람들을 수치화하고, 분류한다. 예

외는 허용하지 않는다. 그래서 수백만 명의 면전에서 기회의 문을 닫아버리고 이의를 제기할 가능성조차 허용하지 않는다.

저자는 이를 ‘해로운 피드백 루프’라고 부르는데 대표적인 것이 범죄 예측 프로그램이다. 지진 감지프로그램으로 개발된 프레드

폴(PredPol)은 과거의 범죄 데이터를 분석해 범죄 발생이 예상되는 지역을 알려주는 역할을 한다. 프레드폴은 범죄가 자주 발생

한 지역에 경찰력을 집중적으로 투입하도록 설계되어 있는데, 이런 지역은 주로 저소득층이 거주하는 지역이었다. 경찰이 강도,

살인, 강간 같은 중범죄를 예방하기 위해 순찰을 하는 것일지라도, 우범 지대로 분류된 동네에서 순찰 시간이 길어지다 보니 결국

어느 지역이든 흔한 미성년자 음주, 노상 방뇨, 단순 절도 등 경범죄 단속 건수가 높아졌다. 이 데이터는 다시 범죄 예측 시스템에

취합되게 되고, 더 많은 경찰 인력이 그 지역을 순찰하게 만든다.

!4

현재 미국에서는 프레드폴 외에도 컴스텟(ComStat), 헌치랩(HunchLab) 등 유사한 예측 프로그램이 경찰을 돕고 있는데 이 프로

그램의 등장 이후 전체 범죄율은 줄어들었지만 유색인종, 저소득층의 범죄율은 증가했다고 한다. 즉, 대량살상수학무기는 노동,

취업, 교육, 범죄 양형, 치안, 보험 등 우리가 상상할 수 있는 모든 영역에 영향력을 행사하고 있는 것이다.

그렇다면, 우리는 무엇을 해야 하는 것일까? 우리는 알고리즘 덕분에 과거에 누리지 못한 힘을 가지게 됐지만, 그 과정에서 저소

득층과 소수계층은 물론이고 상당수의 사람들이 시스템에 의해 차별당하고 있다. 바로 빅데이터의 어두운 면을 직시해야 한다는

것이다. 그러나 빅데이터가 없던 시절로 돌아갈 수는 없다. 알고리즘은 누가 어떤 목적으로 만드느냐에 따라 악마도 천사도 될 수

있다.

그렇다면, 알고리즘의 잘못된 관행을 수정할 수 있을까? 단언컨대, 그런 희망은 아직 보이지 않습니다. 기업에 종사하는 수많은

사람들, 그리고 데이터 과학자들은 WMD를 무장해제하는 것이 기업의 수익으로 연결되지 않는다는 것쯤은 어렵지 않게 생각할

수 있다. 그리고 우리가 인정할 수 밖에 없는 것도 있다. 인간이 만든 알고리즘이 탐욕이든 혹은 편견에서 비롯됐든 간에 우리가

느끼는 그 부당함은 인류의 역사와 괘를 같이해왔다는 점이다.

그래서 이 책을 판단할 때는 어려운 점이 있다. 무엇을 해야만 한다 혹은 무엇을 해야 더 나은 무엇을 얻을 수 있다는 단순한 논리

는 접어두어야 할 것 같다. 그래도 대안을 생각해보자. 우선 데이터과학자들은 자기들이 만든 모형이 오남용될 수 있다는 가능성

을 알아야만 한다. 공정성, 도덕성, 포용성 등 인간만이 가지는 가치와 의미를 알고리즘에 투입할 수 있다면 그 힘을 얼마든지 이

로운 방향으로 돌릴 수 있다는 것이다. 아직 우리에게는 기술을 어떻게 활용할 것인지 선택권이 있다는 것이다. 우리가 어떤 모형

을 만들더라도 누락되는 정보는 존재할테니까, 그 지점을 봐야 한다. 그리고 그 모형이 성공했는지를 판단하는 기준도 다시 만들

어져야 한다. 물론 그것은 공정성 그리고 공익이라는 개념으로 존재할텐데, 그것은 빅데이터와 알고리즘에 존재하는 것이 아니

라, 오직 인간의 머릿속에만 존재한다는 것을 잊어서는 안된다.

!5