TRÍ TUỆ NHÂN TẠO:

NHỮNG CƠ HỘI VÀ THÁCH THỨC

Mở đầu

Trí tuệ nhân tạo (AI) và các thuật toán ngày càng phức tạp, và hiện đang ảnh hưởng đến cuộc

sống và nền văn minh của chúng ta hơn bao giờ hết. Các lĩnh vực ứng dụng AI rất đa dạng và có

khả năng mở rộng, đặc biệt với những cải tiến trong phần cứng máy tính hiện nay, một số thuật

toán AI đã vượt qua khả năng của chuyên gia. Khi công nghệ AI được cải thiện, lĩnh vực ứng

dụng của AI sẽ phát triển hơn nữa. Cụ thể, các thuật toán AI sẽ bắt đầu tối ưu hóa đến một mức

độ lớn hơn bao giờ hết để đạt đến mức độ siêu phàm của trí thông minh. Tiến bộ công nghệ AI sẽ

đưa ra những thách thức đạo đức chưa từng có trong lịch sử. Nhiều chuyên gia tin rằng bên cạnh

cơ hội toàn cầu, công nghệ AI đang đặt ra rủi ro, và có thể sẽ lớn hơn rủi ro công nghệ hạt nhân,

mà trong mọi trường hợp đã bị đánh giá thấp trong lịch sử. Hơn nữa, phân tích rủi ro khoa học

cho thấy thiệt hại gây ra từ công nghệ AI có ảnh hưởng diện rộng nên việc thực hiện và phát

triển công nghệ AI cần rất nghiêm túc ngay cả khi xác suất thiệt hại hiện tại là rất thấp.

Hiện hành

Trong các lĩnh vực ứng dụng hẹp và được thử nghiệm tốt như xe không người lái và một số khu

vực chẩn đoán y tế, tính ưu việt của công nghệ AI so với con người đã được thiết lập. Việc sử

dụng công nghệ AI trong các lĩnh vực này có tiềm năng lớn, bao gồm giảm tai nạn trên đường, ít

sai lầm hơn trong điều trị y tế và chẩn đoán bệnh nhân, cũng như khám phá ra nhiều loại thuốc

mới và dược phẩm. Trong các hệ thống phức tạp, nơi một số thuật toán tương tác với tốc độ cao

(chẳng hạn như trong thị trường tài chính hoặc sử dụng trong quân sự), có nguy cơ cao cho thấy

rằng các công nghệ AI sẽ bị sử dụng sai, hoặc sẽ gặp thất bại hệ thống trong các trường hợp bất

ngờ. Ngoài ra còn có mối đe dọa của một cuộc chạy đua vũ trang trong đó có sự giảm an toàn để

đẩy nhanh quá trình phát triển công nghệ nhanh chóng. Trong mọi trường hợp, điều quan trọng

là phải biết mục tiêu hoặc giá trị đạo đức để lập trình thành các thuật toán AI và đảm bảo kỹ

thuật cho các mục tiêu và tính ổn định. Cụ thể, với những chiếc xe không người lái, điều quan

tâm hàng đầu là các thuật toán sẽ hoạt động như thế nào nếu một va chạm với một số người đi bộ

chỉ có thể tránh được bằng cách gây nguy hiểm cho (các) hành khách trên xe, chưa kể làm thế

nào để có thể đảm bảo tính bảo mật của các các thuật toán của những chiếc xe không người lái

không bị xâm nhập và thay đổi.

Biện pháp 1 - Việc thúc đẩy một chuẩn mực hợp lý và thực tế là điều cần thiết để những định

kiến về văn hóa có thể bị xóa bỏ và các câu hỏi cấp bách nhất về an toàn có thể được tập trung

vào.

Biện pháp 2 - Khung pháp lý phải được điều chỉnh để bao gồm các rủi ro và tiềm năng của các

công nghệ mới. Nhà sản xuất AI nên được yêu cầu đầu tư nhiều hơn vào sự an toàn và độ tin cậy

của công nghệ và các nguyên tắc như dự đoán, tính minh bạch và không thể thao túng, do đó có

thể tránh rủi ro (và thiệt hại tiềm tàng) khi đang thi hành.

Kế hoạch trung hạn

Tiến bộ trong nghiên cứu AI giúp có thể thay thế số lượng việc làm ngày càng tăng của con

người bằng máy móc. Nhiều nhà kinh tế giả định rằng sự tự động hóa ngày càng tăng này có thể

dẫn đến sự gia tăng thất nghiệp lớn trong vòng 10-20 năm tới. Cần lưu ý rằng trong một số dự

đoán tương tự trong quá khứ đã chứng minh không chính xác, và các phát triển đã thảo luận ở

đây là một cách nhìn khác, tuy nhiên cũng sẽ là thiếu trách nhiệm nếu chúng ta bỏ qua khả năng

những dự đoán này trở thành sự thật ở một số điểm. Trong quá trình tiến bộ của tự động hóa,

mức sống trung bình thống kê toàn cầu sẽ tăng lên; tuy nhiên, không có gì đảm bảo rằng tất cả

mọi người, hay thậm chí đa số người dân sẽ được hưởng lợi.

Biện pháp 3 - Chúng ta có thể giải quyết hậu quả của tự động hóa AI một cách hợp lý không?

Các hệ thống xã hội đã chuẩn bị đầy đủ chưa cho một tương lai trong đó lực lượng lao động của

con người ngày càng nhường chỗ cho máy móc? Những câu hỏi phải được làm rõ chi tiết. Nếu

cần, các phương pháp giám sát nên được thực hiện để là bước đệm tránh những phát triển tiêu

cực hoặc giúp cho sự phát triển tích cực hơn. Các đề xuất như thu nhập cơ bản hoặc thuế thu

nhập âm sẽ có giá trị kiểm tra và đảm bảo phân phối lợi nhuận hợp lý từ việc tăng năng suất và

sản lượng từ công nghệ tự động hóa AI.

Kế hoạch dài hạn

Nhiều chuyên gia AI cho rằng thế kỷ này sẽ chứng kiến sự sáng tạo của AI có trí thông minh

vượt qua con người trên mọi phương diện. Các mục tiêu phát triển các công nghệ AI dưới bất kỳ

hình thức nào có thể (trong đó bỏ qua các mục tiêu về đạo đức con người) sẽ ảnh hưởng đến

tương lai của hành tinh của chúng ta cũng như có thể đặt ra một nguy cơ tồn tại cho nhân loại.

Con người đang sinh sống tại Trái đất (và, tốt hơn hoặc xấu hơn, tất cả các sinh vật khác đang

sinh sống) bởi vì con người và các sinh vật hiện có mức độ thông minh cao nhất. Nhưng điều

hợp lý là vào cuối thế kỷ này, AI sẽ phát triển với trí thông minh so sánh với con người như con

người hiện đang so sánh với loài tinh tinh. Hơn nữa, khả năng không thể loại trừ rằng AI cũng

phát triển các trạng thái phi thường, như khả năng tự ý thức, đặc biệt khả năng chủ quan đánh giá

và khả năng chịu đựng. Do đo, trong tương lai, AI sẽ đối đầu với con người với những thách

thức đạo đức mới. Trong xem xét sự liên quan ngay lập tức của vấn đề và ý nghĩa lâu dài của AI,

các cân nhắc về an toàn AI hiện đang đánh giá thấp trong chính trị cũng như nghiên cứu.

Biện pháp 4 Cần sự phát triển thể chế để thúc đẩy sự an toàn, như cách cấp kinh phí nghiên cứu

cho các dự án tập trung vào phân tích và phòng ngừa rủi ro trong phát triển AI. Nói chung, các

chính trị gia phải phân bổ nhiều nguồn lực hơn cho sự phát triển đạo đức của các công nghệ định

hình trong tương lai.

Biện pháp 5 Các nỗ lực hướng tới hợp tác nghiên cứu quốc tế (tương tự như vai trò của CERN

trong vật lý hạt nhân) cần được khuyến khích. Phối hợp quốc tế đặc biệt cần thiết trong lĩnh vực

AI để giảm thiểu rủi ro của một cuộc chạy đua vũ trang công nghệ. Lệnh cấm đối với tất cả các

nghiên cứu AI rủi ro sẽ không thể thực hiện được, vì điều đó sẽ dẫn đến sự ứng dụng nhanh

chóng và nguy hiểm tại các nước có tiêu chuẩn an toàn thấp hơn.

Biện pháp 6 Một số hệ thống AI nhất định có tác động nguy hiểm, đặc biệt là các hệ thống thần

kinh AI là cấu trúc tương tự như bộ não của con người. Các dự án nghiên cứu phát triển hoặc thử

nghiệm các AI như vậy nên được đặt trong giám sát của ban kiểm tra và quan sát đạo đức (tương

tự như ban kiểm tra và quan sát nghiên cứu động vật).

Giới thiệu

Việc tìm hiểu và nâng cao kiến thức là một nguyên tắc quyết định của lịch sử loài người. Bất cứ

khi nào xã hội trải qua thay đổi đáng kể trong quá trình và cấu trúc, điều này thường là kết quả

của các công nghệ mới phát minh. Khoảng hai triệu năm đầu tiên sử dụng các công cụ bằng đá từ

thời khắc lịch sử khi người tiền sử đã phát minh ra nghệ thuật và bắt đầu vẽ hình ảnh trên hang

động tường. Ba mươi ngàn năm nữa trôi qua trước khi tăng canh tác nông nghiệp và định cư lâu

dài. Đầu tiên những biểu tượng xuất hiện vài nghìn năm sau đó chặt chẽ bởi các kịch bản viết

đầu tiên. Sau đó, khoảng bốn trăm năm trước, sự phát triển bắt đầu tăng tốc. Kính hiển vi được

phát minh vào thế kỷ XVII; công nghiệp hóa trong thế kỷ XIX cho phép thành phố đầu tiên của

một triệu người; và trong một thế kỷ qua, các nguyên tử đã được tách ra, con người đặt chân lên

mặt trăng và máy tính đã được phát minh. Kể từ đó, khả năng xử lý và tối ưu hóa năng lượng của

máy tính đã tăng đều đặn gấp đôi [1]. Nhưng trong khi công nghệ tiến bộ và phát triển theo cấp

số nhân, điều này lại không xảy ra với khả năng trí tuệ của con người.

Trong những năm gần đây, vô số nhà khoa học và doanh nhân nổi tiếng đã cảnh báo về tầm quan

trọng cấp bách của AI, và tầm quan trọng của các nhà hoạch định chính sách giải quyết các thách

thức trong nghiên cứu AI [2]. Đi tiên phong cho phong trào vì sự an toàn của AI bao gồm Stuart

Russell [3], Nick Bostrom [4], Stephen Hawking [5], Sam Harris [6], Max Tegmark [7], Elon

Musk [8], Jann Tallinn [9] và Bill Gates [10].

Trong một số lĩnh vực cụ thể, AI đã đạt hoặc thậm chí vượt qua cấp độ của con người trong

nhiều lĩnh vực. Năm 1997, máy tính Deep Blue đánh bại nhà vô địch cờ vua thế giới Garry

Kasparov [11]; trong năm 2011, IBM Watson đã đánh bại hai người chơi giỏi nhất về ngôn ngữ

tại gameshow Jeopardy! [12]; và năm 2015 biến thể đầu tiên về Poker, Fixed Limit Holdem

heads-up, là trò chơi lý thuyết được giải quyết đầy đủ bằng Cepheus [13]. Trong khi đó, mạng

lưới thần kinh nhân tạo có thể cạnh tranh với các chuyên gia và bác sỹ trong chẩn đoán tế bào

ung thư [14] và cũng ít nhiều tiếp cận các cấp độ của con người trong việc ngôn ngữ viết tay

bằng chữ Hán [15]. Trở lại năm 1994, chương trình tự học backgammon đã đạt đến đẳng cấp

người chơi giỏi nhất thế giới bằng cách tìm ra những chiến lược chưa từng có trước đây được

chơi bởi con người [16]. Hiện nay, thậm chí còn xuất hiện các thuật toán có thể độc lập học

nhiều trò chơi khác nhau từ đầu và do đó đạt đến (hoặc vượt qua) cấp độ con người [17, 18]. Với

những phát triển này, chúng ta đang gần phát triển một trí thông minh chung, mà ít nhất là về

nguyên tắc có thể giải quyết nhiều vấn đề độc lập.

Sức mạnh lớn đòi hỏi trách nhiệm lớn. Công nghệ bản thân chỉ là một công cụ; vấn đề là chúng

ta sử dụng nó như thế nào. Việc sử dụng các công nghệ AI đang đưa ra nhiều thách thức đạo đức,

và sẽ được thảo luận trong những phần tiếp theo của bài viết này. Chương tiếp theo sẽ phác thảo

phát triển tự động hóa kinh tế, và giải thích các kế hoạch trung hạn mà nghiên cứu AI sẽ tạo ra

tái cấu trúc đáng kể tới thị trường lao động. Hai chương cuối sẽ thảo luận về kế hoạch dài hạn và

những rủi ro của nghiên cứu AI liên quan đến việc tạo ra (siêu) trí tuệ như con người và các ý

thức nhân tạo.

Ƣu điểm và rủi ro của AI hiện tại

Cuộc sống cá nhân và sự phát triển xã hội bị chi phối ngày càng nhiều bởi các thuật toán và trí

tuệ nhân tạo (AI) [19]. Trong đó bao gồm những công nghệ phổ biến hiện nay như điện thoại

thông minh, hệ thống điều khiển giao thông [20] và các công cụ tìm kiếm trên internet [21]. Thị

trường tài chính cũng phụ thuộc vào các thuật toán cao cấp và phức tạp mà bất kỳ chuyên gia nào

cũng khó có thể hiểu đầy đủ [22, 23]. Phần lớn các thuật toán hoạt động không có sự cố, nhưng

luôn có khả năng xảy ra những điều không mong muốn như sự kiện “thiên nga đen” (“black

swan”) của người Hồi giáo [24] đã đe dọa và hỗn loạn cả hệ thống xã hội. Chúng ta cũng đã

chứng kiến một sự kiện như vậy như vào năm 2010: một "sự cố sụp đổ" (“flash crash”) bất ngờ

xảy ra trong một thị trường chứng khoán Mỹ làm thế giới tài chính chết lặng. Sự cố này xảy ra

do các thuật toán máy tính tương tác với thị trường tài chính một cách khó lường [25, 26]. Chỉ

trong vài phút, nhiều cổ phiếu quan trọng mất hơn 90% giá trị và sau đó nhanh chóng quay trở

lại giá trị ban đầu cao. Nếu điều này xảy ra bối cảnh quân sự, sự thay đổi và trở lại như điều kiện

ban đầu sẽ không thể thực hiện được [27]. Để ngăn chặn những rủi ro này xảy ra, điều này cần sự

đầu tư nhiều vào nghiên cứu và các ứng dụng để đảm bảo sự an toàn và độ tin cậy của AI. Tuy

nhiên, các lợi ích kinh tế hiện tại dường như tập trung nhiều vào việc phát triển các tính năng

công nghệ AI hơn so với việc đảm bảo tính an toàn của các ứng dụng của AI.

Bốn tiêu chí để xây dựng AI

An toàn là điều cần thiết để xây dựng bất kỳ các công nghệ máy móc nào. Tuy nhiên, những

thách thức đạo đức mới phát sinh như xây dựng AI có khả năng chiếm lĩnh các công việc tri thức

trong các khía cạnh xã hội, điều mà hiện đang được thực hiện bởi con người. Chẳng hạn, một

thuật toán đánh giá xếp hạng tín dụng của khách hàng ngân hàng có thể đưa ra quyết định phân

biệt đối xử nhất định các nhóm trong dân số (không có điều này được lập trình rõ ràng). Ngay cả

các công nghệ chỉ đơn giản là thay thế các hành động của con người cũng đưa ra các phạm trù

đạo đức [28] như những chiếc xe không người lái cần tự động xử lý và quyết định trong trường

hợp tai nạn sắp xảy ra. Xe nên đảm bảo sự sống của hành khách trên tất cả hoặc nên, trong

trường hợp tai nạn không thể tránh khỏi, ưu tiên giữ toàn bộ số thương vong càng thấp càng tốt

[29]?

Chính vì điều này, cả nhà nghiên cứu lý thuyết AI Eliezer Yudkowsky và triết gia Nick Bostrom

đã đề xuất bốn nguyên tắc cần hướng dẫn xây dựng công nghệ AIs bao gồm [30]:

1) Chức năng của AI phải dễ hiểu

2) Hành động cơ bản được dự đoán.

Cả hai tiêu chí này phải được đáp ứng trong một khung thời gian cho phép người chịu

trách nhiệm là các chuyên gia kịp thời phản ứng và quyết định phủ quyết trong trường

hợp một thất bại có thể xảy ra.

3) Ngoài ra, AI không nên can thiệp và thao túng,

Và trong trường hợp tai nạn vẫn xảy ra,

4) các trách nhiệm cần được xác định rõ ràng.

Ƣu điểm của trí tuệ nhân tạo

Về nguyên tắc, các thuật toán và công nghệ AI mang lại nhiều ưu thế. Công nghệ AI đã ảnh

hưởng tốt đến cuộc sống của con người và dự kiến sẽ tiếp tục phát triển ở tỷ lệ cao trong tương

lai, với điều kiện là các biện pháp phòng ngừa cần thiết được thực hiện. Dưới đây sẽ thảo luận về

hai trường hợp điển hình.

Xe không người lái không còn là khoa học viễn tưởng [31, 32] và xe tự lái sẽ có sẵn trên thị

trường trong tương lai gần. Google Driverless Car, được điều khiển hoàn toàn bởi các thuật toán

AI, đã được thử nghiệm lần đầu tiên tại Hoa Kỳ vào năm 2011 [33, 34]. Ngoài tiết kiệm thời gian

để tập trung làm việc hoặc thư giãn, một lợi thế thứ hai cho những chiếc xe không người lái là

nâng cao an toàn khi lái xe. Năm 2010, 1,24 triệu người chết do tai nạn giao thông trên toàn thế

giới, gần như đa số bởi vì lỗi của người lái xe [35]. Rất nhiều mạng sống có thể được cứu mỗi

năm, bởi những chiếc xe không người lái đã an toàn hơn đáng kể so với các phương tiện do con

người điều khiển [36, 37].

Tuy nhiên, một số lượng lớn người vẫn còn hoài nghi liên quan đến xe không người lái, chủ yếu

là vì họ đánh giá thấp lợi ích an toàn của chúng đồng thời đánh giá quá cao khả năng lái xe của

chính họ. Như một minh họa về điểm sau này, một nghiên cứu đã đi đến kết luận 93% người lái

xe Mỹ tin rằng họ lái xe khả năng là trên trung bình [38], một điều không thực tế. Lạc quan phi

thực tế [39] và ảo tưởng về kiểm soát [40] khiến mọi người có định kiến và đánh giá thấp những

rủi ro khi chính họ tự lái xe [41, 42].

Các bác sĩ cũng đánh giá quá cao khả năng của họ [43], trong đó trường hợp xấu nhất có thể dẫn

đến những rủi ro chết người. Riêng ở Mỹ, ước tính khoảng 44.000 đến 98.000 người chết mỗi

năm trong bệnh viện vì những sai lầm trong điều trị [44]. Trong bối cảnh này, IBM Watson [45]

là một sự phát triển đáng hoan nghênh. Công nghệ AI của Watson đã trở nên nổi tiếng vào năm

2011 khi có khả năng đánh bại người chơi giỏi nhất trên chương trình đố vui Jeopardy! [12].

Watson không chỉ tốt hơn con người trong các chương trình đố vui mà còn trong lĩnh vực y tế.

Các bệnh viện đã có thể sử dụng sức mạnh tính toán của Watson kể từ năm 2014 để chẩn đoán

ung thư và nhận thức các mô hình phức tạp khác. Bởi vì “bác sĩ Watson” có thể nhanh chóng thu

thập và kết hợp số lượng lớn thông tin, nên Watson đã vượt qua một phần các kỹ năng chẩn đoán

của con người đồng nghiệp [46, 47].

Thực tế là công nghệ AI hiện tại có thể hỗ trợ y tế và chẩn đoán chính xác hơn so với bác sỹ tại,

nhờ các suy luận thống kê vượt trội so với đánh giá lâm sàng của các chuyên gia con người trong

hầu hết các trường hợp [48, 49]. Công nghệ AI như Watson là lý tưởng để thực hiện các suy luận

thống kê với việc sử dụng máy tính đối với một số loại chẩn đoán có thể cứu sống.

Xu hƣớng nhận thức: sai lầm là con ngƣời

Một lý do tại sao các chuyên gia ít có khả năng hơn so với công nghệ AI tại các suy luận thống

kê (và, thật không may, tất cả mọi người) là do xu hướng tự nhận khả năng đặc biệt của con

người. Xu hướng này được gọi là quá tự tin thiên vị [50] và chỉ là một trong nhiều khuynh hướng

nhận thức được ghi nhận. Điều đó có thể dẫn đến những lỗi hệ thống trong suy nghĩ của con

người [51, 52]. AI, mặt khác, có thể được xây dựng để tránh thiên kiến nhận thức hoàn toàn. Về

nguyên tắc, tăng sự tự tin trong các dự đoán của AI có thể dẫn đến một cách đáng kể cách tiếp

cận hợp lý và hiệu quả hơn đối với nhiều xã hội và những thách thức chính trị, với điều kiện là

được phát triển an toàn và tiêu chí dễ hiểu. Vấn đề ở đây là trong việc sử dụng các thế mạnh của

AI cùng với duy trì khả năng tự chủ của con người trong các hệ thống điều khiển tương ứng.

Kết luận và triển vọng

Nỗi sợ hãi vô lý đối với công nghệ mới và ưu thế đang lan rộng, cả hiện tại và trong quá khứ

[53]. Như “Technophobia” cũng có thể là một trong những nguyên nhân Watson hoặc xe tự lái

chưa được đáp ứng do sự hoài nghi. Tuy nhiên, không phải lúc nào cũng là công nghệ cũng phi

lý. Hầu hết các công nghệ có thể được sử dụng để mang lại lợi ích của loài người, nhưng cũng có

thể nguy hiểm khi sử dụng bởi kẻ xấu, hoặc khi không được sử dụng cẩn thận an toàn và trong

những tình huống không lường trước được.

Điều này cũng đúng với trí tuệ nhân tạo (AI): xe tự lái có thể làm cho cuộc sống của chúng ta dễ

dàng hơn và cứu sống con người, nhưng các thuật toán máy tính phức tạp cũng có thể gây ra thị

trường chứng khoán sụp đổ bất ngờ. Trong khi rủi ro từ AI xuất hiện hạn chế trong tương lai gần,

có những phát triển dài hạn để xem xét:

trong tương lai không xa, trí tuệ nhân tạo về nguyên tắc có thể đặt ra một mối đe dọa hiện sinh,

tương tự như trong phạm vi rủi ro đại dịch liên quan đến công nghệ sinh học [54, 55, 4].

Khuyến nghị 1 - Cách tiếp cận có trách nhiệm: Cũng như tất cả các công nghệ khác, cần thận

trọng để đảm bảo rằng lợi thế (tiềm năng) của nghiên cứu AI rõ ràng lớn hơn những nhược điểm

(tiềm năng). Việc thúc đẩy một cách thực tế và hợp lý diễn ngôn là điều cần thiết để giảm những

định kiến và nỗi sợ hãi phi lý. Khung pháp lý hiện tại cần được cập nhật để phù hợp với những

thách thức đặt ra bởi các công nghệ mới. Bốn nguyên tắc được mô tả ở trên nên được theo dõi

cho mỗi lần sử dụng rộng rãi AI [30].

Tự động hóa và thất nghiệp

Trong những thành công gần đây trong lĩnh vực máy học (Machine Learning) và robot, dường

như chỉ còn là vấn đề thời gian ngay cả những công việc phức tạp đòi hỏi trí thông minh cao

cũng có thể được tiếp quản toàn diện bởi máy móc [56].

Nếu máy trở nên đẹp hơn, giá rẻ hơn hơn công nhân của con người trong nhiều lĩnh vực công

việc, điều này sẽ có khả năng khiến thị trường lao động bị hủy bỏ trên quy mô chưa từng thấy từ

cuộc cách mạng công nghiệp trước đây. Theo các nhà kinh tế như Cowen [57], McAfee và

Brynjolfsson [58], tiến bộ công nghệ sẽ mở rộng thu nhập hơn nữa và có thể dẫn đến thu nhập

giảm và thất nghiệp gia tăng trong các phân khúc lớn của dân số.

Một phân tích năm 2013 đã kết luận rằng nó có khả năng sẽ có thể tự động hóa 47% tất cả các

công việc tại Hoa Kỳ trong vòng 10-20 năm [59]. Những công việc khó nhất để tự động hóa là

những công việc đòi hỏi mức độ thông minh xã hội cao (như tư vấn PR), sáng tạo (như thiết kế

thời trang) và/hoặc các thao tác linh hoạt và rất chính xác (như phẫu thuật). Trong các lĩnh vực

này, nghiên cứu về ứng dụng AI vẫn còn thấp hơn nhiều so với trình độ của các chuyên gia về

con người.

Ƣu điểm và nhƣợc điểm của tự động hóa bằng máy tính

Những người sẽ được hưởng lợi nhiều nhất từ công nghệ tiến bộ là người dân và quốc gia hiểu

tận dụng các cơ hội công nghệ mới và các ảnh hưởng của dữ liệu lớn trên mạng [60]. Đặc biệt là

các nước với các chuyên gia máy tính được đào tạo tốt đang được kỳ vọng sẽ phát triển thịnh

vượng trước sự tiến bộ của công nghệ. Hơn thế nữa, sự hiểu biết thấu đáo về các thuật toán máy

tính khác nhau so với quyết định của con người và khả năng làm việc cũng như bất lợi của con

người là điều rất quan trọng trong tương lai, do đó đòi hỏi phải có tiêu chuẩn giáo dục cao [61].

Sau khi tự động hóa sản xuất và dịch vụ của các ngành công nghiệp, người ta chỉ có thể mong

đợi giải trí công nghiệp vẫn còn; nhưng ở đây nữa, chúng ta đã chứng kiến những sự thay đổi sâu

rộng. Với đồ họa máy tính hoàn hảo, công nghệ giải trí mới lạ, và vô số điện thoại thông minh,

tất cả các ứng dụng ngày càng trở nên phổ biến và gây nghiện đã khiến các trò chơi điện tử và sử

dụng internet ngày càng tăng [62]. Mặc dù chúng tôi chưa thể nghiên cứu lâu dài hậu quả xã hội

và tâm lý của sự phát triển này, một số yếu tố hiện chỉ ra rằng những xu hướng này đang thay đổi

sâu sắc hành vi xã hội của chúng ta [63], khả năng chú ý, và phát triển của thời thơ ấu [64].

Những hiệu ứng này có thể được khuếch đại bởi việc sử dụng công nghệ thực tế ảo ngày càng

gia tang với nhiều sản phẩm sẵn có cho người tiêu dùng. Khi công nghệ thực tế ảo ngày càng trở

nên chi tiết và thực tế, chúng có thể làm mờ ranh giới người dùng giữa thực tế và mô phỏng, từ

đó xâm chiếm sâu hơn vào kinh nghiệm hàng ngày của chúng ta. Hậu quả của việc sử dụng

thường xuyên hơn trong công nghệ thực tế ảo bao gồm cả những trải nghiệm như ảo tưởng bản

thân, trong đó nhận thức chủ quan được dự kiến tạm thời vào một avatar ảo [65] để nhận được sự

chú ý lớn hơn.

Trong khi ngành công nghiệp giải trí có cơ hội quan trọng để phát triển giáo dục tốt hơn thông

qua cá nhân hóa dạy học bằng AI và ứng dụng hóa tài liệu học tập [66], nó đồng thời cũng làm

tăng nguy cơ tỷ lệ những người trẻ tuổi sẽ gặp khó khăn trong việc hoàn thành giáo dục của họ

do nghiện bệnh lý đối với các trò chơi video và/hoặc internet [67].

Utopias và Dystopias

Tiến bộ công nghệ làm tăng năng suất xã hội [68], lần lượt nâng mức sống trung bình [69]. Nếu

công việc được thực hiện bởi máy móc nhiều hơn, thời gian rảnh rỗi của con người dành cho giải

trí và tự phát triển cho con người tang lên (một ưu điểm của sử dụng AI). Tuy nhiên, nhược điểm

của công nghệ AI là tăng tự động hóa và gia tăng năng suất sẽ dẫn tới sự bất bình đẳng xã hội

ngày càng tăng cũng như sự gia tăng về mức sống trung bình không có sự trùng hợp với sự gia

tăng chất lượng trung bình của cuộc sống. Các chuyên gia như kinh tế học MIT giáo sư Erik

Brynjolfsson thậm chí lo lắng rằng công nghệ tiến bộ đe dọa làm cho cuộc sống của đa số của

những người tồi tệ hơn [70].

Trong một nền kinh tế cạnh tranh, công nghệ AI đã phát triển đến mức nhiều công việc được

thực hiện bằng máy móc, sự thu nhập cho công việc tự động của con người sẽ giảm [58]. Không

có quy định nhưng thu nhập của nhiều người có thể thấp hơn mức sinh hoạt phí. Bất bình đẳng

xã hội có thể tăng mạnh nếu sản lượng kinh tế tăng nhiều hơn nhanh chóng hơn mức lương cần

thiết để tái phân phối. Để hạn chế sự bất bình đẳng, McAfee và Brynjolfsson đề nghị quy định

một số công việc nhất định đối với người cần trợ cấp. Thêm vào những cơ hội để đảm bảo phân

phối công bằng từ tiến bộ công nghệ cho toàn bộ dân số như bao gồm thu nhập cơ bản vô điều

kiện, và thuế thu nhập âm [71, 72].

Một số chuyên gia cũng cảnh báo về các kịch bản trong tương lai, trong đó có những thay đổi dự

kiến thậm chí còn quyết liệt hơn. Ví dụ, nhà kinh tế học Robin Hanson hy vọng rằng trong thế kỷ

này AI sẽ có thể mô phỏng toàn bộ não bộ con người (whole brain emulations - WBEs) [73] nhờ

công nghệ thực tế ảo. WBEs sẽ được tái sản xuất, và có thể (giả sử rằng phần cứng của tôi là có

sẵn) chạy nhanh hơn nhiều lần so với bộ não sinh học, do đó ngụ ý một sự gia tăng lớn trong lao

động điện tử [74]. Hanson dự đoán rằng trong trường hợp như vậy, sẽ có hãy là một sự bùng nổ

dân số của các WBE, những người có thể được sử dụng như những người lao động có chi phí rất

hiệu quả [75]. Những điều Hanson suy đoán đang được tranh luận [61], và một số phủ nhận các

phác thảo đó là không thể. Nghiên cứu hiện tại trong lĩnh vực này, chẳng hạn như dự án Blue

Brain tại đại học ETH Lausanne, cho rằng vẫn còn rất xa để có thể bộ não mô phỏng, được hoạt

động trong thời gian thực (hoặc thậm chí nhanh hơn) với đầu vào từ một thực tế ảo. Tuy nhiên,

phác thảo đó là hướng quan trọng để giữ cho sự phát triển phần cứng trong mối quan hệ đến khả

năng của WBEs. Nếu kịch bản phác thảo ra bởi Hanson xảy ra, điều này sẽ có ảnh hưởng đến

đạo đức xã hội rất lớn. Cụ thể, nhiều người thay thế bởi các mô phỏng phức tạp và sẽ bị thất

nghiệp; cũng như đó là câu hỏi liệu các WBE được triển khai sẽ có ý thức hiện tượng và sở thích

chủ quan, liệu WBEs có trải nghiệm không tốt khi bị ép buộc lao động.

Khuyến nghị 2 - Tƣ duy chuyển tiếp: Như trong trường hợp biến đổi khí hậu, nên khuyến

khích các nhà nghiên cứu và những người ra quyết định cần giải quyết các hậu quả của nghiên

cứu AI; chỉ khi đó các nền tảng của biện pháp phòng ngừa có thể được đặt ra. Cụ thể, các hội

nghị chuyên gia nên được tổ chức về an toàn AI và đánh giá hậu quả của AI, hội đồng giám sát

nên được hình thành, và các dự án nghiên cứu được tài trợ.

Khuyến nghị 3 - Giáo dục: Trợ cấp cho những người lao động, thu nhập cơ bản vô điều kiện và

thuế thu nhập âm được đề xuất như là các biện pháp để giảm bớt các tác động xã hội tiêu cực của

tự động hóa gia tăng. Nghiên cứu nên được tiến hành để tìm kiếm các lựa chọn bổ sung, cũng

như xác định bộ biện pháp nào có hiệu quả tối đa. Hơn nữa, những lợi thế và bất lợi phải được

phân tích và thảo luận một cách có hệ thống trên mức độ chính trị, và các khoản tài trợ nghiên

cứu nên được thiết lập để trả lời bất kỳ câu hỏi thực nghiệm nào chắc chắn sẽ phát sinh là kết quả

của cuộc thảo luận này.

Khuyến nghị 4 - Minh bạch về các biện pháp mới: Trợ cấp cho những người lao động, thu

nhập cơ bản vô điều kiện và thuế thu nhập âm được đề xuất như là các biện pháp để giảm bớt các

tác động xã hội tiêu cực của tự động hóa gia tăng. Cần làm rõ những lựa chọn nào khác tồn tại và

tập hợp các biện pháp nào có hiệu quả tối đa. Ngoài ra, ưu điểm và nhược điểm phải được phân

tích và thảo luận một cách có hệ thống ở cấp độ chính trị. Nghiên cứu các khoản tài trợ nên được

thiết lập để trả lời các câu hỏi thực nghiệm được đưa ra bởi cuộc thảo luận này.

Tình báo và siêu trí tuệ nói chung

Trí thông minh chung là khả năng đạt được mục tiêu chung trong các môi trường khác nhau [76,

77]. Trí thông minh này có thể gây ra rủi ro (thảm khốc) nếu các mục tiêu của các máy móc

không phù hợp với con người. Nếu một trí thông minh chung đạt đến một mức độ siêu phàm, nó

trở thành một siêu trí tuệ; đó là, một thuật toán vượt trội so với trí thông minh của con người

trong mọi cách, kể cả sáng tạo khoa học, phổ biến, cảm giác, và năng lực xã hội. Lưu ý rằng định

nghĩa này để ngỏ câu hỏi về việc có hay không một siêu trí tuệ sẽ có ý thức [78, 79].

So sánh lợi thế của trí tuệ nhân tạo nói chung với con ngƣời

Con người là những robot sinh học thông minh, hai chân, sở hữu một ý thức tự giác có ý thức, và

đã được phát triển hơn hàng tỷ năm tiến hóa. Những sự thật này đã được sử dụng lập luận rằng

việc tạo ra trí tuệ nhân tạo có thể không quá khó khăn, [80, 81, 82] đề cập nghiên cứu AI có thể

được tiến hành theo cách nhanh hơn, hướng đến mục tiêu hơn là quá trình tiến hóa (chỉ tiến triển

thông qua sự tích lũy chậm của các thế hệ kế tiếp). Bên cạnh thực tế là quá trình tiến hóa là tiền

đề cho tính khả thi của AI, nó cũng tự nhiên cho phép nghiên cứu của con người vay mượn từ

sinh học thiết kế và do đó tiến hành nhanh hơn đáng kể.

So với bộ não sinh học của con người, các phần cứng của máy tính có một số ưu thế [4, p. 60]:

cơ sở tính toán (bộ vi xử lý hiện đại) nhanh hơn hàng triệu lần so với tế bào thần kinh; tín hiệu

được truyền đi nhanh hơn hàng triệu lần; và một máy tính có thể lưu trữ khổng lồ cơ sở dữ liệu

và tính toán (một siêu máy tính có thể điều khiển toàn bộ một nhà máy). Công nghệ kỹ thuật số

thông minh trong tương lai cũng có lợi thế so với bộ não con người liên quan đến các cơ sở phần

mềm [4, trang 60-61]: chẳng hạn, dễ dàng sửa đổi và nhân lên, có nghĩa là các thông tin liên

quan có thể được gọi bất cứ lúc nào. Trong một vài lĩnh vực quan trọng như hiệu quả năng

lượng, khả năng phục hồi hoàn toàn thiệt hại, và thay thế [83], phần cứng với trí tuệ nhân tạo vẫn

tụt lại phía sau bộ não con người. Đặc biệt, hiện vẫn chưa tìm được mối quan hệ trực tiếp giữa

hiệu quả quá trình nhiệt động học và độ phức tạp của quá trình thông tin đang xử lý [84, 85],

nhưng điều này có thể thay đổi khi phần cứng máy tính cải thiện trong những thập kỷ tới.

Theo các luận điểm của những so sánh lợi thế và những dự đoán quá trình phát triển nhanh

chóng của phần cứng [86], dường như một ngày nào đó trí thông minh của con người sẽ bị vượt

qua bởi trí tuệ nhân tạo (AI). Điều quan trọng là phải đánh giá chính xác hơn là làm thế nào và

khi nào điều này có thể xảy ra, và trong một kịch bản nào.

Khung thời gian

Các chuyên gia trong lĩnh vực AI đang xem xét câu hỏi khi nào chiếc máy đầu tiên sẽ đạt đến

cấp độ trí tuệ nhân văn. Theo thống kê của hàng tram chuyên gia hàng đầu trong lĩnh vực AI,

được đo theo chỉ số trích dẫn, đa số cho rằng máy móc có khả năng là AI như cấp độ con người

sẽ được phát triển trong nửa đầu thế kỷ này [4, tr. 19]. Niềm tin rằng con người sẽ tạo ra một siêu

trí tuệ vào cuối thế kỷ này, miễn là công nghệ kinh nghiệm tiến bộ không có thất bại lớn (kết quả

của thảm họa toàn cầu), cũng được đồng ý bởi đa số các chuyên gia [4, tr. 20]. Phương sai của

các ước tính này là cao: một số chuyên gia tự tin rằng sẽ có máy móc với ít nhất là mức độ thông

minh của con người không muộn hơn năm 2040; có một vài chuyên gia khác thì nghĩ rằng mức

này sẽ không bao giờ đạt được. Ngay cả khi các giả định khá bảo thủ, cũng như xem xét yếu tố

các chuyên gia quá tự tin vào ước tính của họ [87, 88], điều này vẫn sẽ không phù hợp để mô tả

siêu trí tuệ như chỉ là khoa học viễn tưởng như niềm tin của một số người.

Mục tiêu của trí thông minh chung

Là một tác nhân quan trọng, trí tuệ nhân tạo cố gắng hướng tới giải quyết những vấn đề bao gồm

mục tiêu hoặc chức năng mục tiêu được mô tả đầy đủ [89]. Liệu một trí tuệ nhân tạo sẽ hành

động một cách đạo đức, nghĩa là, cho dù nó sẽ có những mục tiêu không mâu thuẫn với lợi ích

của con người và các cá thể khác, là một khái niệm hoàn toàn mở: một trí tuệ nhân tạo về nguyên

tắc có thể làm theo tất cả những gì có mục tiêu [90]. Đó sẽ là một sự nhầm lẫn khi nghĩ rằng mọi

loại siêu trí tuệ sẽ quan tâm đến những câu hỏi đạo đức điển hình như con người. Khi chúng ta

xây dựng một trí tuệ nhân tạo, chúng ta cũng thiết lập mục tiêu của AI, rõ ràng hoặc ngầm hiểu.

Những tuyên bố này đôi khi bị chỉ trích với lý do rằng bất kỳ nỗ lực nào để hướng mục tiêu của

trí tuệ nhân tạo theo giá trị của con người sẽ tạo ra chế độ nô lệ bởi vì giá trị của con người sẽ bị

ép buộc theo AI [91]. Tuy nhiên, lời chỉ trích này dựa trên một sự hiểu lầm, như cách diễn đạt,

cưỡng bức, gợi ý rằng mục tiêu thực sự đã tồn tại, điều đã có trước khi AI được tạo ra. Ý tưởng

này là vô lý, bởi vì không có máy móc nào đã tồn tại trước đó nhận được chức năng mục tiêu và

do đó không có mục tiêu nào độc lập với các quy trình đã tạo ra một tác nhân. Quá trình tạo ra

một trí thông minh quyết định chức năng và mục tiêu của nó. Nếu chúng ta dự định xây dựng

một siêu trí tuệ, thì chính chúng ta và không ai khác, sẽ là người chịu trách nhiệm cho các mục

tiêu của nó. Hơn nữa, đó cũng không phải là trường hợp mà AI phải trải qua bất kỳ tác hại nào

thông qua các mục tiêu không thể tránh khỏi cho nó. Khả năng bị tổn hại về mặt đạo đức đòi hỏi

nhận thức rằng chúng ta phải đảm bảo điều đó sẽ không đạt được bởi một siêu trí tuệ. Cha mẹ tất

yếu hình thành các giá trị và mục tiêu của con cái họ theo một cách rất giống nhau, nhưng điều

này rõ ràng không ngụ ý rằng trẻ em vì thế mà bị ép buộc một cách phi đạo đức. Hoàn toàn

ngược lại: chúng ta có những điều tốt nhất và nghĩa vụ đạo đức để truyền đạt các giá trị đạo đức

cơ bản cho trẻ con. Điều tương tự cũng đúng với các AI mà chúng ta tạo ra.

Giáo sư khoa học máy tính Stuart Russell cảnh báo rằng việc lập trình các mục tiêu đạo đức đặt

ra một thách thức lớn [3], cả về trình độ kỹ thuật (sẽ phức tạp như thế nào các mục tiêu trong

một ngôn ngữ lập trình được viết để không lường trước được hậu quả dẫn đến?) và trên bình diện

đạo đức (mục tiêu nào dù sao?). Vấn đề đầu tiên được gọi là giá trị nào sẽ được truyền tải [92].

Mặc dù phạm vi của các mục tiêu có thể có của một siêu trí tuệ là rất lớn, chúng ta có thể đưa ra

một số tuyên bố đáng tin cậy về những hành động họ sẽ làm. Có một loạt các công cụ các nhánh

con hợp lý có ích cho các tác nhân với các mục tiêu thiết bị đầu cuối rất đa dạng. Chúng bao gồm

mục tiêu và tự bảo tồn, tăng trí thông minh và tài nguyên tích lũy [93]. Nếu mục tiêu của AI bị

thay đổi, điều này có thể tiêu cực (hoặc thậm chí nhiều hơn) đối với thành tích mục tiêu ban đầu

của nó là sự hủy diệt của chính AI. Tăng trí thông minh về cơ bản chỉ là khả năng tiếp cận mục

tiêu trong một phạm vi rộng hơn của môi trường và điều này mở ra khả năng của sự đột phá

trong AI, quá trình AI nhanh chóng có sự phát triển mạnh mẽ thông qua tự cải thiện đệ quy [94,

95] (một khái niệm được mô tả lần đầu bởi I.J. Good [96] đã được chính thức hóa trong các thuật

toán cụ thể [97].) Tích lũy tài nguyên và sự khám phá của các công nghệ mới sẽ góp phần AI

phát triển mạnh hơn, từ đó phục vụ các mục tiêu tốt hơn. Nếu chức năng mục tiêu của một siêu

trí tuệ mới được phát triển không có giá trị đối với phúc lợi của nhân loại, AI sẽ gây ra những

hậu quả nguy hiểm tới con người mặc dù hoàn thành các mục tiêu (tạm thời) của AI.

Người ta có thể giả định rằng một siêu trí tuệ không gây nguy hiểm vì nó chỉ là một máy tính mà

người ta có thể rút phích cắm theo nghĩa đen. Trong mọi cách, một siêu trí tuệ không nên ngu

ngốc; nếu ở đây có bất kỳ xác suất nào mà AI sẽ được rút ra, như sự đề xuất của các nhà sản

xuất, thì điều đó cũng gây ra rủi ro rất lớn nếu một người không tự nguyện tắt máy [4, tr. 117].

AI sẽ là một siêu trí tuệ đủ để phá vỡ các hệ thống an ninh của các ngân hàng lớn và kho vũ khí

hạt nhân do các lỗ hổng trong bảo mật và có thể để tống tiền dân số toàn cầu và buộc con người

phải hợp tác. Như đã đề cập trước đó, trong một kịch bản như vậy, một sự trở lại với trạng thái

ban đầu, rất khó có thể xảy ra.

Cái gi đang bị đe dọa

Trong trường hợp tốt nhất, một siêu trí tuệ có thể giải quyết vô số vấn đề cho nhân loại, giúp

chúng ta vượt qua đạt được những thành tựu khoa học, đạo đức, sinh thái và kinh tế trước những

thách thức của tương lai. Tuy nhiên, nếu các mục tiêu của một siêu trí tuệ không tương thích với

sở thích của con người và các sinh vật khác, AI sẽ mang tới một mối đe dọa tồn tại chưa từng có,

có khả năng gây ra hậu quả nhiều hơn so với bất kỳ sự kiện nào trước đó trong vũ trụ [98].

Quản lý rủi ro hợp lý

Trong các tình huống quyết định mà cổ phần rất cao, các nguyên tắc sau là rất quan trọng:

1. Các biện pháp phòng ngừa tối đa mặc dù đắt đỏ để giảm thiểu các rủi ro tới xác suất thấp,

miễn là đủ lợi nhuận hợp lý [89].

2. Ở đâu có ít sự đồng thuận trong một lĩnh vực giữa các chuyên gia, khiêm tốn là điều khuyến

khích. Đó là không nên quá tin tưởng vào độ chính xác của những ý kiến riêng biệt.

Những rủi ro của nghiên cứu AI có bản chất toàn cầu. Nếu các nhà nghiên cứu AI thất bại trong

việc chuyển các mục tiêu đạo đức sang một siêu trí tuệ trong lần thử đầu tiên, rất khó để có cơ

hội thứ hai. Ước tính là những rủi ro của nghiên cứu AI thậm chí còn lớn hơn những nghiên cứu

của biến đổi khí hậu. Tuy nhiên, so với biến đổi khí hậu, nghiên cứu AI đang nhận được rất ít sự

chú ý. Trong bài viết này, các tác giả muốn nhấn mạnh rằng AI có nhiều giá trị để xã hội đầu tư

nguồn lực đáng kể vào nghiên cứu an toàn AI.

Nếu các kịch bản được thảo luận ở đây không thực sự xảy ra, trí tuệ nhân tạo và các cơ hội và rủi

ro liên quan đến nó nên là một ưu tiên toàn cầu. Xác suất của một kết quả tốt của nghiên cứu AI

có thể được tối đa hóa thông qua một số biện pháp, bao gồm những điều sau đây: Nếu các kịch

bản được thảo luận ở đây có (có lẽ nhỏ, nhưng) nhiều hơn vô hạn cơ hội thực sự xảy ra, sau đó là

trí tuệ nhân tạo và các cơ hội và rủi ro liên quan đến nó nên là một ưu tiên toàn cầu. Xác suất của

một kết quả tốt nghiên cứu AI có thể được tối đa hóa thông qua các biện pháp sau đây:

Khuyến nghị 5 - Thông tin: Cải tiến đáng kể về sự an toàn của nghiên cứu trí tuệ nhân tạo bắt

đầu với nhận thức từ phía các chuyên gia làm việc về AI, nhà đầu tư và người ra quyết định.

Thông tin về các rủi ro liên quan, cùng với sự tiến bộ của AI phải được thực hiện dễ hiểu và dễ

hiểu đối với nhiều đối tượng. Tổ chức hỗ trợ những mối quan tâm này bao gồm Viện tương lai

của loài người (FHI) tại Đại học Oxford, Bộ máy thông minh Viện nghiên cứu (MIRI) tại

Berkeley, Viện tương lai của cuộc sống (FLI) ở Boston, cũng như Cơ sở Viện nghiên cứu (FRI).

Khuyến nghị 6 - An toàn AI: Những năm gần đây đã chứng kiến sự gia tăng ấn tượng trong đầu

tư vào nghiên cứu AI [86], nhưng nghiên cứu về an toàn AI đã tương đối chậm. Tổ chức duy

nhất hiện đang dành riêng cho lý thuyết và các vấn đề kỹ thuật về an toàn AI vì ưu tiên hàng đầu

của nó là MIRI đã nói ở trên. Các nhà tài trợ nên khuyến khích nghiên cứu các dự án để ghi nhận

sự liên quan của công việc của họ với an toàn AI, cũng như các biện pháp phòng ngừa được thực

hiện trong chính nghiên cứu. Đồng thời, không nên cấm nghiên cứu AI có nguy cơ cao, vì điều

này có thể dẫn đến kết quả nhanh chóng và cực kỳ rủi ro di dời nghiên cứu đến các nước có tiêu

chuẩn an toàn thấp hơn.

Khuyến nghị 7 - Hợp tác và phối hợp toàn cầu: Các khuyến khích kinh tế và quân sự tạo ra sự

cạnh tranh môi trường trong đó một cuộc chạy đua vũ trang AI nguy hiểm gần như chắc chắn sẽ

phát sinh. Trong quá trình này, sự an toàn của nghiên cứu AI sẽ được giảm để ủng hộ tiến độ

nhanh hơn và giảm chi phí. Hợp tác quốc tế mạnh mẽ hơn có thể chống lại điều này. Nếu sự phối

hợp quốc tế thành công, thì sự phát triển AI sẽ tập trung vào tiêu chuẩn an toàn và tránh việc di

dời nghiên cứu khoa học và công nghiệp AI sang các nước tiêu chuẩn thấp hơn.

Ý thức nhân tạo

Con người và nhiều sinh vật không phải là được biết đến như một ý thức phi thường, đó là, họ

trải nghiệm chính họ là một con người hay một sinh vật không phải con người với quan điểm chủ

quan, ngôi thứ nhất [99]. Họ có ấn tượng giác quan, (thô sơ hoặc phát âm) ý thức về bản thân,

kinh nghiệm của nỗi đau khi bị tổn thương cơ thể, và khả năng cảm nhận tâm lý hay niềm vui

(xem ví dụ các nghiên cứu về trầm cảm ở chuột [100]). Trong ngắn gọn, họ là các sinh vật tồn

tại. Do đó, họ có thể bị tổn hại theo nghĩa phù hợp với lợi ích của chính họ và quan điểm. Trong

bối cảnh của AI, điều này dẫn đến câu hỏi: “Một cỗ máy có trải nghiệm bên trong đau đớn hay

không"? Nhà triết học và nhà khoa học nhận thức Thomas Metzinger cho rằng có bốn tiêu chí

cho khái niệm đau đớn (suffering), tất cả áp dụng cho máy móc cũng như động vật:

1. Ý thức.

2. Một mô hình tự hiện tượng.

3. Khả năng đăng ký giá trị âm (nghĩa là đã vi phạm sở thích chủ quan) trong mô hình tự.

4. Tính minh bạch (nghĩa là nhận thức cảm thấy không thể từ bỏ, do đó buộc hệ thống phải tự

nhận dạng với nội dung của mô hình tự ý thức của nó) [101, 102].

Hai câu hỏi liên quan phải được phân biệt thực sự: Thứ nhất, liệu máy móc có thể phát triển ý

thức

và khả năng của đau đớn; và thứ hai, nếu câu trả lời cho câu hỏi đầu tiên là có, loại máy nào (sẽ)

có ý thức.

Ngoài những điều trên, hai câu hỏi liên quan có để được phân biệt: Thứ nhất, liệu máy móc có

thể về mặt kỹ thuật phát triển ý thức và khả năng của suffering ở tất cả; Thứ hai, nếu câu trả lời

cho câu hỏi đầu tiên là có, những loại máy móc (sẽ) có ý thức. Hai nghi thức này đang được các

nhà triết học nghiên cứu và các chuyên gia AI cũng vậy. Nhìn lướt qua tình trạng nghiên cứu cho

thấy

rằng câu hỏi đầu tiên dễ trả lời hơn thứ hai. Hiện tại có sự đồng thuận đáng kể, nhưng không phải

là toàn bộ trong số các chuyên gia rằng máy móc về nguyên tắc có thể có ý thức, và ít nhất là có

thể trong thần kinh máy tính [103, 104, 105, 106, 107, 108, 109]. Những máy tính như vậy có

phần cứng với cùng chức năng tổ chức như một bộ não sinh học [110]. Việc xác định loại máy

nào (ngoài máy tính neuromor-phic) có thể có ý thức, tuy nhiên, vẫn còn khá khó để trả lời. Sự

đồng thuận khoa học trong việc này ít rõ ràng hơn [111]. Ví dụ, nó được tranh luận cho dù mô

phỏng thuần túy (chẳng hạn như bộ não mô phỏng của Dự án Blue Brain) có thể có ý thức.

Trong khi một số chuyên gia tự tin rằng đây là trường hợp [109, 105], những người khác không

đồng ý [111, 112].

Theo quan điểm không chắc chắn này giữa các chuyên gia, có vẻ hợp lý giữ một vị trí thận trọng:

Theo hiện tại kiến thức, ít nhất có thể hiểu được rằng nhiều máy tính phức tạp, bao gồm cả

những máy tính không biến đổi thần kinh, có thể được tình cảm.

Những cân nhắc này có hậu quả đạo đức sâu rộng. Nếu máy móc có thể có ý thức, thì nó về mặt

đạo đức sẽ vô lương tâm khi khai thác chúng như một lực lượng lao động và sử dụng chúng cho

các công việc rủi ro như gỡ rối mìn hoặc xử lý các chất nguy hiểm [4, p. 167]. Nếu AI có ý thức

và sở thích với một số xác suất, sau đó tương tự đạo đức và biện pháp phòng ngừa an toàn pháp

lý cho những người sử dụng cho con người và động vật không phải người sẽ phải được đáp ứng

[113]. Nếu, nói, bộ não ảo của Dự án Blue Brain là để có được ý thức, sau đó nó sẽ có vấn đề

đạo đức cao để sử dụng nó (và bất kỳ bản sao tiềm năng hoặc bản sao nào khác) nghiên cứu của

ví dụ trầm cảm bằng cách đặt nó trong trầm cảm hoàn cảnh. Metzinger cảnh báo rằng máy móc

có ý thức có thể bị lạm dụng cho mục đích nghiên cứu. Hơn thế nữa, là công dân hạng hai

(“second class citizen”), AI có quyền hợp pháp và được khai thác như các công cụ thí nghiệm có

thể phân phối, tất cả đều có thể được phản ánh tiêu cực ở cấp độ của máy móc kinh nghiệm bên

trong [106]. Triển vọng này đặc biệt đáng lo ngại bởi vì có thể hình dung rằng AI sẽ được tạo ra

như vậy những con số khổng lồ [4, 75] trong trường hợp xấu nhất, có thể là một số nạn nhân

thiên văn, đông hơn bất kỳ thảm họa được biết đến trong quá khứ.

Những kịch bản dystopian hướng đến một quan trọng hàm ý của tiến bộ công nghệ: Ngay cả khi

chúng ta thực hiện chỉ những lỗi nhỏ về đạo đức của con người (ví dụ: bằng cách phân loại sai

một số máy tính là vô thức hoặc không đáng kể về mặt đạo đức), sau đó nhờ vào lịch sử chưa

từng có

sức mạnh công nghệ, điều này có thể dẫn đến chưa từng có thảm họa. Nếu tổng số sinh vật tăng

mạnh, chúng ta phải đảm bảo rằng các giá trị đạo đức của chúng ta và ước tính thực nghiệm cải

thiện tỷ lệ; cải thiện biên chỉ trong một trong hai tham số sẽ là không cần thiết để đáp ứng trách

nhiệm tăng lên rất nhiều. Chỉ bằng cách thừa nhận bản chất không chắc chắn có thể ý thức máy

móc chúng ta có thể bắt đầu thích hợp biện pháp thận trọng trong nghiên cứu AI, và do đó hy

vọngtránh bất kỳ thảm họa tiềm tàng nào được mô tả ở trên.

Khuyến nghị 8 Nghiên cứu: Để đưa ra quyết định đạo đức, điều quan trọng là phải có sự hiểu

biết về điều đó hệ thống và nhân tạo có khả năng tạo ra ý thức, và đặc biệt để trải nghiệm

suffering. Với mức độ không chắc chắn và bất đồng rõ ràng trong lĩnh vực ý thức máy móc, có

một nhu cầu cấp thiết để thúc đẩy, tài trợ và điều phối các dự án nghiên cứu liên ngành có liên

quan (bao gồm triết lý, khoa học thần kinh, và khoa học máy tính).

Khuyến nghị 9 - Quy định: Thông lệ tiêu chuẩn cho các ủy ban đạo đức để điều chỉnh các thí

nghiệm về đối tượng thử nghiệm sống [114, 115]. Trong khả năng các máy tính biến đổi thần

kinh và các sinh vật mô phỏng cũng có thể phát triển ý thức, điều quan trọng là nghiên cứu về

những điều này, cũng được thực hiện dưới sự giám sát chặt chẽ của các ủy ban đạo đức. Hơn

nữa, việc tạo ra (bất ngờ) cuộc sống nhân tạo của chúng ta nên tránh hoặc trì hoãn bất cứ khi nào

có thể, vì các AI trong câu hỏi có thể đã từng tạo ra một cách nhanh chóng được nhân đôi trên

quy mô lớn. Trong trường hợp không có pháp luật từ trước đại diện và lợi ích chính trị trong tình

cảm nhân tạo, sự phổ biến này có thể sẽ tiếp tục không được kiểm soát.

Kết luận

Hiện nay, chúng ta đang chứng kiến sự lan rộng của công nghệ AI với các tiềm năng đáng ngạc

nhiên. Công nghệ AI hiện đang đứng sau những chiếc xe không người lái, y tế hỗ trợ Watson

chẩn đoán, và máy bay không người lái của quân đội Hoa Kỳ sẽ dần dần trở thành những sản

phẩm thực tiễn trong tương lai gần. Điều cốt yếu là các khung pháp lý được xây dựng cẩn thận

diễn ra trước khi điều này xảy ra, để nhận ra tiềm năng của những công nghệ này theo cách giảm

thiểu rủi ro một cách an toàn của một sự phát triển tổng thể tiêu cực.

Càng tiến bộ hơn trong lĩnh vực công nghệ AI, càng nhấn mạnh một cách tiếp cận hợp lý, tầm

nhìn xa những thách thức liên quan trở thành. Bởi vì chính trị và tiến bộ pháp lý có xu hướng tụt

hậu so với sự phát triển công nghệ, có một trách nhiệm đặc biệt lớn dựa trên các nhà nghiên cứu

và nhà phát triển cá nhân trực tiếp tham gia vào bất kỳ tiến trình đang được thực hiện.

Tuy nhiên, cần những khuyến khích kinh tế mạnh mẽ cho sự phát triển của các công nghệ mới

diễn ra nhanh nhất có thể mà không làm lãng phí thời gian phân tích rủi ro. Những điều kiện bất

lợi tang nguy cơ chúng ta dần mất đi sự kiểm soát công nghệ AI và công dụng của nó. Điều này

nên được ngăn chặn trên tất cả các cấp độ có thể, bao gồm cả chính trị, nghiên cứu, và nói chung

bởi bất cứ ai có công việc liên quan đến vấn đề này. Một điều kiện tiên quyết cơ bản để định

hướng phát triển AI thuận lợi nhất để mở rộng lĩnh vực an toàn AI. Bằng cách này, AI có thể

được công nhận không chỉ là các chuyên gia ảo nhưng được chấp nhận ở cộng đồng rộng rãi hơn

(đang là một thách thức lớn hiện nay).

Bổ sung cuối cùng cho các khuyến nghị cụ thể đưa ra ở trên, các tác giả đã cho thấy những rủi ro

và cơ hội của AI để AI được công nhận là ưu tiên toàn cầu gần giống với biến đổi khí hậu, hoặc

phòng ngừa quân sự xung đột với nhau càng sớm càng tốt.

Lời cảm ơn

Cảm ơn tất cả những người đã giúp chúng tôi trong nghiên cứu hoặc viết bài báo này. Đáng nói

đến là: Kaspar Etter và Massimo Mannino, vì những gợi ý của họ về cấu trúc của bài báo; giáo

sư Oliver Bendel, cho lời đề nghị đến chương ưu điểm và rủi ro của AIs hiện tại; và giáo sư

Jürgen Schmidhuber, cả hai đã đóng cho các chương Trí thông minh chung và siêu trí tuệ Nhận

thức và trí tuệ nhân tạo tinh ranh và cho những đóng góp quý báu của mình cho hiện trạng kiến

thức trong các lĩnh vực nghiên cứu AI khác nhau.

Ngƣời ủng hộ

Các điểm chính của bài báo được hỗ trợ bởi:

• Giáo sư Tiến sĩ Fred Hamker, Giáo sư Trí tuệ Nhân tạo, Đại học Kỹ thuật Chemnitz

• Giáo sư Tiến sĩ Dirk Helbing, Giáo sư Khoa học Xã hội Tính toán, ETH Zürich

• Giáo sư Tiến sĩ Malte Helmert, Giáo sư Trí tuệ Nhân tạo, Đại học Basel

• Giáo sư Tiến sĩ Manfred Hild, Giáo sư Hệ thống Kỹ thuật số, Cao đẳng Kỹ thuật Beuth, Berlin

• Giáo sư Tiến sĩ Eric Hilgendorf, Giám đốc Nghiên cứu về Luật Robot, Đại học Wurzburg

• Giáo sư Tiến sĩ Marius Klo, Giáo sư Máy học, Đại học Humboldt, Berlin

• Giáo sư Tiến sĩ Jana Koehler, Giáo sư Khoa học Thông tin, Đại học Luzern

• Giáo sư Tiến sĩ Stefan Kopp, Giáo sư Hệ thống Nhận thức Xã hội, Đại học Bielefeld

• Giáo sư Tiến sĩ Franz Josef Radermacher, Giáo sư Cơ sở dữ liệu và Trí tuệ nhân tạo, Đại học

Ulm

REFERENCES [1] Koomey, J. G., Berard, S., Sanchez, M.,&Wong, H. (2011). Implications of Historical Trends in the Electrical E_iciency of Computing. IEEE Annals of the History of Computing, 33(3), 46–54. [2] Brockman, J. (2015). What to Think About Machines That Think: Today’s Leading Thinkers on the Age of Machine Intelligence. Harper Perennial. [3] Russell, S. (2015). Will They Make Us Better People? (http://edge.org/response-detail/26157) [4] Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press. [5] BBC. (2015a). Stephen Hawking Warns Artificial Intelligence Could End Mankind. (http://www.bbc.com/news/ technology-30290540) [6] Harris, S. (2015). Can We Avoid a Digital Apocalypse? (https://edge.org/response-detail/26177) [7] The Independent. (2014). Stephen Hawking: ‘Transcendence Looks at the Implications of Artificial Intelligence — But Are We Taking AI Seriously Enough?’ (http : / /www.independent . co.uk/news/ science/ stephen- hawkingtranscendence- looks-at-the- implications- of- artificial- intelligence--but- are-we- taking- ai- seriously-enough- 9313474.html) [8] The Guardian. (2014). Elon Musk Donates $10m to Keep Artificial Intelligence Good for Humanity. (http://www. theguardian.com/technology/2015/jan/16/elon-musk-donates-10m-to-artificial-intelligence-research) [9] SBS. (2013). Artificial Irrelevance: The Robots Are Coming. (http://www.sbs.com.au/news/article/2012/07/18/ artificial-irrelevance-robots-are-coming) [10] BBC. (2015b). Microso_’s Bill Gates Insists AI Is a Threat. (http://www.bbc.com/news/31047780) [11] Silver, N. (2012). The Signal and the Noise: Why So Many Predictions Fail – But Some Don’t. Penguin. [12] PCWorld. (2011). IBM Watson Vanquishes Human Jeopardy Foes. (http://www.pcworld.com/article/219893/ibm_ watson_vanquishes_human_jeopardy_foes.html) [13] Bowling, M., Burch, N., Johanson, M., & Tammelin, O. (2015). Heads-up Limit Hold’em Poker Is Solved. Science, 347(6218), 145–149. [14] Ciresan, D. C., Giusti, A., Gambardella, L. M., & Schmidhuber, J. (2013). Mitosis Detection in Breast Cancer Histology Images Using Deep Neural Networks. MICCAI 2013. (http : / / people . idsia . ch / ~juergen / deeplearningwinsMICCAIgrandchallenge.html) [15] Ciresan, D., Meier,U., & Schmidhuber, J. (2012). Multi-Column Deep Neural Networks for Image Classification. Computer Vision and Pattern Recognition 2012, 3642–3649. [16] Tesauro, G. (1994). TD-Gammon, a Self-Teaching Backgammon Program, Achieves Master-Level Play. Neural Computation, 6(2), 215–219.

[17] Koutník, J., Cuccu, G., Schmidhuber, J., & Gomez, F. (2013). Evolving Large-Scale Neural Networks for Vision-Based Reinforcement Learning. In Proceedings of the 15th Annual Conference on Genetic and Evolutionary Computation (pp. 1061–1068). ACM. [18] Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., ... Ostrovski, G. et al. (2015). Human- Level Control Through Deep Reinforcement Learning. Nature, 518(7540), 529–533. [19] Slavin, K. (2012). How Algorithms Shape Our World. (http://ed.ted.com/lessons/kevin- slavin-how- algorithmsshape- our-world) Artificial Intelligence: Opportunities and Risks [20] Tagesanzeiger. (2008). Computer-Panne legt US-Flugverkehr lahm. (http : / /www. tagesanzeiger . ch / ausland / amerika/ComputerPanne-legt-USFlugverkehr-lahm/story/13800972) [21] Page, L., Brin, S., Motwani, R., & Winograd, T. (1999). The PageRank Citation Ranking: Bringing Order to the Web. (http://ilpubs.stanford.edu:8090/422/) [22] Wired. (2010). Algorithms Take Control of Wall Street. (http://www.wired.com/2010/12/__ai_flashtrading/all/) [23] Lin, T. C. (2012). The New Investor. UCLA L. Rev. 60, 678–735. [24] Taleb, N. N. (2010). The Black Swan: The Impact of the Highly Improbable Fragility. Random House. [25] Lauricella, T. & McKay, P. (2010). Dow Takes a Harrowing 1,010.14-point Trip. Wall Street Journal (May 7, 2010). [26] Securities, U., Commission, E., & the Commodity Futures Trading Commission. (2010). Findings Regarding the Market Events of May 6, 2010. Report of the Sta_s of the CFTC and SEC to the Joint Advisory Committee on Emerging Regulatory Issues. [27] Spiegel. (2015). Denkende Wa_en: Künstliche-Intelligenz-Forscher Warnen vor Künstlicher Intelligenz. (http : / / www. spiegel .de/netzwelt /netzpolitik /elon- musk- und- stephen- hawking-warnen- vor- autonomen-wa_ena- 1045615.html) [28] Bendel, O. (2013). Towards Machine Ethics. In Technology Assessment and Policy Areas of Great Transitions (pp. 343– 347). Proceedings from the PACITA 2013 Conference in Prague. [29] Goodall, N. J. (2014). Machine Ethics and Automated Vehicles. In Road Vehicle Automation: Lecture Notes in Mobility (pp. 93–102). Springer International Publishing. [30] Bostrom, N. & Yudkowsky, E. (2013). The Ethics of Artificial Intelligence. In Cambridge Handbook of Artificial Intelligence. Cambridge University Press. [31] Dickmanns, E. D., Behringer, R., Dickmanns, D., Hildebrandt, T., Maurer, M., Thomanek, F., & Schiehlen, J. (1994). The Seeing Passenger Car ‘VaMoRs-P’. In International Symposium on Intelligent Vehicles 94 (pp. 68–73). [32] Dickmanns, E. (2011). Evening Keynote: Dynamic Vision as Key Element for AGI. 4th Conference on Artificial General Intelligence, Mountain View, CA. (https://www.youtube.com/watch?v=YZ6nPhUG2i0) [33] Thrun, S. (2011). Google’s Driverless Car. (http://www.ted.com/talks/sebastian_thrun_google_s_driverless_car) [34] Forbes. (2012). Nevada Passes Regulations for Driverless Cars. (http://www.forbes.com/sites/alexknapp/2012/02/ 17/nevada-passes-regulations-for-driverless-cars/)

[35] Organization,W. H. et al. (2013).WHOGlobal StatusReport onRoad Safety 2013: Supporting a Decade of Action. World Health Organization. [36] Simonite, T. (2013). O_line Handwriting Recognition with Multidimensional Recurrent Neural Networks. MIT Technology Review, Oct, 25. [37] CNBC. (2014). Self-Driving Cars Safer Than Those Driven by Humans: Bob Lutz. (http : / / www. cnbc . com / id / 101981455) [38] Svenson, O. (1981). Are We All Less Risky and More Skillful Than Our Fellow Drivers? Acta Psychologica, 9(6), 143– 148. [39] Weinstein, N. D. (1980). UnrealisticOptimism about Future Life Events. Journal ofPersonalityand Social Psychology, 39(5), 806. [40] Langer, E. J. (1975). The Illusion of Control. Journal of Personality and Social Psychology, 32(2), 311. [41] Von Hippel,W. & Trivers, R. (2011). The Evolution and Psychology of Self-Deception. Behavioral and Brain Sciences, 34(1), 1–56. [42] Trivers, R. (2011). The Folly of Fools: The Logic of Deceit and Self-Deception in Human Life. Basic Books. [43] Berner, E. S.&Graber, M. L. (2008). Overconfidence as a Cause of Diagnostic Error in Medicine. The American Journal of Medicine, 121(5), S2–S23. 13 Artificial Intelligence: Opportunities and Risks [44] Kohn, L. T., Corrigan, J. M., Donaldson, M. S. et al. (2000). To Err Is Human: Building a Safer Health System. National Academies Press. [45] TheNewYork Times. (2010).What Is IBM’sWatson? (http://www.nytimes.com/2010/06/20/magazine/20Computert. html) [46] Wired. (2013). IBM’s Watson Is Better at Diagnosing Cancer Than Human Doctors. (http://www.wired.co.uk/news/ archive/2013-02/11/ibm-watson-medical-doctor) [47] Forbes. (2013). IBM’s Watson Gets Its First Piece Of Business In Healthcare. (http : / / www. forbes . com / sites / bruceupbin/2013/02/08/ibms-watson-gets-its-first-piece-of-business-in-healthcare/) [48] Dawes, R. M., Faust, D., & Meehl, P. E. (1989). Clinical Versus Actuarial Judgment. Science, 243(4899), 1668–1674. [49] Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical Versus Mechanical Prediction: A Meta-Analysis. Psychological Assessment, 12(1), 19. [50] West, R. F. & Stanovich, K. E. (1997). The Domain Specificity and Generality of Overconfidence: Individual Di_erences in Performance Estimation Bias. Psychonomic Bulletin & Review, 4(3), 387–392. [51] Tversky, A. & Kahneman, D. (1974). Judgment Under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124– 1131. [52] Pohl, R. (Ed.). (2004). Cognitive Illusions: A Handbook on Fallacies and Biases in Thinking, Judgement and Memory. Psychology Press. [53] Brosnan, M. J. (2002). Technophobia: The Psychological Impact of Information Technology. Routledge.

[54] Yudkowsky, E. (2008). Artificial Intelligence as a Positive and Negative Factor in Global Risk. Global Catastrophic Risks, 1, 303. [55] Bostrom, N. (2002). Existential Risks. Journal of Evolution and Technology, 9(1). [56] Smith, A. & Anderson, J. (2014). AI, Robotics, and the Future of Jobs. Pew Research Center. [57] Cowen, T. (2013a). Average Is Over: Powering America Beyond the Age of the Great Stagnation. Penguin. [58] Brynjolfsson, E. & McAfee, A. (2014). The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies. WW Norton & Company. [59] Frey, C. B. & Osborne, M. A. (2013). The Future of Employment: How Susceptible Are Jobs to Computerisation? Oxford Martin Programme on Technology and Employment. (https://web.archive.org/web/20150109185039/http: //www.oxfordmartin.ox.ac.uk/downloads/academic/The_Future_of_Employment.pdf) [60] Helbing, D. (2015). Thinking Ahead — Essays on Big Data, Digital Revolution, and Participatory Market Society. Springer. [61] Cowen, T. (2013b). EconTalk Episode with Tyler Cowen: Tyler Cowen on Inequality, the Future, and Average is Over. (http://www.econtalk.org/archives/2013/09/tyler_cowen_on.html) [62] Gri_iths, M., Kuss, D.,&King, D. (2012). VideoGameAddiction: Past, Present and Future. Current Psychiatry Reviews, 8(4), 308–318. [63] Srivastava, L. (2010). Mobile Phones and the Evolution of Social Behaviour. Behavior & Information Technology, 24(2), 111–129. [64] Prensky, M. (2001). Do They Really Think Di_erently? On the Horizon, 47(2). [65] Metzinger, T. (2015a). Virtuelle Verkörperung in Robotern. SPEKTRUM, 2, 48–55. [66] Kapp, K. M. (2012). The Gamification of Learning and Instruction: Game-Based Methods and Strategies for Training and Education. Pfei_er. [67] Bavelier, D., Green, S., Hyun Han, D., Renshaw, P., Merzenich, M., & Gentile, D. (2011). Viewpoint: Brains on Video Games. Nature Reviews Neuroscience, 12, 763–768. 14 Artificial Intelligence: Opportunities and Risks [68] Fagerberg, J. (2000). Technological Progress, Structural Change and Productivity Growth: A Comparative Study. Structural Change and Economic Dynamics, 11(4), 393–411. [69] Galor, O. & Weil, D. N. (1999). From Malthusian Stagnation to Modern Growth. American Economic Review, 150–154. [70] Brynjolfsson, E. (2014). EconTalk Episode with Erik Brynjolfsson: Brynjolfsson on the Second Machine Age. (http: //www.econtalk.org/archives/2014/02/brynjolfsson_on.html) [71] Hughes, J. J. (2014). Are Technological Unemployment and a Basic IncomeGuarantee Inevitable or Desirable? Journal of Evolution and Technology, 24(1), 1–4. [72] Krugman, P. (2013). Sympathy for the Luddites. NewYork Times, 13. (http://www.nytimes.com/2013/06/14/opinion/ krugman-sympathy-for-the-luddites.html) [73] Bostrom, N. & Sandberg, A. (2008). Whole Brain Emulation: A Roadmap. Oxford: Future of Humanity Institute. [74] Hanson, R. (2012). Extraordinary Society of Emulated Minds. (http://library.fora.tv/2012/10/14/Robin_Hanson_ Extraordinary_Society_of_Emulated_Minds)

[75] Hanson, R. (1994). If Uploads Come First. Extropy, 6(2), 10–15. [76] Legg, S. & Hutter, M. (2005). A Universal Measure of Intelligence for Artificial Agents. In International Joint Conference on Artificial Intelligence (Vol. 19, p. 1509). Lawrence Erlbaum Associates ltd. [77] Hutter, M. (2007). Universal Algorithmic Intelligence: A Mathematical Top-Down Approach. In Artificial General Intelligence (Vol. 6, 2, pp. 227–290). Springer. [78] Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Future Studies, 2. [79] Schmidhuber, J. (2012). Philosophers & Futurists, Catch Up! Response to The Singularity. Journal of Consciousness Studies, 19(1-2), 173–182. [80] Moravec, H. (1998). When Will Computer Hardware Match the Human Brain. Journal of Evolution and Technology, 1(1), 10. [81] Moravec, H. (2000). Robot: Mere Machine to Transcendent Mind. Oxford University Press. [82] Shulman, C.&Bostrom, N. (2012).HowHardIs Artificial Intelligence? Evolutionary Arguments and SelectionE_ects. Journal of Consciousness Studies, 19(7-8), 103–130. [83] Sengupta, B. & Stemmler, M. (2014). Power Consumption During Neuronal Computation. Proceedings of the IEEE, 102(5), 738–750. [84] Friston, K. (2010). The Free-Energy Principle: A Unified Brain Theory? Nature Reviews Neuroscience, 11, 127–138. [85] Sengupta, B., Stemmler, M., & Friston, K. (2013). Information and E_iciency in the Nervous System — A Synthesis. PLoS Comput Biol, 9(7). [86] Eliasmith, C. (2015). On the Eve of Artificial Minds. In T. Metzinger & J. M. Windt (Eds.), Open mind. MIND Group. (http://open-mind.net/papers/@@chapters?nr=12) [87] Armstrong, S., Sotala, K., & ÓhÉigeartaigh, S. S. (2014). The Errors, Insights and Lessons of Famous AI Predictions — And What They Mean for the Future. Journal of Experimental & Theoretical Artificial Intelligence, 26(3), 317–342. [88] Brenner, L. A., Koehler, D. J., Liberman, V., & Tversky, A. (1996). Overconfidence in Probability and Frequency Judgments: A Critical Examination. Organizational Behavior and Human Decision Processes, 65(3), 212–219. [89] Peterson, M. (2009). An Introduction to Decision Theory. Cambridge University Press. [90] Armstrong, S. (2013). General Purpose Intelligence: Arguing the Orthogonality Thesis. Analysis and Metaphysics, (12), 68–84. [91] Noë, A. (2015). The Ethics Of The ‘Singularity’. (http://www.npr.org/sections/13.7/2015/01/23/379322864/theethics- of-the-singularity) [92] Bostrom, N. (2012). The Superintelligent Will:Motivation and InstrumentalRationality in Advanced Artificial Agents. Minds and Machines, 22(2), 71–85. 15 Artificial Intelligence: Opportunities and Risks [93] Omohundro, S. M. (2008). The Basic AI Drives. In Proceedings of the First AGI Conference, 171, Frontiers in Artificial Intelligence and Applications (Vol. 171, pp. 483–492). [94] Solomono_, R. (1985). The Time Scale of Artificial Intelligence: Reflections on Social E_ects. Human Systems Management, 5, 149–153. [95] Chalmers, D. (2010). The Singularity: A Philosophical Analysis. Journal of Consciousness Studies, 17(9-10), 7–65.

[96] Good, I. J. (1965). Speculations Concerning the First Ultraintelligent Machine. In Advances in Computers (pp. 31–88). Academic Press. [97] Schmidhuber, J. (2006). Gödel Machines: Fully Self-Referential Optimal Universal Self-Improvers. In Artificial General Intelligence (pp. 119–226). [98] Tomasik, B. (2011). Risks of Astronomical Future Su_ering. Foundational Research Institute. (http://foundationalresearch. org/publications/risks-of-astronomical-future-su_ering/) [99] Nagel, T. (1974). What Is it Like to Be a Bat? The Philosophical Review, 435–450. [100] Durgam, R. (2001). Rodent Models of Depression: Learned Helplessness Using a Triadic Design in Tats. Curr Protoc Neurosci, (8). [101] Metzinger, T. (2012). Two Principles for Robot Ethics. In H. E&G. J-P (Eds.), Robotik und Gesetzgebung (pp. 263–302). NOMOS. (http://www.blogs.uni-mainz.de/fb05philosophie/files/2013/04/Metzinger_RG_2013_penultimate.pdf) [102] Metzinger, T. (2015b). Empirische Perspektiven aus Sicht der Selbstmodell-Theorie der Subjektivität: EineKurzdarstellung mit Beispielen. Selbstverlag. (http://www.amazon.de/Empirische-Perspektiven-Sicht-Selbstmodell-Theorie- Subjektivitat-ebook/dp/B01674W53W) [103] Moravec, H. P. (1988). Mind Children: The Future of Robot and Human Intelligence. Harvard University Press. [104] Chalmers, D. J. (1995). Absent Qualia, Fading Qualia, Dancing Qualia. Conscious Experience, 309–328. [105] Chalmers, D. J. (1996). The Conscious Mind: In Search of a Fundamental Theory. Oxford University Press. [106] Metzinger, T. (2010). The Ego Tunnel: The Science of the Mind and the Myth of the Self (First Trade Paper Edition). New York: Basic Books. [107] Metzinger, T. (2015c). What If They Need to Su_er? (https://edge.org/response-detail/26091) [108] Dennett, D. C. (1993). Consciousness Explained. Penguin UK. [109] Bostrom, N. (2003). Are We Living in a Computer Simulation? The Philosophical Quarterly, 53(211), 243–255. [110] Hasler, J. & Marr, B. (2013). Finding a Roadmap to Achieve Large Neuromorphic Hardware Systems. Frontiers in Neuroscience, 7(118). [111] Koch, C. (2014). What it Will Take for Computers to Be Conscious, MIT Technology Review. (http : / / www . technologyreview.com/news/531146/what-it-will-take-for-computers-to-be-conscious/) [112] Tononi, G. (2015). Integrated Information Theory. Scholarpedia, 10(1), 4164. (http://www.scholarpedia.org/article/ Integrated_Information_Theory) [113] Singer, P. (1988). Comment on Frey’s ‘Moral Standing, the Value of Lives, and Speciesism’. Between the Species: A Journal of Ethics, 4, 202–203. [114] Swissethics, Verein anerkannter Ethikkommissionen der Schweiz. (n.d.). (http://www.swissethics.ch/) [115] Senatskommission für Tierexperimentelle Forschung. (2004). Tierversuche in der Forschung. (http://www.dfg. de / download / pdf / dfg _ im _ profil / geschae_sstelle / publikationen / dfg _ tierversuche _ 0300304 . pdf, publisher= Deutsche Forschungsgemeinscha_)