16
1 globaliia.org KÜRESEL BAKIŞ AÇILARI VE İÇGÖRÜLER IIA’nın Yapay Zekâ Denetim Çerçevesi Pratik Uygulamalar, Bölüm A Özel Baskı

The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

1 globaliia.org

KÜRESEL BAKIŞ AÇILARI

VE İÇGÖRÜLER IIA’nın Yapay Zekâ Denetim Çerçevesi

Pratik Uygulamalar, Bölüm A

Özel Baskı

Page 2: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

Global Perspectives: Artificial Intelligence II

Page 3: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

3 globaliia.org

Page 4: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

Global Perspectives: Artificial Intelligence II

Giriş AutoML adlı yeni bir Google projesi yapay zekâ (YZ) kavramını – “akıllı” makineler

tasarlamaya yönelik teknolojileri tanımlayan geniş bir kavramdır – yeni bir aşamaya

taşımayı hedeflemektedir. Makine öğrenmesi kavramının kısaltması olarak ML

(machine learning), makinelerin verilen görevleri icra etmeyi öğrenmesi için verileri

analiz eden bilgisayar algoritmalarına atıf yapar. Bu bakımdan, ML, başka makine

öğrenme algoritmalarını geliştirme amaçlı öğrenme becerisine sahip bir makine-

öğrenme algoritmasıdır.

Google mühendisi Jeff Dean, projeyi, kapsamlı uzmanlık bilgisine sahip

olmasalar bile, şirketlerin, yapay zekâyla sistem geliştirmeleri için bir yol

olarak tarif ediyor. Kendisinin tahminine göre günümüzde sadece birkaç bin

şirket YZ geliştirmek için yeterli beceriye sahip, fakat öte yandan bundan çok

daha fazlası bu amaç için gereken verileri elinde bulundurmakta. Amaçlarını

“makine öğrenme problemlerini çözebilen birkaç bin kurumdan,

milyonlarcasına ulaşmak” şeklinde ifade ediyor. The New York Times.

Google, YZ araştırmalarına ve insan zekâsını – yani insanın analitik yetilerini

ve/veya karar verme becerilerini - otomatize etme, artırma veya taklit etme

amaçlı uygulamalara yatırım yapan birçok kurumdan biridir. Bilgisayar biliminin

aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların

“derin sinir ağları” geliştirmelerine yardımcı bir aracı The Times’da ifşa etti,

Microsoft başkan vekili Joseph Sirosh ‘a göre bahsedilen bu araç “işin

hamaliyesini büyük ölçüde” ortadan kaldıran bir tip bilgisayar algoritması.

Organizasyonel YZ inisiyatiflerinin desteklenmesine yönelik bu odaklanma, iç

denetim mesleğinin artık YZ’ya kendini tamamen hazırlamasının çok daha

büyük önem arz ettiği anlamına geliyor.

YZ bağlamında, makine öğrenmesi dışında, derin öğrenme, görüntü tanıma,

doğal-dil işleme, bilişsel hesaplama, zekâ yükseltme, bilişsel artırım, makine

artırımlı zekâ ve artırılmış zekâ gibi daha birçok başka terim kullanılmaktadır.

IIA’nın YZ Denetim Çerçevesi (Çerçeve) kapsamında kullanıldığı şekliyle YZ

terimi, bu kavramların tümünü kapsamaktadır.

IIA’nın Yapay Zeka Denetim Çerçevesi Yapay Zekâ – İç Denetim Mesleği için Mülâhazalar başlığı altında açıklandığı

üzere, YZ bağlamında iç denetimin rolü “bir organizasyonun kısa, orta ve uzun

vadede değer yaratma becerisi üzerinde yapay zekânın ne ölçüde etkili (menfi

veya müspet) olacağını değerlendirmek, anlamak ve bildirmek için o

organizasyona yardımcı olmaktır.”

İç denetim fonksiyonunun bu rolü yerine getirmesine yardımcı olmak için, iç

denetçiler, organizasyona YZ ile ilgili uygun görülen danışma, güvence veya

karma danışma/güvence hizmetlerinin sağlanması noktasında IIA’nın YZ

Denetim Çerçevesi’ne başvurabilir. Bu çerçeve, YZ Stratejisi, Yönetişim ve İnsan

Faktörü olmak üzere üç kapsayıcı bileşenden ve Siber Esneklik; YZ Yetkinlikleri;

Not: Bu yayın, üç bölümlük bir

dizinin ikinci raporudur. Daha

fazla bilgi için birinci rapora

bakınız: Yapay Zekâ – İç

Denetim Mesleğine İlişkin

Dikkate Alınması Gerekenler

Page 5: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

5 globaliia.org

Veri Kalitesi; Veri Mimarisi & Altyapısı; Ölçüm Performansları; Etik ve Kara Kutu

olmak üzere yedi unsurdan oluşmaktadır.

İç Denetim, bu Çerçeve’yi uygularken ve organizasyonun YZ faaliyetleriyle ilgili

danışma, güvence veya karma danışma/güvence hizmetlerini sağlarken bir dizi

katılım veya kontrol hedeflerini ve aktivitelerini veya prosedürlerini dikkate

almak durumundadır. Çerçeve’nin Strateji (Siber Esneklik ve YZ Yetkinlikleri

unsurları) ve Yönetişim (Veri Mimarisi & Altyapısı ve Veri Kalitesi unsurları)

bileşenlerine ilişkin önemli hedefler ve aktiviteler veya prosedürler bu

dokümanda sunulmuştur. Yönetişim (Performans Ölçümü unsuru) ve İnsan

Faktörü (Etik ve Kara Kutu unsurları) bileşenlerine ilişkin önemli hedefler ve

aktiviteler veya prosedürler, üç bölümden oluşan bu düzünün III. Bölümünde

sunulacaktır.

Yapay Zeka Stratejisi Her organizasyon, YZ’nın sunduğu fırsatları değerlendirme noktasında

benimsediği yaklaşıma göre kendine özgü bir YZ Stratejisi belirleyecektir. Bir

organizasyonun YZ stratejisi, organizasyonun genel dijital veya büyük veri

stratejisinin açık bir uzantısı mahiyetinde olabilir. YZ stratejisinde YZ

aktiviteleriyle hedeflenen sonuç açıkça dile getirilmelidir. YZ stratejileri,

organizasyonun AI aktiviteleriyle hedeflenen sonucu ve bu sonuçların

organizasyonun hedefleriyle ne şekilde ilintilendiğini tanımlama ve ifade etme

yetkinliğine sahip işletme yöneticileri ile organizasyonun YZ teknolojisi

becerilerini, kısıtlarını ve emellerini anlayan teknoloji liderleri arasındaki

işbirliği temelinde geliştirilmelidir. Ayrıca hem işletme yöneticileri hem de

teknoloji profesyonelleri, saptanan AI stratejisinin icra yönetimine aktif olarak

katılmalıdır.

YZ büyük veriye bağlıdır ve dolayısıyla bir organizasyon, YZ üzerinde

düşünmeden önce büyük veri stratejisini tam olarak geliştirmiş ve hayata

geçirmiş olmalıdır. Hakikaten de, YZ, organizasyonun büyük veriden bir takım

yararlı çıkarımlara varmasına yardımcı olabilir. IIA’nın Küresel Teknoloji

Denetim Kılavuzu: Büyük Veriyi Anlama ve Denetleme belgesinde açıklandığı

üzere, bu çıkarımlardan yola çıkarak “organizasyon daha iyi kararlar verebilir,

yaratıcı ve farklılaştırıcı bir tarzda yeni müşterileri hedefleyebilir, bireye özgü bir

şekilde hedeflenmiş ve geliştirilmiş bir dağıtım modeliyle var olan müşterilere

hizmet verebilir ve şirketi rakiplerinden kesin olarak öne çıkaran yeni hizmetler

ve kapasiteler sunabilir.” YZ fırsatlarından yararlanan organizasyonlar kalıcı

rekabet avantajı geliştirebilir; bu itibarla siber esneklik ve YZ yetkinlikleri

arkaplanında bir YZ stratejisi geliştirilmeli ve uygulanmalıdır.

Siber Esneklik

Organizasyonun YZ teknolojilerinin menfur amaçlar için kasten suiistimali de

dahil olmak üzere, organizasyonun siber saldırılara direnme, tepki verme ve

bunlardan toparlanma kabiliyeti güç geçtikçe önem kazanmaktadır (Sayfa 14’de

Facebook’un düzeltici eylemlerine bakınız).

İç denetim, organizasyonun YZ

stratejisini değerlendirmeye

girişmeden önce, YZ başlığını

kendi risk değerlendirmesine

dahil etmek ve risk-bazlı

denetim planına YZ’yi dahil

etmenin gerekip

gerekmediğini düşünmek

suretiyle kendi YZ kapsama

stratejisini belirlemelidir.

Page 6: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

Global Perspectives: Artificial Intelligence II

İç Denetim Yöneticilerinin (CAE) kendi ekipleri içinde hızla siber-güvenlik

yetkinliklerini geliştirmesi, YZ/siber-güvenlik risklerini sürekli izlemesi ve

organizasyonun maruz kaldığı riskin seviyesini ve bu riskleri gidermek için sarf

edilen çabaları icra kuruluna ve yönetim kuruluna rapor etmesi gerekir.

Yapay Zeka Yetkinlikleri

Yapay Zekâ – İç Denetim Mesleği için Mülâhazalar başlığı altında not edildiği

üzere, YZ uzmanlığıyla donatılmış teknoloji profesyonelleri için yetenek

havuzu söylenene göre oldukça küçüktür. Her ne kadar AutoML (Sayfa 4’e

bakınız) gibi projeler başarılı olsa da, kapsamlı uzmanlığa sahip olmamalarına

rağmen organizasyonların YZ ile sistem kurma ve geliştirme yetkinliği

kazanması, aynı organizmaların, YZ “uygulama” becerisi olmasa da derin YZ

kavrayışına sahip olan personelin bilgi açığını kapatmalarını zorunlu kılar. Bu

bakımdan personelin,

YZ’nin nasıl çalıştığını bilmesi;

YZ’nin ortaya çıkardığı riskleri ve sunduğu fırsatları anlaması;

YZ sonuçlarının beklentileri karşılayıp karşılamadığını saptaması;

Gerekirse düzeltici tedbirler önerme veya alma yeteneğine sahip olması

gerekir.

İç Denetim kapsamında ve birinci ve ikinci savunma hatları içinde bu gibi

yetkinliklere ihtiyaç duyulacaktır. Bunun yanında üst yönetim kademesinin ve

yönetim kurulunun da YZ’nin nasıl çalıştığını bilmesi ve YZ’nin ortaya çıkardığı

riskleri ve sunduğu fırsatları anlaması gerekir.

Ayrıca iç denetimin, üçüncü-şahıs YZ teknolojisi tedarikçilerinin yetkinliklerini

belirleme kapasitesine de sahip olması zorunludur.

Önemli YZ Stratejisi Hedefleri ve Faaliyetleri veya Prosedürleri

Katılım veya Kontrol Hedef(ler)i Aktiviteler veya Prosedürler

Başlangıcından itibaren tüm YZ projelerinde aktif rol almak, bu kapsamda başarılı bir proje uygulamasına katkı yapan tavsiyeler ve bakış açıları sunmak.

YZ proje ekibi toplantılarına Katıl.

Organizasyon tanımlı bir YZ stratejisine sahiptir.

Bir YZ stratejisinin dokümante edilip edilmediğini belirleyiniz, belirlenmişse, bu stratejinin: YZ aktivitelerinin hedeflenen sonuçlarını (stratejik hedefler) açık seçik ifade ettiğini, YZ hedeflerinin nasıl başarılacağını üst seviyede tanımladığını (stratejik plan)

doğrulayınız.

Siber tehditlere hazır olma ve cevap verme durumu için güvence sağlayın.

Etkili savunmaların ve cevapların varlığını güvenceye almak için saptanmış bir siber-güvenlik çerçevesinden yararlanma, IT ve diğer paydaşlarla işbirliği içinde çalışma.

YZ stratejisini uygulamak için yeterli kaynaklar (personel ve bütçe) mevcuttur.

YZ’yi desteklemek için personel ve bütçe ihtiyaçlarını belirleme sürecini gözden geçiriniz.

IIA’da tanımlanan önemli

hedefler ve aktiviteler veya

prosedürler önceden

saptanmış bir denetim

planından oluşmayıp, katılım

veya kontrol hedeflerini

tanımlamaya ve YZ denetim

faaliyetlerinin planlanmasına

ve uygulanmasına yardımcı

olması beklenen örnekler

mahiyetindedir.

YZ denetim faaliyetleri IIA

Standardı 2200 şartlarına

uygun olmalıdır: Katılım

Planlaması. YZ denetim planları

ve YZ katılım hedefleri ve

prosedürleri.

Page 7: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

7 globaliia.org

Yönetişim YZ yönetişimi, organizasyonun tüm YZ aktivitelerini yönlendirmek, yönetmek ve

izlemek için uygulanan yapıları, prosesleri ve prosedürleri tanımlar. Yönetişim

yapısı ve usulleri organizasyonun spesifik karakteristiklerine göre değişiklik

gösterecektir. YZ yönetişimi:

Hesap verebilirliği, sorumluluğu ve gözetimi tesis eder.

AI sorumlulukları olanların gerekli beceri ve uzmanlığa sahip olmasını

sağlamaya yardımcı olur

YZ aktivitelerinin ve YZ-bağlantılı kararların ve eylemlerin organizasyonun

değerleriyle ve etik, sosyal ve kanuni sorumluluklarıyla tutarlığınının

sağlanmasına yardımcı olur.

YZ yaşam çevriminin bütünü için – girdilerden çıktılara kadar – YZ politikaları ve

prosedürleri saptanmalıdır. Ayrıca eğitim, ölçme performansı ve raporlama için

de politikalar ve prosedürler saptanmalıdır.

Hesap Verebilirlik, Sorumluluk ve Gözetim

YZ büyük yarar sağlayabileceği gibi, büyük zarar verme potansiyeline de

sahiptir. Neticede, paydaşlar, organizasyonlarının YZ sonuçlarından

muhtemelen yönetim kurulunu ve üst yöneticileri sorumlu (yükümlü)

tutacaklardır. İç denetçiler, YZ yönetişimini değerlendirirken üç savunma hattı

modelinden yararlanabilirler. Üç savunma hattının yanı sıra üst yönetim,

yönetim kurulu, dış denetçiler ve düzenleyici otoriteler bir bütün olarak YZ’de

role sahiptir. İç denetimçiler her paydaşın rolünü ve iç denetimin bu rolle nasıl

bütünleştiğini anlamalıdır.

Düzenleyici Otoriteler

Düzenleyiciler, ulusal, bölgesel/eyalet ve yerel seviyelerde spesifik aktiviteleri

(örneğin bankacılık, sağlık veya gıda güvenliği gibi) kontrol ederler ve

bilgilendirme yaparlar. Düzenleyici otoriteler, örneğin araştırma yürütme,

standartların ve kılavuzların geliştirilmesine katılma ve paydaşlarla iletişim kurma

gibi etkinlikler yoluyla “bilgilendirirler”. Düzenleyici otoriteler, gözetim ve

yönetmelikleri saptama ve uygulama gibi etkinlikler yoluyla “kontrol ederler”.

IIA’nın Görüş Belgesi: Etkin Risk Yönetimi ve Kontrolünde Üç Savunma Hattı

dokümanında belirtildiği üzere, düzenleyici otoriteler bazen bir

organizasyondaki kontrolleri güçlendirme amaçlı şartları saptarlarken, başka

zamanlarda da bu şartlarla ilgili olarak birinci, ikinci ve üçüncü savunma hattının

bütününü veya bir kısmını bağımsız ve objektif olarak değerlendirme işlevi

görürler.

Stratejinin YZ tehditlerini yeterli ölçüde dikkate alıp almadığını belirlemek için tavsiyede bulunun.

Var olan YZ tehdidi değerlendirmelerini ve fırsatlarını gözden geçiriniz. Değerlendirme yoksa, ilerlemek için (organizasyonun YZ tehditlerini ve fırsatlarını tanımlamak için nasıl bir planlama yapabileceğine dair) tavsiyelerde bulununuz.

“IIA’nın Yapay Zekâ Denetim

Çerçevesi, iç denetimin YZ risk

yönetimi, kontrolü ve

yönetişimi süreçleri üzerinde

bağımsız güvence

sağlamasına yardımcı olan

pratik bir araçtır. ”

Nur Hayati Baharuddin, IIA–Malezya Üyesi

Page 8: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

Global Perspectives: Artificial Intelligence II

Bugüne değin özel olarak YZ’ye yönelik düzenlemeler yapılmamıştır. Ancak, var

olan düzenlemelerin kimi kısımları özellikle YZ aktiveleri açısından ilgi ve önem

taşıyor olabilir ve bu bakımdan düzenleyici otoriteler ve dünya çapındaki

standart koyucu organlar, bu konudaki kaygılarına araştırma çalışmaları,

tartışma belgeleri, tavsiyeler ve kılavuzluk etkinlikleri yoluyla dikkat

çekmişlerdir (Sayfa 10’da Mevzuata Uygunluk kısmına bakınız).

Düzenleyici otoriteler, YZ denetimlerinin öneminin çoktandır farkındadırlar.

Örneğin ABD Gıda ve İlaç İdaresi, Tıbbi Cihazlarda Hazır Yazılım Kullanımı başlıklı

kılavuzunda, OTS bilgi-temelli yazılımın (örneğin yapay zekâ, uzman sistemleri

ve sinir ağı yazılımı) önemine vurgu yapmakta ve imalatçının “OTS Yazılımı

geliştiricinin kullandığı ürün geliştirme metodolojilerinin hedeflenen amaç için

uygun ve yeterli olduğuna” dair güvence sağlamasının beklendiğini ve “bu

güvencenin, OTS yazılımı geliştiricinin tasarımını ve OTS Yazılımının inşasında

kullanılan geliştirme metodolojilerinin bir denetimini içermesini önerir. Bu

denetim, OTS Yazılımı için üretilen geliştirme ve kalifikasyon

dokümantasyonunu derinlemesine değerlendirmelidir.”

Denetimciler, YZ alanındaki düzenleyici otoritelerin ve standart-koyucuların

çalışmalarından haberdar olmalı, önemli konularda yönetime ve yönetim

kuruluna tavsiyelerde bulunmalı ve organizasyonun mevzuat kontrolü

hedeflerinin yeni çıkan düzenlemeleri, standartları ve kılavuzları yansıtıp

yansıtmadığını değerlendirmelidir.

Yönetim Organı/Yönetim Kurulu/Denetim Komitesi

Yönetim Kurulu organizasyonun YZ aktivitelerinin en son aşamadaki

denetiminden sorumludur. Yönetim Kurulu, organizasyonun YZ stratejisini

tanımlamada üst yönetimle işbirliği yapmalıdır.

İç denetim, YZ’yi anlamalı ve genel olarak YZ hakkında ve özel olarak

organizasyonun YZ aktiviteleri hakkında iyi-bilgilendirilmiş olmalıdır. İç denetim

YZ aktiviteleri üzerinde güvence sağlamanın yanında, yönetim kurulunun

üstleneceği role hazırlanmasını sağlamak için ona tavsiyelerde bulunmalı ve

görüş bildirmelidir.

Üst Yönetim Üst Yönetim, yönetim kuruluyla işbirliği içinde organizasyonun YZ stratejisini

tanımlar. Üst Yönetim ayrıca YZ hedefleri belirler ve YZ stratejisini uygulamak

için planlar geliştirir.

İç Denetim, üst yönetim takımında temsil edilmeli ve üst yönetimin YZ

inisiyatifleri hakkında iyi bilgilendirilmelidir. YZ risk yönetimi, yönetişimi ve

kontrolleri bağlamında, iç denetimin üst yönetime güvenilir bir danışman

olması gerekir.

Birinci Savunma Hattı

Operasyon müdürleri günlük olarak YZ risklerini izlemeli ve yönetmelidir. İç

denetim, operasyonel-seviyede YZ politikalarını ve prosedürlerini

“İç Denetim, YZ aktiviteleri

üzerinde güvence sağlamanın

yanında, denetim

komitelerinin ve yönetici

kurulların hizmet ettikleri

şirketler bünyesinde YZ ile

bağlantılı yararları ve riskleri

idare etmedeki rollerini

kavrama noktasında iyi

donatılmış olmalarını da

güvenceye almalıdır.”

Carolyn Saint, İç Denetim Yöneticisi,

Virginia Üniversitesi

Page 9: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

9 globaliia.org

değerlendirmeli, bu çerçevede kontrol hedeflerinin yeterli olduğunu ve

tasarlanan şekilde ilerlediğini doğrulamalıdır.

İkinci Savunma Hattı YZ risklerinin kimi yönlerini kapsaması muhtemel ikinci savunma hattı

işlevlerinden bazıları mevzuata uygunluk, etik, risk yönetimi ve bilgi

gizliliği/güvenliğidir. İç Denetim YZ-bağlantılı ikinci savunma hattı politikalarını

ve prosedürlerini değerlendirmeli ve çerçevede kontrol hedeflerinin yeterli

olduğunu ve tasarlanan şekilde ilerlediğini doğrulamalıdır.

Üçüncü Savunma Hattı İç Denetim; YZ riskleri, yönetişimi ve kontrolleri üzerinde bağımsız güvence

sağlamalıdır. IIA’nın YZ Denetim Çerçevesi bu rolü kolaylaştırabilir. Düzenleyici

otoriteler ve standart-koyucular, YZ’nin risk yönetimi ve mevzuata uygunluk

noktasındaki potansiyelini idrak etmişlerdir. Finansal İstikrar Kurulu’nun (FSB)

Finansal Hizmetlerde Yapay Zekâ ve Makine Öğrenmesi başlıklı raporuna göre

“finansal hizmetlerde YZ ve makine öğrenmesi kullanımı, finansal hizmetlerin

sunulması ve mevzuatla ilgili sistemik risk gözetimi alanlarında verimlilik artışı

şeklinde kilit finansal istikrar faydaları getirebilir.. Şirket-içi (arka ofis) YZ ve

makine öğrenmesi uygulamaları risk yönetimini, usulsüzlük tespitini ve mevzuat

şartlarına uygunluğu potansiyel olarak daha düşük bir maliyetle iyileştirebilir.”

Benzer şekilde, en gelişmiş iç denetim departmanları kesintisiz denetim ve

kesintisiz izleme inisiyatiflerini güçlendirmeye yönelik algoritmaları kullanmaya

başlayacaklar ve bu yolla hem etkinlik hem de verimlilik kazanacaklardır.

Bağımsız Denetim

Dış Denetiçiler organizasyonla bağlantılı yerleşik bir çıkarı olmayan üçüncü

şahıslar olup, mali tabloların geçerli mali raporlama çerçevelerine ve/veya

mevzuatına uygun hazırlanıp hazırlanmadığı hakkında görüş bildirirler. YZ söz

konusu olduğunda, dış denetimciler, çok muhtemelen sonuçlara – örneğin,

model risk yönetimi veya değerlendirmesi arkasındaki algoritmalara ve bu

algoritmaların organizasyonun mali tabloları üzerinde önemli bir etkiye sahip

olup olmadığına odaklanacaklardır.

Governing Body: Yönetim Organı Board: Yönetim Kurulu Audit Committee: Denetim Komitesi Senior Management: Üst Yönetim Management Controls: Yönetici Kontrolleri Internal Control Measures: İç Denetim Tedbirleri 1st Line of Defence: Birinci Savunma Hattı 2nd Line of Defence: İkinci Savunma Hattı 3rd Line of Defence: Üçüncü Savunma Hattı Financial Control: Finansal Kontrol Security: Güvenlik Risk Management: Risk Yönetimi Quality: Kalite Inspection: Teftiş Compliance: Uyum Internal Audit: İç Denetim Regulator: Düzenleyici Otorite External Audit: Bağımsız Denetim

“YZ’nin artan kullanımı,

Denetim ihtiyaçlarının,

özellikle Algoritmaların

dizaynında kullanılan mantığa

değinmesini gerektiriyor

Hans Nieuwlands, CEO, IIA–Hollanda

IIA–Netherlands

Üç Savunma Hattı Modeli

Page 10: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

Global Perspectives: Artificial Intelligence II

Mevzuata Uygunluk Yasal düzenlemeler tipik olarak teknolojik değişimi arkadan takip eder ve YZ da

bunun istisnası değildir. Ancak, The Hill’in bildirdiğine göre, Tesla CEO’su Elon Musk

Ulusal Valiler Birliğini (ABD) tez elden yasal düzenlemelerin yapılması gerektiği

konusunda uyarmaktadır. Buna ek olarak, 1996 tarihli ABD Sağlık Sigortası

Taşınabilirlik ve Sorumluluk Kanunu (HIPAA) ve Mayıs 2018’de yürürlüğe girecek AB

Genel Veri Koruma Yönetmeliği (GDPS) gibi gizlilik düzenlemelerinin YZ

uygulamasını karmaşıklaştırabilir. Bu iki düzenleme de, YZ teknolojilerinde tipik veri

girdisi oluşturan kişisel bilgileri koruma altına almaktadır.

Örneğin, HIPAA Gizlilik Kuralı “kural kapsamına giren üç tip alanda kaydı

tutulan sağlık bilgilerinin korunması için ulusal standartlar saptar. Bu alanlar;

sağlık planları, sağlık hizmeti takas merkezleri ve belirli sağlık işlemlerini

elektronik olarak [vurgu sonradan eklenmiştir]gerçekleştiren sağlık hizmeti

sağlayıcılarıdır.” FSB’nin Finansal Hizmetlerde Yapay Zekâ ve Makine

Öğrenmesi başlıklı raporuna göre “GDPR’nin bazı bölümleri özellikle YZ

açısından ilgi ve önem arz etmektedir: Madde 11’de “[algoritmik]

değerlendirme sonrasında varılan karar için açıklama” talep etme hakkı

düzenlenmiştir; Madde 9’da, “özel [hassas] kişisel veri kategorilerinin”

işlenmesi yasaklanmıştır; Madde 22’de, bir veri sahibinin salt otomatik veri

işlemesi temelinde hukuki veya fahiş sonuçlar doğuran bir karara maruz

kalmama hakkı tespit edilmiştir ve Madde 24’te kararların özel kişisel veri

kategorileri temelinde alınmaması düzenlenmiştir.

Genel kabul gören diğer mevzuat kaygıları arasında, ayrımcılığa karşı yasalara

uygunluk ve özellikle organizasyona YZ hizmetleri sunan üçüncü şahıslarla ilgili

yasal yükümlülükler bulunmaktadır. FSB raporunda üçüncü şahıslarla ilgili

kaygılar şu sözlerle ifade edilerek özetlenmiştir: “Finansal hizmetler alanında YZ

ve makine öğrenmesi hizmeti sağlayan işletmelerin birçoğu mevzuat çerçevesi

dışına düşebilir ve geçerli kanunlara ve düzenlemelere aşina olmayabilir.

Finansal kurumların kritik işlevler için üçüncü-şahıslardan YZ ve makine

öğrenmesi servisine bel bağladığı ve dış kaynaklardan hizmet alımına dair

kuralların düzenlenmemiş veya düzenlenmiş olsa bile, anlaşılmamış olabileceği

şartlarda bu servis sağlayıcılar ve tedarikçiler denetim ve gözetim dışında

kalabilir. Benzer şekilde, bu gibi araçların tedarikçileri kurumsal veya perakende

müşterilere finansal hizmet sunmaya başlarsa, bu durum finansal servislerin

yasal mevzuat çerçevesi dışında görülmesini sonucunu doğurabilir.”

Organizasyonlar, yasal düzenleme çevresinin teknolojik çevreyi yakalamasını

beklememelidir. Varolan düzenlemeler spesifik olarak YZ’ye yönelik olmasa bile,

organizasyonlar YZ aktivitelerinin varolan kanunların ruhuna uygun olup

olmadığını sorgulamalıdır. Buna yönelik bir yaklaşım, YZ aktivitelerinin kötü

niyetli ve kriminal amaçlarla kullanılma ve zarara neden olan beklenmedik

sonuçlar doğurma potansiyelini belirlemek için senaryo çalışması ve “..olursa ne

olur?” analizi yapmaktır. Ayrıca yönetişim sorumluları, YZ’nin yerleşik kuralları

atlatmayı öğrenmesi veya YZ sistemlerinin kendi aralarında iletişim kurup,

organizasyonun bilgisi dışında “çalışması” durumunda YZ aktivitelerinin

potansiyel olarak iç kontrolleri zayıflatabileceğini de dikkate almalıdır. Varolan

Page 11: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

11 globaliia.org

kanunların ruhunu anlamada benimsenecek proaktif bir yaklaşım, yeni

düzenlemeler geçirilip, yürürlüğe girdikçe organizasyonların çevik bir şekilde

bunlara adapte olmasına yardımcı olacaktır.

Önemli YZ Yönetişim Hedefleri ve Aktiviteleri veya Prosedürleri

Katılım veya Kontrol Hedef(ler)i Aktiviteler veya Prosedürler

AI yönetişim yapılarının tesis edildiğine, dokümante edildiğine ve tasarlanan şekilde çalıştığına dair güvence sağlama.

İş modellerini ve organizasyonel yapıyı gözden geçiriniz; iş modellerinin ve organizasyonel yapının organizasyonun YZ stratejisini yansıtıp yansıtmadığını belirleyiniz.

YZ politikalarını ve prosedürlerini gözden geçiriniz; organizasyonel politikaların ve prosedürlerin YZ stratejisi, yönetişim, veri mimarisi, veri kalitesi, etik buyruklar ve ölçüm performansı ile ilgili YZ rollerini ve sorumluklarını açıkça tanımlayıp tanımlamadığını belirleyiniz.

YZ sorumluluğu taşıyanların başarı için yeterli yetkinliklere sahip olup olmadıklarını değerlendiriniz. Örneğin, etik buyruklardan sorumlu olanların, YZ’ye insan girdisi sağlayan kişilerin etik davranışlarını değerlendirme yetkinliğine sahip olmalı ve YZ aktivitesinden bağımsız olmalıdır.

YZ sorumlulukları taşıyanlarla mülâkatlar yapınız. Tüm iş tanımlarını, iş için gereken becerileri vs. gözden geçiriniz ve sorumluların belirttikleri kalifikasyonlara sahip olup olmadığını doğrulayınız.

YZ politikalarının ve prosedürlerinin saptanmasını ve dokümante edilmesini güvence altına alınız.

YZ politikalarını ve prosedürlerini gözden geçiriniz ve bunların YZ risklerini yeterli ölçüde ele alıp almadığını belirleyiniz.

Politikaların ve prosedürlerin, “..olursa ne olur?” analizi veya senaryo planlaması öngörüp öngörmediğini belirleyiniz.

YZ aktivitesi denetim geçmişinin hangi YZ kararlarının alındığını ve neden alındığını anlamak için yeterli bilgi sunduğuna dair güvence sağlayınız.

YZ denetim geçmişini gözden geçiriniz. Denetim geçmişinin hangi YZ kararlarının alındığını ve neden alındığını anlamak için yeterli bilgi sağlayıp sağlamadığını belirleyiniz.

Politikaların ve prosedürlerin hayata geçirildiğine ve tasarlanan şekilde yürüdüğüne ve çalışanların bunlara uyduğuna dair güvence sağlayınız.

Çalışanların YZ prosedürlerini uygulamasını gözetiniz.

Yardım hattı/acil hat raporlarını gözden geçiriniz ve YZ ile ilgili uygunsuz veya kötü-niyetli aktivitelere işaret eden raporları takip altına alınız.

Rastgele bir çalışan örneklemiyle görüşme yapınız ve bunların YZ politikaları ve prosedürleri hakkında bilgi sahibi olup olmadıklarını belirleyiniz.

Tüm YZ politikalarını ve prosedürlerini tanımlayınız ve gözden geçiriniz.

Erişim politikalarını değerlendiriniz ve erişim kontrollerini test ediniz.

Mevzuat kontrol hedeflerinin yeni çıkan düzenlemeleri, standartları ve kılavuzları yansıtıp yansıtmadığını değerlendiriniz.

Page 12: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

Global Perspectives: Artificial Intelligence II

Veri Mimarisi & Altyapısı YZ veri mimarisi ve altyapısı, organizasyonun büyük veri işleme mimarisi ve

altyapısıyla muhtemelen bir ve aynı ya da en azından hemen hemen aynı

olacaktır. YZ veri mimarisinde ve altyapısında şu noktalar düşünülmüştür:

Veriye ne şekilde erişilebileceği (metadata, taksonomi, tek tanıtıcılar ve

adlandırma konvansiyonları).

Verinin yaşam çevrimi boyunca bilgi gizliliği ve güvenliği (veri toplaması,

kullanımı, saklaması ve imhası).

Verinin yaşam çevrimi boyunca veri sahipliği ve kullanımı için tanımlanmış

roller ve sorumluluklar.

InfoWorld’e göre, YZ entegrasyonunun başarısını güvenceye almak için

organizasyonlar üç temel yazılım geliştirme alanına odaklanmalıdır:

Veri entegrasyonu – organizasyonun uygulamalarına ve sistemlerine YZ’nin

eklenebilmesi için önceden birçok kaynaktan verinin entegre edilmiş olması

gerekir.

Uygulama modernizasyonu – düzenli olarak yazılımın güncellenmesi

gerekecektir. Sistemleri yavaşlatan ve durduran yüksek yoğunluklu, seyrek

güncellemelerin yerini, daha düşük yoğunluklu sık güncelemeler almalıdır.

Çalışanların eğitimi – yazılım geliştiriciler, proje müdürleri ve diğer teknoloji

personeli makine öğrenmesi alanıyla ve teknoloji “yığınının” (YZ’yi yürüten

yazılımlar ve bileşenler) tüm yönleriyle başedebilmelidir.

Buna ek olarak, veri girişinden önce veri yuvarlama, demografi ve diğer

değişkenler gibi nüanslar normalize edilerek verinin uyumlulaştırılması

sağlanmalıdır.

Veri Kalitesi YZ algoritmalarına temel oluşturan verilerin tamlığı, doğruluğu ve güvenilirliliği

kritik önem taşır. YZ’nin başarılı olabilmesi için, organizasyonların yüksek

miktarda kaliteli veriye – yani iyi tanımlanmış ve standart formlarda hazırlanmış

veriye erişim sağlamaları gerekir. Çoğu durumda sistemler birbiriyle iletişim

içinde değildirler veya karmaşık eklentilerle veya uyarlamalarla iletişim kurarlar.

Bu verinin nasıl uyumlulaştırılacağı, sentezleneceği ve valide edileceği de kritik

olup, bu bakımdan birbiriyle iletişim kurmayan veya karmaşık eklentilerle veya

uyarlamalarla iletişim kuran sistemler bir organizasyonun YZ aktivitelerini zaafa

uğratabilir.

YZ teknolojileri, iyi tanımlanmış ve standardize formatlarda hazırlanmış verilerin

yanında (yapılandırılmış veri), yapılandırılmamış veri kaynaklarına (örneğin sosyal

medya gönderileri) da dayanıyor olabilir.

İç denetim ayrıca verinin

denetim raporlarında nasıl

kullanıldığını, mutabakatının

yapıldığını, sentezlendiğini ve

valide edildiğini incelemelidir

“ Veri Altyapısı & Mimarisi ve

Veri Kalitesi çoğunlukla iç içe

geçmiştir. Bir alandaki ilgili

katılım veya kontrol

hedefleri ve aktiviteleri ve

prosedürleri, diğer bir

alandaki hedeflerle,

aktivitelerle ve prosedürlerle

örtüşebilir veya onları

etkileyebilir.”

Lesedi Lesetedi,

İcra Müdürü Yardımcısı

(CEO Vekili) – Strateji & Kurumsal Hizmetler

Botswana Uzaktan & Açık Öğretim Koleji (BOCODOL)

Page 13: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

13 globaliia.org

IIA’nın “Küresel Teknoloji Denetim Kılavuzu: Büyük Veriyi Anlamak ve

Denetlemek” başlıklı dokümanındaki tarife göre, yapılandırılmamış veri “sürekli

değişen ve kestirilemez yapısından dolayı tipik olarak daha zor yönetilir ve

genellikle geniş, benzeşmez ve çoğunlukla harici veri kaynaklarından temin edilir.

Netice olarak, bu verileri yönetmek ve analiz etmek için yeni çözümler

geliştirilmiştir.”

İronik bir şekilde, organizasyonlar veri kalitesini geliştirmek için makine

öğrenmesine – bir tür YZ – başvurabilir. Örneğin, bir organizasyonun birçok iş

birimi, veri tabanları ve çalışma sayfaları arasında satıcının ismi çok farklı

versiyonlarda ortaya çıkabilir. Bir bilgisayar programı satıcı isminin tüm

varyasyonlarını birkaç saat veya dakika içinde tarayabilir ve uyumlu hale

getirebilir.

Önemli Veri Kalitesi Hedefleri ve Aktiviteleri veya Prosedürleri

Katılım veya Kontrol Hedef(ler)i Aktiviteler veya Prosedürler

YZ’ye temel oluşturan algoritmaların ve algoritmaların dayandığı verilerin güvenilirliği hakkında güvence sağlayınız.

YZ’ye girişi yapılan ham verilerin bir örneğini elde ediniz. Organizasyonun, YZ sonuçlarını gerçek-yaşamdaki sonuçlarla valide etmek için gereken metodolojileri uyguladığını ve bu iki arasındaki tutarsızlıkları sürekli olarak ölçmek, izlemek, yüzeye çıkarmak ve düzeltmek için gereken politikaların ve prosedürlerin mevcut olduğunu doğrulayınız.

Veri girdisinin uyumlulaştırıldığına ve doğruluğu maksimize edilecek şekilde normalize edildiğine dair güvence sağlayınız.

Organizasyonun veri doğruluğu ve sağlamlığı sorunlarını sürekli olarak ölçmek, izlemek, yüzeye çıkarmak ve düzeltmek için gereken politikalara ve prosedürlere sahip olduğunu doğrulayınız. Organizasyonun, değişiklik yapılması halinde metodolojilerin ve sonuçların değiştirilme gerekçelerini de içeren bir formel veri uyumlulaştırma çerçevesini tutarlı olarak izlediğini ve gözettiğini teyit ediniz.

Birleştirilmiş verilerin tam olduğu hakkında güvence sağlayınız. Organizasyonun veri giriş yanlılığını sınırlandırmak için gereken politikalara ve prosedürlere sahip olduğunu doğrulayınız.

Veri tamlığının ölçülerek izlendiği ve karar-alma süreçlerini etkileyen önemli istisnaların tanımlandığı ve açıklandığı hakkında güvence sağlayınız. İstisnalar insanlar tarafından da, YZ tarafından da belirlenmiş olsa, bu güvencenin mutlaka sağlanması gerekir.

YZ ölçümü ve ölçüm raporlarını gözden geçiriniz. Karar-alma sorumluluğunda olanların veri kalitesiyle ilgili önemli istisnalar hakkında açıklama alıp almadıklarını ve bunlar üzerinde düşünüp düşünmediklerini değerlendiriniz.

Page 14: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

Global Perspectives: Artificial Intelligence II

Facebook’un Düzeltici Eylemleri Facebook’un YZ ile ilgili boğuştuğu güçlükler yaygın olarak rapor edilmiştir. Bu devasa sosyal ağ, bünyesindeki

algoritma-destekli teknolojilerin kötü niyetli amaçlarla ne şekilde kullanıldığı veya istismar edildiği noktasında

takibata alınmıştır.

Başlıca Kaygıların Zaman Tüneli:

2016 yılı sonbaharında, ProPublica, reklamcıların Facebook’un reklam-yönlendirme araçlarının belirli ırkları

dışlayacak şekilde kullanabileceğini bildirmiştir – ki bu durum federal yerleşim ve sivil haklar düzenlemelerinin

potansiyel bir ihlali anlamına gelmektedir.

Eylül 2017’de:

o Facebook, Rusya’da yerleşik sahte hesap sahiplerinin, 2016 başkanlık seçimleriyle sonuçlanan ayrımcı

gelişmeler bağlamında büyük hacimli reklam satın alımı yaptığını ifşa etti.

o ProPublica, Facebook’un reklam araçlarının, reklamcılara, kendini etnik “nefret” sahipleri olarak

tanımlayan unsurları hedefleme imkânı verdiğini bildirmiştir.

Ekim 2017’de, Facebook (ve Google) Las Vegas’daki kitlesel cinayetlerle ilgili yanlış bilgiler yayınlayınca, sahte

haber yayınına dair kaygılar yeniden alevlenmiştir.

Facebook, Ekim sonunda Senato’nun bir yargı alt komitesine verdiği ifadede, Rusya-temelli reklamların en başta

düşündüklerinden çok daha geniş bir kitleye yayıldığını ve 2016 başkanlık seçimi arefesinde ve esnasında 126

milyon kadar Amerika’lıya ulaştığını söylemiştir.

Facebook’un Cevabı

20 Eylül 2017 tarihli bir gönderisinde, Facebook Baş Operasyon Direktörü Sheryl Sandberg üç düzeltici eylemi ilan

etti:

1. Facebook reklamcılık politikalarını netleştirecek ve Facebook’un toplum standartlarına aykırı içeriklerin reklam

malzemesi olarak kullanılmamasını teminen yasal uygulama süreçlerini sıkılaştıracaktır. (Bu yönlü politikalar ve

prosedürler Çerçeve’nin Yönetişim bileşeniyle ilgilidir. YZ yönetişimi, diğer hususlar yanında, yasal uygulama için

hesap verebilirlik ve denetim mekanizmaları tesis etmelidir.

2. Facebook otomatik süreçlerinde “insan denetimini ve gözetimini” artıracaktır. (İnsan denetimi ve gözetimi

Çerçeve’nin Etik bileşeniyle ilgilidir. Etik bileşeni, diğer hususların yanında, YZ sonuçlarının asıl hedefi yansıtıp

yansıtmadığını ve YZ çıktısının yasal, etik ve sorumlu bir şekilde kullanılıp kullanılmadığını ele alır.)

3. Facebook, Facebook kullanıcılarını potansiyel reklam suiistimalleri bildirmek için teşvik eden bir program

üzerinde çalışmaktadır. (Raporlama sistemleri Çerçeve’nin Performans Ölçümü bileşeniyle ilgilidir. Raporlama

sistemleri, yönetimin YZ aktivitelerini izlemesine yardımcı olur. Performans ölçümü gelecekte çıkarılması

planlanan bir Global Perspektifler ve Öngörüler raporunda ele alınacaktır.)

Page 15: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

15 globaliia.org

Global Perspectives: Artificial Intelligence II

YZ Denetimi için Standartların Kullanılması İç Denetimciler, YZ görevlerini planlarken veya icra ederken geçerli tüm IIA

standartlarına uymalıdır. YZ ile bilhassa ilgili anahtar IIA standartları yandaki

sütunda vurgulanmıştır, fakat bunların dışında başka standartların kullanılması

da mümkündür.

Her standart bir Uygulama Kılavuzu ile tamamlanmıştır. Uygulama kılavuzları, iç

denetimcilere Standartları uygulama noktasında yardımcı olur. Bunlar iç denetim

yaklaşımını, metodolojilerini ve düşüncelerini bir bütün olarak açıklamakla

birlikte, prosesleri veya prosedürleri detaylandırmaz.

Kapanış Görüşleri IIA’nın Yapay Zekâ Denetim Çerçevesi, iç denetimcilerinin YZ danışmanlık ve

güvence hizmetlerine sistematik ve disiplinli bir tarzda yaklaşmasına yardımcı

olacaktır. Organizasyonun YZ teknolojileri ve aktiviteleri ister şirket-içinde, ister

AutoML gibi bir yardımcı teknoloji yoluyla, isterse de bir üçüncü şahıs

tarafından geliştirilmiş olsun, iç denetim yönetim kuruluna ve üst yönetime

tavsiyelerde bulunmaya, birinci ve ikinci savunma hatlarıyla koordine olmaya ve

YZ risk yönetimi, yönetişimi ve kontrolleri üzerinde güvence sağlamaya hazır

olmalıdır.

Bu çalışma, iç parçalık bir dizinin II. bölümü olup, IIA’nın YZ Denetim

Çerçevesi’nin YZ Stratejisi ve Yönetişim bileşenlerini hayata geçirmek için

öneriler sunar. Bölüm III’te Yönetişim bileşenini ve İnsan Faktörü bileşenini

uygulamak için ilave önerilerde bulunulacaktır.

Denetim Odağı

Anahtar IIA Standartları

IIA’nın İç Denetim Uygulaması için Uluslararası Standartlar broşürü, özellikle YZ ile ilgili bazı standartlar içerir. Bunlar:

IIA Standardı 1210: Yeterlilik

IIA Standardı 2010: Planlama

IIA Standardı 2030: Kaynak Yönetimi

IIA Standardı 2100: İşin Niteliği

IIA Standardı 2110: Yönetişim/Kurumsal Yönetim

IIA Standardı 2130: Kontrol

IIA Standardı 2200: Görev Planlaması

IIA Standardı 2201: Planlamada Dikkate Alınması Gerekenler

IIA Standardı 2210: Görev Amaçları

IIA Standardı 2220: Görev Kapsamı

IIA Standardı 2230: Görev Kaynaklarının Tahsisi

IIA Standardı 2240: Görev İş Programı

IIA Standardı 2310: Bilgilerin Tespiti ve Tanımlanması

IIA Hakkında İç Denetçiler Enstitüsü (IIA), iç denetçilik mesleğinin en yaygın tanınan hamisi, eğitimcisi ve standart belirleme, kılavuz çıkarma ve sertifikalandırma kuruluşudur. 1941’de kurulan IIA, günümüzde 170’in üzerinde ülke ve bölgeden 190.000’in üzerinde üyeye hizmet vermektedir. Enstitünün global idare merkezi Lake Mary, Fla., ABD’dedir. Daha fazla bilgi için bakınız www.globaliia.org.

Sorumluluk Reddi Global Perspektifler ve Öngörüler belgesinde ifade edilen görüşler, belgeye katkı yapan münferit şahısların tamamının paylaştığı görüşler olmayabilir.

Telif Hakkı Copyright © 2017, Institute of Internal Auditors, Inc. Tüm hakları mahfuzdur.

Page 16: The IIA's Artificial Intelligence Framework: Practical ......Bilgisayar biliminin aydınlattığı yaratıcılık yolunda ilerleyen Microsoft, yakın zamanda, kodlayıcıların “derin

Global Perspectives: Artificial Intelligence II

globaliia.org