Inteligência Artificial (IA) e Dados Pessoais –
Fomentar o Desenvolvimento e a Adopção
Responsáveis da IA
Documento de discussão
(Traduçao não oficial)
Declaração
Esta tradução não oficial em Português do documento, disponibilizada pelo
Gabinete para a Protecção de Dados Pessoais (GPDP) do Governo da RAEM,
servindo apenas para a consulta dos interessados.
Este documento dedica-se ao objectivo referencial, não é lei ou regulamento
vigente na RAEM, e não produz qualquer efeito legal. O GPDP ou qualquer
outra entidade pública na RAEM não se responsabiliza por qualquer prejuízo ou
dano provocado por este documento ou pela reprodução ou divulgação do
mesmo.
Este documento pode ser publicado ou reproduzido para uso sem fins
lucrativos. No entanto, o utilizador deve declarar que o documento é
disponibilizado pelo GPDP e indicar a origem do documento em Inglês. Salvo
autorização prévia por escrito do GPDP, ninguém pode reproduzir, reeditar,
distribuir, divulgar ou proporcionar este documento para uso com fins
lucrativos. O GPDP reserva o direito de responsabilizar o infractor nos termos
da lei.
Governo da Região Administrativa Especial de Macau
Gabinete para a Protecção de Dados Pessoais
Abril de 2019 (1.a versão)
Nota
O texto “Documento de discussão sobre Inteligência Artificial (IA) e Dados
Pessoais – Fomentar o Desenvolvimento e a Adopção Responsáveis da IA ” é uma
tradução para Português do documento “DISCUSSION PAPER ON ARTIFICIAL
INTELLIGENCE (AI) AND PERSONAL DATA – FOSTERING RESPONSIBLE
DEVELOPMENT AND ADOPTION OF AI”, publicado pela Comissão da Protecção
de Dados Pessoais de Singapura (Personal Data Protection Commission of Singapore)
(https://www.pdpc.gov.sg/-/media/Files/PDPC/PDF-Files/Resource-for-Organisation/A
I/Discussion-Paper-on-AI-and-PD---050618.pdf)
O documento original em Inglês foi publicado no dia 5 de Junho de 2018 pela
Comissão da Protecção de Dados Pessoais de Singapura.
O texto foca-se nas questões inerentes ao desenvolvimento e utilização comerciais
de IA, e sua governança, pretendendo criar um enquadramento de responsabilização
sisitemático e estrutural no âmbito de ética, governança e protecção dos consumidores
durante a aplicação comercial de IA, com vista a chamar a atenção do público em
relação à protecção de dados pessoais e privacidade na evolução de IA, a qual é movida
pelos megadados.
Recorda-se o leitor que este documento foi reparado tendo como pano de fundo
enquadramento legal de Singapura.
Assim alguns temas são discutidos sob uma perspectiva jurídica diferente da da
RAEM, e deverá ter-se o cuidado de não retirar paralelos próximos com as soluções
jurídicas de Macau para os mesmos problemas.
O Gabinete para a Protecção de Dados Pessoais formula votos de que os
responsáveis pelo tratamento, os subcontratantes e o público em geral possam
beneficiar dos úteis ensinamentos contidos no presente documento.
Governo da Região Administrativa Especial de Macau
Gabinete para a Protecção de Dados Pessoais
1. INTRODUÇ Ã O
Os dados são base essencial em relação a construção da economia digital. O
crescimento exponencial no volume de dados e aumento da capacidade computacional
com custo cada vez baixo, trabalham em conjunto para promover tecnologias
orientadas por dados tais como Inteligência Artificial (IA). Os benefícios e riscos da
IA têm sido objecto de um grande debate público. Por um lado, a IA tem a capacidade
de aumentar a produtividade, transformar os modelos de negócios, estimular a
economia e melhorar a vida da população. Por outro lado, a IA pode substituir
empregos e colocar desafios éticos tais como a criação de perfis sociais.
Este documento oferece uma análise preliminar da Comissão da Protecção de
Dados Pessoais de Singapura (Personal Data Protection Comission, PDPC) sobre
algumas questões inerentes ao desenvolvimento comercial e adopção de soluções de
IA. O objectivo é propor uma estrutura de trabalho com base em responsabilização
para discutir os assuntos éticos, da governança e da protecção dos consumidores
relacionados com a aplicação comercial da IA de forma sistematizada e estruturada.
Numa economia baseada nos serviços como Singapura, a IA será provavelmente
aplicada em sistemas inteligentes que processam dados pessoais. Assim, este modelo
também é relevante para a protecção de dados pessoais. Utilizando este modelo na
concepção de sistemas ou processos poderá também promover a “protecção de dados
desde a concepção.”1
O modelo proposto pretende encorajar um debate informado e construtivo sobre
este assunto complexo. Em última análise, esperamos lançar as sementes para que o
sector privado desenvolva os modelos de governança voluntários, incluindo códigos
de conduta voluntários que possam ser aplicados a organizações, sectores, ou de uma
forma mais geral a toda a economia digital.
(a) Encontrar um equilíbrio adequado na governança de IA
A emergência do desenvolvimento da IA actualmente apresenta uma
oportunidade adequada para que as partes interessadas tais como reguladores,
exploradores de IA, empresas utilizadoras de IA e consumidores discutam a
necessidade de governança e regulação da IA, bem como as formas que as mesmas
podem seguir. As visões preliminares fundamentais incluem:
Os modelos de governança à volta da IA devem ser tecnologicamente neutros
e de “light-touch” para que a tecnologia de IA se possa desenvolver numa
direcção que não seja distorcida ou impedida por regras prescritivas que tenham
sido estabelecidas prematuramente.
1 A protecção de dados desde a concepção refere-se à abordagem através da qual as organizações
consideram a protecção de dados pessoais desde a fase mais inicial da concepção, e durante o ciclo de
vida operacional de um novo sistema, produto ou serviço. Deste modo, as garantias de segurança
apropriadas à protecção de dados pessoais seriam parte integrante destes. Extraído da Guia para
avaliação do impacto da protecção de dados (Guide to Data Protection Impact Assessments) da
Comissão da Protecção de Dados Pessoais de Singapura.
Deve ser proporcionada clareza regulatória aos exploradores e às empresas
utilizadoras de IA no processo de desenvolvimento de tecnologia IA e à sua
tradução para soluções de IA. Os consumidores beneficiam da escolha e da
diferenciação dos produtos que emerge directamente da difusão da tecnologia IA
no mercado. A clareza regulatória também contribui para uma competição de
mercado saudável.
Políticas e regulamentos que promovam a explicabilidade, transparência e
justiça, bem como a centração no ser humano como requisitos de base claros
podem construir confiança em aplicações de IA. Por exemplo, explicar como a
tomada de decisões com base na IA pode levar a decisões mais consistentes com
mais transparência no processo de decisão, isto pode aumentar a confiança dos
consumidores. Além da Lei da Protecção de Dados Pessoais (Personal Data
Protection Act, PDPA), os códigos de conduta específicos a sectores podem
fornecer garantias aos consumidores sobre o uso de IA, especialmente aquando
da aplicação aos processos de tomada de decisão.
(b) A cadeia de valor e processos de aplicação da IA
Este documento adopta o seguinte modelo para descrever as diferentes
partes interessadas na cadeia de valor da IA:
Fig. 1
O termo “Exploradores de IA” inclui os de sistemas de aplicações que usem
tecnologia IA. Estes podem ser produtos comerciais disponíveis no retalho, serviços
online, aplicações móveis e outros softwares que os consumidores possam usar
directamente. “Exploradores de IA” incluem também fabricantes de dispositivos e
instalações que integram características baseadas em IA nos seus produtos, bem como
1. Exploradores de IA
2. Empresas utilizadoras
開發和整合:
AI 應用系統
AI 驅動的硬件和
設備
在運營和後臺處
理中利用 AI
出售和分銷 AI 硬
件與設備
使用 AI 驅動的服務
或產品
為 AI 的分析/建模提
供數據
接受增强人工智能給
處出給出的推薦
2. Empresas Utilizadoras
3. Consumidores e Clientes
Exploram e integram:
• Sistemas de
aplicação de IA
• Dispositivos e
instalações
suportados por IA
• Usam IA em operações
ou processos nos
bastidores
• Vendem e distribuem
dispositivos e instalações
que recorre a IA
• Usam serviços/produtos
movidos por IA
• Fornecem dados para
análise/modelos de IA
• Recebem recomendações
melhoradas por IA
A Cadeia de Valor da IA: Quem São as Partes Interessadas?
fornecedores de soluções IA cujas soluções não sejam produtos em si, mas cujo
objectivo seja a sua integração num produto final.
Entretanto, o termo “Empresas Utilizadoras” refere-se a empresas que façam uso
de soluções de IA nas suas operações. Isto pode ser operações nos bastidores (ex.
aplicações de processamento de empréstimos) ou um serviço de atendimento ao
público (ex. um portal de comércio electrónico ou aplicação de boleias). De igual
modo, pode-se referir a empresas que vendem ou distribuem dispositivos ou
instalações que fornecem características com base em IA (ex. aparelhos domésticos
inteligentes).
Este documento adopta o seguinte modelo de processos para descrever as
diferentes fases na aplicação de IA:
Fig. 2
Pelo que diferentes partes interessadas assumem diferentes papeis numa cadeia de
valor de IA, a relevância e a aplicabilidade de um modelo de governança de IA para
cada parte interessada também pode ser diferente. Por exemplo, o processo de
aplicação é potencialmente aplicável a exploradores de IA que integrem uma IA de
Machine Learning nos seus produtos. De igual modo, uma empresa utilizadora que
usa sistemas comerciais disponíveis no retalho que apliquem IA de Machine Learning
supervisionado também podem utilizar este modelo para mais facilmente
compreender os riscos (ex. de viés oculto não intencional no conjunto de dados de
treino) e a necessidade de manutenção continuada (ex. afinação do modelo). Logo, é
Preparação de dados Algoritmos Modelo escolhido
O Processo da Tecnologia de IA
Fase 1: Dados em Bruto são
formatados e limpos para que
seja possível chegar a conclusões
precisas. Em termos gerais, a precisão e os insights aumentam
com a relevância e a quantidade
de dados
Fase 3: O modelo escolhido é utilizado para produzir pontuações de
probabilidade, que possam ser
incorporadas em aplicações para
tomar decisões, resolver problemas e
despoletar acções.
Fase 2: São aplicados Algoritmos para análise. Isto
inclui modelos estatísticos,
árvores de decisão, redes
neurais. Os resultados são
examinados e os algoritmos
reiterados até que um modelo
produza os resultados mais
úteis.
Dados
em
bruto
Pré-processo
de dados
Repetir até os dados
estarem prontos
Algoritmos
de
Machine
Learning
Aplicar
algoritmos
Repetir para obter
o melhor modelo
Modelo
candidato Modelo
escolhido
Aplicação
Dados
em
bruto
Dados
preparados
necessário considerar tanto a cadeia de valor da IA e o processo de aplicação da
tecnologia ao discutir o desenvolvimento do modelo de governança de IA.
2. PRINCÍPIOS PARA A IA RESPONSÁ VEL
Para que a IA beneficie os negócios e a sociedade em geral, um conjunto de
princípios deve ser introduzido no modelo de governança da IA. Estes princípios
pretendem promover a confiança e o entendimento na utilização de tecnologias de IA.
Durante a consulta da PDPC, dois conjuntos fundamentais de princípios surgiram:
(i) Decisões feitas por ou com assistência de IA devem ser explicáveis,
transparentes e justas para que os indivíduos afectados tenham confiança e
segurança nestas decisões.
Explicáveis: Como é que as decisões algorítmicas e automatizadas e os
dados que levam a tais decisões ser explicados a utilizadores finais e a outras
partes interessadas em formas não técnicas? As características que apoiam a
explicabilidade poderiam possivelmente entrar na própria concepção dos
sistemas inteligentes que aplicam motores de IA ou nos motores de IA em si.
Se o funcionamento do motor da IA não puder ser facilmente explicado,
poderá uma possibilidade de verificar a decisão algorítmica e automatizada
ser igualmente eficaz?
Transparentes: Os exploradores de IA, os cientistas de dados, os
construtores de aplicações e as empresas utilizadoras devem ser responsáveis
pelos algoritmos, sistemas e aplicações de IA e as decisões resultantes
respectivamente, de modo a criar confiança em todo o ecossistema de IA.
Quais são as medidas e os processos que as partes interessadas nas diferentes
partes da cadeia de valor podem ser tomados, de modo a serem capazes de
informar os consumidores ou clientes em relação a como e quando a
tecnologia de IA é aplicada nas decisões que os afectam?
Justas: Os algoritmos e modelos de IA introduzidos nos sistemas de tomada
de decisão devem incorporar a justiça na sua essência. Isto pode incluir o
treino de conjunto de dados, o motor de IA e a selecção do(s) modelo(s) para
aplicação no sistema inteligente. Que práticas irão evitar a discriminação não
intencional em decisões algorítmicas automatizadas? Exemplos incluem
acompanhar as decisões para detectar discriminação não intencional e ter em
consideração a causa para o como foram tomadas.
(ii) Sistema de IA , robots e decisões tomadas utilizando IA devem ser centrados
no ser humano. O design centrado no ser humano refere-se à abordagem ao
design que coloca o cliente individual ou a parte dos consumidores no centro do
design da aplicação de IA. As organizações que sejam percebidas que causaram
danos a consumidores como resultado da sua aplicação de IA não inspiram a
confiança e a segurança dos consumidores. A beneficência ou “não fazer o mal”
é um princípio que pode incorporar o seguinte:
As decisões devem lutar por conferir um benefício para os indivíduos ou lhes
fornecer assistência na realização de uma tarefa;
As decisões não devem causar danos2 previsíveis a um indivíduo, ou devem
pelo menos minimizar o dano (em circunstâncias necessárias, quando se
compare com o bem maior);3
Benefícios tangíveis para indivíduos devem ser identificados e comunicados
por forma a construir o entendimento e a confiança dos consumidores; e
Os sistemas de IA e robots devem ser concebidos para evitar causar danos
corporais ou afectar a segurança de indivíduos.
Exemplificações
Automatizar a decisão para aprovar uma candidatura em relação a um seguro
de viagem para promover consistência, tendo em conta as diferenças
genuínas nas circunstâncias individuais.
Programar o fabrico assistido por robot de tal forma que o braço do robot não
ultrapasse um parâmetro de segurança específico ou se suspense quando
alguém entrar na sua zona de operação.
Incluir limites de segurança desde a concepção na operação de veículos
autónomos (ex. limites de velocidade, limites de segurança entre veículos
para evitar colisões). Ainda que as colisões sejam inevitáveis, devem ser
incluídos parâmetros para evitar ou minimizar os danos a seres humanos.
3. EXPLORAÇ Ã O DE UM MODELO PROPOSTO DE GOVERNANÇ A DE
IA
Com base na Cadeia de Valor da IA (Fig. 1) e os princípios supramencionados,
este documento propõe um modelo de governança de IA para encorajar a discussão
sobre como os dois conjuntos de princípios podem ser adoptados pelas diferentes
partes interessadas. O modelo proposto é aplicável em geral a todos os sectores e
fornece opções que podem ser adoptadas (na totalidade ou em parte) pelas
organizações, dependendo das suas necessidades e objectivos.
Premissas e Limites do Modelo Proposto
Quando se explorou o modelo proposto, as seguintes premissas e limites foram
identificados:
Premissas
Tecnologicamente neutro: O modelo
proposto foca-se na concepção,
Limites
Responsabilidade legal: O modelo
proposto não tenciona abordar ou
2 “Danos” neste caso inclui dano físico, psicológico, emocional e económico.
3 Adaptado dos Princípios Humanitários da UNICEF.
aplicação e uso da tecnologia em
contextos que afectem indivíduos sem
ser específico à tecnologia IA.
Agnóstico relativamente ao sector:
O modelo proposto deve ser aplicável
a todos os sectores como o padrão
base. Isto não exclui sectores
específicos e organizações de
incorporar padrões adicionais acima
da linha base definida no modelo
proposto.
resolver questões específicas sobre
a responsabilidade legal ou a
distribuição dos danos ou a
restituição. Porém, algumas partes
das práticas recomendadas neste
modelo têm a possibilidade de
assistir na gestão de disputas e
assegurar a disponibilidade de
provas que sejam necessárias para
resolver tais questões.
4. MODELO DE GOVERNANÇ A PROPOSTO COM QUATRO FASES
(A) Identificação dos objectivos de um modelo de governança de IA
Esta secção define vários objectivos para o modelo proposto.
Objectivos propostos:
Explicabilidade e Verificabilidade. Uma organização que aplique IA no seu
processo de tomada de decisões deve ser capaz de explicar como o seu motor de
IA funciona. Porém, onde não seja possível para certos tipos de motores de IA
(ex. redes neurais), a organização deve ser no mínimo capaz de verificar que o
motor de IA está a funcionar de acordo com as expectativas e dentro dos
parâmetros técnicos e éticos definidos. Isto iria fornecer uma garantia de que o
processo de tomada de decisão é supervisionado e não demasiadamente
dependente da IA para sugerir decisões ou até simplesmente delegado a um
conjunto de código de software.
Para conseguir IA “explicável”, é necessário considerar os papeis das diferentes
partes interessadas na cadeia de valor da IA, por exemplo:
O requerimento de explicabilidade pode ser satisfeito por exploradores de
IA na concepção de motores ou soluções de IA. Isto irá permitir-lhes estar numa
posição melhor para explicar a empresas utilizadoras como as suas soluções de IA
funcionam.
Empresas utilizadoras que não sejam capazes de explicar como o motor IA
funciona podem conceber para a verificabilidade4 do processo de tomada de
4 Os métodos de verificação para aplicação de IA podem ter como referência métodos de verificação
e validação tradicional de software. Estes incluem testes, monitorização do tempo de execução,
análise estática, verificação de modelos e prova de teoremas, e podem ser modificados para o
contexto de IA. A supervisão humana é um componente nuclear deste tipo de processos de
decisão a partir das fases de planeamento. Isto irá permitir-lhes assegurar que os
pontos de dados necessários para a monitorização são tidos em conta.
Boas Práticas de Responsabilização de Dados. As organizações devem por em
prática as boas práticas de responsabilização de dados. Estas incluem:
Entendimento da linhagem dos dados. Isto significa saber de onde os
dados vieram originalmente, como foram recolhidos, organizados e movidos
dentro da organização, e como a sua precisão é mantida ao longo dos tempos.
Minimização do risco de viés. A veracidade ou a qualidade dos dados
refere-se ao risco de viés que pode ser inerente ou latente num conjunto de dados.
As organizações devem adoptar práticas que lhes permitam detectar vieses que
possam existir nos seus dados para que estas possam realizar passos para os
abordar.
Manutenção do registo da origem dos dados. Esta prática é importante
para estabelecer uma linhagem dos dados em geral, mas os registos separados de
origem também podem ser mantidos para registar os dados que foram usados no
modelo do processo de aplicação da IA e também da cadeia de valor da IA na sua
totalidade5.
Em suma, as boas práticas de responsabilização de dados fornecem uma garantia
aos consumidores que as decisões downstream ou as sugestões fornecidas por
sistemas inteligentes não são falsas (resultado em erros de tipo I e/ou de tipo II6) e
não incorrem no risco de discriminação não intencional. Também é importante
para as empresas utilizadoras distinguirem entre responsabilização de dados, a
qual pretende assegurar a integralidade e a abrangência nas fases de preparação de
dados e criação de modelos, e a responsabilidade das organizações em evitar
decisões discriminatórias, injustas, ou à margem da lei.
Transparência. A comunicação aberta e transparente entre as partes interessadas
na cadeia de valor da IA será condutiva à construção de confiança na totalidade do
ecossistema de IA. Exemplos de como este princípio pode ser implementado
incluem:
O fornecimento de informação pelas diferentes partes interessadas deve ter
um propósito claro, personalizado para as necessidades e interesses do receptor e
não deve ser inadequado; e
verificação. Extraído de Menzies, T. e Pecheur, C. (2005) “Verification and Validation and Artificial
Intelligence”, Advances in Computers, 65, 153 – 201. 5 A manutenção de registos de origem dos dados utilizados para construir modelos para os dados de
entrada do utilizador final da IA, pode oferecer uma forma de determinar a qualidade dos dados
utilizados e rastrear possíveis fontes de erros. 6 Na análise estatística, erros de tipo I referem-se a falsos positivos e erros de tipo II referem-se a falsos
negativos.
As partes interessadas são encorajadas a explorar e usar uma variedade de
canais de comunicação por forma a assegurar uma comunicação eficaz e clara
com clientes e consumidores.
(B) Selecção de medidas de governança organizacional adequadas
Esta secção identifica práticas com base na responsabilização que podem ajudar
as organizações a prestar contas a um regulador, a indivíduos afectados ou partes
interessadas sobre como as decisões são tomadas. Nem todos os elementos desta
secção são relevantes em todos os casos: podem ser seleccionadas e personalizadas as
opções segundo o motor de IA adoptado (ex. baseado em regras, Machine Learning),
o sector em que a organização opera, o tipo de decisões e o grau de automação (ex.
humano-dentro-do-circuito ou humano-fora-do-circuito), etc.
Governança
A. Governança interna. Quando os sistemas de IA são
utilizados para tomada de decisão, as organizações devem
considerar como os seus actuais mecanismos de governança
ou supervisão corporativa podem ser adaptados ou criar
novos. Por exemplo:
Assegurar que os departamentos que desenvolvem
actividades de IA estão cientes das suas
responsabilidades;
Introduzir mecanismos de supervisão para acções ou
decisões dentro da esfera de responsabilidades do
departamento responsável, ex. rever excepções
identificadas pelo processo de tomada de decisão
automatizado, assegurar a verificabilidade de decisões
automatizadas ou rever decisões em processos que não
têm elementos com supervisão humana.
Estabelecer sistemas de monitorização ou comunicação
para assegurar que a informação flui até ao nível correcto
dentro da hierarquia de governança empresarial; e
Rever periodicamente a governança empresarial ou os
mecanismos de supervisão departamental, especialmente
quando há mudanças significativas na estrutura
organizacional ou no pessoal fundamental envolvido na
governança ou nos mecanismos de supervisão, para
assegurar a sua relevância.
B. Mitigação de risco e/ou danos. Ao aplicar sistemas
inteligentes a utilizações no mundo real, é importante
identificar riscos e danos potenciais que podem
previsivelmente surgir em casos de uso expectáveis. Uma
avaliação de risco e impacto é uma ferramenta que pode
ajudar à identificação de risco e redução de dano, como o
seguinte:
Ao seleccionar modelos candidatos para aplicações de
IA, as avaliações de risco e impacto podem ajudar à
identificação e compreensão das implicações esperadas e
de pior cenário, e informar a construção de processos de
mitigação;
Considerações éticas também devem ser incorporadas
nas avaliações gerais de risco e impacto; e
Documentar as avaliações de risco e impacto pode ser
útil, ex. para produzir trilhos de auditoria para
responsabilização interna (ou externa).
C. Revisões Ad hoc e periódicas de aplicações e decisões de
IA. Após a aplicação inicial, as organizações devem
considerar uma revisão periódica das suas decisões e
processos para estarem satisfeitos com o facto da confiança
em sistemas IA para o processo de tomada de decisão
permanecer relevante e apropriado. Além de revisões
periódicas, os accionadores específicos também devem ser
definidos, ex. quando existem mudanças significativas aos
sistemas inteligentes ou aos modelos aplicados.
Gestão de
operações e
concepção des
istemas
D. Responsabilização de dados. Os modelos de IA aplicados
em sistemas inteligentes que fazem ou assistem na tomada de
decisões algorítmicas devem operar-se com informação
precisa. A precisão da informação é afectada por:
A integralidade dos dados necessária;
Quão recentemente os dados foram recolhidos e
actualizados;
Se os dados estão estruturados num formato perceptível
à máquina; e
A fonte dos dados, pelo que o contexto para a recolha
inicial pode afectar a interpretação e a confiança dos
dados para um objectivo secundário.
As organizações devem considerar gerar registos ou
documentar processos para mitigar potenciais problemas com
responsibilização de dados, incluindo:
Manter um registo da origem dos dados ou trilho de
auditoria dos dados que foram usados na criação do
modelo ou processo de decisão, o que pode ajudar a
descobrir quaisquer limites inerentes ou erros;
Os exploradores de IA podem considerar atribuir uma
pontuação de veracidade7 aos conjuntos de dados de
treino durante a criação de modelos que podem ser úteis
durante a selecção de modelos para minimizar o risco de
viés; e
Empresas utilizadoras podem considerar atribuir
pontuações secundárias de veracidade para dados (ou
entradas) operacionais, o que pode ser útil quando usado
como informação de feedback durante a afinação do
modelo.
E. Repetibilidade. Um sistema inteligente que é capaz de
realizar uma acção ou tomar uma decisão de forma
consistente dentro do mesmo cenário irá promover a
confiança dos consumidores. As práticas que podem ajudar
incluem:
Avaliações de repetibilidade para aplicações comerciais
em ambientes ao vivo;
Quando uma decisão não for repetível, uma consideração
possível de concepção é como as excepções devem ser
identificadas e tratadas; e
Medidas também podem ser postas no lugar para
identificar e contabilizar mudanças ao longo dos
tempos, especialmente se modelos forem treinados em
dados sensíveis a tempo ou concebidos para evoluir.
F. Rastreabilidade relaciona-se com como o modelo de IA
toma decisões ou faz sugestões. As práticas que promovem a
rastreabilidade incluem:
Construir um rasto de auditoria para registar o processo
7 Na ciência de dados, a veracidade dos dados refere-se à precisão ou à falsidade dos dados. Uma
pontuação de veracidade dos dados refere-se à atribuição de uma pontuação que tenha em conta os
elementos que podem afectar a precisão dos dados, ex. inconsistências, contradições, ou a
“obsolescência” dos dados.
de tomada de decisão;
Implementar uma caixa preta que capture todas as fontes
de entrada de dados. Os dados relevantes à
rastreabilidade devem ser gravados de forma apropriada
para assegurar que não existe degradação ou alteração,
para durações de retenção relevantes à indústria; e
Acesso a e/ou auditorias do algoritmo IA, para
avaliação de risco organizacional. Independentemente de
se as auditorias do algoritmo devem ser universalmente
praticadas, se forem bem executadas, estas podem
fomentar a confiança dos consumidores. Ao considerar
auditorias do algoritmo, os seguintes factores são
relevantes:
o Conhecimento necessário para compreender
eficazmente o algoritmo, as regras ou os modelos;
o Considerações de confidencialidade comercial do
fornecedor de tecnologia de IA, incluindo medidas de
mitigação; e
o A utilidade desta informação para ajudar a fornecer
um relatório aos reguladores, indivíduos afectados
e/ou partes interessadas.
G. Afinação de modelos de IA. A selecção de modelo(s) para
eventual aplicação no sistema inteligente deve ser uma
decisão ponderada e o processo e as razões para esta escolha
devem ser documentadas. Além disso, os modelos precisam
de ser actualizados periodicamente. As considerações
relevantes incluem:
Adoptar processos de governança interna e afinar os
modelos de IA periodicamente para ter em conta
mudanças aos dados e/ou modelos ao longo dos tempos;
Realizar monitorização e afinação activa e onde os
sistemas IA se desenvolveram num ambiente
comparativamente estático8 mostrar a instabilidade dos
modelos quando aplicados em ambientes dinâmicos.9
8 Stoica, I. et al. (2017) A Berkeley View of Systems Challenges for AI. e Mishra, N. et al. (2018)
Controlling AI Engines in Dynamic Environments. 9 Estes são ambientes que se alteram rapidamente, com frequência e de formas não replicáveis.
(C) Consider processo de gestão da relação com os consumidores
O terceiro passo no modelo de governança de IA é a gestão de comunicações com
os indivíduos afectados e fornecer medidas de recurso, as quais são importantes para
construir a confiança e segurança dos consumidores. As seguintes medidas podem ser
adoptadas em processos de gestão dos consumidores existentes. Dependendo da
natureza da aplicação da IA, as organizações podem seleccionar medidas que melhor
podem encaixar nas suas necessidades. Estas medidas incluem:
Transparência
A. Política de divulgação. As organizações devem considerar
divulgar o uso de IA no processo de tomada de decisão (quer
totalmente automatizado quer para assistir no processo de
decisão), incluindo como esta divulgação deve ser feita.
O aumento da transparência contribuiria para construir a
confiança e a aceitação dos consumidores, ao aumentar o nível
de conhecimento e a confiança na relação do cliente. As
organizações também devem considerar levar a cabo avaliações
éticas e disponibilizar resumos significativos destas avaliações
aos seus clientes.
B. Política de explicação. As organizações devem considerar
explicar como a IA é aplicada no processo de decisão, e/ou
como uma decisão específica é feita, incluindo as razões da
decisão onde seja adequado ou possível.
As explicações podem assumir a forma de informação ex ante
disponibilizada como parte da comunicação geral da
organização, ou de informações específicas fornecidas pela
organização no que respeita à decisão que afecta o indivíduo
que faz o pedido. No contexto das decisões feitas, utilizando
informação de perfis, pode ser dado ao individuo afectado
informação sobre como os seus dados pessoais são associados a
perfis de focalização em utilizadores.
Interacção
C. Avaliação heurística. Isto assegura que os problemas de
usabilidade são abordados e que as interfaces do utilizador são
testadas, para que a camada da interface do utilizador sirva o
seu objectivo. As expectativas dos consumidores serão uma
área relevante para abordar para preservar a experiência dos
consumidores. Por exemplo, com a crescente utilização de
bots de chat, as organizações devem considerar se os
consumidores devem ser informados quando interagem com
bots de chat em vez de um agente humano.
D. Opção de opt out. No cenário de aplicação totalmente
automatizada, uma organização que forneça uma opção de opt
out pode levar a uma diminuição na eficiência operacional,
pode não ser tecnicamente exequível, ou levar a que um
processo se torne comercialmente não-competitivo. Apesar
disso, fornecer essa opção pode revelar-se benéfico, em
particular se construir confiança dos consumidores, por
exemplo em aplicações que possam ter impacto significativo
no individuo e risco para a organização. Assim, as
organizações devem considerar fornecer uma opção de opt
out.
Comunicação
E. Canal de feedback. As organizações devem considerar
fornecer um canal (ex. endereço de email) para que indivíduos
afectados possam apresentar feedback ou levantar questões
que tenham para a organização abordar. Em particular, onde
os clientes encontrem imprecisões nos dados, um canal que
permita aos clientes aceder e corrigir os próprios dados será
útil para manter a veracidade dos mesmos.
F. Revisão da decisão. As organizações devem considerar
fornecer o individuo afectado com um meio para pedir a
revisão da decisão que afecta o mesmo. As considerações
relevantes incluem o grau de automação e a extensão à qual a
IA é aplicada no processo de decisão, bem como o impacto ao
individuo. Em casos onde uma decisão totalmente
automatizada for tomada, pode ser razoável fornecer um meio
ao indivíduo afectado para que o mesmo peça uma revisão da
decisão.
(D) Construi um modelo de tomada de decisão e avaliação de risco
O passo final é incluir considerações de tomada de decisão e de avaliação de risco
no modelo. O risco e a gravidade do dano aos consumidores são factores que afectam
qual abordagem de tomada de decisão deve ser adoptada, e por sua vez como as
organizações calibram a governança e os processos de gestão dos consumidores. As
seguintes abordagens de tomada de decisão podem ajudar os negócios a determinar o
método apropriado de aplicação da IA, maximizando os benefícios enquanto
minimizam os riscos de dano:10
10
Adaptado de Citron, D. K. e Pasquale, F. A. (2014) “The Scored Society: Due Process for Automated
Predictions”, Washington Law Review, 89
Fig. 3
Para determinar uma abordagem apropriada de tomada de decisão, as
organizações podem considerar recurso à matriz de decisão proposta (ver a Fig. 4
abaixo), a qual tem em conta a probabilidade e a gravidade do dano a consumidores.
Modelos de Humano-sobre-o-circuito envolvem um decisor humano que toma uma opção, mas se baseia nos sistemas inteligentes para sugerir opções e como realizar a acção. Por exemplo, um individuo especifica o seu destino num sistema de navegação, o qual faz sugestões de uma ou mais rotas de navegação.
A identificação e tratamento de excepções serão importantes. Por exemplo, um robot de limpeza autónomo pode ser deixado a mapear o melhor percurso para limpar uma localização, excluindo zonas “não-permitidas” as quais os humanos podem pré-definir.
Modelos de Humano-fora-do-circuito tipicamente envolvem processos de tomada de decisão automatizados pelo sistema inteligente baseando-se num conjunto de cenários pré-determinados.
Humano-sobre-
o-circuito
Humano-fora
-do-circuito
.
Humano-
dentro-do-
circuito
Modelos de Humano-dentro-do-circuito envolvem um decisor humano que se baseia no sistema inteligente para sugerir uma ou mais opções possíveis, mas que na última análise toma a decisão final. Por exemplo, um sistema operacional que fornece a um funcionário uma ou mais opções personalizadas para o caso que o próprio está a tratar.
Fig. 4 Ilustração de como usar a matriz de decisão
Para ilustrar como este modelo proposto pode ser utilizado, onde uma organização
avalia que tanto a probabilidade como a gravidade do dano a um cliente são elevadas,
pode decidir que o modelo de “humano-dentro-do-circuito” pode ser a abordagem de
tomada de decisão apropriada.11 De acordo com isto, tendo em conta o risco de dano,
é apropriado para a organização decidir implementar processos de governança
focados na repetibilidade e na rastreabilidade. Além disso, a organização pode decidir
que, dado que a decisão algorítmica não é automatizada, não existe a necessidade de
fornecer demasiada informação sobre os seus processos internos aos seus clientes.
5. PRÓ XIMOS PASSOS
Este documento de discussão pretende promover uma discussão saudável sobre a
promoção do desenvolvimento responsável e a adopção de soluções de IA e a
mitigação de riscos potenciais e do impacto negativo. A PDPC convida as
11
Porém, enquanto uma organização opte por utilizar um modelo de humano-dentro-do-circuito, isso
não significa que a probabilidade e a gravidade dos danos vão ser necessariamente elevadas.
Probabilidade dos danos G
ravid
ade d
os d
anos
Se a gravidade
for alta e a
probabilidade de
dano for baixa:
Se a gravidade e a
probabilidade de
dano forem altas
Humano-sobre-o-
circuito?
Humano-dentro-
do-circuito?
Se a gravidade
for baixa, e a
probabilidade de
dano baixa
Se a gravidade for
baixa e a
probabilidade de
dano alta
Humano-fora-d
o-circuito?
Humano-sobre-o-
circuito?
organizações a utilizar este documento para discussão interna. As organizações têm a
liberdade de o adaptar para uso interno. Associações de negócios e comerciais, corpos
profissionais e sociedades e ainda grupos de interesse são encorajados a adaptar este
modelo proposto para os seus sectores sob a forma de códigos de conduta voluntários.
6. AGRADECIMENTOS
A PDPC expressa os seus sinceros agradecimentos às seguintes organizações e
indivíduos pelo seu feedback valioso para este documento de discussão: (por ordem
alfabética)
AI Singapore
Attorney-General’s Chambers
Centre for Strategic Futures
Competition and Consumer Commission of Singapore
Government Technology Agency
Infocomm Media Development Authority
Integrated Health Information Systems Pte Ltd
Inter-Agency Project Team on Ethics and Governance of Artificial Intelligence
Land Transport Authority
Ministry of Communications and Information
Ministry of Health
Monetary Authority of Singapore
Smart Nation and Digital Government Office
Adobe Systems, Inc.
Amazon Web Services
AsiaDPO
BSA | The Software Alliance
Cisco Systems, Inc.
Microsoft
Symantec Corporation
Dr. Steven Tucker, Founder, Tucker Medical Pte Ltd and Chief Medical Officer,
CXA Group
FIM DO DOCUMENTO
Copyright 2018 – Comissão da Protecção de Dados Pessoais de Singapura (Personal Data Protection Commission
Singapore, PDPC)
Esta publicação pretende fomentar o desenvolvimento e a adopção responsáveis de Inteligência Artificial. O
conteúdo da mesma não pretende ser uma declaração de uma posição de autoridade legal ou um substituto para
aconselhamento legal ou de outro foro profissional.
O conteúdo desta publicação está protegido por direitos de autor, à marca ou outras formas de direito proprietário e
não pode ser reproduzido, republicado ou transmitido sob qualquer formato ou através de qualquer meio, na
totalidade ou em parte, sem permissão por escrito.