Em artigo, duas especialistas sugerem que as discussões sobre o uso de sistemas automatizados devem ser focadas nos impactos que podem gerar nas pessoas
Um algoritmo pode ser considerado um conjunto de regras capaz de ajudar uma instituição a tomar uma decisão crítica. Mas será que essa explicação é suficiente para descrever esse sistema automatizado?
“Nem sempre”, como escreveram Kristian Lum, professora do Departamento de Ciência da Informação e Computação da Universidade da Pensilvânia (EUA), e Rumman Chowdhury, diretora do time de Ética, Transparência e Responsabilidade da Máquina (META, na sigla em inglês) do Twitter, em um artigo para o MIT Technology Review.
A partir do momento em que formuladores de políticas públicas começam a discutir e desenvolver parâmetros para avaliar e auditar os algoritmos, é preciso “estreitar” o entendimento e interpretação do termo para que modelos com maior impacto não fiquem fora do alcance de políticas que venham a ser criadas como forma de proteção.
Para muita gente, um algoritmo é um “conjunto de regras baseadas objetivamente em dados ou evidências empíricas”. O que, no senso comum, pode ser encarado como algo muito complexo de ser explicado ou acompanhado.
Porém, Lum e Chowdhury tocam em outra questão sobre esse tipo de sistema: muitas vezes ele é usado como meio de desviar a responsabilidade de decisões humanas. Ou seja, o impacto gerado na vida de pessoas.
Para ilustrar, as duas especialistas relembraram de um caso de dezembro do ano passado em que a máquina acabou levando a culpa pelo erro. Em meio à distribuição das vacinas de COVID-19 nos Estados Unidos, o Stanford Medical Center, o hospital da Universidade de Stanford, favoreceu executivos de alto escalão e não os médicos da linha de frente entre aqueles com prioridade para receber o imunizante.
De quem foi a culpa? À época, a instituição comentou ter consultado especialistas em ética para projetar um “algoritmo muito complexo”, mas que “claramente não funcionava direito”.
Embora tenha-se tentado envolver a Inteligência Artificial ou Machine Learning na responsabilidade pelo erro, no caso, o sistema funcionava de uma maneira diferente: parecia uma árvore de decisão projetada por um comitê humano (saiba mais dessa história aqui).
Então um algoritmo pode não ser um algoritmo?
A resposta mais rápida para esta pergunta é “quase isso”. Por exemplo, uma árvore de decisão é uma ferramenta de suporte à decisão semelhante a uma árvore, trazendo seus possíveis resultados e probabilidades de uma determinada questão.
O problema, levantou o artigo das especialistas, é que o algoritmo do centro médico de Stanford foi desenvolvido única e exclusivamente por inteligência humana. Foram os especialistas consultados pelo hospital que decidiram criar as regras que acabaram levando o sistema a não priorizar os médicos. Provavelmente, elas explicam, os humanos determinaram o que o sistema deveria usar (idade e departamento do funcionário, por exemplo), para formar “a fila” pela vacinação. “Era um conjunto de decisões normativas sobre como as vacinas deveriam ser priorizadas, formalizadas na linguagem de um algoritmo”, dizem as especialistas.
Segundo a dupla, o sistema de Stanford é considerado um algoritmo na terminologia médica e se encaixa de uma definição ampla e comumente usada, cuja autoria é do cientista da computação Harold Stone, em 1971:
“Um algoritmo é um conjunto de regras que definem com precisão uma sequência de operações”.
Por dentro de um algoritmo
Geralmente, quando você ouve falar sobre algoritmo ponde pensar que se trata de um conjunto de instruções que um computador vai executar para aprender com os dados que foram inseridos nesse conjunto.
Essa é uma concepção bastante comum em estatística e Machine Learning. Nesses campos de conhecimento, o resultado desse aprendizado é chamado de modelo.
O impacto do algoritmo, escrevem as especialistas, depende dos dados utilizados e do contexto em que o modelo é implantando. “O mesmo algoritmo pode ter um impacto positivo quando aplicado em um contexto e um efeito diferente quando aplicado em outro”, afirmam Lum e Chowdhury.
O que a estatística e Machine Learning chamam de modelo, ou seja, as regras que definem uma sequência de operações, pode ser entendido como algoritmo em outros áreas. Para exemplificar, as especialistas resgataram um outro evento do ano passado, desta vez no Reino Unido. Lá, a mídia responsabilizou um algoritmo pela falha na tarefa de atribuir pontuações consideradas justas a alunos que não realizaram os exames por conta da COVID-19.
O que Lum e Chowdhury dizem é que a discussão promovida por uma reportagem do The Guardian era sobre como o modelo (e não o algoritmo) foi usado – em que o conjunto de instruções traduzia os inputs (desempenho anterior de um aluno ou a avaliação do professor) em outputs (uma nota).
Talvez essa seja a explicação mais ampla do que é um algoritmo: modelos baseados em regras, em que o algoritmo vai treinar uma máquina em vez dela ser ensinada diretamente por um humano.
É preciso pensar no impacto da tecnologia
Ainda que seja preciso definir um conceito “menos amplo”, as especialistas defendem a necessidade de avaliar o impacto de sistemas automatizados.
“O que importa é o potencial de dano, independentemente de estarmos discutindo uma fórmula algébrica ou uma rede neural profunda”, escreveram no artigo da MIT.
A grande questão levantada por Lum e Chowdhury é que, apesar de qualquer definição do que é um algoritmo, a tecnologia não deve ser um escudo para defender pessoas que a projetaram e a desenvolveram sem consciência de responsabilidade e uso.
É por isso que um esforço entre organizações e sociedade exige cada vez mais responsabilidade algorítmica — e o conceito de impacto oferece um terreno comum útil para diferentes grupos que trabalham para atender a essa demanda.
Principais destaques desta matéria
- Conceito de algoritmo é vasto e pode ser entendido de várias maneiras, dependendo de quem o utiliza (e como).
- A definição mais comum é a de um conjunto de regras que vão ajudar na tomada de decisão.
- Entender os impactos que um algoritmo pode causar possibilita um uso mais sustentável da tecnologia.
