O que é racismo algorítmico? Pesquisador explica os danos dos algoritmos em novo livro

Sistemas de reconhecimento facial que prendem pessoas negras inocentes, filtros de redes sociais que afinam traços de rostos e clareiam a pele e algoritmos que não reconhecem ou despotencializam pessoas negras em redes sociais. Esses danos algorítmicos em diversas áreas da sociedade são o mote do livro "Racismo Algorítmico: Inteligência Artificial e Redes Digitais", do pesquisador Tarcizio Silva. Os escritos fazem parte da coleção Democracia Digital, organizada pelo Professor Sérgio Amadeu da Silveira, e foram publicados pelo selo Sesc em formato digital.

 

Em entrevista ao Jornal do Commercio, o pesquisador detalha sobre os assuntos abordados no livro, que faz parte da sua pesquisa do doutorado no Programa de Ciências Humanas e Sociais na Universidade Federal do ABC (UFABC). Tarcízio pesquisa sobre racismo algorítmico e imaginários sociotécnicos de resistência. Nesta entrevista, ele comenta sobre mediação de discursos racistas nas redes sociais, o racismo na fotografia e encarceramento, entre outros tópicos que são afetados pelos danos tecnológicos.

Confira a entrevista:

JC - Tarcízio, como você mesmo levanta a questão no livro, sempre nos foi passado que a tecnologia era neutra. A partir de que momento/pesquisa, você passou a se interessar pelos impactos negativos que os algoritmos trazem para populações não-brancas?

A principal motivação é colaborar com o preenchimento de algumas lacunas de problemas de pesquisa, dados e conhecimento sobre a relação entre raça, racismo e tecnologias digitais. Na academia e no ativismo, inúmeras pessoas negras e antirracistas têm lutado há muito tempo contra impactos racializados da tecnologia, mas a maioria dos espaços hegemônicos da academia e nas instituições que definem de políticas públicas a relação entre racismo e tecnologias digitais sempre foi negada ou invisibilizada. Porém, cada vez mais especialistas buscam enfrentar o desafio de criar redes de colaboração, recursos e ferramentas para acolher mais pesquisadores no campo.

JC - As últimas eleições foram pautadas sobre fake news e a desinformação por redes sociais, muitas vezes permitidas pelas próprias plataformas. Com os discursos racistas, inclusive com o crescimento de grupos nazistas em fóruns digitais, não foi diferente. Qual o papel que essas grandes plataformas têm na disseminação do discurso e organizações racistas?

O discurso instrumentalista sobre tecnologia faz parecer que a neutralidade nas plataformas é algo possível, pois há muita ênfase sobre os feitos técnicos de existirem ambientes online com bilhões de usuários. Algoritmos, pela definição técnica, são sistematizações de procedimentos encadeados de forma lógica para realizar tarefas em um espaço computacional. Mas quando falamos de “algoritmização” da sociedade, trata-se de muito mais do que simplesmente a profusão de algoritmos e inteligência artificial para ordenação e classificação de coisas e pessoas.

Este modo algorítmico nos ambientes digitais privados como as plataformas de publicidade (Facebook, YouTube, TikTok, Twitter e afins) permite então ordenação dos conteúdos, feita através de centenas de sistemas algorítmicos organizados, ao fim e ao cabo, para otimizar métricas automatizadas de venda de anúncios e geração de dados. Quando a moderação de conteúdo racista ou extremista não é feita como deveria, e as plataformas fogem da responsabilidade, a comoção da violência discursiva, enunciados racistas inclusos, se torna padrão para usuários e para algoritmos que aprendem a sua replicação. Plataformas literalmente ganham dinheiro com o ódio, mas diminuiriam suas margens de lucro com governança de algoritmos e moderação baseada em direitos humanos.

JC - Recentemente, tivemos algumas discussões nas redes sociais sobre o embranquecimento que alguns filtros/câmeras trazem para o rosto de pessoas racializadas. Nesse sentido, podemos pensar que esses conceitos são padrões reprodutivos de tecnologias anteriores?

Sim, a ideia de tecnologias, objetos e serviços universais no Ocidente sempre teve a branquitude como padrão buscado e desejável, excluindo possibilidades de diversidade. Ao longo do livro trago exemplos de artefatos e tecnologias “pré digitais” como fotografia, espirômetro ou a classificação decimal universal do conhecimento para mostrar como as potencialidades de usos de tecnologias e objetos são situadas e reproduzem as próprias condições que as formataram. Práticas de calibragem para fotografia que privilegiavam modelos brancas, por exemplo, fazem parte de opressões raciais estéticas que retroalimentam as próprias ficções de padrões de beleza que, por sua vez, influenciam a demanda por instrumentos de registro e tendências de estilo.

No campo das visualidades, por exemplo, algumas grandes bases de dados de imagens foram construídas para permitir avanços técnicos no campo. Um exemplo foi a ImageNet, que buscava resumir o mundo visual em algumas milhares de categorias, com milhões de fotografias extraídas da web. Porém, estas imagens foram extraídas sem consentimento das pessoas e reproduziram categorias e estéticas centradas em um punhado de países, sobretudo Estados Unidos e Reino Unido. Na prática, isto significou a automatização e aumento da concentração de referências dos países que já dominavam a indústria cultural. Tal concentração se reflete em implementações que vão de filtros de selfies ao reconhecimento facial.

JC - A segurança pública também tem um papel importante nesse sentido. Em Pernambuco, por exemplo, 100% das vítimas de violência policial no ano passado foram negras e a maioria das pessoas no cárcere também são negras. Como as tecnologias de reconhecimento facial, que em breve serão aplicadas aqui, tendem a reproduzir e piorar esses padrões nas políticas da segurança?

A adição de mais aparatos policiais e violência estatal não é a solução para problemas sociais, algo que é especialmente agravado quando tratamos de tecnologias baseadas em mecanismos de automatização de decisões com inteligência artificial. Globalmente, moratórias e banimentos do uso de reconhecimento facial no espaço público, em especial pela polícia, estão sendo conquistados por organizações, ativistas, pesquisadores e parlamentares. A campanha em torno da "Carta aberta para banimento global de usos de reconhecimento facial e outros reconhecimentos biométricos remotos que permitam vigilância em massa, discriminatória e enviesada" é mais uma demonstração do consenso no campo de direitos humanos contra a tecnologia. São mais de 175 organizações signatárias de países como Estados Unidos, Reino Unido, Alemanha, Quênia, Brasil e Argentina que fortalecem as evoluções legislativas em torno do mundo que banem o reconhecimento facial do espaço público.

 

Tecnologias de vigilância desenvolvidas para fins militares e/ou policiais em países do Ocidente e em países como o Brasil fortalecem as desigualdades, castas e apartheids. Aqui, sobretudo, podemos citar o genocídio negro no país. O desenho político e econômico de sociedades como a brasileira promove a aceitação de erros e violências em vários momentos de decisão sobre o uso da tecnologia.

As instituições policiais no país foram organizadas desde seu início para perseguir pessoas negras tanto escravizadas e alforriadas, em prol da expropriação de trabalho, capital, terras e produção para a acumulação de propriedade em um projeto eugenista.

Por fim, mesmo em países onde a letalidade policial é centenas de vezes menor do que a do Brasil, a inclusão de tecnologias apenas aparentemente objetivas no processo de vigilância promove excessos dos policiais. Em etnografia realizada na implementação do sistema de reconhecimento facial em Londres, pesquisadores observaram que policiais desrespeitavam os protocolos construídos para decidir se a abordagem seria realizada ou não. Segundo o estudo, era comum “oficiais de rua não esperarem pelo processo de decisão na sala de controle – um claro exemplo de presunção em favor da intervenção”, reforçando o perigo da relação violenta de tais tecnologias com a cultura policial, independente da precisão ou imprecisão da análise de reconhecimento.

JC - Quem faz a tecnologia são os brancos. Quando analisamos os profissionais da área, vimos que a maioria também é branca. Proporcionar mais pessoas racializadas na tecnologia seria uma das saídas para resolver o "racismo algorítmico"?

O problema é estrutural, pois o impacto das empresas de big tech e startups de inteligência artificial está ligado a seus modelos de negócio, a quais grupos beneficia, restringe ou explora. Aplicativos de entrega, por exemplo, que se tornam bilionários ao explorar de forma distribuída milhões de profissionais precarizados, tem seus modelos de negócio baseados na existência das desigualdades e extração desproporcional de valor de trabalho dos entregadores. Desenvolvedores e auditores mais diversos internos podem remediar alguns elementos discriminatórios na superfície, mas o próprio modelo de negócio promove as desigualdades na sociedade.

Quando a diversidade está apenas na ponta operacional do processo, mudanças estruturais não acontecem. Se a inteligência artificial é vista como sinônimo de substituição de vagas de emprego, classificação acrítica de grupos, concentração de valor em grandes corporações, sistemas fechados e aceite da inexplicabilidade, não há programas de diversidade no chão de fábrica que resolvam.

JC - E quando falamos em profissionais de tecnologia, também pensamos em quem está estudando esses algoritmos, como você e Nina da Hora, que são exemplos que acompanho nas redes sociais. No Brasil, no momento, passamos por cortes em grandes incentivadoras da ciência como a Capes e o CNPQ. O quão isso impacta também nos estudos da área de sua atuação?

O relativo descaso com ciências humanas, sociais e interdisciplinares é uma constante no Brasil desde sempre, com piora nos últimos anos. Tal problema se relaciona com um conceito que elaboro no livro, chamado de "dupla opacidade". É o modo pelo qual grupos hegemônicos buscam tanto apresentar a ideia de “neutralidade” na tecnologia quanto dissipar o debate sobre racismo e supremacia branca no ocidente. Estudar, debater e agir sobre as relações entre tecnologia e raça, portanto, torna-se duplamente desafiador em sociedades pautadas pelo racismo estrutural como o Brasil.

Associado a isto, até recentemente as tecnologias digitais pareciam algo afastado das urgências dos negros em um país como o Brasil: a fome, o desemprego e a violência estatal não pareciam problemas ligados à web ou internet. Com a tentativa de digitalização de quase tudo, a figura mudou e há muitas lacunas a preencher, sobretudo considerando que pesquisadores e intelectuais negras no país recebem menos apoio.

Por fim, o Brasil é apenas consumidor de grande parte das tecnologias e infraestruturas digitais que usamos no dia a dia. Sem o controle social da tecnologia soberano como acontece nos EUA ou China, as reações de brasileiros a problemas provenientes de corporações globais enfrentam ainda mais barreiras. Estudar impactos das tecnologias e direcionar a tecnociência a usos e apropriações positivas é uma tarefa multisetorial que deve ser capitaneada pela sociedade civil organizada através do estado e organizações públicas, incluindo as técnico-científicas.

Nota da Capes

Em nota enviada à reportagem, a Capes afirma que "Na verdade, o orçamento inicial de 2022 da CAPES é maior do que o de 2021. Subiu para R$ 3,8 bilhões contra R$ 3,01 bilhões no ano passado, um aumento de 27%. A outra diz respeito ao “relativo descaso com as ciências humanas”. O fato é que a CAPES tem ampliado seus investimentos da área de humanidades. O número de bolsas de mestrado e doutorado concedidas pela CAPES por meio de programas institucionais cresceu 5% no geral, e 11% nas Humanidades, passando de 24,3 mil para 27 mil benefícios. A CAPES entende que a Ciência é única e que não há motivo para discriminar uma área em relação à outra, sendo que a própria presidente da Fundação é originária das Humanidades, com formação em Direito".