A Linha do Tempo do Racismo Algorítmico, apresentada no Blog do Tarcízio Silva, disponível no link, é um dos melhores projetos que estuda as cadeias produtivas da plataformização digital e processos de racialização nas interfaces, bases de dados, algoritmos e inteligência artificial. Os casos, reportagens e reações ao racismo algorítmico podem ser visualizados abaixo e são fontes para artigos e livros, como Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais:
1 - CÂMERAS DA NIKON NÃO ENTENDEM ROSTOS ASIÁTICOS
Recurso para evitar selfies com olhos fechados se confunde com olhos de asiáticos
2 - DISCRIMINAÇÃO EM ENTREGA DE ANÚNCIOS
Pesquisa de Latanya Sweeney identificou que anunciantes no Google conseguem direcionar mensagens a partir de nomes típicos de grupos raciais estadunidenses.
3 - BUSCA POR "GAROTAS NEGRAS" RESULTA EM CONTEÚDO PORNOGRÁFICO
Busca por "garotas negras" resulta em conteúdo pornográfico Trabalho de Safiya U. Noble reflete sobre hiper-visibilidade de associação do olhar pornográfico sobre garotas negras e latinas como um meio de torná-las ao mesmo tempo "invisíveis" em suas humandiades e complexidades.
4 - HOSTS BRANCOS COBRAM MAIS POR LOCAIS EQUIVALENTES NO AIRBNB
Estudo identificou uma disparidade de 12% em valores que anfitriões brancos e não-brancos conseguem na plataforma
5 - FACEBOOK ESCONDE MANIFESTAÇÕES CONTRA VIOLÊNCIA POLICIAL
Nos trending topics do Twitter e de outras mídias sociais, os protestos contra a violência policial racista nos EUA foram invisibilizados na plataforma
6 - GOOGLEPHOTOS TAGGEOU PESSOAS NEGRAS COMO "GORILAS"
Desenvolvedor Jacky Alciné denuncia que visão computacional do GooglePhotos marcou pessoas negras como "gorilas", como reportado no The Guardian
7 - HATBOT DA MICROSOFT TORNA-SE RACISTA EM MENOS DE UM DIA
A chatbot Tay, que constrói discurso a partir de aprendizado de máquina, virou racista e xenófoba em menos de um dia, mostrando falta de compreensão da sociedade pelos engenheiros da empresa.
8 - STARTUP ISRAELENSE ALEGA IDENTIFICAR TRAÇOS FACIAIS DE TERRORISTAS
Faception alega identificar características faciais de terroristas e pedófilos.
9 - SOFTWARE DE ANÁLISE DE REINCIDÊNCIA PREJUDICA RÉUS NEGROS E FAVORECE RÉUS BRANCOS
Projeto da Propublica analisou o software COMPAS e denuncia como "errou" ajudando réus brancos e prejudicando réus negros
10 - SISTEMA DE ANÚNCIOS DO FACEBOOK PERMITE EXCLUIR NEGROS E LATINOS, PRÁTICA ILEGAL
ProPublica denuncia que sistema de anúncios do Facebook permite excluir por raças (negros, latinos, asiáticos) nos Estados Unidos em categorias como habitação, o que é proibido por lei há décadas. Especialmente curioso é que não permite, entretanto, excluir usuários brancos/caucasianos.
Neste sentido, um ponto importante a ser observado é a aplicação de Inteligência Artificial e Machine Learning nos ambientes de análise social, com impacto diretamente relacionado ao compliance ESG (Environment, Social and Governance - Governança Ambiental, Social e Corporativa). Como a base desta tecnologia é diagnosticar padrões lógicos através da análise massiva de dados, bem como de hábitos de consumo, e prover soluções customizadas repetitivas, uma das principais preocupações são os outliers ou a aplicação de vieses condicionados. Os outliers são dados que se diferenciam drasticamente de todos os outros e que foge da normalidade, podendo causar anomalias nos resultados obtidos por meio de algoritmos e sistemas de análise. Os vieses condicionados podem induzir a tecnologia a conclusões abstratas, pouco práticas e preconceituosas, uma vez que o tratamento dos dados é feito de forma genérica, abrangente e repetitiva, deixando de lado dados e preferências específicas ou de minorias, que podem sofrer abusos ou tratamentos inadequados quando estas informações são contabilizadas e aplicadas de forma automatizada e sem filtros. Assim sendo, têm aparecido, cada vez mais, ferramentas que tentam diagnosticar um modelo e identificar se há viés.
Atualmente, a questão do viés é uma preocupação para quase todos os profissionais de tecnologia da informação. A recém-divulgada pesquisa Global AI Adoption Index 2021 apontou que 94% dos profissionais de tecnologia da informação relatam que é importante para seus negócios ser capaz de explicar como a Inteligência Artificial chegou a uma determinada decisão, a fim de justificar se houve, ou não, um viés condicionado. Seguindo este mesmo ponto de vista, corre-se o risco de determinados ambientes, tecnológicos (incluindo o Metaverso, por exemplo) ou físicos, não serem inclusivos ou tratarem de forma inadequada um indivíduo, justamente por ele não se adequar aos padrões dos demais usuários, uma vez que ele não se adequou às regras impostas como padrão para aquele determinado ambiente social e algorítmico.
Um relatório recente do grupo de responsabilidade corporativa SumOfUs (https://www.sumofus.org/) mostra que as plataformas de realidade virtual da Meta (responsável pelo Facebook e pelo Instagram), denominadas Horizon Worlds e Horizon Venues, estão repletas de vários dos mesmos problemas que existem nas plataformas de comunicação mais tradicionais. Entre eles, comentários misóginos, homofóbicos e racistas; um sistema de denúncias que fica aquém das necessidades reais dos usuários; falta de combate a infratores; e nenhuma classificação indicativa, o que pode resultar em crianças sendo expostas a conteúdos impróprios ou a ameaças a sua integridade.
Neste sentido, em qualquer projeto que envolva análise de dados, da mesma forma que se estabelece limites, regras e condutas éticas no mundo real, é necessário estabelecer limites de governança ambiental, social e corporativa também no universo digital. Essa governança, também conhecida por ESG (Environment, Social and Governance), estabelece uma série de critérios técnicos e mensuráveis, visando estabelecer compromissos corporativos com a comunidade de acordo com um arcabouço de ações preventivas e corretivas de comportamento ético e moral, consolidando-se em um balanço social que podem envolver as seguintes variáveis:
- Filantropia
- Otimização de Recursos Ambientais (Energia, Água etc.)
- Neutralização e Cancelamento de Emissões Carbono
- Entretenimento
- Cultura
- Segurança
- Inclusão e Diversidade
- Flexibilidade Corporativa
- Capacitação e Treinamento
- Esportes
- Criança e Adolescente
- Defesa do Consumidor
- Privacidade e Segurança de Dados Pessoais
- Integridade, Ética, Conduta e Não Corrupção
- Diretos Humanos
- Pesquisa e Desenvolvimento em Inovação
- Sustentabilidade
- Saúde
Já foram constatados diversos atos de assédio sexual, submissão e coação em ambientes físicos e digitais, bem como crimes de ódio (do inglês hate crime), que são crimes motivados pelo preconceito e cometidos quando o infrator seleciona intencionalmente a sua vítima em função de esta pertencer a um certo grupo. Ou seja, se não forem incluídas formas de proteção e denúncia no ecossistema digital, estes ambientes digitais seguirão parâmetros enviesados, podendo se tornar um território hostil e agressivo, onde pessoas em situação de vulnerabilidade certamente irão sofrer abusos e intimidações.
Deixe seu comentário