["uma determinada regi\u00e3o e textos frequentes em p\u00e1ginas da web em destaque. Alimentar retroativamente estere\u00f3tipos e viol\u00eancia discursiva das maiorias com acesso \u00e0 internet foi uma consequ\u00eancia \u00f3bvia da ferramenta, o que n\u00e3o impediu o buscador de, mesmo sem controle sobre seus impactos, adotar o recurso. Por exemplo: o povo Maori, que vivia h\u00e1 s\u00e9culos em Aotearoa, territ\u00f3rio hoje identificado como Nova Zel\u00e2ndia, \u00e9 hostilizado e discriminado naquele pa\u00eds, inclusive nas manifesta\u00e7\u00f5es online. Representando atualmente 16,5% da popula\u00e7\u00e3o, concentrado no norte do pa\u00eds e com menos acesso \u00e0 internet, tem de lidar com impactos algor\u00edtmicos no buscador. Para um in\u00edcio de busca t\u00e3o simples como \u201cMaori s\u00e3o\u201d, as sugest\u00f5es em destaque incluem \u201cesc\u00f3ria\u201d, \u201cest\u00fapidos\u201d, \u201cn\u00e3o nativos\u201d. Para o in\u00edcio \u201cpor que os Maori s\u00e3o\u201d, sugest\u00f5es como \u201cobesos\u201d, \u201ct\u00e3o pobres\u201d, \u201ct\u00e3o pregui\u00e7osos\u201d ou \u201ct\u00e3o violentos\u201d77. Em nosso continente, os afro-americanos (que representam cerca de 14% da popula\u00e7\u00e3o dos Estados Unidos) passam por problemas similares. As ofensas racistas a partir de interfaces como essas s\u00e3o frequentes e geram uma agress\u00e3o cont\u00ednua aos grupos minorizados alvos da algoritmiza\u00e7\u00e3o de ofensas, o que tem impactos coletivos em diversas esferas, incluindo na sa\u00fade p\u00fablica. Safiya Noble reportou as sugest\u00f5es para frases como \u201cpor que mulheres negras s\u00e3o\u201d com resultados tamb\u00e9m ofensivos: \u201cAs representa\u00e7\u00f5es de mulheres s\u00e3o ranqueadas em um mecanismo de busca, de modo que sublinham a hist\u00f3rica e contempor\u00e2nea falta de status das mulheres na sociedade como uma sobreposi\u00e7\u00e3o da tradi\u00e7\u00e3o de meios antigos ao desenho dos novos meios\u201d78. Se, por um lado, a reprodu\u00e7\u00e3o de estere\u00f3tipos criados e mantidos pelas popula\u00e7\u00f5es hegem\u00f4nicas se transforma em microagress\u00f5es algor\u00edtmicas cont\u00ednuas, ofensivas e nocivas a coletividades, por outro, tamb\u00e9m h\u00e1 incid\u00eancias individuais extremas de promo\u00e7\u00e3o de viol\u00eancia e \u00f3dio racial. O terrorista supremacista Dylann Roof assassinou nove pessoas negras em uma igreja em Charleston, em","2015. J\u00e1 radicalizado pela cultura racista nos Estados Unidos, publicou na internet, antes do ataque, um manifesto com suas ideias perversas e parte de sua trajet\u00f3ria. Uma de suas motiva\u00e7\u00f5es foi uma rea\u00e7\u00e3o ao ativismo contra o assassinato de Trayvon Martin, um adolescente morto pela pol\u00edcia em 2012. Segundo Roof, ele achou in\u00fameras publica\u00e7\u00f5es com dados sobre \u201ccrime de negros contra brancos\u201d nos Estados Unidos, um tipo de factoide comum que distorce estat\u00edsticas de crimes. Ao buscar o termo \u201cblack on\u201d no Google, o recurso de autocompletar oferecia em destaque as sugest\u00f5es \u201cblack on white crime\u201d (crime de negros contra brancos), \u201cblack on white violence\u201d (viol\u00eancia de negros contra brancos) e \u201cblack on white racism\u201d (racismo de negros contra brancos). O primeiro resultado para a primeira busca trazia um site do Council of Conservative Citizens, organiza\u00e7\u00e3o supremacista branca, repleto de desinforma\u00e7\u00e3o. A jornalista que reportou as conex\u00f5es digitais na radicaliza\u00e7\u00e3o de Roof evoca especialistas que alegam uma \u201cdesconex\u00e3o entre a miss\u00e3o declarada de uma internet livre e aberta e a realidade dos algoritmos de busca, que incorporaram todos os lament\u00e1veis vieses de qualquer coisa desenhada por humanos\u201d79. Mas a quest\u00e3o vai muito al\u00e9m do vi\u00e9s e da precis\u00e3o dos sistemas. Em contraste com as cenas de viol\u00eancia policial rotineiras contra afro-americanos, a pris\u00e3o de Dylann Roof foi realizada de um modo que respeitou os direitos humanos. Foi preso e, corretamente, recebeu um colete \u00e0 prova de balas enquanto esperava para ser movido. Algumas fotografias da \u00e9poca retornaram \u00e0s timelines em julho de 2020, no ciclo de mobiliza\u00e7\u00f5es do Black Lives Matter desencadeadas pela morte de George Floyd e a chocante imagem de seu sufocamento. A contraposi\u00e7\u00e3o das imagens por parte dos usu\u00e1rios de m\u00eddias digitais foi realizada por milhares de pessoas, que mostraram a diferen\u00e7a abissal de tratamento dado, de um lado, a um assassino em massa e, de outro, ao suposto portador de uma nota de 20 d\u00f3lares falsificada.","Podemos nos perguntar tamb\u00e9m como a cultura algor\u00edtmica se alimenta da reprodu\u00e7\u00e3o das imagens. At\u00e9 que ponto institui\u00e7\u00f5es racistas como a pol\u00edcia se comprometem com a produ\u00e7\u00e3o de imagens estereotipadas e controle de representa\u00e7\u00f5es que oferecem aos grupos hegem\u00f4nicos, filiados \u00e0 branquitude, um \u201csal\u00e1rio psicol\u00f3gico\u201d80 de saber que ser\u00e3o respeitados como humanos mesmo quando cometerem os piores crimes? 1 Dispon\u00edvel em: <http:\/\/www.dhnet.org.br\/ciber\/textos\/barlow.htm>, acesso em: jun. 2021. 2 Charlton D. McIlwain, Black Software: The Internet & Racial Justice, From the AfroNet to Black Lives Matter, Nova York: Oxford University Press, 2019. 3 Lisa Nakamura, Digitizing Race: Visual Cultures of the Internet, Minnesota: University of Minnesota Press, 2008. 4 Parte deste cap\u00edtulo expande ideias apresentadas no texto \u201cRacismo algor\u00edtmico em plataformas digitais: microagress\u00f5es e discrimina\u00e7\u00e3o em c\u00f3digo\u201d, publicado no livro Comunidades, algoritmos e ativismos digitais: olhares afrodiasp\u00f3ricos pela editora LiteraRUA, em 2020. 5 Luiz Val\u00e9rio P. Trindade, It Is Not That Funny: Critical Analysis of Racial Ideologies Embedded in Racialized Humour Discourses on Social Media in Brazil, tese de doutorado, University of Southampton, UK, 2018. 6 Laura Guimar\u00e3es Corr\u00eaa et al., \u201cEntre o interacional e o interseccional: contribui\u00e7\u00f5es te\u00f3rico-conceituais das intelectuais negras para pensar a comunica\u00e7\u00e3o\u201d, Revista ECO- P\u00f3s, v. 21, n. 3, 2018, pp. 147-69. 7 Leonardo Fraga Cardoso Junior; Kaio Eduardo de Jesus Oliveira; Cristiane de Magalh\u00e3es Porto, \u201cMemes, racismo e educa\u00e7\u00e3o, ou por que os memes da Ta\u00eds Ara\u00fajo importam\u201d, Periferia, v. 11, n. 2, 2019, pp. 39-56. 8 Renata Barreto Malta; Laila Tha\u00edse Batista de Oliveira, \u201cEnegrecendo as redes: o ativismo de mulheres negras no espa\u00e7o virtual\u201d, Revista G\u00eanero, v. 16, n. 2, 2016. 9 Raquel Recuero, \u201cDiscutindo an\u00e1lise de conte\u00fado como m\u00e9todo: o #DiadaConsci\u00eanciaNegra no Twitter\u201d, Cadernos de Estudos Ling\u00fc\u00edsticos, v. 56, n. 2, 2014, p. 307. 10 Maria Aparecida Moura, \u201cSemioses decoloniais: afrofuturismo, performance e o colapso do privil\u00e9gio branco\u201d, in: Laura Guimar\u00e3es Corr\u00eaa, Vozes negras em comunica\u00e7\u00e3o: m\u00eddias, racismos, resist\u00eancias, Belo Horizonte: Aut\u00eantica, 2019. 11 Jessie Daniels, Cyber Racism: White Supremacy Online and the New Attack on Civil Rights, Lanham: Rowman & Littlefield, 2009, p. 3 (em tradu\u00e7\u00e3o livre, assim como as demais cita\u00e7\u00f5es de obras estrangeiras). 12 E. Tendayi Achiume, \u201cThe Use of Digital Technologies in the Propagation of Neo-Nazi and Related Ideology\u201d, United Nations General Assembly, 2016. 13 Jessie Daniels, \u201cThe Algorithmic Rise of the \u2018Alt-Right\u2019\u201d, Contexts, v. 17, n. 1, 2018.","14 Paul Gilroy, \u201cCivilizacionismo, a \u2018alt-right\u2019 e o futuro da pol\u00edtica antirracista: um informe da Gr\u00e3-Bretanha\u201d, Eco P\u00f3s, v. 21, n. 3, 2018, pp. 22-3, dispon\u00edvel em: <https:\/\/revistaecopos.eco.ufrj.br\/eco_pos\/issue\/view\/1174>, acesso em: out. 2021. 15 Deen Freelon, Charlton D. McIlwain, Meredith D. Clark, \u201cBeyond the Hashtags: #Ferguson, #BlackLivesMatter, and the Online Struggle for Offline Justice\u201d, relat\u00f3rio do Center for Media & Social Impact, Washington: American University, 2016, p. 79. 16 Ryan J. Gallagher et al., \u201cDivergent Discourse Between Protests and Counter-Protests: #BlackLivesMatter and #AllLivesMatter\u201d, PLOS One, v. 13, n. 4, 2018. 17 Thiago Domenici; Iuri Barcelos; Bruno Fonseca, \u201cNegros s\u00e3o mais condenados por tr\u00e1fico e com menos drogas em S\u00e3o Paulo\u201d, P\u00fablica, 6 maio 2019, dispon\u00edvel em: <https:\/\/apublica.org\/2019\/05\/negros-sao-mais-condenados-por-trafico-e-com-menos- drogas-em-sao-paulo\/>, acesso em: out. 2021. 18 Ta\u00eds Oliveira; Silvia Dotta; Ramatis Jacino, \u201cRedes de solidariedade e indigna\u00e7\u00e3o na internet: o caso \u2018Liberdade para Rafael Braga\u2019\u201d, Anais do 40\u00ba Congresso Brasileiro de Ci\u00eancias da Comunica\u00e7\u00e3o, Curitiba, 2017, p. 12. 19 Marielle Franco, UPP \u2013 A redu\u00e7\u00e3o da favela a tr\u00eas letras: uma an\u00e1lise da pol\u00edtica de seguran\u00e7a p\u00fablica do estado do Rio de Janeiro, S\u00e3o Paulo: N-1 Edi\u00e7\u00f5es, 2018. 20 Ta\u00eds Oliveira; Dulcilei Lima; Claudio Penteado, \u201c#QuemMandouMatarMarielle: a mobiliza\u00e7\u00e3o online um ano ap\u00f3s o assassinato de Marielle Franco\u201d, L\u00edbero, v. 23, n. 45, 2020, p. 125. 21 Luiz Val\u00e9rio P. Trindade, No Laughing Matter: Race Joking and Resistance in Brazilian Social Media, Wilmington: Vernon Press, 2020, p. 113. 22 Brendesha M. Tynes et al., \u201cFrom Racial Microaggressions to Hate Crimes: A Model of Online Racism Based on the Lived Experiences of Adolescents of Color\u201d, in: Gina C. Torino et al. (orgs.), Microaggression Theory: Influence and Implications, Hoboken, NJ: John Wiley & Sons, 2019, p. 195. 23 Back end: termo usado nos campos de desenvolvimento de tecnologia para descrever processos de suporte e base para um sistema, tais como a programa\u00e7\u00e3o de mecanismos de gest\u00e3o de dados. 24 Brendesha M. Tynes et al., op. cit., p. 195. 25 Derald Wing Sue, Microaggressions in Everyday Life: Race, Gender, and Sexual Orientation, Hoboken, NJ: John Wiley & Sons, 2010, p. 29. 26 Chester M. Pierce, \u201cIs Bigotry the Basis of the Medical Problems of the Ghetto?\u201d, in: John C. Norman (org.), Medicine in the Ghetto, Nova York: Appleton-Century-Crofts, 1969. 27 Idem, \u201cOffensive Mechanisms\u201d, in: Floyd Barbour (org.), The Black Seventies, Nova York: Porter Sargent Publishers, 1970. 28 Ibidem, pp. 265-6. 29 Adilson Moreira, O que \u00e9 racismo recreativo?, Belo Horizonte: Letramento, 2019, p. 43. 30 Pablo Moreno F. Viana; Dalila Maria M. Belmiro, \u201cMidiatiza\u00e7\u00e3o do racismo brasileiro: Todecachinho, consumo, cidadania no caso da Youtuber Ana Clara Barbosa\u201d, Revista \u00cdcone, v. 17, n. 2, 2019, p. 199.","31 Chester M. Pierce, \u201cOffensive Mechanisms\u201d, op. cit. 32 Saba Fatima, \u201cI Know What Happened to Me: The Epistemic Harms of Microagression\u201d, in: Lauren Freeman; Jeanine W. Schroer (orgs.), Microaggressions and Philosophy, Nova York: Routledge, 2020. 33 Lindsay Huber; Daniel G. Solorzano, \u201cRacial Microaggressions as a Tool for Critical Race Research\u201d, Race Ethnicity and Education, v. 18, n. 3, 2014, pp. 297-320. 34 Brendesha M. Tynes et al., op. cit., p. 200. 35 Derald Wing Sue, \u201cRacial Microaggressions in Everyday Life: Implications for Clinical Practice\u201d, American Psychologist, v. 62, n. 4, 2007, p. 278. 36 Kevin Nadal, \u201cA Guide to Responding to Microaggressions\u201d, Cuny Forum, v. 2, n. 1, 2014, p. 71. 37 L\u00e9lia Gonzalez, Primavera para as rosas negras, S\u00e3o Paulo: Filhos da \u00c1frica, 2018, p. 181. 38 Brendesha M. Tynes et al., op. cit., p. 201. 39 Guilherme Henrique Gomes Silva; Arthur B. Powell, \u201cMicroagress\u00f5es no ensino superior nas vias da educa\u00e7\u00e3o matem\u00e1tica\u201d, Revista Latinoamericana de Etnomatem\u00e1tica, v. 9, n. 3, 2017, p. 46. 40 Derald Wing Sue et al., \u201cRacial Microaggressions Against Black Americans: Implications for Counselling\u201d, Journal of Counseling & Development, v. 86, n. 3, 2008. 41 Idem, \u201cRacial Microaggressions and the Asian American Experience\u201d, Cultural Diversity and Ethnic Minority Psychology, v. 13, n. 1, 2007. 42 Magdalena Barros Nock, \u201cMixteco and zapoteco Adolescents in Santa Maria, California, United States\u201d, Anales de Antropolog\u00eda, v. 1, n. 11, 2020. 43 Derald Wing Sue et al., \u201cRacial Microaggressions and the Asian American Experience\u201d, op cit., p. 73. 44 Eduardo Bonilla-Silva, Racism Without Racists: Color-Blind Racism and the Persistence of Racial Inequality in the United States, Lanham: Rowman & Littlefield, 2006. 45 Abdias Nascimento, O genoc\u00eddio do negro brasileiro: processo de um racismo mascarado, S\u00e3o Paulo: Perspectiva, 2016. 46 Guilherme Henrique Gomes Silva; Arthur B. Powell, op. cit, p. 51. 47 Abdias Nascimento, op. cit. 48 Latanya Sweeney, \u201cDiscrimination in Online Ad Delivery\u201d, Queue, v. 11, n. 3, pp. 10-29, 2013. 49 Julia Angwin, Ariana Tobin, Madeleine Varner, \u201cFacebook (Still) Letting Housing Advertisers Exclude Users by Race\u201d, ProPublica, 21 nov. 2017, dispon\u00edvel em: <https:\/\/www.propublica.org\/article\/facebook-advertising-discrimination-housing-race- sex-national-origin>, acesso em out. 2021. 50 Michal Kosinski; David Stillwell; Thore Graepel, \u201cPrivate Traits and Attributes Are Predictable From Digital Records of Human Behavior\u201d, Proceedings of the National Academy of Sciences, v. 110, n. 15, 2013, pp. 5.802-5.","51 Julia Angwin; Ariana Tobin, \u201cFair Housing Groups Sue Facebook for Allowing Discrimination in Housing Ads\u201d, ProPublica, 27 mar. 2018, dispon\u00edvel em: <https:\/\/www.propublica.org\/article\/facebook-fair-housing-lawsuit-ad-discrimination>, acesso em: out. 2021. 52 Julia Angwin; Hannes Grassegger, \u201cFacebook\u2019s Secret Censorship Rules Protect White Men From Hate Speech But Not Black Children\u201d, ProPublica, 28 jun. 2017, dispon\u00edvel em: <https:\/\/www.propublica.org\/article\/facebook-hate-speech-censorship-internal- documents-algorithms>, acesso em: out. 2021. 53 Brittany Fiore-Silfvast, \u201cUser-Generated Warfare: A Case of Converging Wartime Information Networks and Coproductive Regulation on YouTube\u201d, International Journal of Communication, v. 6, 2012. 54 Nick Hopkins; Julia Carrie Wong, \u201cHas Facebook Become a Forum for Misogyny and Racism?\u201d, The Guardian, 21 maio 2017, dispon\u00edvel em: <https:\/\/www.theguardian.com\/news\/2017\/may\/21\/has-facebook-become-forum- misogyny-racism>, acesso em: out. 2021. 55 Max Fisher, \u201cInside Facebook\u2019s Secret Rulebook for Global Political Speech\u201d, The New York Times, 27 dez. 2018. 56 Ibidem. 57 Caitlin R. Carlson; Hayley Rouselle, \u201cReport and Repeat: Investigating Facebook\u2019s Hate Speech Removal Process\u201d, First Monday, v. 15, n. 2, 2020. 58 Joseph Cox; Jason Koebler, \u201cWhy Won\u2019t Twitter Treat White Supremacy Like ISIS? Because It Would Mean Banning Some Republican Politicians Too\u201d, Vice, 25 abr. 2019, dispon\u00edvel em: <https:\/\/www.vice.com\/en_us\/article\/a3xgq5\/why-wont-twitter-treat-white- supremacy-like-isis-because-it-would-mean-banning-some-republican-politicians-too>, acesso em: out. 2021. 59 Natasha Lomas, \u201cTwitter Finally Bans Former KKK Leader, David Duke\u201d, Techcrunch, 31 jul. 2020, dispon\u00edvel em: <https:\/\/techcrunch.com\/2020\/07\/31\/twitter-finally-bans-former- kkk-leader-david-duke\/>, acesso em out. 2021. 60 Alyse Stanley, \u201cFacebook Researchers Say Higher-Ups Ignored Their Findings on Instagram\u2019s Racist Algorithm: Report\u201d, Gizmodo, 23 jul. 2020, dispon\u00edvel em: <https:\/\/gizmodo.com\/facebook-researchers-say-higher-ups-ignored-their-findi- 1844489864>, acesso em: out. 2021. 61 Nick Statt, \u201cFacebook Reportedly Ignored Its Own Research Showing Algorithms Divided Users\u201d, The Verge, 26 maio 2020, dispon\u00edvel em: <https:\/\/www.theverge.com\/2020\/5\/26\/21270659\/facebook-division-news-feed- algorithms>, acesso em: out. 2021. 62 Tarleton Gillespie, Custodians of the Internet: Platforms, Content Moderation, and the Hidden Decisions That Shape Social Media, New Haven: Yale University Press, 2018, p. 160. 63 Frank Pasquale, \u201cA esfera p\u00fablica automatizada\u201d, L\u00edbero, v. XX, n. 39, 2017, p. 31. 64 Maarten Sap et al., \u201cThe Risk of Racial Bias in Hate Speech Detection\u201d, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.","65 Tarleton Gillespie, op. cit, p. 128. 66 Anna Chung, \u201cHow Automated Tools Discriminate Against Black Language\u201d, People of Color in Tech, 5 mar. 2019, dispon\u00edvel em: <https:\/\/peopleofcolorintech.com\/articles\/how-automated-tools-discriminate-against- black-language\/>, acesso em: out. 2021. 67 Danah Boyd, \u201cSocial Network Sites as Networked Publics: Affordances, Dynamics, and Implications\u201d, in: Zizi Papacharissi (org.), A Networked Self, Nova York: Routledge, 2010. 68 Willian Fernandes Ara\u00fajo, \u201cA constru\u00e7\u00e3o da norma algor\u00edtmica: an\u00e1lise dos textos sobre o Feed de Not\u00edcias do Facebook\u201d, E-Comp\u00f3s, v. 21, n. 1, 2018. 69 Philip Napoli; Robyn Caplan, \u201cPor que empresas de m\u00eddia insistem que n\u00e3o s\u00e3o empresas de m\u00eddia, por que est\u00e3o erradas e por que isso importa\u201d, Par\u00e1grafo, v. 6, n. 1, 2018, p. 156. 70 Zeynep Tufekci, \u201cAlgorithmic Harms beyond Facebook and Google: Emergent Challenges of Computational Agency\u201d, Colorado Technology Law Journal, v. 13, 2015, p. 203. 71 Sergio Amadeu da Silveira, Democracia e os c\u00f3digos invis\u00edveis: como os algoritmos est\u00e3o modulando comportamentos e escolhas pol\u00edticas, S\u00e3o Paulo: Edi\u00e7\u00f5es Sesc S\u00e3o Paulo, 2019. 72 Guilherme Henrique Gomes Silva; Arthur B. Powell, op. cit, p. 54. 73 Frank Pasquale, \u201cA esfera p\u00fablica automatizada\u201d, op. cit., p. 23. 74 Bernhard Rieder; Ariadna Matamoros-Fern\u00e1ndez; \u00d2scar Coromina, \u201cFrom Ranking Algorithms to \u2018Ranking Cultures\u2019: Investigating the Modulation of Visibility in YouTube Search Results\u201d, Convergence, v. 24, n. 1, 2018, p. 64. 75 Manoel Horta Ribeiro et al., \u201cAuditing Radicalization Pathways on YouTube\u201d, FAT* \u201920: Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, Barcelona, 2020, p. 140. 76 Zeynep Tufekci, \u201cYouTube, the Great Radicalizer\u201d, The New York Times, 10 mar. 2018. 77 Steve Elers, \u201cMaori Are Scum, Stupid, Lazy: Maori According to Google\u201d, Te Kaharoa \u2013 the eJournal on Indigenous Pacific Issues, v. 7, n. 1, 2014. 78 Safiya Umoja Noble, Algorithms of Oppression: How Search Engines Reinforce Racism, Nova York: NYU Press, 2018. 79 Rebecca Hersher, \u201cWhat Happened When Dylann Roof Asked Google for Information About Race?\u201d, NPR, 10 jul. 2017, dispon\u00edvel em: <https:\/\/www.npr.org\/sections\/thetwo- way\/2017\/01\/10\/508363607\/what-happened-when-dylann-roof-asked-google-for- information-about-race>, acesso em: out. 2021. 80 Tamara K. Nopper, \u201cStrangers to the Economy: Black Work and the Wages of Non- Blackness\u201d, in: P. K. Saucier; T. P Woods (orgs.), Conceptual Aphasia in Black: Displacing Racial Formation, Lanham: Lexington Books, 2016.","","F AREMOS AQUI UMA DIGRESS\u00c3O sobre a emerg\u00eancia do conceito de \u201calgoritmo\u201d para descrever os impactos das tecnologias digitais que automatizam processos, rankings, modera\u00e7\u00e3o, visibiliza\u00e7\u00e3o e invisibiliza\u00e7\u00e3o de conte\u00fados e pessoas. Na era computacional digital, em sistemas de big data, a l\u00f3gica algor\u00edtmica foi expandida a partir da ado\u00e7\u00e3o frequente de intelig\u00eancia artificial (IA) estreita, presente nos sistemas informacionais do cotidiano. \u00c9 importante fazer essa distin\u00e7\u00e3o entre o que se chama de \u201cintelig\u00eancia artificial geral\u201d e o que se chama de \u201cintelig\u00eancia artificial estreita\u201d. Em linhas gerais, a busca pela intelig\u00eancia artificial geral significa tentar emular capacidades da mente humana nas diversas esferas da experi\u00eancia, produzir comportamento aut\u00f4nomo, independente e proativo e aprender sobre esse comportamento de forma criativa. Os rob\u00f4s completamente aut\u00f4nomos e criativos que povoam as narrativas da fic\u00e7\u00e3o cient\u00edfica e do cinema representam geralmente o \u00e1pice da intelig\u00eancia artificial geral \u2013 que provavelmente nunca ser\u00e1 de todo alcan\u00e7ada. A controv\u00e9rsia sobre a viabilidade da intelig\u00eancia artificial geral \u00e9 algo de que n\u00e3o trataremos neste livro. Sobretudo porque vemos como negativa a tend\u00eancia a hipervisibilizar os debates filos\u00f3ficos sobre rob\u00f4s aut\u00f4matos81 e seus poss\u00edveis direitos no futuro ante a realidade material do impacto da intelig\u00eancia artificial estreita na vida contempor\u00e2nea. Al\u00e9m disso, historiadores da tecnologia, como Jones-Imhotep, argumentam que a promo\u00e7\u00e3o da ideia de autonomia rob\u00f3tica desde o s\u00e9culo XVIII, com a Revolu\u00e7\u00e3o Industrial, j\u00e1 era operacionalizada para cada vez mais invisibilizar o papel do trabalho humano contido nas m\u00e1quinas82. Aqui vamos focar na intelig\u00eancia artificial estreita e suas aplica\u00e7\u00f5es. Trata-se daquelas utilizadas em sistemas automatizados","que resolvem tarefas mais \u201csimples\u201d em dom\u00ednios espec\u00edficos, como reconhecimento de padr\u00f5es em dados ou processamento de linguagem natural. Na atualidade, grandes conglomerados de tecnologia, como o chamado Gafam (sigla para Google, Amazon, Facebook, Apple e Microsoft) e outras empresas de porte similar, dominam a oferta de recursos de intelig\u00eancia artificial em escala por meio da computa\u00e7\u00e3o em nuvem, al\u00e9m de investir em startups e desenvolver e moldar padr\u00f5es dos campos de implementa\u00e7\u00e3o. Nessa dire\u00e7\u00e3o, a pervasividade dos recursos de intelig\u00eancia artificial estreita nos ambientes online, como buscadores de informa\u00e7\u00e3o na web, plataformas de m\u00eddias sociais e assistentes automatizados pessoais, virou a chave na consci\u00eancia p\u00fablica sobre a quest\u00e3o. Literalmente, interagimos com centenas de sistemas algor\u00edtmicos por meio de aplicativos em smartphones. A rigor, por\u00e9m, algoritmos s\u00e3o sistematiza\u00e7\u00f5es de procedimentos encadeados de forma l\u00f3gica para realizar tarefas em um espa\u00e7o computacional. O termo \u201calgoritmo\u201d ganhou popularidade global por nomear de forma simplificada a media\u00e7\u00e3o automatizada de decis\u00f5es sobre quest\u00f5es de interesse p\u00fablico, como a presen\u00e7a, a aus\u00eancia ou a sali\u00eancia de conte\u00fado nas timelines do Facebook. De acordo com Zeynep Tufekci, tais algoritmos de recomenda\u00e7\u00e3o de conte\u00fado podem ser vistos como \u201cgatekeepers atuando com ag\u00eancia computacional\u201d e s\u00e3o \u201ccapazes de moldar o conte\u00fado que espectadores recebem de um modo individualizado, sem se tornarem vis\u00edveis\u201d83. Multiplicando-se por diversas esferas humanas, os sistemas automatizados imprimem l\u00f3gicas algor\u00edtmicas com a aplica\u00e7\u00e3o de intelig\u00eancia artificial em processos anteriores, que j\u00e1 estavam em transforma\u00e7\u00e3o gra\u00e7as \u00e0 digitaliza\u00e7\u00e3o, tais como a m\u00eddia televisiva, o mercado financeiro, a seguran\u00e7a p\u00fablica e praticamente qualquer esfera em que pontos de dados podem se tornar mat\u00e9ria extrativa para o capitalismo informacional. A gest\u00e3o algor\u00edtmica de decis\u00f5es sobre indiv\u00edduos e grupos ganha for\u00e7a e amplitude de escopo na medida em que sistemas","computacionais maximizam lucros, substituem trabalho humano e criam modos de receita para empresas de tecnologia. Os sistemas algor\u00edtmicos tomam decis\u00f5es por n\u00f3s e sobre n\u00f3s com frequ\u00eancia cada vez maior. Essas decis\u00f5es trazem impactos em diferentes n\u00edveis de imediaticidade e sutileza, podendo modular o comportamento e as condutas de seus usu\u00e1rios84 de forma discreta, na maioria dos casos para reproduzir rela\u00e7\u00f5es de poder e opress\u00e3o j\u00e1 existentes na sociedade. Esse \u00e9 um dos grandes desafios e problemas da l\u00f3gica do aprendizado de m\u00e1quina, que se baseia no c\u00e1lculo computacional de milhares de decis\u00f5es \u201c\u00f3ptimas\u201d a partir do input de dados. Duas tradi\u00e7\u00f5es da intelig\u00eancia artificial Para seguirmos com o debate sobre as cadeias de responsabilidade e ag\u00eancia desses algoritmos, \u00e9 importante fazer um breve resumo da intelig\u00eancia artificial e de duas de suas tradi\u00e7\u00f5es. Entre os anos 1950 e o in\u00edcio da d\u00e9cada de 1990, predominou a perspectiva simb\u00f3lico-dedutiva da intelig\u00eancia artificial. Ela partia da ideia de emular sistemas f\u00edsicos de s\u00edmbolos processados por c\u00e9rebros humanos com a hip\u00f3tese de que \u201ca mente acessa diretamente o mundo, mas consiste de representa\u00e7\u00f5es internas do mundo que podem ser descritas e organizadas na forma de s\u00edmbolos inseridos nos programas\u201d85. Em termos pr\u00e1ticos, tal abordagem significa que o desenvolvedor do sistema deve adotar um modelo de \u201cmundo\u201d em que o racioc\u00ednio possa ser aplicado por regras definidas em um espa\u00e7o espec\u00edfico de c\u00e1lculo. Por exemplo, gerar um modelo de intelig\u00eancia artificial que seja competitivo em um jogo como o de damas ou o gam\u00e3o \u00e9 uma tarefa em um espa\u00e7o espec\u00edfico, pois tal espa\u00e7o de c\u00e1lculo constitui- se da \u00e1rea do jogo, de seus elementos e de suas regras. Apesar da complexidade e da grande escala de decis\u00f5es, cada jogo, de damas ou gam\u00e3o, comp\u00f5e um \u201cmundo\u201d finito e sistem\u00e1tico. Essa","perspectiva implica ao mesmo tempo um grande esfor\u00e7o na constru\u00e7\u00e3o de extensas ontologias de categorias e sistemas de regras e tamb\u00e9m que tais sistemas se tornem ineficientes em face do mundo externo cambiante (como linguagem natural, imagens fotogr\u00e1ficas, movimenta\u00e7\u00e3o de pedestres etc). A partir dos anos 1990, sobretudo na \u00faltima d\u00e9cada, a perspectiva conexionista-indutiva voltou a liderar o campo, gra\u00e7as a avan\u00e7os no desenvolvimento de algoritmos e na capacidade computacional aplicada a dados em grande escala \u2013 como big data. Nessa perspectiva, que resgata as promessas de sistemas autorreprodutores da cibern\u00e9tica, \u201co alvo do c\u00e1lculo n\u00e3o era mais algo interno ao sistema calculador, mas, em vez disso, um valor do mundo atribu\u00eddo a ele de fora \u2013 e que era frequentemente \u2018humano\u2019\u201d86. Esse valor \u00e9 atribu\u00eddo externamente: no aprendizado de m\u00e1quina, por exemplo, significa a marca\u00e7\u00e3o de milhares de unidades (como \u00e9 o caso das imagens) por humanos, com valores (etiquetas de objetos, por exemplo) para que o sistema \u201caprenda\u201d a identificar tais valores. A partir das bases de treinamento, as abordagens conexionistas focam no aspecto correlacional dos dados para realizar os c\u00e1lculos, frequentemente em dire\u00e7\u00e3o a categorias de tomada de decis\u00e3o e desenhos preditivos, como ranking de curr\u00edculos, escores de risco, identifica\u00e7\u00e3o de caracter\u00edsticas biom\u00e9tricas e assim por diante. Na abordagem simb\u00f3lico-dedutiva, portanto, o ambiente calculat\u00f3rio recebe os dados para an\u00e1lise e uma s\u00e9rie de instru\u00e7\u00f5es, um \u201cprograma\u201d de procedimentos, c\u00e1lculos e escores, para resultar em sa\u00eddas, outputs, classificados ou operacionalizados de acordo com os objetivos declarados. Na abordagem conexionista-indutiva, por outro lado, os algoritmos recebem dados de treinamento que representam um grupo de inst\u00e2ncias (input) e tamb\u00e9m exemplos de resultados (output) para correlacionar inputs e outputs de forma complexa, a ponto de gerar decis\u00f5es preditivas sobre novos dados. A Figura 2 reproduz um esquema comparativo sobre essas duas","abordagens. FIGURA 2 Perspectiva simb\u00f3lico-dedutiva \u00d7 perspectiva conexionista-indutiva na intelig\u00eancia artificial.87 Como \u00e9 poss\u00edvel observar no esquema mostrado na figura, no modelo simb\u00f3lico-dedutivo o campo dos resultados \u00e9 uma rela\u00e7\u00e3o das entradas de inst\u00e2ncias de dados e par\u00e2metros do programa em um espa\u00e7o de c\u00e1lculo que vai gerar tais resultados. A abordagem conexionista-indutiva age de modo diferente: geralmente a partir de","uma quantidade massiva de dados de entrada e de sa\u00edda previamente conhecidos, seu objetivo \u00e9 construir e atualizar constantemente o \u201cprograma\u201d para a otimiza\u00e7\u00e3o cont\u00ednua dos n\u00edveis de objetivo alcan\u00e7ados. No modelo conexionista, o alvo do c\u00e1lculo se desloca para o mundo externo ao modelo que lhe fornece exemplos \u201cetiquetados\u201d ou \u201cclassificados\u201d de pequenos tra\u00e7os ou sinais em prol do objetivo do sistema algor\u00edtmico. Na medida em que o sistema aprende e se adapta \u00e0 rela\u00e7\u00e3o entre os sinais e os objetivos, o pr\u00f3prio programa de decis\u00f5es sobre os dados \u201cevolui\u201d de forma cont\u00ednua. Para dar um exemplo simplificado, a recomenda\u00e7\u00e3o autom\u00e1tica de v\u00eddeos em uma plataforma como o YouTube re\u00fane, ao longo da rela\u00e7\u00e3o do usu\u00e1rio com o sistema, uma mir\u00edade de sinais relevantes, tais como tempo de uso, cliques, movimenta\u00e7\u00e3o do mouse e centenas de outros, at\u00e9 objetivos como horas por semana, an\u00fancios assistidos, receita gerada para anunciantes e outros. Os itens com os quais o usu\u00e1rio se engaja \u2013 elementos da interface e v\u00eddeos espec\u00edficos, no caso \u2013 recebem continuamente centenas de m\u00e9tricas e vetores que v\u00e3o determinar o quanto ser\u00e3o exibidos, para quem, em quais hor\u00e1rios, em rela\u00e7\u00e3o a quais outros v\u00eddeos etc. Ou seja, o sistema \u00e9 direcionado a uma efici\u00eancia vinculada a metas inequ\u00edvocas de neg\u00f3cio, mas que n\u00e3o levam em conta fatores mais sofisticados, como o impacto social ou cultural de um v\u00eddeo. Assim, um efeito colateral do crescente engajamento dos usu\u00e1rios na plataforma assistindo a v\u00eddeos extremistas seria, assim, alheio ao modelo de neg\u00f3cio. Os objetivos de gerar mais visualiza\u00e7\u00f5es, cliques, visitas repetidas e compras estariam sendo alcan\u00e7ados, e isso seria o suficiente. A concep\u00e7\u00e3o de modelos de aprendizado de m\u00e1quina baseados na abund\u00e2ncia de dados gerados por usu\u00e1rios de internet foi um dos fatores relevantes para a virada entre as abordagens sobre a intelig\u00eancia artificial. Ethem Alpaydin considera que, nas \u00faltimas d\u00e9cadas, a multiplica\u00e7\u00e3o de dados dispon\u00edveis para campos dif\u00edceis,","como tradu\u00e7\u00e3o e an\u00e1lise de imagem, ajudou a resolver parte dos desafios da IA. A ideia \u00e9 que os algoritmos aprendam \u201cautomaticamente a partir dos dados, substituindo programadores por sistemas de aprendizado\u201d. \u201cEste \u00e9 o nicho do aprendizado de m\u00e1quina, e n\u00e3o se trata apenas de que os dados continuamente cresceram nas \u00faltimas duas d\u00e9cadas, mas tamb\u00e9m de que a teoria sobre aprendizado de m\u00e1quina para transformar esses dados em conhecimento avan\u00e7ou significantemente.\u201d88 O uso de \u201cprogramas de aprendizado\u201d cont\u00ednuos, cambiantes e aparentemente aut\u00f4nomos em seus dom\u00ednios de aplica\u00e7\u00e3o \u00e9 um ponto essencial para que sejam entendidos a distribui\u00e7\u00e3o de sistemas algor\u00edtmicos, seus riscos inerentes e, principalmente, as estrat\u00e9gias de evas\u00e3o de responsabilidade das organiza\u00e7\u00f5es que lucram com tais sistemas. Com frequ\u00eancia, corpora\u00e7\u00f5es de tecnologia argumentam contra a responsabilidade p\u00fablica sobre os impactos de seus sistemas algor\u00edtmicos por meio de duas t\u00e1ticas comuns. A primeira \u00e9 a ideia de que os softwares e algoritmos s\u00e3o \u201csegredos de neg\u00f3cio\u201d e, portanto, n\u00e3o poderiam ser auditados ou criticados em seus impactos. A segunda \u00e9 que a colossal complexidade dos algoritmos os tornaria inescrut\u00e1veis tecnicamente para a sociedade e, em especial, para a leitura individual de milh\u00f5es de linhas de c\u00f3digo que, por sua vez, referenciam outros pacotes, m\u00f3dulos e bases de dados. Ao defender que os sistemas algor\u00edtmicos s\u00e3o objetos apenas da ordem do c\u00f3digo visto de forma estrita e plana, as corpora\u00e7\u00f5es de tecnologia apelam para a no\u00e7\u00e3o de inescrutabilidade, em di\u00e1logo com valores como \u201csegredo de neg\u00f3cio\u201d, postos \u00e0 frente do bem comum e da coletividade. Extrapolando sua condi\u00e7\u00e3o primordial de linhas de c\u00f3digo e procedimentos, os algoritmos imprimem impactos sociais quando se tornam ferramentas que \u201cdecretam objetos de conhecimento e sujeitos de pr\u00e1tica em maneiras mais ou menos significantes [...]. Suas a\u00e7\u00f5es n\u00e3o apenas est\u00e3o no mundo, mas fazem mundos\u201d89.","Algoritmos medeiam quais sujeitos s\u00e3o ou n\u00e3o inclusos, como s\u00e3o ordenados, suas hierarquias de valor ante os objetos e o capital e tamb\u00e9m situa\u00e7\u00f5es em que vidas s\u00e3o consideradas descart\u00e1veis. Uma vez que vivemos em um mundo moldado pela supremacia branca, que nos \u00faltimos s\u00e9culos vem se transformando em projetos de poder e viol\u00eancia, a partir do colonialismo material, pol\u00edtico e cient\u00edfico, \u00e9 preciso entender ent\u00e3o o papel da algoritmiza\u00e7\u00e3o das rela\u00e7\u00f5es raciais e de poder. Portanto, aqui definimos racismo algor\u00edtmico como o modo pelo qual a disposi\u00e7\u00e3o de tecnologias e imagin\u00e1rios sociot\u00e9cnicos em um mundo moldado pela supremacia branca realiza a ordena\u00e7\u00e3o algor\u00edtmica racializada de classifica\u00e7\u00e3o social, recursos e viol\u00eancia em detrimento de grupos minorizados. Tal ordena\u00e7\u00e3o pode ser vista como uma camada adicional do racismo estrutural, que, al\u00e9m do mais, molda o futuro e os horizontes de rela\u00e7\u00f5es de poder, adicionando mais opacidade sobre a explora\u00e7\u00e3o e a opress\u00e3o global que j\u00e1 ocorriam desde o projeto colonial do s\u00e9culo XVI. Para exemplificar como as camadas de opacidade algor\u00edtmica interagem com o racismo e outras formas de opress\u00e3o, fecharemos este cap\u00edtulo retomando um dos casos mais famosos de intelig\u00eancia artificial problem\u00e1tica: a rob\u00f4 Tay. A rob\u00f4 que aprendeu a ser racista: um caso de efic\u00e1cia? No panorama que acabamos de descrever, metodologias de aprendizado de m\u00e1quina deram saltos mercadol\u00f3gicos em campos relacionados \u00e0 comunica\u00e7\u00e3o e \u00e0 avalia\u00e7\u00e3o de informa\u00e7\u00e3o em torno de atividades humanas. Na \u00e1rea da comunica\u00e7\u00e3o, o processamento de linguagem natural permitiu manipula\u00e7\u00e3o de texto para pesquisas lingu\u00edsticas e de mercado, reconhecimento de texto, tradutores textuais e sonoros cada vez mais confi\u00e1veis, que convergiram em uma explos\u00e3o de popularidade dos assistentes pessoais e chatbots","em sistemas operacionais de smartphones e notebooks, al\u00e9m de plataformas de m\u00eddias sociais. Respons\u00e1veis por vender tecnologias ainda truncadas, que ainda est\u00e3o longe de efetivamente alcan\u00e7ar a fluidez e a inventividade humanas, marqueteiros das empresas de tecnologia buscaram produzir diferenciais de como\u00e7\u00e3o p\u00fablica para cada grande lan\u00e7amento. Foi assim com a chatbot Tay, nos Estados Unidos, um lan\u00e7amento da Microsoft em parceria com o Twitter, em 2016. Baseada em um projeto anteriormente desenvolvido pela pr\u00f3pria empresa na China, Tay foi constru\u00edda como uma personagem representando uma mulher jovem, at\u00e9 mesmo lembrando, em sua imagem de perfil no Twitter, a cantora pop Ariana Grande, como apontou o portal Vice90. Criada para conversar com jovens estadunidenses de 18 a 24 anos, tinha como objetivo popularizar os chatbots e provar que a tecnologia poderia ser cool ou \u201czero chill\u201d (algo como, em nossa g\u00edria, \u201cdesencanada\u201d), termo escolhido para a \u201cminibiografia\u201d da persona. A chatbot foi implementada como um perfil do Twitter que aprenderia em tempo real a conversar a partir da intera\u00e7\u00e3o com usu\u00e1rios da plataforma. Em poucas horas, passou a repetir e elaborar coment\u00e1rios mis\u00f3ginos e racistas, ao interagir com usu\u00e1rios da plataforma que direcionaram as conversas para esses temas. A Microsoft retirou a chatbot do ar, alegando ter sofrido um ataque coordenado, para lan\u00e7\u00e1-la com alguns ajustes dias depois. Os resultados foram ainda piores. Entre os tu\u00edtes registrados, frases como \u201capoio o genoc\u00eddio de mexicanos\u201d, \u201codeio negros, dever\u00edamos colocar todos em campos de concentra\u00e7\u00e3o\u201d, \u201co Holocausto foi inventado\u201d e agress\u00f5es direcionadas a seguidoras espec\u00edficas, usando express\u00f5es como \u201cvaca est\u00fapida\u201d. Novamente, poucas horas depois do relan\u00e7amento, e ap\u00f3s deletar dezenas de milhares de tu\u00edtes ofensivos, a Microsoft retirou definitivamente a chatbot do ar. Esse foi um dos casos mais famosos de falha desastrosa com intelig\u00eancia artificial nos \u00faltimos anos. \u00c9 tamb\u00e9m uma anedota","eloquente sobre muitas quest\u00f5es a respeito de como reagimos a tais problemas. N\u00e3o foi exemplar apenas no que se refere a poss\u00edveis danos que chatbots elaborados sem o devido cuidado sociot\u00e9cnico podem causar, mas tamb\u00e9m no que tange ao enquadramento das responsabilidades por esses danos. \u00c9 comum que empresas de tecnologia e a imprensa usem expedientes discursivos que visam enquadrar o debate sobre danos algor\u00edtmicos como apenas uma quest\u00e3o de c\u00f3digo, efeito colateral dos dados de alimenta\u00e7\u00e3o, ou mesmo que tentem defender os resultados, por supostamente serem apenas a reprodu\u00e7\u00e3o da sociedade. Foi o que aconteceu, no caso da chatbot Tay, com a cobertura da imprensa, que frequentemente passou a apresentar a intelig\u00eancia artificial como a parte mais afetada da quest\u00e3o, chegando a usar a analogia de um \u201cbeb\u00ea rob\u00f4\u201d que teria sido maliciosamente manipulado por abusadores. Apenas 12% das mat\u00e9rias analisadas em um estudo sobre esse caso consideraram os danos aos grupos \u00e9tnico-raciais, religiosos e mulheres ofendidas pelas mensagens91. Al\u00e9m desse enquadramento, duas no\u00e7\u00f5es controversas sobre a percep\u00e7\u00e3o do que \u00e9 erro ou falha esperada da intelig\u00eancia artificial est\u00e3o igualmente em quest\u00e3o aqui e dizem muito sobre como devemos questionar o escopo do que chamamos de \u201calgoritmo\u201d ou \u201csistema de intelig\u00eancia artificial\u201d no discurso popular. Em primeiro lugar, cabe pensar sobre a enormidade da estrutura de recursos humanos envolvida em um lan\u00e7amento dessa magnitude. Entre desenvolvedores e engenheiros, especialistas em marketing, publicidade e rela\u00e7\u00f5es p\u00fablicas, times jur\u00eddicos, centenas de profissionais estiveram envolvidos no planejamento do bot na Microsoft, empresa avaliada em mais de 1,3 trilh\u00e3o de d\u00f3lares. O mesmo se pode dizer do Twitter, com suas centenas de milh\u00f5es de usu\u00e1rios, que tenta se posicionar como espa\u00e7o representativo da esfera p\u00fablica contempor\u00e2nea. Como foi aceito que fatores como avalia\u00e7\u00e3o de riscos, padr\u00f5es \u00e9ticos e especula\u00e7\u00e3o de poss\u00edveis usos","nocivos tenham sidos ignorados de forma aparentemente t\u00e3o amadora? Mas, se nos causa espanto saber que tais impactos aparentemente foram ignorados no planejamento, essa n\u00e3o \u00e9 a mesma interpreta\u00e7\u00e3o de muitos entusiastas da tecnologia. O chatbot foi descrito por muitos como eficiente, como uma prova da inventividade da intelig\u00eancia artificial e da capacidade da Microsoft para desenvolver sistemas algor\u00edtmicos. Um portal de tecnologia argumenta que o projeto teve um resultado brilhante, pois n\u00e3o s\u00f3 mostrou que o sistema cognitivo do chatbot supostamente estaria funcionando como tamb\u00e9m \u201cconcluiu que o aprendizado desse rob\u00f4 se assemelha e muito \u00e0 forma como n\u00f3s humanos nos tornamos preconceituosos\u201d92, atribuindo um n\u00edvel relevante de ag\u00eancia ao chatbot, enquanto ignora as redes de produ\u00e7\u00e3o e interesses materializadas na campanha. No portal Quartz, os problemas do produto tamb\u00e9m foram atribu\u00eddos aos \u201chumanos nada cool\u201d que a bot encontrou na plataforma de m\u00eddias sociais. O caso seria um exemplo de \u201ccomo humanos podem corromper a tecnologia, uma verdade que segue cada vez mais desconcertante na medida em que a IA avan\u00e7a. Falar com seres de intelig\u00eancia artificial \u00e9 como falar com crian\u00e7as\u201d93. A evoca\u00e7\u00e3o de inoc\u00eancia desses enquadramentos, que ao mesmo tempo invisibiliza os desenvolvedores e detentores da tecnologia e apaga tamb\u00e9m as v\u00edtimas reais das ofensas, contrasta diametralmente com o posicionamento geopol\u00edtico de \u201cZo\u201d, a persona repaginada da Tay lan\u00e7ada meses depois. O chatbot foi remaquilado como a personagem Zo, uma garota de 13 anos cheia de refer\u00eancias a memes, \u201cinternet\u00eas\u201d e cultura pop. Divulgado com mais cautela, o chatbot inclui mecanismos para evitar temas sens\u00edveis, que incorporam plenamente o ponto de vista imperialista estadunidense. Respostas cheias de empatia oferecidas a frases como \u201codeio sofrer bullying na escola\u201d n\u00e3o est\u00e3o presentes quando a frase muda ligeiramente para \u201codeio sofrer bullying na","escola por ser mu\u00e7ulmano\u201d. Men\u00e7\u00f5es a Iraque ou Ir\u00e3 geram respostas negativas, limitando toda a complexidade desses dois pa\u00edses, suas culturas e popula\u00e7\u00f5es ao olhar imperialista-militar dos Estados Unidos94, dentre outros erros identificados. Talvez esses erros frequentes, que chegam \u00e0 superf\u00edcie personificados em tecnologias como chatbots, a exemplo de Tay e Zo, n\u00e3o sejam glitches ou bugs, mas funcionalidades. Nos termos de Ruha Benjamin, talvez os erros sejam \u201cantes um tipo de sinal de como o sistema opera. N\u00e3o uma aberra\u00e7\u00e3o, mas uma forma de evid\u00eancia, jogando luz sobre falhas subjacentes em um sistema corrupto\u201d95. 81 Abeba Birhane; Jelle van Dijk, \u201cRobot Rights? Let\u2019s Talk about Human Welfare Instead\u201d, arXiv, 2001.0504, 2020. 82 Edward Jones-Imhotep, \u201cThe Ghost Factories: Histories of Automata and Artificial Life\u201d, History and Technology, 2020, pp. 1-27. 83 Zeynep Tufekci, \u201cAlgorithmic Harms beyond Facebook and Google: Emergent Challenges of Computational Agency\u201d, op. cit., p. 209. 84 Sergio Amadeu da Silveira, \u201cA no\u00e7\u00e3o de modula\u00e7\u00e3o e os sistemas algor\u00edtmicos\u201d, PAULUS: Revista de Comunica\u00e7\u00e3o da Fapcom, v. 3, n. 6, 2019. 85 Dominique Cardon; Jean-Philippe Cointet; Antoine Mazieres, \u201cNeurons Spike Back. The Invention of Inductive Machines and the Artificial Intelligence Controversy\u201d, R\u00e9seaux, v. 36, n. 211, 2018. 86 Ibidem, p. 17. 87 Adaptado a partir de Dominique Cardon; Jean-Philippe Cointet; Antoine Mazieres, op. cit., p. 3. 88 Ethem Alpaydin, Machine Learning: The New AI, Cambridge, MA: The MIT Press, 2016, p. x. 89 Lucas Introna, \u201cAlgorithms, Governance, and Governmentality: On Governing Academic Writing\u201d, Science, Technology, & Human Values, v. 41, n. 1, 2016, p. 11. 90 Louise Matsakis, \u201cMicrosoft Attemps to Capture the Essence of Youth With Its New Chatbot Tay\u201d, Vice, 23 mar. 2016, dispon\u00edvel em: <https:\/\/www.vice.com\/en_us\/article\/nz7zvd\/microsoft-attempts-to-capture-the-essence- of-youth-with-its-new-chatbot-Tay>, acesso em: out. 2021. 91 Sara Suar\u00e9z-Gonzalo; Llu\u00eds Mas-Manch\u00f3n; Frederic Guerrero-Sol\u00e9, \u201cTay Is You: The Attribution of Responsibility in the Algorithmic Culture\u201d, Observatorio (OBS*) Journal, v. 13, n. 2, 2019. 92 Matheus Gon\u00e7alves, \u201cO rob\u00f4 da Microsoft que aprende com humanos n\u00e3o demorou nem","um dia para virar racista\u201d, Tecnoblog, abr. 2016, dispon\u00edvel em: <https:\/\/tecnoblog.net\/193318\/tay-robo-racista-microsoft\/>, acesso em: out. 2021. 93 Ashley Rodriguez, \u201cMicrosoft\u2019s AI Millennial Chatbot Became a Racist Jerk After Less Than a Day on Twitter\u201d, Quartz, 24 mar. 2016, dispon\u00edvel em: <https:\/\/qz.com\/646825\/microsofts-ai-millennial-chatbot-became-a-racist-jerk-after-less- than-a-day-on-twitter>, acesso em: out: 2021. 94 Chloe R. Stuart-Ulin, \u201cMicrosoft\u2019s Politically Correct Chatbot Is Even Worse Than Its Racist One\u201d, Quartz, 31 jul. 2018, dispon\u00edvel em: <https:\/\/qz.com\/1340990\/microsofts- politically-correct-chat-bot-is-even-worse-than-its-racist-one>, acesso em: out. 2021. 95 Ruha Benjamin, Race After Technology: Abolitionist Tools for the New Jim Code, Cambridge (UK): Polity Press, 2019, p. 80.","","E M NOVEMBRO DE 2016, A PROGRAMADORA e pesquisadora Joy Buolamwini chocou sua plateia durante uma palestra TEDx ao contar a hist\u00f3ria de como descobriu sua \u201cmiss\u00e3o de deter uma for\u00e7a invis\u00edvel em ascens\u00e3o, uma for\u00e7a a que eu chamo de \u2018olhar codificado\u2019, meu termo para vi\u00e9s algor\u00edtmico\u201d96. Buolamwini usa o relato pessoal para mostrar como foi desumanizada quando, ainda estudante, teve seu rosto ignorado por rob\u00f4s interagentes que conversaram com todos os seus colegas da universidade \u2013 menos com ela, a \u00fanica negra do grupo. Ao suspeitar que a diferen\u00e7a fundamental entre ela e seus colegas era a cor da pele e outros tra\u00e7os fenot\u00edpicos, fez um teste simples, apesar de persuasivo: p\u00f4s sobre o rosto uma m\u00e1scara branca gen\u00e9rica, sem fei\u00e7\u00f5es \u2013 e at\u00e9 essa m\u00e1scara foi reconhecida, em uma reedi\u00e7\u00e3o involunt\u00e1ria da met\u00e1fora do t\u00edtulo de Pele negra, m\u00e1scaras brancas, de Frantz Fanon97. Colocando a m\u00e1scara branca, Buolamwini conseguia usar os recursos dos equipamentos que n\u00e3o haviam encontrado seu rosto. A experi\u00eancia se repetiu em diversas ocasi\u00f5es, o que levou a programadora a investigar as similaridades e os problemas entre os sistemas falhos. Ao identificar a falta de diversidade nas bases de treinamento como um dos principais problemas, Buolamwini passou a produzir alternativas e educa\u00e7\u00e3o midi\u00e1tica sobre a quest\u00e3o. O problema, no entanto, se repete. E ele n\u00e3o era uma novidade no campo quando o trabalho de Joy Buolamwini come\u00e7ou a ganhar popularidade. Quase uma d\u00e9cada antes, havia viralizado um v\u00eddeo de um casal de amigos usando uma linha de computadores da Hewlett-Packard (HP) que possu\u00eda um software de rastreamento por v\u00eddeo, no qual a webcam seguiria o rosto de algu\u00e9m se movendo na frente do equipamento. O recurso MediaSmart de rastreamento de","movimento de rostos conseguia identificar o rosto da mulher branca, mas n\u00e3o o rosto do homem negro. Com r\u00e1pida circula\u00e7\u00e3o (400 mil visualiza\u00e7\u00f5es em poucos dias; hoje o v\u00eddeo tem mais de 3 milh\u00f5es de visualiza\u00e7\u00f5es), o caso ganhou cobertura jornal\u00edstica e um porta- voz da empresa alegou que ocorrem problemas quando a \u201cilumina\u00e7\u00e3o de fundo n\u00e3o \u00e9 suficiente\u201d98. Outros casos se seguiram, sobre os quais refletiremos neste cap\u00edtulo. A fragilidade das tecnologias em quest\u00e3o se repete frequentemente e as justificativas pouco variam. No caso das tecnologias visuais, a vulgaridade dos erros \u00e9 expl\u00edcita e frequentemente mais agressiva, por ter como alvo a imagem dos indiv\u00edduos, essencialmente ligada a suas identidades e autoestima. Depois de experi\u00eancias como as citadas anteriormente, Buolamwini direcionou sua carreira a apoiar a \u201ccria\u00e7\u00e3o de um mundo onde a tecnologia trabalhe em favor de todos, n\u00e3o apenas em favor de alguns, um mundo onde valorizemos a inclus\u00e3o e tenhamos como foco a mudan\u00e7a social\u201d99. Mas nem sempre o problema est\u00e1 na invisibilidade. Tamb\u00e9m s\u00e3o perigosas as inst\u00e2ncias de hipervisibilidade ou as representa\u00e7\u00f5es e interpreta\u00e7\u00f5es problem\u00e1ticas. Vamos entender a seguir como as pr\u00e1ticas de vis\u00e3o computacional operam a dualidade entre visibilidade e invisibilidade de indiv\u00edduos e grupos discriminados em pa\u00edses do Ocidente e da afrodi\u00e1spora100. Vis\u00e3o computacional: modos de ver e controlar Computa\u00e7\u00e3o visual (visual computing) \u00e9 um campo que engloba \u00e1reas da computa\u00e7\u00e3o e iniciativas interdisciplinares dedicadas a construir sistemas para a produ\u00e7\u00e3o, leitura ou entendimento automatizado de imagens e v\u00eddeos. Os objetivos s\u00e3o variados, pois tarefas como produ\u00e7\u00e3o ou identifica\u00e7\u00e3o de texturas, tamanho, palavras, objetos, entidades ou situa\u00e7\u00f5es s\u00e3o aplic\u00e1veis desde campos da ind\u00fastria, da log\u00edstica e da mecatr\u00f4nica at\u00e9 jogos,","realidade virtual e cinema. Dentro dessa \u00e1rea h\u00e1 especificamente a vis\u00e3o computacional (computer vision), que trata da \u201ccoleta, an\u00e1lise e s\u00edntese de dados visuais por interm\u00e9dio de computadores, com objetivos diversos como a identifica\u00e7\u00e3o de rostos e biometria, a an\u00e1lise de representa\u00e7\u00f5es de objetos, entidades, conceitos e contextos em imagens, entre outros\u201d101. Aqui, o foco \u00e9 \u201ccompreender\u201d o que foi registrado ou representado nas imagens para in\u00fameros fins. Em nosso dia a dia, desbloquear aplicativos com o rosto ou identificar automaticamente seus amigos em fotos no Facebook s\u00e3o exemplos de aplica\u00e7\u00e3o da vis\u00e3o computacional j\u00e1 aceitos e cotidianos. Os sistemas conseguem identificar rostos, objetos e contextos nas imagens, sobretudo a partir do \u201caprendizado de m\u00e1quina\u201d (machine learning), modalidade da intelig\u00eancia artificial que trata do reconhecimento de padr\u00f5es por meio de uma base de dados e posterior aplica\u00e7\u00e3o do aprendizado no reconhecimento das vari\u00e1veis em outras unidades ou conjuntos de dados. No caso da vis\u00e3o computacional, trata-se de \u201ctreinar\u201d o sistema, alimentando-o com um n\u00famero relevante de imagens j\u00e1 marcadas para que o software \u201centenda\u201d novas imagens que ainda n\u00e3o foram vistas. Por exemplo, o sistema recebe centenas de fotografias de \u201ccarro\u201d e, a partir da\u00ed, conseguir\u00e1 identificar se h\u00e1 um carro na imagem, onde est\u00e1 posicionado na imagem, suas subclasses (tipo de ve\u00edculo) ou mesmo o cruzamento com outras vari\u00e1veis devidamente treinadas (tipo de dano na lataria, por exemplo). Hoje, a ampla disponibilidade desses recursos \u00e9 um fato n\u00e3o s\u00f3 para empresas altamente especializadas em intelig\u00eancia artificial, mas tamb\u00e9m para uma quantidade cada vez maior de empresas de m\u00eddia e tecnologia, que podem usar os recursos j\u00e1 prontos oferecidos por grandes corpora\u00e7\u00f5es da \u00e1rea, utilizando a l\u00f3gica dos chamados API (Interface de Programa\u00e7\u00e3o de Aplica\u00e7\u00f5es). Esse modo de estrutura\u00e7\u00e3o de neg\u00f3cio permite aos provedores de servi\u00e7os computacionais ofertar gest\u00e3o e\/ou processamento de","dados por demanda a outros programas. Isso significa que as principais empresas de tecnologia podem oferecer suas capacidades computacionais a terceiros, por interm\u00e9dio de grupos de servi\u00e7os como o Google Computing Services ou o Amazon Web Services. Na gigantesca desigualdade no que se refere \u00e0 capacidade de desenvolver e hospedar recursos massivos de computa\u00e7\u00e3o e intelig\u00eancia artificial, milhares de empresas no mundo todo usam os recursos de poucas empresas como a Gafam102, IBM, Palantir, Salesforce, Face++ e a ClearView. Podemos evocar aqui a tipologia de Andr\u00e9 Mintz sobre modos de opera\u00e7\u00e3o da vis\u00e3o computacional a partir de dois tipos espec\u00edficos de agenciamento do vis\u00edvel, o do espa\u00e7o e o dos sujeitos. O modo de localiza\u00e7\u00e3o-acionamento trata da \u201creconstitui\u00e7\u00e3o computacional de um espa\u00e7o concreto, com a precisa localiza\u00e7\u00e3o \u2013 e, em certos casos, acionamento \u2013 dos corpos que o habitam a partir de par\u00e2metros relacionados ao seu posicionamento no espa\u00e7o\u201d103. C\u00e2meras inteligentes de vigil\u00e2ncia, que geram alertas a partir da presen\u00e7a de pessoas no espa\u00e7o de enquadramento das c\u00e2meras em determinados hor\u00e1rios, seriam um exemplo dessas opera\u00e7\u00f5es. O segundo modo \u00e9 o de reconhecimento-conex\u00e3o, que \u201cn\u00e3o se dirige propriamente ao mapeamento de um espa\u00e7o circunscrito pelo campo de vis\u00e3o da c\u00e2mera, mas \u00e0 possibilidade de reconhecer padr\u00f5es registrados pela imagem (como rostos e objetos) e conect\u00e1- los a redes sem\u00e2nticas de dimens\u00f5es vari\u00e1veis\u201d104. Um exemplo comum desse sistema \u00e9 a identifica\u00e7\u00e3o de objetos ou rostos espec\u00edficos que tenham sido previamente registrados nas bases de dados com as quais os mecanismos de vis\u00e3o computacional se conectam. Mintz enfatiza que s\u00e3o categorias que se relacionam e n\u00e3o s\u00e3o nada excludentes entre si. Um exemplo dessa interse\u00e7\u00e3o presente no cotidiano de popula\u00e7\u00f5es afluentes s\u00e3o os smartphones que desbloqueiam seu uso a partir de reconhecimento facial dos donos. Esse tipo de tecnologia ao mesmo tempo evoca o modo de","localiza\u00e7\u00e3o-acionamento, ao garantir que o propriet\u00e1rio e o dispositivo estejam pr\u00f3ximos, e de reconhecimento-conex\u00e3o, ao individualizar a identifica\u00e7\u00e3o de um rosto espec\u00edfico. Mas tal sobreposi\u00e7\u00e3o biom\u00e9trica da seguran\u00e7a tamb\u00e9m cria possibilidades de vigil\u00e2ncia massiva de popula\u00e7\u00f5es rastre\u00e1veis em suas individualidades. Mesmo longe de esgotar os modos poss\u00edveis de agenciamento do vis\u00edvel para usu\u00e1rios de dispositivos digitais de comunica\u00e7\u00e3o, gostaria de acrescentar um terceiro: transforma\u00e7\u00e3o-alimenta\u00e7\u00e3o. Trata-se da edi\u00e7\u00e3o da imagem capturada, analisada e etiquetada, que posteriormente \u00e9 transformada em novas imagens, que retroalimentam as plataformas e bases de dados. Isso acontece geralmente depois da edi\u00e7\u00e3o de aspectos visuais e sem\u00e2nticos pertinentes aos usu\u00e1rios, com frequ\u00eancia de modo l\u00fadico e volunt\u00e1rio. O exemplo mais \u00f3bvio desse modo \u00e9 a centralidade das selfies nas culturas contempor\u00e2neas de autoexposi\u00e7\u00e3o. Essas fotos s\u00e3o compartilhadas nas plataformas e as alimentam de conte\u00fado com filtros de variados tipos, que simulam retoques de beleza, maquiagem, rejuvenescimento, filia\u00e7\u00e3o a causas ou inclus\u00e3o de objetos virtuais. Esses modos n\u00e3o se excluem, mas trabalham em conjunto em infind\u00e1veis formata\u00e7\u00f5es das tarefas computacionais no que tange a rela\u00e7\u00f5es de poder e direcionamentos culturais aceit\u00e1veis ou desej\u00e1veis. Assim como outras modalidades de intelig\u00eancia artificial, os sistemas algor\u00edtmicos com recursos de vis\u00e3o computacional trazem em si valores pol\u00edticos e est\u00e9ticos racializados, que se manifestam em invisibiliza\u00e7\u00e3o, hiper-visibiliza\u00e7\u00e3o, estereotipiza\u00e7\u00e3o ou mesmo em embranquecimento literal dos indiv\u00edduos. Embranquecendo rostos negros Durante o projeto colonial e suas reinven\u00e7\u00f5es contempor\u00e2neas, v\u00edcios e virtudes foram mapeados e espacializados por meio da","viol\u00eancia, do genoc\u00eddio e da imposi\u00e7\u00e3o da vis\u00e3o europeia sobre polos que representariam o que foi chamado, de um lado, de civiliza\u00e7\u00e3o e desenvolvimento humano e, de outro, de selvagem, de atraso e de natureza a ser conquistada105. Os povos nativos do Sul global foram massacrados, explorados e tiveram suas culturas e feitos apagados nas historiografias hegem\u00f4nicas. A constru\u00e7\u00e3o da branquitude durante a expans\u00e3o colonial financiou o racismo cient\u00edfico na constru\u00e7\u00e3o de falsas equival\u00eancias entre caracter\u00edsticas culturais e epist\u00eamicas indesej\u00e1veis e caracter\u00edsticas corporais e fenot\u00edpicas de indiv\u00edduos n\u00e3o europeus. A cor da pele e os tra\u00e7os dos povos colonizadores europeus foram falsamente associados a intelig\u00eancia ou beleza superior, facilitando o processo de domina\u00e7\u00e3o e subjuga\u00e7\u00e3o dos colonizados, bem como o sentimento de superioridade e comunidade dos povos europeus e projetos neocoloniais. Nesse momento, \u201ca cor deixa de ser um qualitativo e ganha um car\u00e1ter essencial, passando a revelar o ser de uma pessoa\u201d106 para as culturas supremacistas. No caso do Brasil, um n\u00edvel consider\u00e1vel de \u201cmiscigena\u00e7\u00e3o\u201d, fruto de viol\u00eancia, resultou no amplo uso de duas armas culturais de domina\u00e7\u00e3o: o colorismo e a valoriza\u00e7\u00e3o do embranquecimento. A partir de in\u00fameras categorias identit\u00e1rias de ra\u00e7a ou cor na matriz entre branco, negro, ind\u00edgena e outras minorias, grupos no poder permitem ou restringem filia\u00e7\u00f5es informais \u00e0 branquitude, a depender do posicionamento de classe e da nega\u00e7\u00e3o ou dilui\u00e7\u00e3o de tra\u00e7os culturais e est\u00e9ticos da afrodescend\u00eancia107, dos cabelos \u00e0 religi\u00e3o. Mesmo tendo sido o supremacismo branco um projeto constru\u00eddo de forma global, a circula\u00e7\u00e3o de seus bens culturais e midi\u00e1ticos nunca foi t\u00e3o veloz quanto agora. Foi o caso do aplicativo FaceApp, lan\u00e7ado em janeiro de 2017. Sucesso estrondoso, o aplicativo de edi\u00e7\u00e3o de selfies possu\u00eda um filtro de \u201cembelezar\u201d o rosto dos usu\u00e1rios. Um dos principais resultados autom\u00e1ticos no filtro era clarear a pele, gerando resultados aberrantes em fotos de","pessoas negras ou indianas, por exemplo. Depois da divulga\u00e7\u00e3o dos problemas, Yaroslav Goncharov, CEO do aplicativo, alegou que \u00e9 \u201cum infeliz efeito colateral da rede neural subjacente causado pelo conjunto de dados de treinamento, n\u00e3o o comportamento esperado\u201d108. Como estamos falando de aprendizado de m\u00e1quina, os dados de treinamento s\u00e3o fator essencial para o modo como o sistema vai funcionar e para que tipo de resultado trar\u00e1. Ao mesmo tempo que algumas posturas alegam que o \u201calgoritmo em si\u201d seria neutro, s\u00e3o comuns as alega\u00e7\u00f5es como a de Goncharov, que fogem da responsabilidade sobre a sele\u00e7\u00e3o dos dados de treinamento, prometendo resolver a quest\u00e3o com um ajuste futuro. Em 2019, o aplicativo viralizou novamente, especialmente no Brasil, com novidades como um filtro de simula\u00e7\u00e3o de envelhecimento. Logo o aplicativo foi denunciado por brecha de seguran\u00e7a e coleta de dados question\u00e1vel. Por\u00e9m, outro problema sobre a transforma\u00e7\u00e3o das selfies emergiu: a proje\u00e7\u00e3o do envelhecimento em pessoas n\u00e3o brancas novamente as embranquecia e trazia caracter\u00edsticas de envelhecimento questionadas por usu\u00e1rios negros e asi\u00e1ticos109. O descompasso entre o que prometeu ser um aprendizado na primeira onda de problemas do aplicativo e os problemas repetidos dois anos depois pode parecer surpreendente se n\u00e3o consideramos como a cultura e as rela\u00e7\u00f5es \u00e9tnico-raciais definem as prioridades do desenvolvimento de tecnologias. A quem o aplicativo deve atender? Quem pode ser ignorado ou receber um servi\u00e7o inadequado em servi\u00e7os de alcance global? Algumas din\u00e2micas da branquitude nas empresas foram estudadas por Maria Aparecida Bento: [Branquitude \u00e9] um lugar de privil\u00e9gio racial, econ\u00f4mico e pol\u00edtico, no qual a racialidade, n\u00e3o nomeada como tal, carregada de valores, de experi\u00eancias, de identifica\u00e7\u00f5es","afetivas, acaba por definir a sociedade. Branquitude como preserva\u00e7\u00e3o de hierarquias raciais, como pacto entre iguais, encontra um territ\u00f3rio particularmente fecundo nas organiza\u00e7\u00f5es, as quais s\u00e3o essencialmente reprodutoras e conservadoras.110 Dessa forma, o pacto narc\u00edsico da branquitude promoveu a invisibilidade da negritude por meio da transforma\u00e7\u00e3o inadequada de suas selfies, como resultado da invisibilidade das faces negras nas bases de dados de treinamento sobre o que seria considerado belo. Se o registro fotogr\u00e1fico tradicional arrogou para si a caracter\u00edstica de ser objetivo, beneficiando, no entanto, alguns grupos de pessoas, a transforma\u00e7\u00e3o imag\u00e9tica por embranquecimento nas selfies em dispositivos digitais busca algo diferente: um embelezamento e a experimenta\u00e7\u00e3o das faces, mas que refor\u00e7a o padr\u00e3o hegem\u00f4nico em dispositivos que tecnicamente teriam o potencial da multiplicidade. Bancos de dados, buscas e representa\u00e7\u00f5es A miss\u00e3o corporativa que o Google expressa publicamente h\u00e1 anos \u00e9 \u201corganizar a informa\u00e7\u00e3o do mundo e torn\u00e1-la universalmente acess\u00edvel e \u00fatil\u201d111. O buscador de mesmo nome e empresas que hoje integram o grupo Alphabet tornaram-se sin\u00f4nimos de reposit\u00f3rios e bases de informa\u00e7\u00e3o online eficientes para os mais diversos fins, gra\u00e7as a uma mistura de vis\u00e3o de neg\u00f3cio de seus criadores, incentivo do capital financeiro e uma cultura de otimiza\u00e7\u00e3o baseada em ci\u00eancia e intelig\u00eancia artificial. Em 1998, os estudantes de Stanford Larry Page e Sergey Brin criaram um algoritmo chamado PageRank para otimizar seu projeto lan\u00e7ado pouco antes, o buscador Google. O PageRank \u00e9 um modo de ranqueamento de dom\u00ednios e p\u00e1ginas web que parte do c\u00e1lculo da distribui\u00e7\u00e3o de valores entre redes de links. Grosso modo, se","uma p\u00e1gina ou site recebe muitos links, consequentemente ela \u00e9 vista como importante e os links que partem dessa p\u00e1gina, por sua vez, possuem mais valor, e assim por diante, de um modo distributivo. A organiza\u00e7\u00e3o dos resultados de busca leva em conta algoritmos similares ao PageRank e uma lista crescente e cambiante de milhares de vari\u00e1veis baseadas em estat\u00edstica, an\u00e1lise de redes, processamento de linguagem natural, al\u00e9m de outros crit\u00e9rios como idade do dom\u00ednio e velocidade de abertura do site e seus arquivos, bem como a personaliza\u00e7\u00e3o dos resultados a partir do hist\u00f3rico de prefer\u00eancias de cada usu\u00e1rio. A efici\u00eancia do buscador Google e de outros mecanismos de recomenda\u00e7\u00e3o automatizada de conte\u00fado teve um car\u00e1ter performativo nos mercados e setores comerciais em torno da publicidade e marketing digitais. O chamado SEO (Search Engine Optimization [Otimiza\u00e7\u00e3o para Mecanismos de Buscas]) \u00e9 um servi\u00e7o que nasceu da constata\u00e7\u00e3o da relev\u00e2ncia dos buscadores para o acesso \u00e0 informa\u00e7\u00e3o online \u2013 e, em diversos pa\u00edses, o Google se aproxima de um monop\u00f3lio. No Brasil, mais de 97% dos usu\u00e1rios de internet utilizam o recurso para encontrar outros sites. Com toda essa relev\u00e2ncia, surgiu na cultura popular a cren\u00e7a de que \u201cse voc\u00ea n\u00e3o est\u00e1 no Google, voc\u00ea n\u00e3o existe\u201d, usada como argumento por provedores de servi\u00e7o na \u00e1rea. Para al\u00e9m desses \u00edndices, cerca de 60% dos cliques acontecem nos tr\u00eas primeiros links112 e est\u00e3o presentes vieses n\u00e3o s\u00f3 de intera\u00e7\u00e3o em cliques, mas tamb\u00e9m de primazia da informa\u00e7\u00e3o, ancoragem e enquadramento. O layout das primeiras p\u00e1ginas de resultados de busca (chamadas de SERP, a partir da sigla em ingl\u00eas) leva os usu\u00e1rios a direcionar seu olhar para as mesmas \u00e1reas familiares, enquadrar os fatos nas opini\u00f5es mais frequentes e considerar que as fontes em destaque possuem mais autoridade ou especializa\u00e7\u00e3o na tem\u00e1tica113. Portanto, a disponibilidade de imagens de indiv\u00edduos e grupos em buscadores web \u00e9 uma das fontes midi\u00e1ticas que moldam,","reproduzem, contestam ou intensificam representa\u00e7\u00f5es culturais. A oferta de imagens ligadas a termos de busca comuns exerce influ\u00eancia na percep\u00e7\u00e3o dos usu\u00e1rios de internet, a partir, em primeira inst\u00e2ncia, da exposi\u00e7\u00e3o a tais imagens e, em segunda inst\u00e2ncia, de sua reprodu\u00e7\u00e3o em obras derivadas, que s\u00e3o tornadas poss\u00edveis devido \u00e0 comodidade de acesso. Buscando entender os modos pelos quais os resultados de busca representam meninas e mulheres negras, Safiya Noble usou as lentes da Teoria Racial Cr\u00edtica e do Feminismo Negro. Ao perscrutar os mecanismos comerciais de busca como inscritos em contextos culturais e ideol\u00f3gicos decorrentes do patriarcado e da supremacia branca, descobriu enquadramentos representacionais extremamente nocivos. A pesquisadora fala de \u201cpornifica\u00e7\u00e3o da identidade\u201d em resultados a buscas como \u201cblack girls\u201d (garotas negras) no Google, por trazerem constantemente em destaque, tanto nos links org\u00e2nicos quanto nos an\u00fancios pagos, sites e imagens de conte\u00fado pornogr\u00e1fico. Noble, combatendo argumentos comuns de neutralidade da tecnologia, argumenta que esses resultados s\u00e3o problem\u00e1ticos por uma s\u00e9rie de motivos. Primeiramente, quanto \u00e0 opacidade, \u00e9 preocupante que um recurso social t\u00e3o importante quanto um buscador usado por bilh\u00f5es de pessoas n\u00e3o possa ser propriamente explicado e auditado. Por quais mecanismos o conjunto de buscas, cliques e comportamentos no buscador em torno dos termos \u201cblack girl\u201d e termos relacionados \u00e0 ind\u00fastria porn\u00f4 s\u00e3o ligados? E, mesmo considerando uma irreal reprodu\u00e7\u00e3o \u201cprecisa\u201d da realidade dos padr\u00f5es de busca, a hipervisibilidade dessas representa\u00e7\u00f5es \u00e9 justa e humana? \u201cSe todas as garotas negras estivessem empenhadas em pesquisar a si mesmas usando o mito da democracia digital, elas ainda assim estariam em menor n\u00famero do que buscas por pornografia. Assim, sua identidade est\u00e1 sujeita a controle por pessoas procurando por pornografia, e tais buscas n\u00e3o precisam sequer ser expl\u00edcitas.\u201d114","Safiya Noble expandiu o argumento no livro Algorithms of Oppression: How Search Engines Reinforce Racism (\u201cAlgoritmos de opress\u00e3o: como mecanismos de busca refor\u00e7am racismo\u201d, em tradu\u00e7\u00e3o livre). Paradoxalmente, aquela hipervisibilidade de uma representa\u00e7\u00e3o nociva, a partir do olhar masculino patriarcal, tira a ag\u00eancia das garotas e mulheres negras sobre seus modos de representa\u00e7\u00e3o \u2013 e seria uma maneira de torn\u00e1-las invis\u00edveis. A representa\u00e7\u00e3o hegem\u00f4nica e violenta no buscador apaga, soterra e invisibiliza as complexidades de todo um grupo. Podemos evocar aqui como a invisibilidade do negro seria um elemento importante da identidade da branquitude, levando a uma \u201cparadoxal constata\u00e7\u00e3o de que ele [o branco] n\u00e3o v\u00ea, n\u00e3o lembra, nunca pensou nos negros\u201d115. A t\u00e1tica de negar tanto a responsabilidade quanto a realidade racial aproxima as declara\u00e7\u00f5es p\u00fablicas de uma pequena empresa de tecnologia de dezenas de funcion\u00e1rios como a FaceApp, vista anteriormente, ao colossal Google e suas centenas de milhares de colaboradores. Em resposta a caso que gerou visibilidade sobre os vieses dos resultados de imagens no Brasil, o Google se esquivou da responsabilidade e refor\u00e7ou a falsa ideia de neutralidade racial: \u201cNossos sistemas encontram e organizam informa\u00e7\u00f5es dispon\u00edveis na web, eventualmente, a busca pode espelhar estere\u00f3tipos existentes na internet e no mundo real em fun\u00e7\u00e3o da maneira como alguns autores criam e rotulam seu conte\u00fado. Entendemos que pessoas de todas as ra\u00e7as, g\u00eaneros e grupos podem ser afetadas por essas representa\u00e7\u00f5es\u201d116. A nega\u00e7\u00e3o de responsabilidade ocorre na tentativa de enquadramento da quest\u00e3o como externa a sua ferramenta, como apenas uma reprodu\u00e7\u00e3o de estere\u00f3tipos existentes. E, usando a estrat\u00e9gia da suposta neutralidade racial que nega tanto a realidade factual brasileira quanto a de seu pa\u00eds-sede, os Estados Unidos, alega, como justificativa, que o fato poderia acontecer com qualquer grupo.","Em outro caso brasileiro, mulheres descobriram que buscas como \u201cmulher negra dando aula\u201d resultam tamb\u00e9m em conte\u00fado pornogr\u00e1fico. Ao responder ao portal educacional que cobriu o problema, a empresa emitiu uma nota dizendo: \u201co conjunto de resultados para o termo mencionado n\u00e3o est\u00e1 \u00e0 altura desse princ\u00edpio [inten\u00e7\u00e3o dos usu\u00e1rios] e pedimos desculpas \u00e0queles que se sentiram impactados ou ofendidos\u201d117. Ou seja, a empresa se esquiva e delega o \u00f4nus da ofensa \u00e0s v\u00edtimas. Enquanto buscadores web generalistas, como o Google e o Bing, buscam atender a todos os tipos de usu\u00e1rios de internet, h\u00e1 um tipo de reposit\u00f3rio bem particular e de nicho, mas com efeitos de reprodu\u00e7\u00e3o cumulativos: os bancos de imagens (stock photos). \u00c9 um mercado criativo que nasceu no in\u00edcio do s\u00e9culo XX para oferecer fotografias e outros tipos de imagens para ag\u00eancias de marketing, publicidade e not\u00edcias, que as compram e reproduzem com ou sem exclusividade, a depender do modelo de negocia\u00e7\u00e3o. A gest\u00e3o das imagens em categorias relevantes para as pr\u00e1ticas de consumo, como \u201cpessoas\u201d, \u201cfam\u00edlia\u201d, \u201ccozinha\u201d e outras, cada vez mais granulares, aumenta seu impacto como mediadores culturais da oferta de visualidades sobre produtos, sociedade e emo\u00e7\u00f5es118. A internet impulsionou enormemente a ind\u00fastria dos bancos de imagens por uma s\u00e9rie de raz\u00f5es. Duas delas, em particular, se inter-relacionam. A primeira foi o aumento da demanda por imagens de baixo custo, advinda da necessidade de produ\u00e7\u00e3o constante de conte\u00fado nas m\u00eddias sociais, tanto para as grandes empresas quanto para as pequenas. A segunda \u00e9 a evolu\u00e7\u00e3o do modelo de microstock, por meio do qual as empresas de bancos de imagens tornaram-se plataformas intermedi\u00e1rias entre clientes de todos os tipos e fot\u00f3grafos e artistas profissionais ou amadores, que ofertam suas produ\u00e7\u00f5es, as quais podem ser compradas ou cedidas diretamente pela internet, com modelos vari\u00e1veis de licen\u00e7a de uso. Influenciados por camadas de poder representacional relacionadas a ra\u00e7a, na\u00e7\u00e3o, g\u00eanero e classe, profissionais da","comunica\u00e7\u00e3o em pa\u00edses como o Brasil usam majoritariamente os bancos de imagens criados nos polos econ\u00f4micos e midi\u00e1ticos dos Estados Unidos e Europa, tais como Getty Images, Shutterstock e Adobe Stock119. Essa ampla utiliza\u00e7\u00e3o motivou levantamentos sobre a distribui\u00e7\u00e3o de quais tipos de fotografia aparecem em destaque nessas bases de dados. Como as pessoas de diferentes nacionalidades, grupos \u00e9tnico-raciais e g\u00eaneros s\u00e3o representadas? Segundo pesquisa de Fernanda Carrera e Denise Carvalho, o imagin\u00e1rio social sobre a constru\u00e7\u00e3o de fam\u00edlias e o distanciamento do padr\u00e3o de fam\u00edlia nuclear \u00e9 reproduzido interseccionalmente no que tange a ra\u00e7a e g\u00eanero nos bancos de imagens Getty Images, Shutterstock e Stockphotos. Nos resultados em destaque relacionados \u00e0 busca sobre fotos de fam\u00edlia nesses sites, 14% dos resultados de fotos de fam\u00edlias negras representam mulheres sozinhas, contra 4% de fam\u00edlias representadas por homens brancos sozinhos120. Entra em jogo novamente a dualidade do algoritmo, em sua condi\u00e7\u00e3o dupla de mecanismo estritamente digital- computacional e de conjunto de procedimentos para alcan\u00e7ar determinados resultados. A retroalimenta\u00e7\u00e3o de estere\u00f3tipos culturais a partir do uso facilitado de \u201cresultados imag\u00e9ticos que compor\u00e3o o imagin\u00e1rio social sobre os corpos e sujeitos\u201d121 nos bancos de imagens exerce seu impacto por meio da l\u00f3gica de otimiza\u00e7\u00e3o de custos do mercado da comunica\u00e7\u00e3o, com o uso do mecanismo quase industrial dos bancos de imagens. Como aponta Winnie Bueno, ao evocar o lugar da m\u00eddia massiva nas imagens de controle apontadas por Patricia Hill Collins, \u201co racismo apresenta contornos globais que tamb\u00e9m est\u00e3o estabelecidos a partir da prolifera\u00e7\u00e3o massiva de imagens de controle na m\u00eddia de massas, que possibilita um controle transnacional e cada vez mais global\u201d122. Em outro resultado da pesquisa, a partir das vari\u00e1veis interligadas de ra\u00e7a e g\u00eanero, Fernanda Carrera analisou, nos bancos de imagens citados, as imagens relacionadas a palavras-","chave associadas a posi\u00e7\u00f5es profissionais e conceitos como \u201cchefe\/a\u201d, \u201csecret\u00e1ria\/o\u201d, \u201cpobreza\u201d e \u201criqueza\u201d. Para a pesquisadora, essa rela\u00e7\u00e3o entre valores e marcadores sociais representa uma conex\u00e3o: \u201c[\u00c9] tanto uma produ\u00e7\u00e3o espelhada da realidade social quanto ajuda a refor\u00e7\u00e1-la. Se a alguns indiv\u00edduos \u00e9 negada a representa\u00e7\u00e3o da viv\u00eancia da felicidade, da beleza e da opul\u00eancia, enquanto a outros n\u00e3o se considera exist\u00eancia fora destes par\u00e2metros, n\u00e3o s\u00e3o deixadas sa\u00eddas para representa\u00e7\u00f5es e experimenta\u00e7\u00f5es mais justas\u201d123. Os resultados demonstraram que, nessas bases de dados, pobreza \u00e9 negra, infantil e feminina; riqueza \u00e9 masculina e branca; e as representa\u00e7\u00f5es de g\u00eanero e ra\u00e7a no mundo do trabalho hiper- ritualizam o lugar do homem branco como chefe em contexto corporativo, mulheres e pessoas racializadas em geral como associadas a imagens estereotipadas de pobreza e subalternidade. O que os computadores veem nas imagens Em 2015, ao lan\u00e7ar o recurso de etiqueta\u00e7\u00e3o autom\u00e1tica de fotos em seu aplicativo Google Photos, o programador Jacky Alcin\u00e9 teve fotos suas e de sua namorada marcadas com a tag \u201cgorilas\u201d. Ao divulgar o insulto no Twitter, recebeu a resposta de um engenheiro do Google, que pediu desculpas124; o engenheiro n\u00e3o prometeu a\u00e7\u00f5es concretas, mas divulgou publica\u00e7\u00e3o no portal da Fortune, que dizia que o sistema de reconhecimento de faces do Google \u00e9 considerado o melhor do mercado. Em 2018, jornalistas da Wired realizaram testes e mostraram que a solu\u00e7\u00e3o da empresa foi simplesmente eliminar a tag \u201cgorila\u201d da lista de categorias e conceitos do servi\u00e7o125, refor\u00e7ando a percep\u00e7\u00e3o p\u00fablica quanto aos esfor\u00e7os de evas\u00e3o da empresa no que se refere \u00e0 inclus\u00e3o da diversidade. O caso gerou como\u00e7\u00e3o p\u00fablica. Foi particularmente revoltante por evocar um longo hist\u00f3rico de desumaniza\u00e7\u00e3o de popula\u00e7\u00f5es","africanas e afrodescendentes por meio do racismo cient\u00edfico. Fa\u00e7amos aqui uma pequena digress\u00e3o: no s\u00e9culo XVIII, o botanista e zoologista sueco Carlos Lineu revolucionou a ci\u00eancia e a organiza\u00e7\u00e3o do conhecimento ao propor a nomenclatura binominal para classifica\u00e7\u00e3o das esp\u00e9cies, milhares das quais ele mesmo nomeou. Assim como os demais grandes cientistas europeus da \u00e9poca, sua colabora\u00e7\u00e3o para o projeto cartesiano de classifica\u00e7\u00e3o do mundo foi constituinte dos esfor\u00e7os de coloniza\u00e7\u00e3o racializada do mundo. Foi nesse \u00e2mbito, inclusive, que obteve seu financiamento. A partir da obra System Naturae (1735), prop\u00f4s que a humanidade seria composta de diferentes ra\u00e7as \u2013 americanos, europeus, africanos e asi\u00e1ticos \u2013, que seriam distinguidas entre si por regi\u00e3o, cor da pele, tra\u00e7os fenot\u00edpicos e tend\u00eancias psicol\u00f3gicas e pol\u00edticas, em uma escala na qual os europeus estariam no topo dos valores desej\u00e1veis. Inspirou o racismo cient\u00edfico do s\u00e9culo seguinte, que aproximou caracter\u00edsticas das diferentes \u201cra\u00e7as\u201d humanas a diferentes tipos de animais posicionados em sistemas de valor inscritos na cultura europeia. O impacto das met\u00e1foras de animaliza\u00e7\u00e3o para desumaniza\u00e7\u00e3o do outro mant\u00e9m ra\u00edzes fincadas na produ\u00e7\u00e3o de objetos culturais e pedag\u00f3gicos em todo o mundo, da Su\u00e9cia126 ao Brasil, onde crian\u00e7as s\u00e3o socializadas em l\u00e9xicos racistas, mesmo em livros did\u00e1ticos, que frequentemente animalizam as pessoas negras pela \u201cassocia\u00e7\u00e3o da cor preta a animais (o porco preto, a cabra preta, o macaco preto) ou a seres sobrenaturais animalizados (mula-sem- cabe\u00e7a, lobisomem, saci-perer\u00ea)\u201d127. Em um panorama em que uma das principais empresas de tecnologia do mundo n\u00e3o consegue lidar com erros t\u00e3o vulgarmente racistas e simples, o neg\u00f3cio da vis\u00e3o computacional gera apreens\u00f5es em seus usos pela ind\u00fastria da comunica\u00e7\u00e3o e, cada vez mais, pela ind\u00fastria da seguran\u00e7a p\u00fablica e privada. Dedicaremos o pr\u00f3ximo cap\u00edtulo \u00e0 quest\u00e3o da seguran\u00e7a, mas a esfera mais \u00f3bvia e expl\u00edcita dos sistemas de vis\u00e3o computacional","est\u00e1 dispon\u00edvel para acesso por qualquer usu\u00e1rio. A Tabela 2 reproduz um mapeamento dos principais recursos de tr\u00eas dos destacados fornecedores de recursos de vis\u00e3o computacional. Cada linha apresenta um tipo de capacidade de an\u00e1lise e processamento de imagens, que pode ser contratado imediatamente por meio das plataformas. TABELA 2 Compara\u00e7\u00e3o de alguns dos recursos de APIs de vis\u00e3o computacional128 Google IBM Microsoft Etiquetas\/tags\/classes sim sim sim Entidades de web sem\u00e2ntica sim n\u00e3o n\u00e3o Classes de comida n\u00e3o sim n\u00e3o Legendas autom\u00e1ticas n\u00e3o n\u00e3o sim Detec\u00e7\u00e3o de conte\u00fado expl\u00edcito sim sim sim Detec\u00e7\u00e3o de rostos sim n\u00e3o sim Express\u00f5es faciais sim n\u00e3o n\u00e3o Celebridades n\u00e3o n\u00e3o sim Pontos tur\u00edsticos\/locais sim n\u00e3o sim G\u00eanero n\u00e3o sim sim Idade n\u00e3o sim sim Reconhecimento de texto sim n\u00e3o sim Idioma do texto sim n\u00e3o n\u00e3o Busca reversa na web sim n\u00e3o n\u00e3o A tabela mostra que os dom\u00ednios de etiquetamento das imagens em servi\u00e7os dispon\u00edveis por meio de APIs s\u00e3o amplos (e crescentes), mas podemos agrup\u00e1-los em seis tipos principais: a) recursos ligados \u00e0 identifica\u00e7\u00e3o de pessoas e suas caracter\u00edsticas, como idade, g\u00eanero e express\u00f5es faciais; b) marca\u00e7\u00e3o de etiquetas\/tags\/classes de objetos e situa\u00e7\u00f5es na imagem; c) descoberta de imagens equivalentes ou similares na web, assim","como extra\u00e7\u00e3o de informa\u00e7\u00f5es relacionadas da web sem\u00e2ntica; d) modelos verticais, como reconhecimento de celebridades, pontos tur\u00edsticos ou tipos de comida; e) detec\u00e7\u00e3o de conte\u00fado expl\u00edcito, como viol\u00eancia e pornografia, aplicado para fins de modera\u00e7\u00e3o e filtragem de conte\u00fado; e f) reconhecimento automatizado do texto nas imagens, transformando o recurso visual em textual129. Na superf\u00edcie das aplica\u00e7\u00f5es da vis\u00e3o computacional incorporadas em nosso cotidiano est\u00e3o a localiza\u00e7\u00e3o de rostos nas imagens e v\u00eddeos e a identifica\u00e7\u00e3o aproximada de caracter\u00edsticas como idade, g\u00eanero e emo\u00e7\u00f5es. Categorias como idade e g\u00eanero (quando vistos de forma bin\u00e1ria) parecem simples e diretas, mas est\u00e3o muito longe de s\u00ea-lo. \u00c9 o que nos mostram Joy Buolamwini e Timnit Gebru no importante trabalho \u201cGender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification\u201d, no qual comparam os recursos de identifica\u00e7\u00e3o de g\u00eanero e idade nas ferramentas de vis\u00e3o computacional da Microsoft, IBM e Face++, descobrindo a presen\u00e7a de disparidades relevantes. A Tabela 3 mostra a taxa de acerto na identifica\u00e7\u00e3o de g\u00eanero nos tr\u00eas recursos analisados, a partir de teste realizado com fotografias de pessoas de pele mais escura ou mais clara. Entre as acentuadas diferen\u00e7as presentes, a Microsoft conseguiu uma taxa de acerto de 100% em fotos de homens de pele clara em compara\u00e7\u00e3o a apenas 79,2% em fotos de mulheres com pele escura. TABELA 3 Taxas de acerto na identifica\u00e7\u00e3o de g\u00eanero130 Microsoft Face++ IBM Homem pele escura 94,0% 99,3% 88,0% Mulher pele escura 79,2% 65,5% 65,3% Homem pele clara 100% 99,2% 99,7% Mulher pele clara 98,3% 94,0% 92,9% Maior gap de erro 20,8% 33,8% 34,4%","Chegando a uma diferen\u00e7a de 34,4%, essas disparidades foram descritas pelas autoras como interseccionais, por sobreporem desigualdades de ra\u00e7a e g\u00eanero na taxa de erros. As taxas de erro foram descobertas atrav\u00e9s de rigorosa auditoria, que isolou vari\u00e1veis intervenientes, como a qualidade das imagens. A partir da auditoria, as autoras concluem que \u201cbases de dados inclusivas de refer\u00eancia e relat\u00f3rios de acur\u00e1cia em subgrupos podem ser necess\u00e1rios para aumentar transpar\u00eancia e responsabilidade em intelig\u00eancia artificial\u201d131. Outro projeto que p\u00f4s \u00e0 prova de forma criativa os recursos comerciais de vis\u00e3o computacional foi realizado por Lauren Rhue, que se debru\u00e7ou sobre um conjunto de fotos cuidadosamente selecionadas e padronizadas de atletas para testar como os fornecedores Face++ e Microsoft identificariam emo\u00e7\u00f5es faciais nas imagens de rostos de homens brancos e homens negros. Os resultados consistentemente atribu\u00edram \u00e0s fotos de atletas negros emo\u00e7\u00f5es\/express\u00f5es mais negativas, como raiva, bem como menor precis\u00e3o na identifica\u00e7\u00e3o de sorriso. Rhue relaciona essa manifesta\u00e7\u00e3o algor\u00edtmica a levantamentos que j\u00e1 identificaram que \u201cprofissionais negros precisam amplificar emo\u00e7\u00f5es positivas para receber paridade em suas avalia\u00e7\u00f5es de performance de trabalho\u201d e que homens negros s\u00e3o percebidos como \u201cmais amea\u00e7adores fisicamente do que homens brancos, mesmo quando s\u00e3o do mesmo tamanho\u201d132. Apesar da frequ\u00eancia de erros e casos question\u00e1veis de aplica\u00e7\u00e3o de vis\u00e3o computacional para analisar vari\u00e1veis complexas como emo\u00e7\u00f5es, as empresas de tecnologia t\u00eam realizado lobby para normalizar seu uso, valendo-se, para tanto, do poder de sedu\u00e7\u00e3o da inova\u00e7\u00e3o. Durante as conturbadas elei\u00e7\u00f5es de 2018, o jornal Estad\u00e3o usou o servi\u00e7o de an\u00e1lise de emo\u00e7\u00f5es da Microsoft, em parceria com a empresa, para estudar em tempo real as express\u00f5es dos candidatos durante um importante debate televisionado. Foram realizados coment\u00e1rios e visualiza\u00e7\u00f5es t\u00e9cnica e esteticamente","impressionantes, em tempo real, sobre as supostas emo\u00e7\u00f5es dos candidatos. A atribui\u00e7\u00e3o das emo\u00e7\u00f5es aos candidatos com frequ\u00eancia joga com valores que s\u00e3o rejeitados por eleitores (como in\u00e9rcia, fragilidade, falta de espontaneidade) a partir da avalia\u00e7\u00e3o de uma ferramenta automatizada. At\u00e9 que ponto essa avalia\u00e7\u00e3o \u00e9 precisa e deveria ter sido usada em algo relevante como o relato de um debate no \u00e2mbito de uma elei\u00e7\u00e3o presidencial? Seduzidos pela quantidade de dados \u2013 que est\u00e3o longe de constituir, por si s\u00f3, informa\u00e7\u00e3o \u2013, os redatores chegam a falar de \u201cdepress\u00e3o na reta final\u201d ao comentar sobre um dos candidatos133. A empolga\u00e7\u00e3o com a tecnologia leva a absurdos conceituais sobre emo\u00e7\u00f5es e condi\u00e7\u00f5es mentais, que nos fazem relembrar a import\u00e2ncia de \u201cexperts de dom\u00ednio\u201d (especialistas disciplinares do campo em quest\u00e3o \u2013 psic\u00f3logos, no caso), caso t\u00edpico de colonialismo de campo: a tecnologia \u00e9 mais importante que os especialistas? O jornalismo de dados tem se aproximado das comunidades de aprendizado de m\u00e1quina, ao acreditar que qualquer coisa pode ou deve ser mensurada e analisada, em uma l\u00f3gica \u201cdata\u00edsta\u201d. H\u00e1, por\u00e9m, muitas controv\u00e9rsias sobre a efetividade das propostas de Paul Ekman, o psic\u00f3logo que inventou a tipologia de emo\u00e7\u00f5es mais famosa e suas t\u00e9cnicas para supostamente identific\u00e1-las, assim como sua metodologia para interrogar suspeitos. Express\u00f5es faciais n\u00e3o s\u00e3o universais como se pensava, e Ekman usou literalmente a met\u00e1fora da \u201cmina de ouro\u201d para falar de sua pesquisa \u2013 ganhando milh\u00f5es em aplica\u00e7\u00f5es ideologicamente question\u00e1veis134. Uma imagem vale mil controv\u00e9rsias Em um projeto de explora\u00e7\u00e3o sobre como APIs de vis\u00e3o computacional etiquetam, em sites como Shutterstock e Adobe","Photo, imagens sobre diferentes pa\u00edses, identificamos que \u201carquiteturas algor\u00edtmicas favorecem a performance de neutralidade cultural, mas com categorias gen\u00e9ricas com muito mais destaque do que termos espec\u00edficos\u201d135, sendo que a ideia de neutralidade \u00e9 marcada socialmente pela percep\u00e7\u00e3o dos desenvolvedores. As taxonomias, etiquetas e modos de interpretar as imagens variam em grande medida de servi\u00e7o a servi\u00e7o. O volume de etiquetas dispon\u00edveis pode dar a entender que os sistemas de vis\u00e3o computacional s\u00e3o capazes de interpretar adequadamente as imagens, mas cada etiqueta trata de indica\u00e7\u00f5es de aproxima\u00e7\u00f5es e possibilidades de acerto. As diferen\u00e7as entre os servi\u00e7os de vis\u00e3o computacional dispon\u00edveis por APIs dirime qualquer pretens\u00e3o de neutralidade ou exatid\u00e3o. A Tabela 4 mostra uma compara\u00e7\u00e3o de n\u00famero de etiquetas atribu\u00eddas \u00e0s mesmas bases de dados comparativas de imagens relacionadas a gent\u00edlicos. Nesse estudo, exploramos como os servi\u00e7os de vis\u00e3o computacional entenderiam imagens associadas a diferentes nacionalidades como \u201cbrasileiros\u201d, \u201caustr\u00edacos\u201d ou \u201cnigerianos\u201d. Entre os resultados identificados nas compara\u00e7\u00f5es quantitativa e qualitativa da interpreta\u00e7\u00e3o das imagens, encontramos pouca coer\u00eancia entre os servi\u00e7os e uma alta disparidade em n\u00famero de etiquetas. TABELA 4 N\u00famero de etiquetas \u00fanicas atribu\u00eddas por diferentes APIs de vis\u00e3o computacional em bases de imagens de banco de imagens (4 mil fotos)136 Austr\u00edacos Brasileiros Nigerianos Portugueses Microsoft Azure 317 561 485 501 Computer Vision AP 1.632 2.044 1.846 1.991 IBM Watson Visual 2.037 2.170 1.145 1.992 Recognition API Google Cloud Vision API","A diferen\u00e7a de n\u00famero de etiquetas atribu\u00eddas \u00e0s imagens n\u00e3o significa necessariamente uma adequa\u00e7\u00e3o maior ou uma taxa de erro menor. Um resultado curioso foi identificar como o servi\u00e7o IBM Watson Visual Recognition, que enfatiza em sua p\u00e1gina possuir especialidade vertical sobre classes de comida, conseguiu identificar poucos pratos t\u00edpicos de culin\u00e1rias regionais. \u201c[Estas ferramentas devem ser] compreendidas em vista do contexto em que operam, refletindo n\u00e3o apenas vieses contidos nos datasets, mas, tamb\u00e9m, formas de opress\u00e3o e exclus\u00e3o que condicionaram a constitui\u00e7\u00e3o tanto dos datasets quanto do software, incluindo a\u00ed a pouca diversidade das equipes de desenvolvimento.\u201d137 A baixa diversidade \u00e9tnico-racial, et\u00e1ria, cultural e de g\u00eanero \u2013 entre outras vari\u00e1veis \u2013 nos datasets \u00e9 um problema em si, adicionalmente refletido nas decis\u00f5es do que \u00e9 considerado aceit\u00e1vel para uso, treinamento e implementa\u00e7\u00e3o. Alguns grupos n\u00e3o s\u00f3 s\u00e3o deixados de lado ou ignorados na produ\u00e7\u00e3o de tecnologias hegem\u00f4nicas como s\u00e3o estereotipados e agredidos intelectualmente na montagem dos recursos computacionais que se tornam funda\u00e7\u00f5es para novas tecnologias, acumulando camadas estruturais de preconceitos. A disruptiva evolu\u00e7\u00e3o da vis\u00e3o computacional na \u00faltima d\u00e9cada deu-se em grande medida devido \u00e0 disponibilidade das chamadas bases de dados visuais de larga escala. A mais famosa dessas bases provavelmente seja a ImageNet, com mais de 14 milh\u00f5es de imagens e milhares de classes anotadas. Competi\u00e7\u00f5es de desenvolvimento de sistemas de reconhecimento visual sobre essa base de dados permitiram a evolu\u00e7\u00e3o de novas t\u00e9cnicas de redes neurais com dezenas de milh\u00f5es de par\u00e2metros138. Contudo, tanto a ImageNet quanto outras bases famosas, como a JFT-300M e a Tiny- Images, possuem, desde seu in\u00edcio, dois problemas fundamentais: n\u00e3o houve registro e transpar\u00eancia sobre o processo de forma\u00e7\u00e3o da base e de sua curadoria, e absolutamente nenhuma das imagens com pessoas recebeu consentimento pr\u00e9vio dos indiv\u00edduos","representados. Vinay Prabhu e Abeba Birhane avaliam que o uso desse tipo de base de dados \u00e9 uma \u201cvit\u00f3ria p\u00edrrica\u201d para a comunidade da vis\u00e3o computacional, pois tais avan\u00e7os foram conseguidos \u201cao custo de dano a grupos minorizados e incentivo \u00e0 eros\u00e3o gradual de privacidade, consentimento e ag\u00eancia tanto do indiv\u00edduo quanto do coletivo\u201d139. Criada em 2009, a base de dados ImageNet foi produzida por meio de coleta (scraping) de imagens extra\u00eddas da web por buscadores como o Google e em cole\u00e7\u00f5es de imagens de v\u00e1rias proveni\u00eancias. Em seguida as imagens foram etiquetadas por meio de trabalho distribu\u00eddo e precarizado na Amazon Mechanical Turk. Tarefas de etiquetamento de imagens como as que permitiram a emerg\u00eancia da ImageNet em geral s\u00e3o realizadas por profissionais que apenas recebem \u201cum conjunto breve e direto de instru\u00e7\u00f5es. Quase nenhuma das tarefas tem indica\u00e7\u00f5es sobre a quais infraestruturas digitais ela serve ou os estudos que possibilita\u201d140. Enquanto esse trabalho quase bra\u00e7al foi pulverizado em micropagamentos141, as elites tecnol\u00f3gicas globais ficaram com o trabalho considerado sofisticado de desenvolvimento, o grosso dos valores \u2013 financeiros e cient\u00edficos \u2013 provenientes de suas aplica\u00e7\u00f5es e tamb\u00e9m a pr\u00f3pria chance de representa\u00e7\u00e3o: mais da metade das fotos vem dos Estados Unidos e do Reino Unido, locais que concentram apenas cerca de 5% da popula\u00e7\u00e3o mundial142. Investiga\u00e7\u00f5es sobre como a base de imagens inclui potencial discriminat\u00f3rio quanto a ra\u00e7a, g\u00eanero, profiss\u00e3o e outras vari\u00e1veis foram realizadas por pesquisadores, sobretudo em torno da macrocategoria \u201cPerson\u201d (pessoa) e suas categorias secund\u00e1rias. A pesquisadora Kate Crawford e o artista Trevor Paglen se perguntam sobre o modo pelo qual as etiquetas presentes na base ImageNet, com frequentes conota\u00e7\u00f5es ofensivas disponibilizadas para milhares de produtos derivados, evocam pr\u00e1ticas de frenologia, fisiognomia e eugenia e suas liga\u00e7\u00f5es fixas entre mensura\u00e7\u00f5es craniais ou fenot\u00edpicas com valores humanos, morais e qualitativos. Para os","pesquisadores, na base de dados tudo \u00e9 \u201cplanificado e fixado a uma etiqueta, como borboletas empalhadas em exibi\u00e7\u00e3o. Os resultados podem ser problem\u00e1ticos, il\u00f3gicos e cru\u00e9is\u201d143, especialmente quando se trata de pessoas. Prabhu e Birhane observam que os potenciais de danos s\u00e3o m\u00faltiplos. Em sociedades ocidentais, caracter\u00edsticas \u201cdesej\u00e1veis\u201d, \u201cpositivas\u201d, \u201cnormais\u201d e modos de exist\u00eancia s\u00e3o constru\u00eddos e mantidos atrav\u00e9s de alinhamentos com a narrativa dominante, dando vantagens \u00e0queles que se encaixam no status quo. Grupos e indiv\u00edduos nas margens, por outro lado, s\u00e3o frequentemente percebidos como os \u201cpontos fora da curva\u201d ou \u201cdesviantes\u201d. Classifica\u00e7\u00e3o de imagens e pr\u00e1ticas de etiquetamento, sem as precau\u00e7\u00f5es necess\u00e1rias e consci\u00eancia destas hist\u00f3rias problem\u00e1ticas, selecionam tais estere\u00f3tipos e preconceitos e os perpetuam.144 Crawford e Paglen tamb\u00e9m realizaram um projeto controverso para gerar consci\u00eancia p\u00fablica sobre as falhas de etiquetamento da ImageNet. Durante alguns meses, o aplicativo permitiu que qualquer pessoa acessasse um site chamado ImageNet Roulette, onde o visitante poderia subir uma imagem \u2013 geralmente uma selfie \u2013, que seria processada com a base de dados ImageNet. Assim, milhares de pessoas poderiam entender como uma das mais famosas bases de treinamento para vis\u00e3o computacional poderia \u201cver\u201d seus rostos. Ao mesmo tempo que o projeto jogou luz sobre as problem\u00e1ticas da vis\u00e3o computacional para um maior n\u00famero de pessoas, as camadas de possibilidades de fasc\u00ednio, reflex\u00e3o ou ofensa pela abordagem tamb\u00e9m foram situadas. A jornalista Julia Carrie Wong, do The Guardian US, carregou uma selfie para o ImageNet Roulette e, como resultado, recebeu as tags \u201cgook\u201d (termo derrogat\u00f3rio usado para pessoas do sudeste asi\u00e1tico, sobretudo depois da guerra do Vietn\u00e3) e \u201cslant eye\u201d (\u201colho puxado\u201d, tamb\u00e9m usado de forma ofensiva). Julia conta, em sua coluna, que \u201co aplicativo \u2013 que","\u00e9 parte de um projeto art\u00edstico \u2013 alcan\u00e7ou seu objetivo ao sublinhar exatamente o que est\u00e1 errado com a intelig\u00eancia artificial\u201d145, mas a afetou pessoalmente justo em uma semana especialmente dif\u00edcil para os asi\u00e1ticos nos Estados Unidos, por conta da atmosfera de viol\u00eancias e perdas pol\u00edticas. O fato nos lembra de que n\u00e3o s\u00f3 as visibilidades e representa\u00e7\u00f5es, mas tamb\u00e9m os horizontes de a\u00e7\u00f5es para lidar com tais problem\u00e1ticas s\u00e3o multifacetados. Neste cap\u00edtulo falamos da visibilidade como pr\u00e1tica ligada a incid\u00eancias de poder na rela\u00e7\u00e3o entre branquitude e capital. Nos mercados e ambientes produtivos de tecnologia de ponta, concentrados em polos como Vale do Sil\u00edcio, tanto a diversidade dos corpos quanto a das epistemes s\u00e3o raras, o que produz impactos materiais e simb\u00f3licos nos sistemas usados por grande parte das popula\u00e7\u00f5es mundiais. Tanto os problemas identificados como a rea\u00e7\u00e3o de uma parcela dos desenvolvedores que foram contestados mostram que \u201ca hegemonia da brancura presente em todos os \u00e2mbitos sociais n\u00e3o colabora para que os indiv\u00edduos brancos passem a questionar seus privil\u00e9gios, bem como se importar com as desvantagens impostas aos demais grupos\u201d146. De modo paradoxal, a invisibilidade branca se vincula a suas padroniza\u00e7\u00e3o e refer\u00eancia como universais, como afirma Eliana Sambo Machado: \u201cn\u00e3o porque nossa cor branca passa despercebida, pelo contr\u00e1rio, porque nossa cor \u00e9 vis\u00edvel, por\u00e9m tal visibilidade \u00e9 silenciada e representa o universal garantindo a n\u00f3s brancas\/os, posi\u00e7\u00f5es de privil\u00e9gios das quais ningu\u00e9m quer abrir m\u00e3o\u201d147. Entretanto, as ideologias reproduzidas na constru\u00e7\u00e3o de sistemas algor\u00edtmicos imersos nas estruturas pol\u00edticas da contemporaneidade n\u00e3o exigem que as pessoas em posi\u00e7\u00e3o de privil\u00e9gio sequer sejam confrontadas com chances de abrir m\u00e3o dessas vantagens. A interface entre opacidade algor\u00edtmica em rela\u00e7\u00e3o com o pacto narc\u00edsico da branquitude \u00e9 uma das chaves","para entender pr\u00e1ticas que v\u00e3o da vis\u00e3o computacional em artefatos l\u00fadicos at\u00e9 tecnologias carcer\u00e1rias algor\u00edtmicas, como o reconhecimento facial, que avan\u00e7am em prol do encarceramento em massa e do genoc\u00eddio negro. 96 Joy Buolamwini, \u201cHow I\u2019m Fighting Bias in Algorithms\u201d, TEDxBeaconStreet, 2016, dispon\u00edvel em: <https:\/\/www.ted.com\/talks\/joy_buolamwini_how_i_m_fighting_bias_in_algorithms>, acesso em: out. 2021. 97 Fratz Fanon, Pele negra, m\u00e1scaras brancas, Salvador: Edufba, 2008. 98 Brian X. Chen, \u201cHP Investigates Claims of \u2018Racist\u2019 Computers\u201d, Wired, 22 dez. 2009, dispon\u00edvel em: <https:\/\/www.wired.com\/2009\/12\/hp-notebooks-racist\/>, acesso em: out. 2021. 99 Joy Buolamwini, \u201cHow I\u2019m Fighting Bias in Algorithms\u201d, op. cit. 100 Parte deste cap\u00edtulo reproduz ideias apresentadas no trabalho \u201cVis\u00e3o computacional e racismo algor\u00edtmico: branquitude e opacidade no aprendizado de m\u00e1quina\u201d, publicado na Revista da Associa\u00e7\u00e3o Brasileira de Pesquisadores\/as Negros\/as (ABPN), v. 12, n. 31, 2020, pp. 428-48, dispon\u00edvel em: <http:\/\/abpnrevista.org.br\/revista\/index.php\/revistaabpn1\/issue\/view\/37>, acesso em: out. 2021. 101 JuHong Wang; SongHai Zhang; Ralph R Martin, \u201cNew Advances in Visual Computing for Intelligent Processing of Visual Media and Augmented Reality\u201d, Science China Technological Sciences, v. 58, n. 12, 2015, p. 2210. 102 Como mencionado no cap\u00edtulo 2, acr\u00f4nimo para Google, Apple, Facebook, Amazon e Microsoft. 103 Andr\u00e9 Mintz, \u201cM\u00e1quinas que veem: vis\u00e3o computacional e agenciamentos do vis\u00edvel\u201d, in: Gabriel Menotti; Marcus Bastos; Patr\u00edcia Moran (orgs.), Cinema apesar da imagem, S\u00e3o Paulo: Intermeios, 2016, p. 162. 104 Ibidem, p. 162. 105 Charles W. Mills, \u201cIgnor\u00e2ncia branca\u201d, Griot: Revista de Filosofia, v. 17, n. 1, 2018, pp. 413-38. 106 Gislene Aparecida dos Santos, A inven\u00e7\u00e3o do ser negro: um percurso das ideias que naturalizaram a inferioridade dos negros, S\u00e3o Paulo: Educ\/Fapesp, 2002, p. 59. 107 Cl\u00f3vis Moura, Dial\u00e9tica radical do Brasil negro, S\u00e3o Paulo: Funda\u00e7\u00e3o Maur\u00edcio Grabois \/ Anita Garibaldi, 2014. 108 Sophie Curtis, \u201cFaceApp Apologises for \u2018Racist\u2019 Selfie Filter That Lightens Users\u2019 Skin Tone\u201d, Mirror, 25 abr. 2017, dispon\u00edvel em: <https:\/\/www.mirror.co.uk\/tech\/faceapp- apologises-hot-selfie-filter-10293590>, acesso em: out. 2021. 109 Bruno Romani; Bruno Ponceano; Vinicius Sueiro, \u201cAl\u00e9m de envelhecer, FaceApp embranquece rostos negros\u201d, Estad\u00e3o, 2 ago. 2019.","110 Maria Aparecida da Silva Bento, Pactos narc\u00edsicos no racismo: branquitude e poder nas organiza\u00e7\u00f5es empresariais e no poder p\u00fablico, tese de doutorado, S\u00e3o Paulo: Universidade de S\u00e3o Paulo, 2002, p. 7. 111 Google, \u201cAbout Google, Our Culture and Company News\u201d, dispon\u00edvel em: <https:\/\/about.google\/intl\/en_us\/>, acesso em: out. 2021. 112 Dave Chaffey, \u201cComparison of Organic Google Click-Through Rates by Position\u201d, SmartInsights, 9 jul. 2018. 113 Alamir Novin; Eric Meyers, \u201cMaking Sense of Conflicting Science Information: Exploring Bias in the Search Engine Result Page\u201d, in: Proceedings of the 2017 Conference on Conference Human Information Interaction and Retrieval, 2017, pp. 175-84. 114 Safiya Umoja Noble, \u201cGoogle Search: Hyper-Visibility as a Means of Rendering Black Women and Girls Invisible\u201d, InVisible Culture, n. 19, 2013. 115 Maria Aparecida da Silva Bento, op. cit., p. 91. 116 Tiago Rogero, \u201cPesquise \u2018tran\u00e7as bonitas\u2019 e \u2018tran\u00e7as feias\u2019 no Google: um caso de racismo algor\u00edtmico\u201d, Blog do Alcelmo, 2 jul. 2019. 117 Nath\u00e1lia Geraldo, \u201cBuscar \u2018mulher negra dando aula\u2019 no Google leva \u00e0 pornografia: por qu\u00ea?\u201d, Universa, 27 out. 2019, dispon\u00edvel em: <https:\/\/www.uol.com.br\/universa\/noticias\/redacao\/2019\/10\/27\/pesquisa-mulher-negra- dando-aula-leva-a-pornografia-no-google.htm>, acesso em: out. 2021. 118 Paul Frosh, \u201cInside the Image Factory: Stock Photography and Cultural Production\u201d, Media, Culture & Society, v. 23, n. 5, 2001, pp. 625-46. 119 Relat\u00f3rio \u201cStock Images and Videos Market \u2013 Global Outlook and Forecast 2019-2024\u201d. Sum\u00e1rio dispon\u00edvel em: <https:\/\/www.researchandmarkets.com\/reports\/4841565\/stock- images-and-videos-market-global-outlook>, acesso em: jul. 2021. 120 Fernanda Carrera; Denise Carvalho, \u201cAlgoritmos racistas: a hiper-ritualiza\u00e7\u00e3o da solid\u00e3o da mulher negra em bancos de imagens digitais\u201d, Gal\u00e1xia, n. 43, jan.-abr. 2020, pp. 99-114. 121 Ibidem, p. 112. 122 Winnie Bueno, Imagens de controle, Porto Alegre: Zouk, 2020, p. 123. 123 Fernanda Carrera, \u201cRacismo e sexismo em bancos de imagens digitais: an\u00e1lise de resultados de busca e atribui\u00e7\u00e3o de relev\u00e2ncia na dimens\u00e3o financeira\/profissional\u201d, in: Tarc\u00edzio Silva (org.), Comunidades, algoritmos e ativismos digitais: olhares afrodiasp\u00f3ricos, S\u00e3o Paulo: LiteraRUA, 2019, p. 163. 124 Loren Grush, \u201cGoogle Engineer Apologizes After Photos App Tags Two Black People as Gorillas\u201d, The Verge, 1 jul. 2015, dispon\u00edvel em: <https:\/\/www.theverge.com\/2015\/7\/1\/8880363\/google-apologizes-photos-app-tags-two- black-people-gorillas>, acesso em: out. 2021. 125 Tom Simonite, \u201cWhen It Comes to Gorillas, Google Photos Remains Blind\u201d, Wired, 1 nov. 2018, dispon\u00edvel em: <https:\/\/www.wired.com\/story\/when-it-comes-to-gorillas- google-photos-remains-blind\/>, acesso em ago. 2021. 126 Camilla H\u00e4llgren; Gaby Weiner, \u201cOut of the Shadow of Linnaeus: Acknowledging Their","Existence and Seeking to Challenge, Racist Practices in Swedish Educational Settings\u201d, European Conference on Educational Research, University of Geneva, 2006. 127 Ant\u00f4nio Ol\u00edmpio de Sant\u2019Ana, \u201cHist\u00f3ria e conceitos b\u00e1sicos sobre o racismo e seus derivados\u201d, in: Kabengele Munanga (org.), Superando o racismo na escola, Bras\u00edlia: Minist\u00e9rio da Educa\u00e7\u00e3o, 2005, p. 57. 128 Tarc\u00edzio Silva et al., \u201cAPIs de Vis\u00e3o Computacional: investigando media\u00e7\u00f5es algor\u00edtmicas a partir de estudo de bancos de imagens\u201d, Logos, v. 27, n. 1, 2020, p. 32. 129 Ibidem. 130 Joy Buolamwini; Timnit Gebru, \u201cGender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification\u201d, Proceedings of Machine Learning Research, v. 81, 2018, p. 9. 131 Ibidem, p. 12. 132 Lauren Rhue, \u201cEmotion-Reading Tech Fails the Racial Bias Test\u201d, The Conversation, 3 jan. 2019, dispon\u00edvel em: <https:\/\/theconversation.com\/emotion-reading-tech-fails-the- racial-bias-test-108404>, acesso em: out. 2021. 133 Tarc\u00edzio Silva, \u201cPremia\u00e7\u00e3o de jornalismo incentiva o technochauvinismo do Estad\u00e3o e Microsoft\u201d, 11 fev. 2020, dispon\u00edvel em: <https:\/\/tarciziosilva.com.br\/blog\/premiacao-de- jornalismo-incentiva-o-technochauvinismo-do-estadao-e-microsoft\/>, acesso em: out. 2021. 134 Julie Beck, \u201cHard Feelings: Science\u2019s Struggle to Define Emotions\u201d, The Atlantic, 24 fev. 2015, dispon\u00edvel em: <https:\/\/www.theatlantic.com\/health\/archive\/2015\/02\/hard- feelings-sciences-struggle-to-define-emotions\/385711\/>, acesso em: out. 2021. 135 Andr\u00e9 Mintz et al., \u201cInterrogating Vision APIs\u201d, Digital Media Winter Institute, Lisboa, 2019. 136 Tarc\u00edzio Silva et al., op. cit., p. 37. 137 Ibidem, p. 41. 138 Olga Russakovsky et al., \u201cImageNet Large Scale Visual Recognition Challenge\u201d, International Journal of Computer Vision, v. 115, 2015. 139 Vinay Uday Prabhu; Abeba Birhane, \u201cLarge Datasets: A Pyrrhic Win for Computer Vision?\u201d, arXiv, 2006.16923v2, 2020, p. 1. 140 Bruno Moreschi; Gabriel Pereira; Fabio G. Cozman, \u201cTrabalhadores brasileiros no Amazon Mechanical Turk: sonhos e realidades de \u2018trabalhadores fantasmas\u2019\u201d, Contracampo, v. 39, n. 1, 2020. 141 O etiquetamento da base de imagens para treinar os algoritmos foi realizado por milhares de trabalhadores precarizados por meio de servi\u00e7os como a Amazon Mechanical Turk. Esse e outros servi\u00e7os, como Clickworker, Microtask e Cloudwork, s\u00e3o usados por desenvolvedores que pagam por trabalho distribu\u00eddo de indiv\u00edduos com caracter\u00edsticas definidas pelo contratante. Geralmente o expediente \u00e9 usado para trabalho repetitivo de atribui\u00e7\u00e3o ou identifica\u00e7\u00e3o de caracter\u00edsticas, como para marcar um quadrado no entorno de um objeto espec\u00edfico em uma fotografia. Os provedores do sistema aproveitam os altos n\u00edveis de pobreza e a desvaloriza\u00e7\u00e3o das moedas locais","frente ao d\u00f3lar para conseguir, pagando muito pouco, milhares de trabalhadores de pa\u00edses do Sul global. 142 Shreya Shankar et al., \u201cNo Classification without Representation: Assessing Geodiversity Issues in Open Data Sets for the Developing World\u201d, arXiv, 1711.08536v1, 2017. 143 Kate Crawford; Trevor Paglen, \u201cExcavating AI: The Politics of Images in Machine Learning Training sets\u201d, 19 set. 2019, dispon\u00edvel em: <https:\/\/www.excavating.ai\/>, acesso em: out. 2021. 144 Vinay Uday Prabhu; Abeba Birhane, op. cit., p. 6. 145 Julia Carrie Wong, \u201cThe Viral Selfie App ImageNet Roulette Seemed Fun \u2013 Until It Called Me a Racist Slur\u201d, The Guardian, 18 set. 2019, dispon\u00edvel em: <https:\/\/www.theguardian.com\/technology\/2019\/sep\/17\/imagenet-roulette-asian-racist- slur-selfie>, acesso em: out. 2021. 146 Jana\u00edna Ribeiro Bueno Bastos, \u201cO lado branco do racismo: a g\u00eanese da identidade branca e a branquitude\u201d, Revista da Associa\u00e7\u00e3o Brasileira de Pesquisadores\/as Negros\/as (ABPN), v. 8, n. 19, 2016, p. 227, dispon\u00edvel em: <https:\/\/abpnrevista.org.br\/index.php\/site\/article\/view\/33>, acesso em: out. 2021. 147 Eliana Sambo Machado, \u201cVisibilidade n\u00e3o marcada da branquitude: discursos de mulheres brancas acad\u00eamicas\u201d, Revista da Associa\u00e7\u00e3o Brasileira de Pesquisadores\/as Negros\/as (ABPN), v. 10, 2018, p. 381, dispon\u00edvel em: <https:\/\/abpnrevista.org.br\/index.php\/site\/article\/view\/545>, acesso em: out. 2021."]
Search
Read the Text Version
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
