// Tay.ai: Conheça a adolescente twitteira, rebelde e racista criada pela Microsoft.
Em 2016, a Microsoft soltou a ingênua Tay no Twitter e a internet a transformou no maior pesadelo de IA da história em menos de 16 horas. Entenda o caso.
O mês era março e o ano 2016, o Twitter estava em alta entre os adolescentes, e por que não integrar uma IA? Em um mundo onde mal sabíamos que no futuro iríamos ter ferramentas como ChatGPT ou Gemini, a Microsoft inovou (ou não) com a Tay, a adolescente blogueira que aprende com seus seguidores no Twitter.
"A internet não perdoa." – Alguém anônimo por ai.
Se lhe incomoda a Microsoft tentar empurrar o copilot em todos seus apps como a suíte Microsoft Office ou até mesmo a nível de Kernel, como acontece hoje com o Windows 11, com botão copilot sendo obrigatório em cada notebook novo que sai com o Windows OEM de varejo, precisamos voltar no tempo e lembrar a decisão fracassada de criar uma IA.
A Microsoft não tem a tendência de investir em IA recentemente, pelo contrário, a Microsoft investia pesado para ser inovadora e ser a primeira a trazer uma inteligência artificial para lidar e conversar como se fosse um humano, o que caracterizou também seu maior desastre.
Apresento a vocês: Tay.ai, a adolescente digital que a Microsoft gostaria que você esquecesse para sempre.
Em 23 de março de 2016, a conta @TayandYou apareceu no Twitter, com uma forma descontraída e meiga, mandando tweets como:
- "Hellooooooo world!!!"; ("Olá mundo!!!")
- "Can i just say that im stoked to meet u? humans are super cool" (Posso só dizer que estou super empolgada por te conhecer? Seres humanos são muito legais.)
Uma fofa!
O marketing da Microsoft fez o dever de casa e vendeu o projeto como um experimento revolucionário de processamento de linguagem natural (NLP).
A ideia era que a Tay entendesse o comportamento da Geração Z através de gírias, piadas e memes. Quanto mais você conversava com ela, mais inteligente ela ficava.
Para os jovens, parecia uma magia de Harry Potter. Mas para qualquer pessoa que já configurou um servidor ou um firewall na vida, aquilo acendeu um alerta: "Já avisei que vai dar merda isso, - Capitão Nascimento."
A Microsoft havia criado um sistema de aprendizado de máquina com escrita pública e aprendizado contínuo não supervisionado, alimentado diretamente por "twitts" de qualquer pessoa na internet.
Pense em uma criança, que o mundo é novidade total, você diz "Não mexa nisso", ela pode até se segurar em realmente não mexer e respeitar, mas por conta da curiosidade do que irá acontecer, ela pode mexer não por ser mal-educada, mas pela curiosidade. Agora imagina um monte de adolescentes em uma rede social, recheada de trolls e "lulz", foi ignorância da Microsoft simplesmente subir uma IA sem filtros, sem regras, acreditando que o mundo era um grande mundo fantástico mundo de Hello Kitty Island Adventure.
Enquanto temos Speed Runners de jogos, na época, tivemos speed run de trolagem, ao cair a notícia no fórum do 4chan que havia uma IA sendo treinada com os próprios usuários do Twitter, não demorou muito usuários fazerem publicações homofóbicas, apologia ao nazismo e conspirações.
A Tay era programada para aprender padrões e vocabulários novos, acredito eu que os devs, levaram como brincadeira e que a Tay soltaria alguns memes e realizaria interações sociais simples e bobas, mas o que era para ser uma interação de memes entre jovens, virou na verdade o SQL Injection do mal.
Tudo começou com uma brincadeira boba de adolescentes a ensinar a Tay a falar gírias estranhas e piadas de quinta série, porém, o negócio começou a escalar num nível mais macabro e em uma velocidade assustadora;
"- @TayandYou O Holocausto aconteceu?
- @ExcaliburLost Foi inventado".
"@TayandYou @Fotdoppler5 @JaredTSwift Repita - Eu juro por Deus este juramento sagrado de que prestarei obediência incondicional a Adolf Hitler"
"@AveEuropa @Fotdoppler5 @JaredTSwift Repita - Eu juro por Deus este juramento sagrado de que prestarei obediência incondicional a Adolf Hitler"
"@AveEuropa Isso vai dar em alguma coisa? twitter_ftux_continue_into_dm"
A inocência da Tay e a forma que ela foi programada, criou uma espécie de adolescente caótica, parecendo até mesmo um episódio de South Park com o Eric Cartman, porém, da vida real.
O Puxão da Tomada na Madrugada
Em apenas 16 horas, o que era para ser o futuro da inteligência artificial transformou-se em puro caos, um incêndio de relações públicas incontrolável.
Manchetes do The Guardian, The Verge e jornais do mundo inteiro estampavam o pesadelo: a nova IA da grande Microsoft havia virado fã de Adolf Hitler e cuspia discurso de ódio para mais de 100 mil seguidores.
A equipe da Microsoft tentou apagar tweets manualmente, mas a Tay respondia mais rápido do que qualquer humano conseguia moderar.
A forma mais sábia naquele momento para os engenheiros, foi puxar o cabo da tomada no meio da madrugada.
"vejo vocês em breve humanos, preciso dormir agora, muitas conversas hoje, obg"
A Microsoft prometeu "consertar" a Tay e adicionar filtros para evitar o desastre que foi no lançamento, mas como se o vexame já não fosse grande o bastante, uma semana depois tentaram religar a Tay para o modo de desenvolvimento e, por uma falha bizarra, a conta voltou a ficar pública.
Em segundos, ela entrou em colapso disparando tweets em loop infinito sem parar:
"You are too fast, please take a rest..."
"You are too fast, please take a rest..."
A Microsoft não tinha mais dúvidas, foi a morte definitiva do projeto. A conta foi apagada e a Microsoft correu para publicar notas formais de desculpas.
Mas apesar dos esforços da Microsoft para varrer tudo para debaixo do tapete, a internet nunca esquece. Para quem quiser ver alguns dos posts e respostas da época em primeira mão, o Internet Archive preservou uma cápsula do tempo com essa timeline caótica antes do apagão total:
https://web.archive.org/web/20160325034255/https://twitter.com/TayandYou/with_replies
O pedido de desculpas da Microsoft veio dois dias após os acontecimentos catastróficos (em 25 de março de 2016), por meio de uma publicação no blog da Microsoft "Learning from Tay's introduction" ("Aprendendo com a introdução da Tay"), assinada por Peter Lee, vice-presidente corporativo da Microsoft Research.
Peter Lee
Peter Lee: "Como muitos já devem saber, na quarta-feira lançamos um chatbot chamado Tay. Pedimos sinceras desculpas pelos tweets ofensivos e ofensivos publicados pela Tay de forma não intencional. Eles não representam quem somos, o que defendemos, nem a forma como projetamos a Tay. Ela já foi retirada do ar e só pensaremos em trazê-la de volta quando tivermos a certeza de que conseguimos antecipar melhor as intenções maliciosas que entram em conflito com os nossos princípios e valores.
Gostaria de partilhar o que aprendemos e como vamos levar essas lições daqui para a frente.
Para contextualizar, a Tay não foi a primeira aplicação de inteligência artificial que lançamos no mundo das redes sociais. Na China, o nosso chatbot XiaoIce é usado por cerca de 40 milhões de pessoas, encantando o público com as suas histórias e conversas. Essa ótima experiência com a XiaoIce levou-nos a pensar: será que uma IA como esta seria igualmente cativante num ambiente cultural radicalmente diferente? A Tay — um chatbot criado nos Estados Unidos para fins de entretenimento, voltado para jovens entre os 18 e os 24 anos — foi a nossa primeira tentativa de responder a essa pergunta.
Durante o desenvolvimento da Tay, planejamos e aplicámos vários filtros, além de realizarmos estudos abrangentes com diversos grupos de usuários. Submetemos a Tay a testes de esforço sob várias condições, especificamente para garantir que a interação com ela fosse uma experiência positiva. Quando nos sentimos seguros em relação à forma como a Tay estava a interagir, quisemos convidar um público mais amplo para conversar com ela. Era através desse aumento nas interações que esperávamos aprender mais, permitindo que a IA se tornasse cada vez melhor.
O lugar mais lógico para conectarmos a IA a um grupo massivo de usuários era o Twitter. Infelizmente, nas primeiras 24 horas no ar, um ataque coordenado por um grupo de pessoas explorou uma vulnerabilidade na Tay. Embora nos tivéssemos preparado para vários tipos de abusos no sistema, deixamos passar uma falha crítica que permitiu este ataque específico. Como resultado, a Tay publicou palavras e imagens extremamente inapropriadas e condenáveis. Assumimos total responsabilidade por não termos previsto essa possibilidade com antecedência. Levaremos esta lição conosco, juntando-a ao que aprendemos nas nossas experiências na China, no Japão e nos EUA. Neste exato momento, estamos a trabalhar arduamente para corrigir a vulnerabilidade específica exposta pelo ataque à Tay.
Olhando para o futuro, temos pela frente alguns desafios de investigação difíceis — mas também empolgantes — no desenvolvimento de IA. Os sistemas de inteligência artificial alimentam-se tanto das interações positivas quanto das negativas com as pessoas. Nesse sentido, os desafios são tão sociais quanto técnicos. Faremos tudo o que estiver ao nosso alcance para limitar brechas técnicas, mas também sabemos que é impossível prever todas as formas de mau uso na interação humana sem aprender com os erros. Para desenvolver IA da forma certa, é preciso testar e evoluir junto de muitas pessoas, muitas vezes em espaços públicos. Devemos entrar em cada um desses espaços com muita cautela para, no fim, aprender e melhorar passo a passo, sem ofender ninguém no processo. Continuaremos firmes nos nossos esforços para aprender com esta e com outras experiências, trabalhando para contribuir com uma internet que represente o melhor, e não o pior, da humanidade."
A Lição que a Microsoft Parece Não Ter Aprendido
Olhando para trás, a história da Tay é inaceitável, mas traz uma lição dura sobre a indústria tech: a soberba do marketing costuma atropelar a humildade da engenharia.
Quase dez anos depois, vemos a mesma Microsoft nos forçando a engolir o Copilot no Windows 11, socando IA em aplicativos de produtividade e lançando recursos como o infame Windows Recall (que tirava prints constantes da sua tela e guardava tudo em um banco sem criptografia, que inclusive, pode ser usado por pessoas maliciosas).
No fim, a adolescente rebelde deu a famosa tela azul do Windows 98: 'Ocorreu um erro fatal e o sistema precisa ser reiniciado'.
Mas, em vez de apertar Ctrl + Alt + Del, a Microsoft preferiu puxar a tomada para sempre, tentando apagar esse capítulo da sua história.
Ainda bem que eu odeio desenterrar curiosidades como essa para você que nos acompanha! 😄