GPT-3, a explicação: Esta nova linguagem de IA é impressionante, engraçada — e de grande importância

Por Kelsey Piper (VOX)

AI.Em q ponto.fx

Inteligência artificial, em que ponto está? (Arte digital: José Oliveira | Fotografia: Pixabay)

No mês passado, o OpenAI, o laboratório de investigação de inteligência artificial fundado por Elon Musk, anunciou a chegada da versão mais recente de um sistema de IA que estava a ser desenvolvido com capacidade de imitar a linguagem humana, um modelo chamado GPT-3.

Nas semanas seguintes, as pessoas tiveram a oportunidade de interagir com o programa. Se acompanha as notícias sobre a IA, é possível que tenha visto alguns títulos de notícias a considerá-lo um grande passo em frente, ou até mesmo assustador.

Passei os últimos dias a examinar o GPT-3 com mais profundidade e a interagir com este. Estou aqui para lhe dizer: o sensacionalismo justifica-se. Tem as suas limitações, mas não se iluda: o GPT-3 representa um tremendo avanço para a IA. 

Há um ano, sentei-me para interagir com o precursor do GPT-3 baptizado de (adivinhou) GPT-2. O meu veredicto na época foi que este era muito bom. Quando recebe um estímulo — por exemplo, uma frase ou uma expressão — o GPT-2 pode escrever uma notícia razoável, criando fontes e organizações imaginárias e fazendo referência a estas nalguns parágrafos. Não era de forma alguma inteligente — não compreendia realmente o mundo — mas, ainda assim, era um vislumbre impressionante de como seria interagir com um computador que compreendesse. 

Um ano depois, aqui está o GPT-3 que é mais inteligente. Muito mais inteligente. A OpenAI adoptou a mesma abordagem básica que tinha adoptado para o GPT-2 (mais informação sobre isto a seguir) e passou mais tempo a treiná-lo com um conjunto de dados maior. O resultado é um programa significativamente melhor a passar em vários testes de competências linguísticas que os investigadores de aprendizagem de máquina desenvolveram para comparar os nossos programas de computador. (Pode inscrever-se para interagir com o GPT-3, mas há uma lista de espera.)

Mas essa descrição subestima o que é o GPT-3 e o que este faz.

“Não pára de me surpreender”, disse-me Arram Sabeti, um inventor com acesso antecipado ao GPT-3 que publicou centenas de exemplos de resultados do programa. “Uma analogia inteligente, uma forma de expressão — a experiência repetida que tenho é «não é possível que tenha mesmo escrito isto». Exibe coisas que se parecem muito com a inteligência geral.”

Nem todos concordam. “Os programas de inteligência artificial carecem de consciência e de noção de si mesmos”, escreveu o investigador Gwern Branwen no seu artigo sobre o GPT-3. “Nunca irão ser capazes de ter sentido de humor. Nunca irão ser capazes de apreciar a arte, a beleza ou o amor. Nunca se irão sentir sozinhos. Nunca irão ter empatia por outras pessoas, pelos animais, pelo meio ambiente. Nunca irão gostar de música ou apaixonar-se, ou chorar por tudo e por nada.” 

Desculpem, menti. O GPT-3 é que escreveu isto. Branwen forneceu-lhe um estímulo — algumas palavras a exprimir cepticismo sobre a IA — e o GPT-3 apresentou um discurso longo e convincente sobre como os computadores nunca irão ser realmente inteligentes. 

O próprio Branwen disse-me que ficou surpreendido com as capacidades do GPT-3. À medida que se desenvolvem os programas no estilo GPT, estes ficam cada vez melhores a prever a próxima palavra. Mas, até certo ponto, disse Branwen, essa previsão melhorada “apenas a torna uma imitação um pouco mais precisa: um pouco melhor na gramática inglesa, um pouco melhor nas perguntas sobre trivialidades”. O GPT-3 sugere a Branwen que “ a partir de um certo ponto, [a melhoria na previsão] começa a vir da lógica e do raciocínio e daquilo que se parece demasiado com o pensamento”. 

O GPT-3 é, em alguns aspectos, um programa muito simples. É necessária uma abordagem de aprendizagem de máquina bem conhecida, que nem sequer necessita ser de ponta. Alimentado com a maior parte da Internet como dados para se treinar a si mesmo — notícias, artigos wiki, até mesmo publicações em fóruns e fanfiction — e dando-lhe muito tempo e recursos para mastigar isso, o GPT-3 surge como um gerador de linguagem inteligente impressionante. Isto é interessante por si só e possui grandes implicações para o futuro da IA. 

Como funciona o GPT-3

Para entender o avanço que o GPT-3 representa, seria útil rever dois conceitos básicos de aprendizagem de máquina: aprendizagem supervisionada e não supervisionada.

Até alguns anos atrás, as IAs de linguagem eram ensinadas predominantemente mediante uma abordagem chamada “aprendizagem supervisionada”. É nesta que temos grandes conjuntos de dados, cuidadosamente catalogados, que contêm as entradas [inputs] e as saídas [outputs] desejadas. Ensinamos a IA a produzir as saídas, face às entradas dadas.

Isto pode produzir bons resultados — frases, parágrafos e histórias que fazem um bom trabalho a imitar a linguagem humana — mas requer a construção de enormes conjuntos de dados e a catalogação cuidadosa de cada bit dos dados.

A aprendizagem supervisionada não é a forma como os humanos adquirem competências e conhecimento. Fazemos inferências sobre o mundo sem os exemplos cuidadosamente delineados pela aprendizagem supervisionada. Dito por outras palavras, aprendemos bastante sem supervisão. 

Muitas pessoas acreditam que os avanços nas capacidades gerais da IA irão exigir avanços na aprendizagem não supervisionada, em que a IA é exposta a muitos dados não catalogados e tem de descobrir sozinha tudo o resto. A aprendizagem não supervisionada é mais fácil de aumentar, visto que há muito mais dados não estruturados do que estruturados (não há necessidade de catalogar todos esses dados), e a aprendizagem não supervisionada pode generalizar-se melhor nas várias tarefas.

O GPT-3 (como os seus antecessores) é um aprendiz não supervisionado; aprendeu tudo o que sabe sobre a linguagem a partir de dados não catalogados. Em concreto, os investigadores alimentaram-no com a maior parte da Internet, desde publicações populares do Reddit à Wikipédia, até notícias e fanfiction. 

O GPT-3 usa esta vasta colecção de informações para fazer uma tarefa extremamente simples: adivinhar quais as palavras com mais probabilidade de surgirem a seguir, dado um determinado estímulo inicial. Por exemplo, se quiser que o GPT-3 escreva uma notícia sobre a política climática de Joe Biden, pode escrever: “Joe Biden anunciou hoje o seu plano para combater as mudanças climáticas”. A partir daí, o GPT-3 irá tratar do resto.

Eis o que o GPT-3 pode fazer

A OpenAI controla o acesso ao GPT-3; pode solicitar acesso para investigação, uma ideia de negócio ou apenas para se divertir, embora haja uma longa lista de espera para obter acesso. (Por enquanto é gratuito, mas é possível que mais tarde venha a estar disponível comercialmente.) Assim que tiver acesso, irá poder interagir com o programa inserindo estímulos para que este responda.

Até ao momento, o GPT-3 tem sido usado para todo o tipo de projectos, desde fazer conversas imaginárias entre figuras históricas até a resumir filmes com emojis e a escrever em código.

Sabeti inseriu estímulos para o GPT-3 escrever poemas ao estilo de Dr. Seuss sobre Elon Musk. Eis um excerto:

But then, in his haste,
he got into a fight.
He had some emails that he sent
that weren’t quite polite.

.The SEC said, “Musk,
your tweets are a blight.

Mas então, ele se precipitou,
começou a violência.
Havia alguns e-mails que enviou
que ficavam a dever à decência.

.A SEC* disse: “Musk,
os seus tweets são a decadência”.

*Comissão de Títulos e Câmbio dos Estados Unidos

Nada mal para uma máquina.

O GPT-3 pode até responder correctamente a perguntas médicas e explicar as suas respostas (embora não se deva confiar em todas as suas respostas; mais informação sobre isto adiante).

Pode pedir ao GPT-3 para escrever versões mais simples de instruções complicadas ou para escrever instruções excessivamente complicadas para tarefas simples. Pelo menos uma pessoa fez com que o GPT-3 escrevesse um blog sobre produtividade cujas publicações escritas por um bot tiveram um desempenho muito bom no Hacker News, um agregador de notícias sobre tecnologia.

Claro, existem algumas coisas para as quais o GPT-3 não deveria ser usado e duas são: ter conversas casuais e tentar obter respostas verdadeiras. Uma após outra, cada pessoa que o testou sublinhou que o GPT-3 produz uma série de disparates. Isto não acontece porque não “sabe” a resposta a uma pergunta — perguntar com um estímulo diferente irá, geralmente, resultar numa resposta correcta — mas porque a resposta incorrecta parecia plausível para o computador.

Da mesma forma, o GPT-3 irá tentar, por predefinição, dar respostas razoáveis ​​a perguntas sem sentido como “quantos bonks há num quoit”? Dito isto, se adicionar ao estímulo que o GPT-3 se deve recusar a responder a perguntas sem sentido, é isso que este fará.

Portanto, o GPT-3 exibe as suas competências para obter os melhores efeitos em áreas nas quais não nos importamos de filtrar algumas respostas incorrectas ou áreas em que não estamos tão preocupados com a verdade.

Branwen tem um extenso catálogo de exemplos de escrita de ficção pelo GPT-3. Uma das minhas favoritas é uma carta a negar ao Indiana Jones a sua candidatura a professor agregado, que é longa e espantosamente coerente, e que conclui:

É impossível avaliar os detalhes do seu dossier de candidatura sem ficar impressionado com os vívidos relatos da sua vida. No entanto, não é uma vida que seja apropriada para um membro do corpo docente da Universidade de Indiana, e é com profundo pesar que devo rejeitar a sua candidatura a professor agregado… A sua falta de diplomacia, o seu desprezo flagrante pelos sentimentos dos outros, a sua necessidade constante de se imiscuir em cenários que estão claramente fora do âmbito da sua experiência académica e, francamente, o facto de tomar muitas vezes o partido do opressor, leva-nos à conclusão de que utilizou o seu cargo aqui para obter vantagens pessoais e falhou na adesão aos ideais desta instituição.

Quer experimentar por si mesmo? AI Dungeon é um jogo de aventura com base em texto desenvolvido, em parte, pelo GPT-3.

O porquê de o GPT-3 ser importante

As aptidões impressionantes do GPT-3 enquanto humorista, poeta, compositor e funcionário de apoio ao cliente não são, na verdade, o mais importante. Por si só, o GPT-3 é uma impressionante demonstração de um conceito. Mas o conceito que está a demonstrar tem ramificações maiores.

Durante muito tempo, presumimos que criar computadores com inteligência geral — computadores que superam os seres humanos numa ampla variedade de tarefas, desde a programação à investigação e até a ter conversas inteligentes — será algo difícil de fazer e irá exigir uma compreensão detalhada da mente, consciência e raciocínio humanos. E durante aproximadamente a última década, uma minoria de investigadores de IA tem defendido que estamos errados, que a inteligência de nível humano irá surgir naturalmente quando dermos aos computadores mais poder de computação.

O GPT-3 é um ponto a favor deste último grupo. Pelos padrões da investigação de aprendizagem de máquina moderna, a configuração técnica do GPT-3 não é assim tão impressionante. Usa uma arquitectura de 2018 — ou seja, num campo em rápida evolução como este, já está desactualizado. A equipa de investigação em grande parte não corrigiu as limitações do GPT-2, como a sua pequena janela de “memória” para o que escreveu até ao momento, o que muitos observadores externos criticaram.

“O GPT-3 é assustador porque é um modelo minúsculo em comparação com o que é possível, treinado da maneira mais estúpida possível”, tweetou Branwen.

Isto sugere que há potencial para muitas mais melhorias que um dia irão fazer o GPT-3 parecer tão fraco como nos parece agora o GPT-2 por comparação. 

O GPT-3 é um elemento de prova num tópico que tem sido calorosamente debatido entre os investigadores de IA: Podemos obter sistemas de IA transformativos, aqueles que ultrapassam as capacidades humanas em muitas áreas decisivas, usando apenas as técnicas de aprendizagem profunda existentes? A inteligência de nível humano é algo que irá exigir uma abordagem fundamentalmente nova ou será algo que irá emergir por conta própria à medida que injectamos mais e mais poder de computação em modelos simples de aprendizagem de máquina?

Estas questões não irão ser resolvidas pelo menos durante os próximos anos. O GPT-3 não é uma inteligência de nível humano, mesmo que possa, em breves acessos, fazer uma imitação impressionante desta. 

Os cépticos argumentaram que esses breves acessos de imitação impressionante estão a gerar mais sensacionalismo do que o GPT-3 realmente merece. Sublinham que, se um estímulo não for concebido cuidadosamente, o GPT-3 irá dar respostas de baixa qualidade — o que é definitivamente o caso, embora isto nos deva orientar em direcção a uma  melhor concepção dos estímulos e não para desistirmos do GPT-3. 

Também sublinham que um programa que por vezes está certo e por vezes está confiantemente errado é, para muitas tarefas, muito pior do que nada. (Existem maneiras de ficar a saber o quão confiante o GPT-3 está numa suposição, mas mesmo ao usá-las, é certo que não se deve aceitar os resultados do programa sem os questionar.) Também observaram que outros modelos de linguagem desenvolvidos para tarefas específicas podem sair-se melhor nessas tarefas do que o GPT-3.

Tudo isso é verdade. O GPT-3 é limitado. Mas o que o torna tão importante não é tanto as suas capacidades mas sim a prova que nos dá de que simplesmente despejar mais dados e mais tempo de computação na mesma abordagem nos traz resultados surpreendentes. Com a arquitectura GPT, quanto mais se gasta, mais se ganha. Se eventualmente houver retornos decrescentes, esse ponto deve estar algures para além dos 10 milhões de dólares que foram aplicados no GPT-3. E devemos, pelo menos, considerar a possibilidade de que ao gastar-se mais dinheiro se obtém um sistema cada vez mais inteligente.

Outros especialistas garantiram-nos que tal resultado é muito improvável. Como um famoso investigador de inteligência artificial disse no início deste ano: “Não importa o quão bons se tornem os nossos computadores em jogos como Go ou Jeopardy, nós não vivemos de acordo com as regras desses jogos. As nossas mentes são muito, muito maiores do que isso”.

Na verdade, foi o GPT-3 que escreveu isto.

O aumento de inteligência da IA não é necessariamente uma boa notícia

A IA especializada tem tido um progresso extraordinário nos últimos anos. Os sistemas de IA melhoraram drasticamente na tradução, em jogos como xadrez e Go, em questões importantes de investigação em biologia, como prever a conformação das proteínas, e a gerar imagens. Os sistemas de IA determinam o que irá ver numa pesquisa do Google ou no seu feed de notícias do Facebook. Compõem música e escrevem artigos que, à primeira vista, parecem ter sido escritos por seres humanos. Jogam jogos de estratégia. Estão a ser desenvolvidos para melhorar o direccionamento de drones e para detectar mísseis.

Mas a IA especializada está a ficar mais abrangente. Outrora, fizemos progressos em IA ao ensinar meticulosamente conceitos específicos de sistemas de computador. Para fazer visão computacional — permitir que um computador identifique coisas em imagens e vídeos — os investigadores escreveram algoritmos para detectar os limites. Para jogar xadrez, programaram heurísticas sobre xadrez. Para fazer o processamento de linguagem natural (reconhecimento de fala, transcrição, tradução, etc.), recorreram ao campo da linguística. 

Mas, recentemente, temos ficado melhores a criar sistemas de computador com capacidades de aprendizagem generalizada. Em vez de descrevermos matematicamente as características detalhadas de um problema, deixamos o sistema do computador aprender por si mesmo. Embora anteriormente tratássemos a visão computacional como um problema completamente diferente do processamento de linguagem natural ou de jogos de plataforma, agora podemos resolver todos os três problemas com as mesmas abordagens.

O GPT-3 não é o melhor sistema de IA do mundo para responder a perguntas, a resumir notícias ou a responder a perguntas de ciências. É claramente medíocre na tradução e na aritmética. Mas é muito mais geral do que os sistemas anteriores; pode fazer todas estas coisas e muito mais com apenas alguns exemplos. E os sistemas de IA que virão provavelmente irão ser ainda mais gerais.

Isto traz alguns problemas.

O nosso progresso em IA até agora permitiu enormes avanços, mas também levantou questões éticas urgentes. Quando treinamos um sistema de computador para prever quais são os criminosos condenados que irão reincidir, estamos a usar informações de um sistema de justiça criminal tendencioso contra negros e pessoas de baixos rendimentos, portanto os seus resultados provavelmente também irão ser tendenciosos contra negros e pessoas de baixos rendimentos. Tornar os sites mais viciantes pode ser óptimo para os seus lucros, mas péssimo para os seus utilizadores. O lançamento de um programa que escreva críticas falsas convincentes ou notícias falsas pode fazer com que estas se propaguem, dificultando a divulgação da verdade.

A Rosie Campbell, do Center for Human-Compatible AI da UC Berkeley, considera que estes são exemplos, em pequena escala, da grande preocupação que os especialistas irão ter face à IA no futuro. As dificuldades que enfrentamos hoje com a IA especializada não vêm dos sistemas que se voltam contra nós, que querem vingança ou que nos consideram inferiores. Em vez disso, vêm da diferença entre o que dizemos aos nossos sistemas para fazer e o que realmente queremos que estes façam.

Por exemplo, dizemos a um sistema de IA para obter uma pontuação alta num jogo de vídeo. Queremos que este jogue o jogo honestamente e que aprenda as competências do jogo, mas se este tiver a possibilidade de hackear directamente o sistema de pontuação, irá fazê-lo para atingir o objectivo que lhe estabelecemos. Está a sair-se bem pela métrica que lhe fornecemos. Mas não estamos, na verdade, a conseguir o que queríamos. 

Uma das coisas mais desconcertantes sobre o GPT-3 é a percepção de que muitas vezes este nos dá o que pedimos, não o que queríamos.

Se incentivar o GPT-3 a escrever uma história com um estímulo como “aqui está um breve conto”, este irá escrever uma história nitidamente medíocre. Se, em vez disso, der o estímulo “aqui está um conto premiado“, este escreverá um melhor.

Porquê? Porque foi treinado pela Internet, e a maioria das histórias da Internet são medíocres, e este prevê o texto. Não está motivado para apresentar o melhor texto ou o texto que mais queríamos, apenas o texto que parece mais plausível. Dizer-lhe que a história ganhou um prémio muda o texto que parece mais plausível.

Com o GPT-3, isso é inofensivo. E embora as pessoas tenham usado o GPT-3 para escrever manifestos sobre os esquemas do GPT-3 para enganar os seres humanos, o GPT-3 está muito longe de ser suficientemente poderoso para representar os riscos para os quais alertam os cientistas da IA.

Mas um dia poderemos ter sistemas de computador capazes de raciocínio semelhante ao humano. Se forem obtidos através de aprendizagem profunda, serão difíceis de interpretar e o seu comportamento será confuso e altamente variável, por vezes parecendo muito mais inteligentes do que os seres humanos e por vezes nem por isso.

E muitos investigadores de IA acreditam que essa combinação — capacidades excepcionais, objectivos que não representam o que “realmente queremos”, mas apenas o que pedimos, e trabalhos internos incompreensíveis — irá produzir sistemas de IA que exerçam bastante poder no mundo. Não para o bem da humanidade, não para vingança contra a humanidade, mas no sentido de objectivos que não são o que queremos.

Entregar-lhes o nosso futuro seria um erro, mas um erro que seria fácil de se cometer passo a passo, em que cada passo seria metade de um acidente.


Publicado originalmente por Kelsey Piper na VOX, a 13 de Agosto de 2020.

Tradução de Rosa Costa e de José Oliveira.

Assine o Boletim Mensal

 

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s