Quando se fala do tamanho da IA, o que significa ser maior? E porque é que uma IA maior seria uma IA melhor? E ainda, a pergunta do milhão de dólares (ou milhares de milhões!): será que maior continuará a ser melhor?  

Afinal, o que faz com que o GPT-3 seja melhor que o GPT-1? O mais importante é, de facto, o tamanho. O GPT-3 é 100 vezes maior do que o GPT-1. (Note-se que o Chat GPT opera com o modelo GPT-3,5 ou 4 e a OpenAI afirma, para já, ter interrompido as investigações do GPT-5). No entanto, há quem esteja a apostar milhares de milhões [Br. bilhões] de dólares em que mais tamanho (mais dados e mais parâmetros) continuará a ser melhor. Mas há também quem afirme que, segundo as leis da escala neural, o tamanho só é melhor até certo ponto, a partir do qual a aprendizagem de máquina pode não estar à altura das expectativas que se estão a gerar. 

É assim que Kelsey Piper começa esta newsletter do Future Perfect, levantando estas questões para tentar dar-lhes resposta (que de seguida aqui se resumem):  

 

O que são as leis da escala neural? 

As leis da escala neural trazem precisão matemática para o senso comum que sugere que os modelos de IA terão um melhor desempenho se forem maiores (tendo mais parâmetros e acesso a mais dados). 

A quantidade de parâmetros pode remeter, numa analogia livre com o cérebro humano, para a quantidade de neurónios, e estes podem ter ao seu dispor uma pequena quantidade de livros ou TODA a Internet (uma maior quantidade de dados), e isso fará com que, no último caso, o modelo seja melhor, por exemplo, na previsão de texto.

Faria então sentido que “mais dados” e “mais parâmetros” tivesse uma relação com “melhor desempenho”. Bom, surpreendentemente, isso é previsível em termos matemáticos, e essa relação mantém-se praticamente a mesma, quer se passe de 10 milhões de parâmetros para 100 milhões ou de mil milhões para 10 mil milhões.    

 

Quão bons são os nossos modelos de IA?  

Isso pode depender do treino especializado a que são submetidos e de uma boa escolha dos dados, assim como da introdução de melhorias nos algoritmos. Mas, em geral, o modelo terá resultados significativamente melhores quando colocado perante determinado teste padronizado (benchmark), caso tenha mais parâmetros e mais dados.  

Assim, por exemplo, os testes padronizados de Matemática (o MATH benchmark) e o teste de Avaliação da Compreensão Geral da Língua (o GLUE benchmark) avaliam os modelos nesses âmbitos. Mas visto que pelo menos neste último âmbito os modelos já começaram a ultrapassar o desempenho dos seres humanos, já foi introduzido o SuperGLUE. No entanto, os mesmos princípios da escala neural parecem não estar a aplicar-se aos modelos geradores de imagens a partir de texto, como o DALL-E e o Midjourney, que no início do ano abalaram o mundo das artes. 

Para alguns investigadores, a melhor maneira de se entender o cérebro humano é como uma espécie de escala maior do cérebro de um primata, em que aumentar neurónios aumenta o desempenho, mas independentemente disso ser verdade ou não, perante as leis da escala neural a aparência de inteligência parece depender do tamanho. 

 

O que nos pode dizer (ou não) as leis da escala neural? 

As leis de escala neural podem até calcular como se comportará o modelo de IA (se o tornarmos, por exemplo, 10 vezes maior, a previsão poderia ser que passaria de uma precisão de 71% para 93% na resolução de determinados testes padrão), mas esses testes são inadequados para nos dizer se esse modelo de IA irá ser economicamente disruptivo, ou até perigoso.

A esse propósito, Ajeya Cotra, da Open Philanthropy, que estuda os riscos potenciais da IA avançada, questiona: o modelo 10 vezes maior, que passa a ter uma precisão de 93%, é o suficiente para substituir um jovem programador? Será capaz de encontrar (e explorar) vulnerabilidades de segurança (dia zero)? Se o modelo passou a ter um desempenho de 96% num difícil teste de biologia, qual será agora a possibilidade de estar em condições de ajudar terroristas a desenvolver novas armas biológicas? 

 

O fim está… próximo?

Até agora, mesmo os especialistas estiveram enganados face a esta relação de tamanho e qualidade do desempenho, visto que têm subestimado sistematicamente o progresso no seu próprio domínio de investigação.  

E se há quem tenha apostado no fim dessa relação, por outro lado há quem esteja disposto a subir a sua aposta dos 100 milhões de dólares dos modelos mais caros da actualidade, para os mil milhões [Br. 1 bilhão] em 2024, ou 10 mil milhões [Br. 10 bilhões] em 2025 — refere Dario Amodei, Director Executivo da Anthropic, uma empresa de IA.  

Se estas apostas multimilionárias ganharem (e de facto modelos maiores acabarem por ser modelos mais inteligentes), é difícil de prever o que todos podemos perder (afinal que relação haverá entre esses aumentos face às leis da escala neural e o aumento dos impactos no mundo real?). Kelsey Piper conclui: nada no estudo dessas leis de escala me dissuadiu da ideia de que a humanidade está a brincar com fogo numa escala extraordinária. 

---

“Breves do AE”: resumos de publicações relacionadas com o AE que, por constrangimentos de tempo, ou restrições de direitos autorais, não poderíamos traduzir. Estes resumos servem essencialmente como estímulo à leitura dos textos originais aqui referidos. 

Por José Oliveira.