Inteligência Artifical - Atenção é tudo o que você precisa: Transformers trazem novas capacidades

Em 2017, o Google relatou um novo tipo de arquitetura de rede neural que trouxe melhorias significativas em eficiência e precisão para tarefas como processamento de linguagem natural. A abordagem inovadora, chamada transformers, foi baseada no conceito de atenção.

Em um alto nível, atenção se refere à descrição matemática de como as coisas (por exemplo, palavras) se relacionam, complementam e modificam umas às outras. Os pesquisadores descreveram a arquitetura em seu artigo seminal, "Attention is all you need", mostrando como uma rede neural transformadora foi capaz de traduzir entre inglês e francês com mais precisão e em apenas um quarto do tempo de treinamento do que outras redes neurais. A técnica inovadora também pode descobrir relacionamentos, ou ordens ocultas, entre outras coisas enterradas nos dados que os humanos podem não ter conhecimento porque eram muito complicados para expressar ou discernir.

A arquitetura transformadora evoluiu rapidamente desde que foi introduzida, dando origem a LLMs como GPT-3 e melhores técnicas de pré-treinamento, como o BERT do Google.