Inteligência Artifical - Atenção é tudo o que você precisa: Transformers trazem novas capacidades
Em 2017, o Google relatou um novo tipo de arquitetura de rede neural que trouxe melhorias significativas em eficiência e precisão para tarefas como processamento de linguagem natural. A abordagem inovadora, chamada transformers, foi baseada no conceito de atenção. Em um alto nível, atenção se refere à descrição matemática de como as coisas (por exemplo, palavras) se relacionam, complementam e modificam umas às outras. Os pesquisadores descreveram a arquitetura em seu artigo seminal, "Attention is all you need", mostrando como uma rede neural transformadora foi capaz de traduzir entre inglês e francês com mais precisão e em apenas um quarto do tempo de treinamento do que outras redes neurais. A técnica inovadora também pode descobrir relacionamentos, ou ordens ocultas, entre outras coisas enterradas nos dados que os humanos podem não ter conhecimento porque eram muito complicados para expressar ou discernir. A arquitetura transformadora evoluiu rapidamente desde que foi introd...