Video no YouTube que fala sobre

Transformers, explained: Understand the model behind GPT, BERT, and T5

• É um tipo de arquitetura

• Antes disso se utilizavam a rede RNN, em que processava cada palavra de cada vez, além de capturar a ordem das palavras

• Mas tinha os seguintes problemas como, por exemplo:

  • Grande sequências de texto
  • Quando analisavam o final dos parágrafos ou ensaios
  • Eram muito difíceis de treinar, o que significava que não dava para acelerar usando várias GPUS

• Os transformadores foram desenvolvidos em 2017 pelos pesquisadores do Google e pela Universidade de Toronto, sendo inicialmente projetado para tradução

• Podem ser paralelizados de forma eficiente

GPT-3 foi usado 45TB em dados de treino

• BERT é um exemplo de transformador