Link do material

• Máquinas não podem entender caracteres ou palavras. Então, quando se lida com dados envolvendo texto precisamos representar por números para ser entendidos pela máquina, Countvectorizer é um exemplo disso.

Exemplo:

Count Vectorizer vs TFIDF Vectorizer | Natural Language Processing

Count vectorizer pode servir para entender o tipo de texto pela frequência de palavras nele. Mas suas principais desvantagens são:

• Sua incapacidade em identificar palavras mais importantes e menos importantes para análise.
• Ele apenas considerará as palavras abundantes em um corpus como a palavra estatisticamente mais significativa.
• Também não identifica as relações entre as palavras, como a semelhança linguística entre as palavras.