NLP e mercado: técnicas e construção de modelos
É uma técnica que limpa, normaliza e converte o montante de partes textuais em números para que possam ser processados pelo computador. A partir disso, é possivel fazer extração de insights, análise de sentimentos, predições e outros.
São a remoção de conectivos como “para” e “e” que servem apenas como conectivos, mas para um significado em geral não se tem necessidade
Focados em reduzir as palavras à sua forma raiz. Lemmatization identifica a correspondência entre “chuva” e “chuvas”, assim como a correspondência entre “chuva” e “tempestade”. Já o Stemming para na correspondência de “chuva” e “chuvas” . Para idiomas morfologicamente mais complexos, indica-se Lemmatization para esse processamento
Existe duas técnicas para transformar os token em vetores que são o método de frequência como o td-if vectorizer que faz a vetorização a partir da frequência das palavras do texto e o embeding que faz a vetorização a partir da similaridade do significado das palavras.
Um exemplo de algoritmo de embedding é o Word2vec e o Bert
Count-vectorize
sklearn.feature_extraction.text.CountVectorizer