Link do documento

Aprendizado de máquina

• Supervisionado: Está vinculado a relação entre um conjunto de variáveis de entrada que gera uma variável de saída, e que gera um mecanismo que torna possível a predição de novos valores a partir de dados que não foram ainda vistos.
• Não-Supervisionado: corresponde a técnicas de aprendizado que recebem dados de entrada, porém não possuem acesso a nenhuma saída esperada e nem recompensas do ambiente por alguma descoberta, sendo responsável por encontrar padrões nos dados apenas com as informações intrínsecas a base de dados em si.

NLP

• é uma área de pesquisa e exploração de mecanismos que possibilitam a manipulação de texto falado e escrito pelos computadores.
• é um grupo de técnicas computacionais para analisar e representar naturalmente um ou mais níveis de análise linguística a fim de alcançar uma aparência humana no processamento da língua em várias tarefas e aplicações

Pré-processamento

• O pré-processamento de dados é uma das etapas mais importantes em um projeto de análise de dados. Este é um conjunto de tarefas que envolve a preparação, limpeza, organização e estruturação dos dados, para que estes possam ir de dados brutos para dados prontos para utilização.
• dados em branco, dados com ruídos (geralmente dados que podem ser utilizados, mas precisam de alguma alteração) e valores discrepantes (outliers).

Stopwords (Palavras Irrevelantes): São termos que possuem função gramatical, porém não fornecem informação relevante sobre o conteúdo de documentos e sua remoção pode trazer benefícios na análise e recuperação do mesmo.

Stemming: Em idiomas morfologicamente ricos, a quantidade de variações morfológicas ao redor de uma mesma palavra base tende a acontecer com frequência e, devido a essa característica, é

necessária a aplicação de técnicas de stemming com o objetivo de simplificar essas variações.

Lemmatization: Apesar do processo de lemmatization ser igualmente morfológico, trata-se de um processo de simplificação diferente do Stemming. é realizado um processo de normalização, gerando uma palavra simplificada de mesmo contexto à sequência de palavras que precisam ser normalizadas.

Aplicação