Link do documento

• Rede neural é um tipo de inteligência artificial dedicada ao estudo de sistemas artificiais que aprendem com dados.
• Propagação de alvos é um método de treinamento que calcula a melhor atividade neural para atingir um objetivo.
• O texto será dedicado ao estudo detalhado de redes neurais artificiais, introduzindo sua terminologia, modelos de neurônios, tipos de redes e treinamento, sendo que também será discutindo hiperparâmetros.

Rede Neural Artificial (RNA)

• É um paradigma de computação onde cada unidade de processamento possui uma memória. Esta unidade de processamento e memória, chamada de neurônio, realiza operações sobre informação que recebe de outros neurônios conectados a ele. O armazenamento de memória depende do modelo do neurônio a ser usado, em geral,a memória pode ser armazenado em um subcomponente do neurônio, chamado de peso, ou em outra parte dedicada.

Determinar como evitar sobreajuste (overfitting) e permitir melhor generalização é uma área ativa de pesquisa. Existem alguma forma de contornar (mas não resolver) o problema:

• Expansão de Dados: é um método em que os dados do conjunto de treino são aumentados: novos exemplos são criados para o conjunto de treino através de transformações nos exemplos de treino, como adição de ruído, rotação e translação.
• Parada Súbita: O desempenho no conjunto de teste ou validação é sempre verificado a cada certo intervalo de tempo de treinamento. Se o desempenho possuir uma queda grande, então o treinamento é parado e os parâmetros usados serão correspondentes a época do melhor desempenho.
• Dropout: é uma técnica para evitar sobreajuste que consiste em desativar neurônios aleatoriamente durante o treinamento. Isso impede a formação de correlações entre os neurônios, auxiliando a rede neural a procurar soluções que correspondem a ajuste ótimo.

Objetivos do Trabalho

Apresentar os tópico que melhorem o desempenho de uma rede neural, sendo estes:

• Propagação gradiente de alvos como técnica de treinamento de redes neurais. Logo após as considerações matemáticas, será mostrada duas aproximações que podem ser implementadas computacionalmente;
• Inicialização aleatória de pesos, que introduz o conceito de incerteza de atividade neural e considera a não-linearidade de neurônios;