Bem vindo ao meu projeto de TCC!

Meu TCC, entregue em dezembro de 2020, foi um guia cobrindo algumas etapas do processo de data science, desde a coleta dos dados, até o processamento dos mesmos. A razão disso, é a falta de material a respeito do tema que se encontra disponível em português, tendo em vista que apenas 5% da população do pais tem conhecimento da linha inglesa e menos de 1% é fluente, de acordo com uma pesquisa do consulado britanico, assim limitando o acesso a informação para brasileiros interessados no assunto.

O projeto foi feito em 4 etapas.

• Preparação do ambiente python

• criação do script de mineração de dados

• preparo e instalação do hadoop

• uso da farramenta e criação de scripts

O TCC também apresenta algumas informações técnicas sobre o funcionamento tanto da parte de mineração quanto do processamento.

Welcome to my final thesis!

My thesis, finished at december 2020, was a guide covering the basics about data science, from the data gathering to the processing. The reasoning behind that, was the lack of materal available here in Brazil in portuguese since only 5% of the population have english knowledge and less than 1% is fluent, this on top of the less than intuitive software/tools in use made it a hard and very intimidating area to start in.

The project was made in 4 phases:

• Preparation of the python environment for the data mining;

• Writing of the script itself;

• Preparing the environment for Hadoop and it's prerequisites and its install;

• Usage and script writing

The paper also presented some technical information about the inner workings of both the Python script and the APIs and also Hadoop.