Dados Complicados – Universidade do País Das Maravilhas, projeto de Engenharia de Dados para Ciência de Dados

• Curso: Mestrado em Ciência de Dados
• Unidade Curricular : Engenharia de Dados para Ciência de Dados – 1º Ano | 2º Semestre
• Ano lectivo: 2022-23
• Docente responsável: Bruno Cipriano

Nesta simulação, os alunos fazem o papel de “data engineer junior“, enquanto que o docente faz um papel de “data scientist“. O projeto é realizado com elevada interacção com o docente, tentando simular um ambiente real.

Neste projeto os alunos têm de:

1. Processar conteúdo para varias fontes de dados (bases de dados, ficheiros de texto)
2. Identificar dados estranhos ou inválidos
3. Descobrir quais os dados para considerar com ajuda do “data scientist”
4. Produzir data frames utilizando técnicas de data science

Conceitos aplicados da UC:

• Bases de Dados
• Programação
• Comunicação

Tecnologias usadas:

• SQL / MySQL
• Python, Pandas
• GitHub