Tratamento de Dados Multimédia

Ficha de Unidade Curricular – 2º Ciclo

Unidade Curricular / Curricular Unit
Tratamento de Dados Multimedia

Ciclo de Estudos / Study Cycle
Mestrado em Engenharia Informática e Sistemas de Informação

Nome do Docente Responsável
Dr. Manuel Pita

Objectivos de aprendizagem (conhecimentos, aptidões e competências a desenvolver pelos estudantes)
O objetivo principal desta cadeira e fornecer aos estudantes técnicas avançadas para a extração e tratamento de informação em diversos tipos de média: imagem, som, video, bio-data, etc. Nesse sentido, há um foco central no ciclo de vida de sistemas multi-media: (1) aquisição de dados; (2) seleção de características; (3) representação e (4) ‘machine learning’. Esta cadeira permite a introdução a conceitos e técnicas usadas em data science, incluindo conceitos básicos de estatística, e transformação de dados. A seleção de características a partir de dados multimédios e feita principalmente usando factorização matricial, especificamente com as técnicas de non-negative matrix factorization e principal component analysis, as que são estudadas em profundidade.

Intended learning outcomes (knowledge, skills and competences to be developed by the students)
The main objective of this course is to provide students with advanced techniques for the extraction and processing of information in various types of media: image, sound, video, bio-data, etc. In this sense, there is a central focus on the life cycle of multi-media systems: (1) data acquisition; (2) selection of characteristics; (3) representation and (4) ‘machine learning’. This chair allows you to introduce concepts and techniques used in data science, including basic concepts of statistics, and data transformation. The selection of features from multimedia data is done mainly using matrix factorization, specifically with the techniques of non-negative matrix factorization and main component analysis, which are studied in depth.

Conteúdos programáticos
– Compreensão do ciclo de vida MIR, desde a aquisição de dados, até a extração de recursos, a aprendizagem automática e a interpretação de resultados.

– Análise de problemas e verificação de pressupostos de domínio.

– Aplicação de critérios sólidos para diferenciar dados brutos de informações representadas.

– Compreensão de como uma representação captura um subconjunto de recursos de um determinado domínio.

– Compreensão de como os dados multimídia são quase sempre representados usando matrizes e por que a matriz de matriz e métodos de aprendizagem de máquinas são importantes.

– Compreendendo como várias capturas de mídia podem ser transformadas em matrizes.

– Realizar pré-processamento de matriz estatística para extração de recursos.

– Executar extração de recursos usando Fatoração de matriz não negativa

– Execute a extração de recursos usando a Análise de Componentes Principais

– Relatório sobre a sólida interpretação dos resultados e aconselhar testes adicionais.

Syllabus
– Deep understanding of the life cycle of information retrieval in multimedia systems, from data acquisition, to feature extraction, machine learning and results interpretation.

– Problem analysis and verification of domain assumptions.

– Gain the ability to apply solid criteria to differentiate raw data from represented information.

– Understanding of how a representation captures a subset of features of a given domain.

– Understanding of how multimedia data almost invariably are represented using matrices and why matrix algebra and machine learning methods are important.

– Understanding how various media captures can be transformed to matrices.

– Perform statistical matrix pre-processing for feature extraction.

– Perform feature extraction using Non Negative Matrix Factorisation

– Perform feature extraction using Principal Component Analysis

– Report on solid interpretation of results, and advise further tests.

Demonstração da coerência dos conteúdos programáticos com os objectivos de aprendizagem da unidade curricular
Os conteúdos programáticos de esta cadeira tem um mapeamento directo aos objetivos de aprendizagem. Este modulo esta dividido em três partes, a primeira das quais esta orientada a entender que significa extrair informação de multi-media, e como e que tal extração não e feita directamente mas no contexto de varias fases nas quais a aquisição e representação de dados e fundamental. Numa segunda fase, os conteúdos estão orientados ao pre-processamento de dados, com o objetivo de transformar dados em representações que capturam as características a ser exploradas na terceira fase, machine learning.

Evidence of the syllabus coherence with the curricular unit’s intended learning outcomes
The contents of this course have a one to one mapping to the learning goals. This module is divided in three segments, the first of which is aimed at understanding what it means to extract information from multi-media,
and how such extraction is not done directly but in the context of a relatively complex life cycle of information extraction. In the next segment we look at data pre-processing using statistical tools in preparation for the core of the life cycle: feature extraction, which is then used to input machine learning algorithms.

Metodologias de ensino (avaliação incluída)
Aulas presenciais teóricas e praticas. As aulas começam sempre com uma revisão dos conceitos da aula anterior e perguntas para desafiar aos estudantes em termos cognitivos. Normalmente há um problema em aberto, no qual vamos trabalhando a medida que decorre a cadeira. A avaliação e feita com dois testes na aula teórica, e um trabalho pratico orientado pelo professor directamente.

Teaching methodologies (including assessment)
Lectures in the classroom. There are theory sessions as well as practical sessions. Lectures always start with review of previous concepts, and cognitive challenges.There is usually a running open problem we carry from class to class that is used as grounding mechanism. Evaluation consists of two in-class tests, and a guided practical session.

Demonstração da coerência das metodologias de ensino com os objectivos de aprendizagem da unidade curricular
Esta cadeira ainda que muito orientada a parte algorítmica e matemática, tem também um caracter conceptual profundo. As aulas tem a função de não só explicar conceitos, mas também fornecer receitas para a tomada de decisão relacionada a como tratar dados garantindo que se consegue extrair o máximo de informação util, mas também que a informação extraída e correcta. Desta maneira o ciclo de aulas concentra-se em conceitos, receitas, elementos práticos e re-avaliacao de conceitos e receitas em problemas onde os estudantes devem demostrar que conseguem usar os critérios de analise apropriadamente para obter respostas solidas e bem justificadas. Adicionalmente, esta cadeira tem um foco forte na area de consultoria em data science, a avaliação continua inclui elementos de escrita de relatórios, assim como apresentação e defesa de argumentos.

Evidence of the teaching methodologies coherence with the curricular unit’s intended learning outcomes
This chair, although very oriented to the algorithmic and mathematical part, also has a deep conceptual character. Classes have the function of not only explaining concepts, but also provide recipes for decision making related to how to process data, ensuring that you can extract as much useful information as possible, but also that the extracted information is correct. In this way the class cycle focuses on concepts, recipes, practical elements and re-evaluation of concepts and recipes in problems where students must demonstrate that they can use the appropriate analysis criteria to obtain solid and well-justified answers. In addition, this chair has a strong focus in the data science consulting area, continuous evaluation includes elements of writing reports, as well as presentation and argument defense.

Bibliografia Principal / Main Bibliography
– Eidenberger, H. (2012). Handbook of multimedia information retrieval. BoD–Books on Demand. – Tukey, J. W. (1977). Exploratory data analysis.
– (practical) https://cran.r-project.org/web/packages/NMF/NMF.pdf
– (practical) http://factominer.free.fr/classical-methods/principal-components-analysis.html
-Ludeña-Choez, J., Quispe-Soncco, R., & Gallardo-Antolín, A. (2017). Bird sound spectrogram decomposition through Non-Negative Matrix Factorization for the acoustic classification of bird species. PloS one, 12(6), e0179403.
-Huang, A. (2008, April). Similarity measures for text document clustering. In Proceedings of the sixth new zealand computer science research student conference (NZCSRSC2008), Christchurch, New Zealand (pp. 49-56).