Graphs of growth: detecting infant movement anomalies with graph convolutional networks

Abstract

Transtornos do desenvolvimento cognitivo (TDC) é uma designação geral para deficiências decorrentes do mau desenvolvimento do sistema nervoso. Bebês prematuros são a população mais afetada e, embora não haja cura para TDCs, tratamentos estão disponíveis assim que o transtorno é identificado. A Avaliação de Movimentos Gerais (AMG) é uma ferramenta de diagnóstico para discernir entre neurodesenvolvimento típico e indicativo de risco em bebês abaixo de 6 meses de idade via a observação de repertórios de movimento específicos – alguns dos quais são anormais e atribuem risco à criança. Apesar de seu alto valor preditivo para CDDs, a AMG é pouco utilizada em ambientes clínicos devido a um programa de treinamento e certificação complexo e custoso. O objetivo desta dissertação é desenvolver uma metodologia para a automatização da AMG: de registros em vídeo do movimento de bebês em ambientes hospitalares, para a classificação de movimento normal e anormal e posterior identificação de risco. Foi desenvolvido um sistema de classificação baseado em Redes Neurais Convolutivas de Grafo para atribuir risco ou não-risco de CDDs em três datasets publicamente disponíveis, contendo sequências com dados posicionais de bebês. No total, dados de 137 bebês foram usados para treinar o algoritmo de classificação. Mudanças à arquitetura interna da rede e etapas de regularização foram feitas a fim de adaptá-la ao caráter ruidoso dos dados. Conduzimos um processo de otimização de hiperparâmetros em diversas configurações experimentais, submetendo nosso modelo a diferentes tipos de dados, tanto intra-datasets – treinamento e teste no mesmo dataset – quanto inter-datasets.

Cognitive development disorder (CDD) is an umbrella term for impairments arising from the maldevelopment of the nervous system. Premature infants are the most affected population and although most CDDs have no cure, treatment is available as soon as the disorder is identified. The General Movements Assessment (GMA) is a diagnostic tool for discerning between typical and disorder-like neurodevelopment of infants below 6 months of age via the observation of specific movement repertoires -- some of which are abnormal and attribute risk to the infant. Despite its high predictive value for CDDs, GMA is scarcely used in clinical settings due to a difficult and costly training and certification program. This dissertation’s purpose is to develop a methodology for automating GMA: from video-recordings of moving infants in hospital settings to the classification of normal and abnormal movement and later risk identification. We developed a classification system based on a Graph Convolutional Neural Network to sort out infant skeleton time-series data of three different publicly available datasets into risk of CDDs and no-risk of CDDs. In total, data from 137 infants were used to train our classification algorithm. Changes to the internal architecture of the network and regularization steps were made to adapt to the noisy nature of our data. We performed hyperparameter optimization on different experimental setups, subjecting our model to different data, both intra-datasets – training and testing on the same dataset and – and inter-datasets.