| Abstract: | Introduction: Prognostic scores are useful tools in assessing the effectiveness of treatments, mortality risk and quality of services, allowing the comparison between different Intensive Care Units as the implementation and improvement of treatment and public health policies and protocols. The PIM (Pediatric Index of Mortality) is one of the most widely used prognostic scores in pediatrics and has improved generating PIM 2 and PIM 3. The latest has not been validated in developing countries. Objectives: Validation of PIM 3 score in a tertiary pediatric hospital in southeastern Brazil, and comparison of its performance with the PIM 2, currently used. Methods: A contemporary cohort study undertaken between January 1 and December 31, 2014, at the Pediatric Intensive Care Unit of HEINSG (Hospital Estadual Infantil Nossa Senhora da Glória). The sample characterization was performed using the observed frequency, percentage, measures of central tendency and variability. The calibration of the scores was analyzed by the Hosmer-Lemeshow test setting, while the Z statistic Flora was used to evaluate the similarity between overall mortality and the one observed through the standardized mortality rate (SMR - Standardized Mortality Rate). For Flora z test, it is considered critical values for the non-null hypothesis rejected the two standard deviations (SD) (or between <1. 96 and> -1. 96). The area under the ROC curve (Receiver Operating Characteristic) was used to analyze the discrimination capacity of PIM2 and PIM3 models among patients who were discharged or died, and the assessment of the concordance between the measures of PIM 2 and PIM3 was performed using the Student t test for independent samples. The agreement between the measures of PIM 2 and PIM3 was evaluated by Bland & Altman plot. The significance alpha level used in the analyzes was 5% and 95% confidence interval. Data were collected in an Excel table, confirmed on medical records and later transferred to IBM SPSS software to perform all analyzes. Results: 293 patients were admitted to the PICU during the studied period, 38 of whom presented exclusion criteria. 35 (13. 7%) of the 255 patients studied died. The average score PIM2 was significantly higher than the PIM3, and Flora Z statistics showed no difference between the overall mortality observed and the expected one in PIM2, but this difference was found in PIM3. The PIM2 score got an excellent discrimination (AUC = 0. 830) and its sensitivity was 85. 7, and the specificity was 69. 1. On the other hand, the PIM 3 score had an acceptable discrimination (AUC = 0. 748), while its sensitivity was 74. 3, and its specificity was 67. 7. The comparison between the areas under the ROC curve of PIM2 and PIM3 was significant (p = 0. 015), showing that there is a difference between their areas, with better performance for PIM2 compared to PIM 3 (Z Flora 2. 427). The Bland-Altman diagramme indicated that the 95% limits of concordance between the two versions of PIM ranged from -1. 2 to 2. 3, indicating that the measures are inconsistent. There is discordance of 10. 6% above and below the limit ± 1. 96 standard deviations (SD) between the mentioned values, that is about twice the tolerable 5%. Conclusion: In our study, the PIM 2 shows better results to discriminate those patients who will die. We suggest, based on these results, that data collection should be maintained using the 2 versions of the score in this unit. Than, these data could be reanalyzed with a larger sample, and these results could be compared with new studies conducted in locations where population have similar characteristics.
Introdução: Escores prognósticos são ferramentas úteis na avaliação da eficácia de tratamentos, risco de mortalidade e qualidade de serviços, possibilitando comparação entre diferentes UTI (Unidade de Terapia Intensiva), além de implementação e melhorias de protocolos de tratamento e políticas de saúde pública. O PIM (Pediatric Index of Mortality) é atualmente um dos escores prognósticos mais utilizados na pediatria, tendo sido aperfeiçoado gerando o PIM 2 e mais recentemente o PIM 3, este último até o momento não validado em países em desenvolvimento. Objetivos: Validação do PIM3 em um hospital pediátrico terciário no sudeste do Brasil, e comparação de sua performance com o PIM 2, escore atualmente utilizado. Métodos: Estudo de coorte histórico retrospectivo, realizado entre 1º de janeiro e 31 de dezembro de 2014 na Unidade de Terapia Intensiva Pediátrica (UTIP) do HEINSG (Hospital Estadual Infantil Nossa Senhora da Glória). A caracterização da amostra foi realizada através da frequência observada, porcentagem, medidas de tendência central e de variabilidade. A calibração dos escores foi analisada pelo teste de ajuste de Hosmer-Lemeshow, enquanto a estatística Z de Flora foi utilizada para avaliar a semelhança entre a mortalidade geral e observada através do índice padronizado de mortalidade (SMR - Standardized Mortality Rate). Para o teste z de Flora, considerou-se valores críticos para não-rejeição da hipótese nula o intervalo de dois desvios padrão (DP) (ou entre < 1,96 e > -1,96). A área sob a curva ROC (Receiver Operating Characteristic) foi utilizada para a análise da capacidade de discriminação dos modelos PIM2 e PIM3 entre os pacientes que teriam alta ou evoluiriam para o óbito, e a avaliação da semelhança entre as médias do PIM2 e PIM3 foi feita através do teste t de Student para amostras independentes. A concordância entre as medidas do PIM2 e PIM3 foi avaliada pelo gráfico de Bland & Altman. O nível alfa de significância utilizado nas análises foi de 5% e intervalo de confiança de 95%. Os dados foram coletados em uma tabela Excel, conferidos em prontuários médicos e posteriormente transferidos para o software IBM SPSS para a realização de todas as análises. Resultados: Foram admitidos 293 pacientes no período estudado, sendo 38 excluídos por apresentarem um dos critérios de exclusão. Dos 255 pacientes analisados, 35 (13,7%) foram a óbito. O escore médio do PIM2 foi significativamente maior que o do PIM3, e a estatística Z de flora evidenciou não haver diferença entre a mortalidade geral observada e esperada no PIM2, mas há diferença destas no PIM3. O PIM2 obteve uma discriminação excelente (AUC = 0. 830) e sua sensibilidade foi de 85. 7 e especificidade de 69. 1. Já o PIM3 obteve uma discriminação aceitável (AUC = 0. 748) e sua sensibilidade foi de 74. 3 e especificidade de 67. 7. A comparação entre as áreas sob a curva ROC do PIM2 e PIM3 foi significativa (p = 0. 015), evidenciando que há diferença entre as suas áreas, com melhor desempenho do PIM2 em relação ao PIM 3 (Z de Flora 2. 427). O gráfico de Bland-Altman indicou que os limites de 95% de concordância entre as 2 versões do PIM variaram de -1,2 a 2,3, indicando que as medidas são inconsistentes, havendo discordância entre as mesmas que incluem 10,6% valores acima e abaixo do limite ± 1,96 DP, cerca do dobro do tolerável de 5%. Conclusões: Neste estudo, o PIM 2 apresentou melhores resultados para discriminar aqueles pacientes que irão a óbito, se comparado ao PIM 3. Poderia se sugerir, partindo desses resultados, que fosse mantida a coleta de dados utilizando as 2 versões do escore nesta unidade, para que estes dados possam ser novamente analisados com uma amostra maior, e que esses resultados possam ser comparados com novos estudos que devem surgir em locais com populações com características semelhantes. |
