Les données du système d'information sur la gestion de la santé (HMIS) peuvent-elles être utilisées pour démontrer l'impact des programmes de planification familiale ? Et, si oui, à quel point cette évaluation d'impact peut-elle être peu coûteuse ?
Avec des financements pour la planification familiale soumis à une pression croissante, les décideurs ont besoin de moyens peu coûteux et crédibles pour démontrer l'impact de leurs programmes.
Les évaluations d'impact traditionnelles utilisant des enquêtes auprès des ménages peuvent coûter des milliers, voire des millions de dollars. En revanche, les données du HMIS sont déjà collectées régulièrement auprès des établissements de santé et constituent donc une alternative intéressante.
Mais les données HMIS peuvent-elles être utilisées pour fournir des estimations d'impact rigoureuses ? Et l'automatisation pourrait-elle rendre cela presque gratuit ? Le récent rapport d'Itad évaluation de The Challenge Initiative TCI) a été conçu pour tester précisément cela.
À propos de The Challenge Initiative
TCI 214 collectivités locales dans 13 pays afin de renforcer les interventions à fort impact en matière de planification familiale, qu'il s'agisse de la planification familiale immédiatement après l'accouchement, des campagnes dans les médias ou des actions de sensibilisation menées par les agents de santé communautaires. TCI à renforcer la gouvernance publique, à développer l'autonomie et à accroître l'utilisation des contraceptifs modernes parmi les populations urbaines défavorisées.
Les données HMIS peuvent-elles être utilisées pour des évaluations d'impact ?
Traditionnellement, les données HMIS ont été principalement utilisées pour le suivi et la gestion des programmes, et non pour estimer les résultats au niveau de la population. Elles ont été historiquement sous-utilisées en raison d'importants problèmes de qualité des données. Contrairement aux enquêtes auprès des ménages, les données HMIS proviennent d'établissements plutôt que d'échantillons représentatifs de la population, ce qui rend difficile l'estimation du recours à la contraception au niveau de la population.
Cependant, dans un contexte de contraintes financières, l'intérêt des données HMIS pour l'évaluation est évident : elles sont déjà collectées, à une fréquence élevée, et sont beaucoup moins coûteuses que la collecte de données primaires.
C'est pourquoi, en 2021, TCI Itad de déterminer si les données HMIS pouvaient produire des estimations d'impact crédibles à l'aide de l'analyse des séries chronologiques interrompues (ITS), une méthode de recherche utilisée pour évaluer l'efficacité des interventions.
Mise en place HMIS à l'épreuve
Afin de tester le potentiel des données HMIS, Itad a entrepris une analyse rigoureuse mais exigeante en ressources. Celle-ci comprenait des évaluations de la qualité des données, un nettoyage intensif des données, une analyse contextuelle, ainsi qu'une interprétation et une validation par des experts.
Les résultats ont été frappants. Dans 40 collectivités locales de sept pays, les estimations basées sur le HMIS d'Itad correspondaient étroitement aux évaluations indépendantes précédentes du TCI. Cela démontre que des données HMIS soigneusement nettoyées peuvent produire des estimations d'impact crédibles comparables à celles obtenues à l'aide de méthodes de collecte de données coûteuses, pour un coût nettement inférieur.
Cependant, malgré des résultats solides, il y avait un hic. L'approche d'Itad impliquait toujours une participation importante des chercheurs et nécessitait beaucoup de temps et de ressources. Avec des budgets limités, l'équipe d'Itad s'est posé la question suivante : serait-il possible d'automatiser l'ensemble du processus d'analyse et de rendre l'évaluation d'impact presque gratuite ?
Automatisation des tests : comparaison directe
Itad a comparé l'approche d'analyse gourmande en ressources à une approche automatisée peu coûteuse nécessitant une implication minimale des chercheurs.
Ils ont mis au point une approche ITS entièrement automatisée qui ne nécessitait pratiquement aucune intervention de la part des chercheurs : seulement du code, des ordinateurs et des données sur la santé. Itad a ensuite comparé cette approche à son approche gourmande en ressources afin de comprendre les compromis entre l'accessibilité financière et la rigueur analytique.
Ils ont testé les deux approches à l'aide des données provenant de 28 LG. Pour chaque emplacement, Itad a examiné la variation relative (%) et absolue du nombre de clients générés par les approches automatisées et organisées. L'objectif n'était pas simplement de comparer les chiffres, mais de comprendre dans quelle mesure les décideurs peuvent raisonnablement faire confiance à une approche automatisée à faible coût.
Alors, qu'a découvert Itad ?
Malgré les divers investissements TCIpour renforcer la qualité des données HMIS et les critères d'inclusion stricts d'Itad, l'approche automatisée a montré une différence moyenne de 34 % par rapport aux résultats obtenus grâce à l'approche intensive en ressources (voir figure 1 ci-dessous). Dans certaines collectivités locales, l'écart était encore plus important. Il est important de noter que cette surestimation persistait même dans les cas où l'approche automatisée semblait être «bonnes performances» sur la base des vérifications diagnostiques effectuées par l'équipe.
Cela est préoccupant, car des estimations d'impact exagérées peuvent induire en erreur les décideurs, fausser l'allocation des ressources et nuire à la crédibilité des programmes. En fin de compte, cela signifie que sans intervention humaine pour nettoyer, vérifier et interpréter les données, les modèles ITS automatisés basés sur les HMIS ne peuvent pas générer d'estimations d'impact permettant d'éclairer la prise de décision.
Fig. 1. Changement de NCU par diagnostic automatisé (en pourcentage)
Mais cela ne signifie pas pour autant que l'automatisation est inutile.
Bien qu'Itad ait constaté que les approches entièrement automatisées ne sont pas suffisamment fiables pour la prise de décision, les approches automatisées restent néanmoins utiles.
Alors que les estimations individuelles de LG variaient considérablement par rapport aux résultats obtenus grâce à l'approche intensive en ressources, les estimations agrégées au niveau du portefeuille montraient une plus grande concordance. Cela suggère que les approches automatisées peuvent fournir des indications raisonnables sur l'impact global. En effectuant un balayage au niveau du portefeuille et en identifiant rapidement les informations pertinentes et les domaines nécessitant une analyse plus approfondie, l'automatisation pourrait donc réduire les coûts pour les gestionnaires de programmes.
Qu'est-ce que ça veut dire pour les programmes de planification familiale ?
Les travaux d'Itad montrent que les données HMIS recèlent un énorme potentiel pour l'évaluation d'impact lorsqu'elles sont associées à une vérification rigoureuse et à une analyse contextuelle. Les approches automatisées ne peuvent remplacer le jugement d'experts et ne doivent pas être utilisées pour prendre des décisions importantes. Cependant, les approches automatisées peut être utilisé pour examiner les portefeuilles afin de repérer les domaines nécessitant un examen plus approfondi.
L'utilisation stratégique d'approches automatisées et gourmandes en ressources permet donc d'équilibrer les coûts, l'échelle et la rigueur. Il ne s'agit pas de choisir entre les deux, mais de les déployer dans la bonne combinaison. Cela permettra de débloquer des investissements plus intelligents, des programmes plus solides et de meilleurs résultats pour les communautés qui bénéficient des interventions en matière de planification familiale.
