L'évaluation à l'ère de l'IA : ce que les évaluateurs émergents peuvent nous apprendre

Ce webinaire, intitulé « L'évaluation à l'ère de l'IA : ce que les nouveaux évaluateurs peuvent nous apprendre », s'est concentré sur l'intégration de l'intelligence artificielle (IA) dans l'évaluation de projets et sur le rôle des nouveaux évaluateurs dans la promotion d'une utilisation responsable de l'IA dans la pratique de l'évaluation. La session a examiné les capacités des évaluateurs, les méthodes d'évaluation assistées par l'IA, les considérations éthiques et les exigences en matière de gouvernance institutionnelle liées à l'utilisation de l'IA dans l'évaluation. Intégration de l’IA dans l’évaluation de projets Le webinaire a mis en évidence l’intégration croissante de l’IA dans les processus d’évaluation, en particulier dans l’analyse des données, les revues de littérature, la modélisation économétrique, l’analyse qualitative et la synthèse des données probantes. Les intervenants ont souligné que l’IA peut aider les évaluateurs à traiter de grands volumes d’informations et à améliorer l’efficacité analytique, tout en insistant sur l’importance de maintenir un contrôle humain et un jugement professionnel tout au long du processus d’évaluation. La session a souligné que l'IA devait être utilisée comme un outil de soutien technique plutôt que comme un substitut aux évaluateurs. Les intervenants ont mis en avant la nécessité de vérifier les sources, d'interpréter le contexte et de valider les résultats générés par l'IA afin de garantir la qualité, la transparence et la responsabilité dans le travail d'évaluation. Étude sur les compétences des évaluateurs émergents en matière d'IA Une étude exploratoire présentée lors de la session a examiné les compétences et le niveau de préparation des évaluateurs émergents en matière d'IA. L'étude a montré que 55 % des participants utilisent actuellement des outils basés sur l'IA, tandis que 70 % considèrent que leur niveau de connaissances et de maîtrise technique est moyen ou faible. L'étude a identifié trois niveaux de compétence : • Compétences de base liées aux outils analytiques et numériques ; • Compétences intermédiaires impliquant l'intégration et l'application d'outils d'IA ; et • Compétences avancées liées à l'identification, la compréhension et la correction des biais algorithmiques. La présentation a souligné l’importance de renforcer les possibilités de formation et a suggéré que les associations professionnelles et les communautés de pratique devraient jouer un rôle plus important dans la promotion d’une utilisation éthique et responsable de l’IA dans l’évaluation. Évaluation et production de données factuelles assistées par l’IA La session a abordé l’utilisation d’outils d’IA pour soutenir les activités d’évaluation, notamment l’analyse qualitative, les revues de littérature, la modélisation économétrique et la synthèse des données factuelles. Les discussions ont mis l’accent sur l’importance de combiner les approches assistées par l’IA avec le jugement de l’évaluateur et les processus de vérification. Une étude de cas sur l'évaluation des réformes au Sénégal a illustré comment l'IA peut renforcer la production de données factuelles tout en préservant la transparence et la responsabilité institutionnelle. La présentation a démontré l'utilisation de l'IA dans des domaines tels que la prévision de la demande, la détection des anomalies, l'analyse des risques et les systèmes automatisés de suivi et d'évaluation. Éthique, transparence et gouvernance La session a donné lieu à des discussions sur les questions éthiques liées à l'utilisation de l'IA dans l'évaluation, notamment la confidentialité des données, les biais algorithmiques, la responsabilité, la transparence, les risques de plagiat et la gestion responsable des données. Les intervenants ont souligné l’importance de la triangulation des données, du nettoyage des données, des garanties institutionnelles et des mécanismes de gouvernance pour soutenir l’intégration éthique de l’IA. Les participants ont convenu que les évaluateurs devraient clairement mentionner l’utilisation d’outils d’IA dans les rapports d’évaluation et faire preuve de transparence quant aux étapes et à l’étendue de l’analyse assistée par l’IA. La discussion a également mis en évidence l’importance de la pensée critique et de la compréhension des mécanismes de l’IA pour valider et remettre en question les résultats générés par l’IA. Messages clés • L'IA peut soutenir les processus d'évaluation par l'analyse des données, la synthèse et l'automatisation de certaines tâches analytiques ; • La supervision humaine et le jugement de l'évaluateur restent essentiels à la crédibilité et à la responsabilité de l'évaluation ; • Les évaluateurs débutants ont besoin de renforcer leurs capacités en matière de culture de l'IA, de validation, d'éthique et de gouvernance des données ; • La transparence, la traçabilité et la vérification sont essentielles dans les évaluations assistées par l'IA ; • Les communautés de pratique et les associations professionnelles ont un rôle important à jouer dans le renforcement des capacités des évaluateurs et la promotion d’une utilisation éthique de l’IA ; et • Des cadres de gouvernance et des normes opérationnelles sont nécessaires pour guider l’intégration responsable de l’IA dans la pratique de l’évaluation.

• Encourager les évaluateurs débutants à s’engager dans des communautés de pratique, des associations professionnelles et des initiatives de partage des connaissances liées à l’IA et à l’évaluation. • Promouvoir des ateliers de formation pratique utilisant des études de cas concrets sur l’intégration éthique et technique de l’IA dans la pratique de l’évaluation. • Encourager les évaluateurs à divulguer clairement l’utilisation et l’étendue de l’IA dans les rapports d’évaluation afin de renforcer la traçabilité et la responsabilité. • Renforcer les mécanismes d’apprentissage continu, d’échange entre pairs et de partage d’expériences pratiques liés à l’évaluation assistée par l’IA. • Élaborer des lignes directrices, des normes et des principes éthiques relatifs à l’utilisation de l’IA dans les processus de suivi et d’évaluation. • Organiser de nouvelles discussions sur la transparence, la responsabilité, l’éthique et la gouvernance dans l’évaluation assistée par l’IA, en incluant la participation des évaluateurs émergents. • Envisager la création d’un blog collectif de suivi en français pour poursuivre la discussion et partager les enseignements tirés de la pratique.