RESUMO
Large publicly funded programmes of research continue to receive increased investment as interventions aiming to produce impact for the world's poorest and most marginalized populations. At this intersection of research and development, research is expected to contribute to complex processes of societal change. Embracing a co-produced view of impact as emerging along uncertain causal pathways often without predefined outcomes calls for innovation in the use of complexity-aware approaches to evaluation. The papers in this special issue present rich experiences of authors working across sectors and geographies, employing methodological innovation and navigating power as they reconcile tensions. They illustrate the challenges with (i) evaluating performance to meet accountability demands while fostering learning for adaptation; (ii) evaluating prospective theories of change while capturing emergent change; (iii) evaluating internal relational dimensions while measuring external development outcomes; (iv) evaluating across scales: from measuring local level end impact to understanding contributions to systems level change. Taken as a whole, the issue illustrates how the research for development evaluation field is maturing through the experiences of a growing and diverse group of researchers and evaluators as they shift from using narrow accountability instruments to appreciating emergent causal pathways within research for development.
Les grands programmes de recherche financés par des fonds publics continuent de recevoir des investissements accrus en tant qu'interventions visant à produire un impact pour les populations les plus pauvres et les plus marginalisées dans le monde. À cette intersection entre la recherche et le développement, la recherche devrait contribuer aux processus complexes de changement sociétal. Pour adopter une vision coconstruite de l'impact comme phénomène émergeant au fil de liens de causalité incertains, bien souvent sans résultats prédéfinis, il faut innover en utilisant des approches d'évaluation sensibles à la complexité. Les articles de ce numéro spécial présentent de riches expériences d'auteurs travaillant dans différents secteurs et zones géographiques, employant l'innovation méthodologique et le pouvoir de navigation tout en réconciliant les tensions. Ils illustrent les défis lorsqu'il s'agit (i) d'évaluer des performances pour répondre aux exigences de redevabilité tout en favorisant l'apprentissage pour l'adaptation; (ii) d'évaluer les théories prospectives du changement tout en saisissant le changement émergent; (iii) d'évaluer les dimensions relationnelles internes tout en mesurant les résultats de développement externes; (iv) d'évaluer à différentes échelles: de la mesure de l'impact final au niveau local à la compréhension des contributions au changement au niveau des systèmes. Pris dans son ensemble, ce numéro illustre la façon dont l'évaluation de la recherche pour le développement mûrit à travers les expériences d'un groupe toujours plus important et divers de chercheurs et d'évaluateurs qui abandonnent des outils de redevabilité étriqués afin d'apprécier les liens de causalité émergents au sein de la recherche pour le développement.
RESUMO
The complexity of issues addressed by research for development (R4D) requires collaborations between partners from a range of disciplines and cultural contexts. Power asymmetries within such partnerships may obstruct the fair distribution of resources, responsibilities and benefits across all partners. This paper presents a cross-case analysis of five R4D partnership evaluations, their methods and how they unearthed and addressed power asymmetries. It contributes to the field of R4D partnership evaluations by detailing approaches and methods employed to evaluate these partnerships. Theory-based evaluations deepened understandings of how equitable partnerships contribute to R4D generating impact and centring the relational side of R4D. Participatory approaches that involved all partners in developing and evaluating partnership principles ensured contextually appropriate definitions and a focus on what partners value. Supplementary Information: The online version contains supplementary material available at 10.1057/s41287-023-00578-w.
Finally, centring reflexivity within a learning oriented approach ensured that partnership evaluation findings were used to adapt and improve the way R4D programmes operate. La complexité des enjeux abordés par la recherche pour le développement (R4D) nécessite des collaborations entre des partenaires de disciplines et de contextes culturels variés. Les asymétries de pouvoir au sein d'un tel partenariat peuvent entraver la répartition équitable des ressources, des responsabilités et des avantages entre tous les partenaires. Cet article présente une analyse croisée de cinq évaluations de partenariats R4D, leurs méthodes et la manière dont elles ont mis au jour et traité les asymétries de pouvoir. Cet article contribue au domaine des évaluations de partenariats R4D en décrivant de façon détaillée les approches et les méthodes employées pour évaluer ces partenariats. Les évaluations basées sur la théorie ont permis d'approfondir la compréhension de la manière dont les partenariats équitables contribuent à l'impact de la R4D et à mettre au centre l'aspect relationnel de la R4D. Les approches participatives impliquant tous les partenaires dans l'élaboration et l'évaluation des principes du partenariat ont permis de garantir des définitions adaptées au contexte et de faire en sorte que les évaluations se penchent sur ce qui est jugé important pour tous les partenaires. Enfin, le fait de mettre la réflexivité au cÅur de l'analyse dans une approche axée sur l'apprentissage a permis d'utiliser les résultats de l'évaluation du partenariat pour adapter et améliorer le fonctionnement des programmes de R4D.
RESUMO
Achieving impact through research for development programmes (R4D) requires engagement with diverse stakeholders across the research, development and policy divides. Understanding how such programmes support the emergence of outcomes, therefore, requires a focus on the relational aspects of engagement and collaboration. Increasingly, evaluation of large research collaborations is employing social network analysis (SNA), making use of its relational view of causation. In this paper, we use three applications of SNA within similar large R4D programmes, through our work within evaluation of three Interidsiplinary Hubs of the Global Challenges Research Fund, to explore its potential as an evaluation method. Our comparative analysis shows that SNA can uncover the structural dimensions of interactions within R4D programmes and enable learning about how networks evolve through time. We reflect on common challenges across the cases including navigating different forms of bias that result from incomplete network data, multiple interpretations across scales, and the challenges of making causal inference and related ethical dilemmas. We conclude with lessons on the methodological and operational dimensions of using SNA within monitoring, evaluation and learning (MEL) systems that aim to support both learning and accountability. Supplementary Information: The online version contains supplementary material available at 10.1057/s41287-023-00576-y.
Pour que les programmes de recherche pour le développement (R4D ou Research for Developmement en anglais) aient un impact, il faut un engagement entre diverses parties prenantes dans les domaines de la recherche, du développement et des politiques. Il est nécessaire de se concentrer sur les aspects relationnels de l'engagement et de la collaboration si l'on souhaite comprendre la façon dont ce type de programme permet l'émergence de résultats. L'évaluation des grands consortia de recherche utilise de plus en plus fréquemment l'analyse des réseaux sociaux (SNA ou social network analysis en anglais) en appliquant sa vision relationnelle de la causalité. Dans cet article, en vue d'explorer son potentiel en tant que méthode d'évaluation, nous utilisons trois applications d'analyse des réseaux sociaux au sein de grands programmes R4D similaires dans le cadre de notre travail d'évaluation de trois pôles interdisciplinaires du Fonds de recherche sur les défis mondiaux. Notre analyse comparative montre que l'analyse des réseaux sociaux peut révéler les dimensions structurelles des interactions au sein de ces programmes et permettre d'apprendre comment les réseaux évoluent dans le temps. Nous menons une réflexion quant aux défis communs qui émanent de ces cas, y compris la gestion de différentes formes de biais qui résultent de données de réseau incomplètes, de multiples interprétations sur des échelles différentes et les défis liés au fait d'établir une inférence causale et les dilemmes éthiques connexes. Nous concluons par des leçons sur les dimensions méthodologiques et opérationnelles de l'utilisation de l'analyse des réseaux sociaux dans les systèmes de suivi, d'évaluation et d'apprentissage (SEA) qui visent à soutenir à la fois l'apprentissage et la redevabilité.
