Evaluation of Programmes under the Positive Parenting Initiative in Spain:Introduction to the Special Issue / La evaluación de programas bajo la iniciativa de la parentalidad positiva en España: introducción al número especial

The prevention science has endorsed standards for evidence related to research on programme evaluation. However, some controversies persist regarding its application in the provision of family support under the European Positive Parenting initiative. This Special Issue aims to map the expansion of preventive family support programmes in Spain and to contrast the quality of the evidence against the prevention standards according with the European Family Support Network. Members of the Spanish Family Support Network made up of entities in several sectors identified 57 programmes implemented in Spain and filled in a formative evaluation sheet for each programme. The articles in this issue analysed the results of four main aspects in all programmes: description, implementation, evaluation, and impact/sustainability. The findings will inform the scope and variety of support provided and the quality of programmes in Spain, providing guidelines for improvement and addressing challenges to reinforce quality assurance in child and family services.(AU)

La ciencia de la prevención avala los estándares de evidencia relativos a la investigación en evaluación de programas. Sin embargo, hay aún controversia en cuanto a su aplicación a la prestación de apoyo familiar bajo la iniciativa europea de la parentalidad positiva. El número especial tiene por objeto mapear la extensión de los programas preventivos de apoyo familiar en España y comparar la calidad de las pruebas con los estándares de prevención de la Red Europea de Apoyo Familiar. Los miembros de la Red Española de Apoyo Familiar, formada por entidades de varios sectores, han identificado 57 programas que se utilizan en España y cumplimentado una ficha de evaluación formativa para cada programa. Los artículos de este número analizan los resultados de cuatro aspectos principales de todos los programas: descripción, implementación, evaluación e impacto/sostenibilidad. Los resultados describen el panorama y variedad del apoyo brindado y la calidad de los programas en España, proporcionando orientación sobre mejora y abordando los desafíos para reforzar la garantía de calidad en los servicios para la infancia, adolescencia y familias.(AU)

Evidence-based Standards in the Design of Family Support Programmes in Spain / [Estándares basados en la evidencia en el diseño de programas de apoyo familiar en España

The positive parenting approach has highlighted the importance of supporting families to perform the functions associated with their parental role and to improve children’s well-being. The aims of this study were to identify and describe the characteristics of family support programmes in Spain, and to examine the extent to which they meet evidence-based standards for programme formulation. The sample includes 57 programmes identified by the Spanish Family Support Network, which belongs to the pan-European Family Support Network(EurofamNet) . Frequency analyses and contingency tables were carried out. The results show that the Spanish programmes meet several evidence-based standards for programme formulation (i.e., manualization). However, further efforts are required in some areas, such as universality and interdisciplinarity of family support programmes. The findings provide a platform from which to design new initiatives in accordance with standards for prevention programmes, and inform stakeholders and politicians in drawing up evidence-based public policies.(AU)

El enfoque de parentalidad positiva ha puesto de manifiesto la importancia de apoyar a las familias en el ejercicio de las funciones asociadas a su rol parental y para que aumenten el bienestar de los niños. Los objetivos de este estudio fueron identificar y describir las características de los programas de apoyo a la familia en España y examinar en qué medida cumplen con los estándares basados en la evidencia para la formulación de programas. La muestra incluye 57 programas identificados por la Red Española de Apoyo a la Familia, que pertenece a la Red Paneuropea de Apoyo a la Familia (EurofamNet). Se realizaron análisis de frecuencia y tablas de contingencia. Los resultados muestran que los programas españoles cumplen varios estándares basados en la evidencia para la formulación de programas (por ejemplo, que están manualizados). Sin embargo, es necesario realizar más esfuerzos en algunas áreas, como la universalidad y la interdisciplinariedad de los programas de apoyo familiar. Los resultados proporcionan una plataforma desde la que diseñar nuevas iniciativas de acuerdo con los estándares de los programas de prevención, y orientan a las partes interesadas y a los políticos en la elaboración de políticas públicas basadas en la evidencia.(AU)

Context, Process, and Participant Response in the Implementation of Family Support Programmes in Spain / El contexto, el proceso y la respuesta de los participantes en la implementación de programas de apoyo familiar en España

Implementation research addresses how well a programme is conducted when applied in real-world conditions. However, research based on quality standards is still scarce as it requires monitoring context, process, and participant response. This study applies implementation quality standards to 57 Spanish parenting and family support programmes identified in the COST European Family Support Network project, using an ten-component evaluation sheet sheet. Descriptive analyses showed a good implementation level. The latent profile analysis identified four patterns defined by programme setting: profile 1, Social Services/NGO setting (21.1%), profile 2, Health setting (31.6%), profile 3, Multi-setting (14%), and profile 4, Educational setting (33.3%), differing in professional discipline, training, participant response, and professional perception of implementation. Profile memberships were related to programme outcomes, scaling up, and sustainability. Findings illustrate conceptual and practical challenges that researchers and professionals usually encounter during implementation, and the efforts required to deliver programmes effectively in real-world settings in Spain.(AU)

La investigación sobre implementación se ocupa de la calidad con la que se aplica un programa en condiciones del mundo real. Sin embargo, la investigación basada en patrones de calidad es aún escasa, ya que requiere supervisar el contexto, el proceso y la respuesta de los participantes. El presente estudio aplica los patrones de calidad a 57 programas españoles de apoyo parental y familiar identificados en el proyecto COST-European Family Support Network, enlos que se utilizó una hoja de evaluación de diez componentes. Los análisis descriptivos mostraron un buen nivel de implementación. El análisis de clases latentes detectó cuatro perfiles definidos por el entorno donde se aplica el programa: el perfil 1, contexto de los servicios sociales/ONG (21.1%), el perfil 2, contexto sanitario (31.6%), el perfil 3, diversos contextos (14%), y el perfil 4, entorno educativo (33.3%), que difieren en la disciplina del profesional, la formación, las respuestas de los participantes y la percepción que tiene el profesional sobre la implementación. La pertenencia a los diversos perfiles se relacionaba con los resultados del programa, su ampliación a gran escala y la sostenibilidad. Los resultados ponen de manifiesto los desafíos conceptuales y prácticos que tanto investigadores como profesionales suelen encontrar durante la implementación, así como los esfuerzos necesarios para aplicar los programas de forma efectiva en contextos reales en España.(AU)

The Evaluation of Family Support Programmes in Spain. An Analysis of their Quality Standards / La evaluación de los programas de apoyo familiar en España. Un análisis de sus estándares de calidad

Since the well-known publication of the Society for Prevention Research about standards for evidence related to research on prevention interventions, a rigorous evaluation is considered one of the main requirements for evidence-based programmes. Despite their importance, many programmes do not include evaluation designs that meet the most widely agreed quality standards. The aim of this study was to examine the evaluation processes of fifty-seven Spanish programmes identified in the context of the COST European Family Support Network. The obtained results provide a fairly positive picture of the quality of programme evaluation standards, although more designs that include a control group, follow-up evaluations assessing long-term effects, and the evaluation of child and indirect outcomes are needed. The results are discussed from a comprehensive and plural perspective of evaluation which, in addition to methodological rigor, considers the usefulness, feasibility, and ethical rigor of evaluation research.(AU)

A partir de las propuestas de la Society for Prevention Research sobre los estándares de evidencia necesarios para las intervenciones preventivas, contar con una evaluación rigurosa se considera como uno de los principales requisitos de los programas basados en la evidencia. A pesar de su importancia, muchos programas de apoyo familiar no cuentan con diseños de evaluación que cumplan con los estándares de calidad más consensuados. El objetivo de este artículo fue analizar los procesos de evaluación de cincuenta y siete programas españoles identificados en el marco del proyecto COST European Family Support Network. Los resultados obtenidos muestran una imagen bastante positiva de los estándares de calidad que caracterizan la evaluación de los programas, aunque es necesario ampliar el número de diseños que incluyan grupos de comparación, que contemplen medidas de los efectos en el bienestar infantil y que lleven a cabo evaluaciones de seguimiento para medir los efectos a largo plazo de las intervenciones. Se analizan los resultados desde un enfoque plural de la evaluación, que además del rigor metodológico considera la necesidad de tener en cuenta la utilidad, la viabilidad y el rigor ético de las investigaciones de evaluación.(AU)

An Integrated Analysis of the Impact of Spanish Family Support Programmes with Informed Evidence / Un análisis integrado del impacto de los programas españoles de apoyo familiar basados en la evidencia

A description is made of the quality of Spanish family support programmes, based on their impact, dissemination, scaling up in communities, and sustainability; 57 implemented programmes with informed evidence were selected by EurofamNet. Most of the programmes were shown to make a positive impact, using quantitative methodologies, and they were manualized, while about half of them defined the core contents and included professional training. From a cluster analysis of programmes with scaling up, those with a high and moderate level of systematization were identified, based on the existence of defined core contents, implementation conditions, institutional support, professional training, and reports of findings. The highly systematized programmes were characterized by a greater use of mixed methodologies, their scientific dissemination through different means, and their inclusion in services. A programme quality analysis is proposed, taking an integrated approach that relates the programme’s impact with its design, implementation, and evaluation of sustainability.(AU)

En este trabajo se presenta una descripción de la calidad de los programas españoles de apoyo a las familias, basándose en su impacto, difusión, diseminación institucional y sostenibilidad. En el marco de EurofamNet se seleccionaron 57 programas implementados con evidencia fundamentada. La mayoría de los programas mostraron un impacto positivo utilizando metodologías cuantitativas y estaban manualizados, mientras que cerca de la mitad de ellos definían los contenidos clave e incluían la formación de los profesionales. A partir de un análisis de conglomerados se identificaron los que tenían un nivel de sistematización alto y moderado, definidos los contenidos clave y las condiciones de implementación, apoyo institucional, formación profesional e informes de resultados. Los programas con alto nivel de sistematización se caracterizaron por un mayor uso de metodologías mixtas, su difusión científica a través de diferentes medios y su inclusión en las instituciones. Se propone un análisis de la calidad de los programas, con un enfoque integrado que relacione el impacto del programa con su diseño, implementación y la evaluación de la sostenibilidad.(AU)

Actitudes de profesionales del ámbito de la intervención familiar hacia las prácticas basadas en la evidencia / Attitudes of family intervention professionals towards evidence-based practices

A la hora de poner en marcha procesos de innovación en los servicios de intervención familiar que supongan la incorporación de programas basadas en la evidencia (PBE), es fundamental considerar el papel que desempeñan los/as profesionales, ya que de ellos depende en gran parte la fidelidad y calidad de la implementación de los programas. Este estudio se centra en analizar las actitudes de profesionales hacia las prácticas basadas en la evidencia, así como su percepción y valoración del Programa de Intervención Familiar (PIF), desarrollado en el Ayuntamiento de Pamplona (España) dentro de la cartera de servicios de preservación familiar. Los participantes fueron los/as 27 profesionales que aplican el PIF, que cumplimentaron la escala Evidence-Based Practice Attitude Scale (EBPAS) y la de Expectativas y Valoración Inicial del PIF (EVI-PIF). Los resultados obtenidos mostraron la relación existente entre las actitudes hacia las prácticas basadas en la evidencia y algunas características de los/as profesionales. Asimismo, también se encontró relación significativa entre una alta valoración del PIF y unas actitudes positivas hacia los PBE. Estos resultados avalan la importancia de las actitudes profesionales como elementos que pueden facilitar o dificultar los procesos de innovación y mejora en los servicios de atención e intervención familiar (AU)

When implementing innovation processes in family intervention services that involve the incorporation of eviden-ce-based programmes (EBP), it is essential to take into consideration the role played by professionals, since the fidelity and quality of the implementation of the programmes largely depends on them. This study focuses on analysing the attitudes of professionals towards EBP, as well as their perception and assessment of the Family Intervention Programme (FIP), developed in the family prevention services of Pamplona City Council (Spain). The participants in the study were the 27 professionals who implement the FIP, who completed the Evidence-Based Practice Attitude Scale (EBPAS) and he Expectations and Initial Assessment of the FIP (EVI-FIP). The results obtained showed the relationship between attitudes towards evidence-based practice and some characteristics of the professionals. A significant relationship was also found between a high valuation of the FIP and positive attitudes towards EBP. These results support the importance of professional attitudes as elements that can facilitate or hinder innovation and improvement processes in family care and intervention services. (AU)

Niveles de riesgo en adolescentes en consumo de tabaco y en actitudes hacia el consumo de drogas después de la intervención preventiva “Programa de Competencia Familiar” / Risk levels among adolescents in tobacco use and in substance use attitudes after the preventive intervention “Family Competence Program”

Introducción: el Programa de Competencia Familiar Universal (PCF-U) es un programa preventivo basado en la evidencia para familias con hijos entre 11 y 14 años. Los objetivos son la reducción o prevención del consumo, la promoción de las relaciones familiares, la promoción de las habilidades parentales y un aumento de las habilidades sociales y personales de los hijos.Método: Diseño cuasi-experimental con grupo control. La muestra final son 305 padres y 262 hijos. La evaluación incluye el Cuestionario sobre Actitudes hacia las Drogas. La evaluación también contiene preguntas sobre el consumo de tabaco y alcohol. Se lleva a cabo un análisis de conglomerados sobre el consumo de tabaco y sobre las actitudes hacia el consumo de drogas.Resultados: el consumo de tabaco desciende después de la intervención. El estadístico sobre las declaraciones sobre consumo de alcohol no es fiable. En actitudes hacia las drogas, la predisposiciónhacia el consumo desciende después de la intervención, pero no es significativa. Las creencias normativas y erróneas cambian, pero no de manera significativa. Sobre los conglomerados, se identificantres niveles de riesgo, 4.7% de los adolescentes pertenecerían al riesgo alto, 24.3% pertenecerían al riesgo medio/medio-bajo y 70.9% pertenecerían al riesgo bajo. Discusión: los resultados generales del PCF-U 11-14 presentados en otros estudios muestran buenos resultados en parentalidad y habilidades familiares. Sin embargo, en consumo de tabaco y alcohol y en actitudes hacia las drogas, sólo el consumo de tabaco tiene un cambio significativo. Quizás el programa es limitado para niveles de riesgo medio y alto. (AU)

Introduction: Universal Family Competence Program is an evidence-based drug preventive intervention in Spain, working with families with children between 11 and 14 years old. Their objectives arereduction or prevention of substance use, promotion of family relationships, promotion of parenting skills, and increase of children personal and social skills. Method: Cuasi-experimental design with control group. Final sample of this study was 305 parents and 262 children. Evaluation instrument includes the Questionnaire about Drug Attitudes, measuring readiness towards substance use, wrong beliefs and normative beliefs. The instrument also contains questions about tobacco and alcohol use. Cluster analysis on tobacco and alcohol use, and drug attitudes is calculated.Results: tobacco use descends after program intervention. Declarations on alcohol use are not reliable. On drug attitudes, readiness towards substance use descends after intervention, but it is notsignificant. Wrong beliefs on drugs decrease, but not in a significant way. Normative beliefs increase, nevertheless not significantly. Regarding cluster analysis, according to their responses to tobacco use and drug attitudes, it is possible to identify three levels of risk. 4.7% of the adolescents interviewed would belong to the high risk level, 24.3% would belong to the middle or middle down level and70.9% would belong to the low risk level.Discussion: general results of the PCF-U 11-14 show good results in family and parenting skills (investigated elsewhere). Nevertheless, when it takes to tobacco and alcohol use and to drug attitudes, only tobacco use results are significant. The program might be slightly short for high and medium risk levels. (AU)

Cultural adaptation of preschool PATHS (Promoting Alternative Thinking Strategies) curriculum for Pakistani children.

Cultural adaptation of evidence-based programmes has gained importance primarily owing to its perceived impact on the established effectiveness of a programme. To date, many researchers have proposed different frameworks for systematic adaptation process. This article presents the cultural adaptation of preschool Promoting Alternative Thinking Strategies (PATHS) curriculum for Pakistani children using the heuristic framework of adaptation (Barrera & Castro, 2006). The study was completed in four steps: information gathering, preliminary adaptation design, preliminary adaptation test and adaptation refinement. Feedbacks on programme content suggested universality of the core programme components. Suggested changes were mostly surface structure: language, presentation of materials, conceptual equivalence of concepts, training needs of implementation staff and frequency of programme delivery. In-depth analysis was done to acquire cultural equivalence. Pilot testing of the outcome measures showed strong internal consistency. The results were further discussed with reference to similar work undertaken in other cultures.