5.3 Mecanismos para la profesionalización

Esta sección considera los mecanismos concretos que apuntan a desarrollar, mejorar y/o mantener continuamente la capacidad de individuos, instituciones y ecosistemas Si bien muchos de los documentos a los que se hace referencia en esta sección se enfocan en la perspectiva de evaluadores individuales, otros muestran la perspectiva de sectores específicos (por ejemplo, la cooperación internacional). Además, algunos de los documentos citados describen roles, responsabilidades y capacidades tanto de quienes producen las evaluaciones como de quienes las gerencian o comisionan, por lo que incluyen idiosincrasias asociadas a su contexto.

Se han identificado seis pilares que respaldan las herramientas para la profesionalización de la evaluación.

Las estructuras institucionales se refieren a la existencia dentro de países, regiones y organizaciones, de un entorno propicio que reconozca y respalde la importancia de la evaluación. Si bien muchos países y organizaciones internacionales ya cuentan con políticas y regulaciones que requieren la evaluación periódica de sus programas, países como Nepal, Marruecos y un pequeño número de otros países han ido un paso más allá, pues han incluido requerimientos de monitoreo y evaluación a nivel de sus Constituciones nacionales.

El acceso a la educación y la capacitación, incluyendo educación académica, desarrollo profesional continuo a través de instituciones académicas y a través de las VOPE u organizaciones privadas, mentoreo y entrenamiento “en el trabajo” a través de arreglos formales e informales.

La difusión del conocimiento y buenas prácticas a través de publicaciones académicas revisadas por pares, sitios especializados en internet de acceso abierto o restringido a miembros, como son AEA365, Centers for Disease Control and Prevention, Canadian Journal of Program Evaluation, Journal of Multidisciplinary Evaluation, y Better Evaluation (este último compila buenas prácticas en una enorme variedad de temas a través de artículos y blogs), así como EvalPartners con su iniciativa e-learning initiative. De igual forma, muchas VOPE y organizaciones internacionales incluyen espacios en sus sitios web para mostrar videos, literatura no revisada por pares, artículos y blogs.

Los principios rectores, ética, normas y estándares, que se pueden encontrar en los sitios web de la mayoría de las VOPE. Esta sección incluye información de la American Evaluation Association (AEA), la Aotearoa New Zealand Evaluation Association (ANZEA), la Canadian Evaluation Society (CES), el Development Assistance Committee (DAC) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), la Asociación Internacional de Evaluación del Desarrollo (IDEAS), Red de Seguimiento, Evaluación y Sistematización de Latinoamérica y el Caribe (ReLAC), el Grupo de Evaluación de las Naciones Unidas (UNEG) y el Programa de las Naciones Unidas para el Desarrollo (PNUD).

Marcos de referencia en capacidades y capacidades de personas evaluadoras, que han sido desarrollados por algunas VOPE, como son la CES, IDEAS, la Sociedad Japonesa de Evaluación(JES) y la Sociedad Europea de Evaluación (SEE), las cuales además están elaborando publicaciones académicas. Aunque los nombres de las categorías de capacidades varían, existen ciertos “puntos en común sorprendentes”, en el tipo de capacidades que dichas VOPE identifican como necesarias. Por ejemplo, las categorías de la CES incluyen capacidades relacionadas con la práctica reflexiva, técnica, situacional, de gestión y de comunicación interpersonal^[1]. La EES cubre un terreno similar al utilizar las siguientes categorías: Conocimiento sobre evaluación, Práctica profesional, Disposición y Actitudes. No obstante, es importante mencionar que la lista de capacidades se actualiza a medida que evoluciona la profesión de evaluación. Por ejemplo, la CES actualizó sus “Capacidades para la práctica de evaluación canadiense” (Competencies for Canadian Evaluation Practice) en octubre de 2018. Por supuesto, hay muchos tipos de evaluadores con diversas especialidades, por lo que los perfiles de capacidades deben elaborarse cuidadosamente de tal forma que se reconozca esta complejidad y se incluyan todas las escuelas de evaluación, evitando la suposición implícita o explícita de que la profesionalización intenta reducir el campo a un conjunto particular de habilidades.

•  Actualmente, la CES es la única VOPE que cuenta con un sistema de acreditación establecido basado en un sistema de revisión por pares de las capacidades, la educación y la práctica de evaluación de cada candidato individual.
•  La JES tiene un sistema de certificación de tres niveles, en el cual los dos primeros se basan en la finalización de un curso, seguido por un examen o una aplicación en campo. El tercer nivel de certificación se logra mediante la revisión por pares de la cartera del individuo basada en su capacidad para llevar a cabo investigaciones sistemáticas sobre la evaluación. (Ver el artículo de Kuji-Shikatani e Imata más abajo).
• SEE y UKES han establecido de manera conjunta, un proceso de revisión por pares de evaluadores (es decir, Revisión voluntaria del evaluador por pares o Voluntary Evaluator Peer Review - VEPR), centrado principalmente en el desarrollo profesional a través de la revisión por pares.

Evaluator capability and competency frameworks have been developed by some VOPEs including CES, IDEAS, the Japanese Evaluation Society (JES), and the European Evaluation Society (EES), many of them building academic publications. The naming of categories of competencies are varied yet there are “surprising commonalities” in the kinds of competencies identified (i.e., reflective, professional/ methodological/ technical, contextual/situational, management and interpersonal communication). For example, CES’ categories include reflective practice, technical practice, situational practice, management practice and interpersonal practice; the EES covers similar ground under the categories of evaluation knowledge, professional practice and dispositions and attitudes. Competencies are updated as the evaluation profession evolves, for example, CES updated its Competencies for Canadian Evaluation Practice in October 2018. Of course, there are many kinds of evaluators, with various specialties, and competency profiles must be carefully crafted to recognize this complexity, to include all schools of evaluation, and to avoid the implicit or explicit assumption that professionalization attempts to narrow the field to one particular set of skills.

Recognition of knowledge, skills and experience requires some formal mechanism which can take the form of a credentialing or certification system.

• Currently, the CES is the only VOPE to have an established credentialing system in place which is based on a peer-review system of the individual candidate’s competencies, education and evaluation practice.
• The JES has a three-level certification system, with the first two levels based on course-completion followed by an exam or a completed field application; and the third level of certification is portfolio-based peer-reviewed certification assessment that focuses on the individual’s ability to conduct systematic research on evaluation. (See the article by Kuji-Shikatani and Imata below.)
• EES and UKES jointly have established an evaluator peer review process (i.e., Voluntary Evaluator Peer Review - VEPR) focusing primarily on professional development through peer review.

Las discusiones de VOPE compartidas en los kits de herramientas de IOCE indican que, si bien los primeros tres pilares identificados anteriormente facilitan y fomentan el arraigo de una cultura de la evaluación, los últimos tres son identificados como un continuo de progresión que conduce a una eventual exploración e implementación del mecanismo concreto para la profesionalización que mejor se adapte a la realidad contextual de las mismas.

Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿Cuál es el estado actual de los recursos para la profesionalización disponibles en su país? ¿Qué mecanismos podrían implementarse de manera realista en su país, dado el estado de desarrollo del ecosistema, y en qué secuencia para avanzar hacia la profesionalización? ¿Qué recursos podría dedicar su VOPE para promocionar estos mecanismos una vez que estén siendo implementados? ¿Con qué socios podría asociarse para crear mecanismos de profesionalización en su país?