El primer ingrediente del viaje hacia la profesionalización de su VOPE, es el establecimiento de una definición clara de qué y qué significa la profesionalización para su VOPE (recuerde que VOPE es el acrónimo en inglés de “Voluntary Organization for Professional Evaluation”, que en español se traduce como “organización voluntaria para la evaluación profesional". Es decir, el nombre en sí hace referencia y enfatiza la noción de profesionalización). Distintas personas definen la profesionalización de diferentes maneras. En la Organización Internacional para la Cooperación en la Evaluación (IOCE por sus siglas en inglés), por ejemplo, definimos la profesionalización como un conjunto colectivo de acciones destinadas a equipar a las y los evaluadores con valores sólidos, ética, conocimientos y habilidades en evaluación que contribuyan a generar evaluaciones útiles y de calidad.

Publicaciones como las del Grupo de Evaluación de las Naciones Unidas (2016, 2018), Blaine Worthen (1994) y Robert Picciotto (2011) proveen diferentes posturas respecto al significado de la noción de profesionalización. Sin embargo, todas coinciden en algunos aspectos importantes, como que la profesionalización se refiere a un "plan" colectivo para dar estatus y reconocimiento especial a una actividad (en este caso la evaluación) con la finalidad de contribuir a un desempeño superior de la misma y a la protección del público que no está equipado o no cuenta con las herramientas o conocimientos necesarios para poder juzgar la calidad de dicho desempeño. Las actividades llevadas a cabo con profesionalismo están cimentadas en una base de conocimiento central que requiere de una capacitación especial. También se adhieren a los estándares de la práctica y se llevan a cabo de conformidad con pautas éticas que tienen objetivos altruistas claros. Una profesión conlleva el respeto por parte de sus usuarios, quienes aceptan que el profesional es autónomo y está mejor posicionado que una persona cualquiera, para enfrentar una situación determinada.

La profesionalidad se refiere a la actitud y el comportamiento de un profesional. Curiosamente, no es fácil documentar las características de un profesional como aquellas que a menudo se oponen a las de un aficionado. Sin embargo, se puede inferir que las y los profesionales (y por lo tanto, el profesionalismo) son aquellas personas que trabajan a tiempo completo en su ocupación, lo que les otorga un mayor estatus profesional que alguien que no lo hace. El profesionalismo se basa en un entrenamiento formal en un campo de conocimiento especializado, el cual a menudo es confirmado mediante algún tipo de certificación. Los miembros de una profesión se rigen por un código de ética profesional y son vigilados por asociaciones de profesionales. El profesionalismo, entonces, puede verse como la victoria de la experiencia, la honestidad y el servicio desinteresado sobre la incapacidad, el fraude y la charlatanería (tal y como lo expresa un autor).

Desde el punto de vista de una VOPE, el objetivo de profesionalizar la práctica de evaluación implica apoyar mecanismos que favorezcan los objetivos de:

• Determinar la manera en que la práctica de la evaluación contribuye al desarrollo de los sistemas nacionales de administración pública y/o gobernanza (y, por lo tanto, de describir el ecosistema de evaluación nacional);
• Identificar las capacidades que se requieren por parte de las personas evaluadoras en el sistema nacional de evaluación (y por ende, de quienes potencialmente podrían comisionar las evaluaciones);
• Adoptar estándares mínimos en la práctica de evaluación.
• Definir pautas éticas dentro de las cuales debe operar la práctica de evaluación, dando especial atención a la salvaguarda de los derechos humanos y los derechos del público;
• Apoyar el desarrollo de capacidades individuales por parte de instituciones académicas y formadores especializados;
• Considerar cómo reconocer a las personas que son profesionales.

Un segundo aspecto que debe de considerar su VOPE es si desea o no utilizar el término “profesionalización”. Por ejemplo, en Sudáfrica, la Asociación Sudafricana de M&E (SAMEA) prefiere utilizar el término “fortalecer” a las y los evaluadores y a la práctica de la evaluación en vez de “profesionalizar”.

Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿Ha definido su VOPE lo que significa ser un profesional de la evaluación? ¿Han discutido al respecto con sus integrantes y aliados? ¿Existe un consenso en torno a lo que significa ser un evaluador (y por lo tanto sobre lo que es la evaluación propiamente dicha)?

Referencias

• Picciotto, Robert (2011) The logic of evaluation professionalism, Evaluation
• Grupo de Evaluación de las Naciones Unidas. Normas y estándares para la evaluación (2016).
• Grupo de trabajo del Grupo de Evaluación de las Naciones Unidas (2018) Round Table Meeting, Becoming Fit to Evaluate in the SDG Era: Exchanges on Professionalization, mayo de 2018
• Worthen, Blaine R. (1994) Is Evaluation a Mature Profession That Warrants the Preparation of Evaluation Professionals?, New Directions in Evaluation

Esta sección considera los mecanismos concretos que apuntan a desarrollar, mejorar y/o mantener continuamente la capacidad de individuos, instituciones y ecosistemas Si bien muchos de los documentos a los que se hace referencia en esta sección se enfocan en la perspectiva de evaluadores individuales, otros muestran la perspectiva de sectores específicos (por ejemplo, la cooperación internacional). Además, algunos de los documentos citados describen roles, responsabilidades y capacidades tanto de quienes producen las evaluaciones como de quienes las gerencian o comisionan, por lo que incluyen idiosincrasias asociadas a su contexto.

Se han identificado seis pilares que respaldan las herramientas para la profesionalización de la evaluación.

Las estructuras institucionales se refieren a la existencia dentro de países, regiones y organizaciones, de un entorno propicio que reconozca y respalde la importancia de la evaluación. Si bien muchos países y organizaciones internacionales ya cuentan con políticas y regulaciones que requieren la evaluación periódica de sus programas, países como Nepal, Marruecos y un pequeño número de otros países han ido un paso más allá, pues han incluido requerimientos de monitoreo y evaluación a nivel de sus Constituciones nacionales.

El acceso a la educación y la capacitación, incluyendo educación académica, desarrollo profesional continuo a través de instituciones académicas y a través de las VOPE u organizaciones privadas, mentoreo y entrenamiento “en el trabajo” a través de arreglos formales e informales.

La difusión del conocimiento y buenas prácticas a través de publicaciones académicas revisadas por pares, sitios especializados en internet de acceso abierto o restringido a miembros, como son AEA365 [17], Centers for Disease Control and Prevention [18], Canadian Journal of Program Evaluation [19], Journal of Multidisciplinary Evaluation [20], y Better Evaluation [21] (este último compila buenas prácticas en una enorme variedad de temas a través de artículos y blogs), así como EvalPartners con su iniciativa e-learning initiative [22]. De igual forma, muchas VOPE y organizaciones internacionales incluyen espacios en sus sitios web para mostrar videos, literatura no revisada por pares, artículos y blogs.

Los principios rectores, ética, normas y estándares, que se pueden encontrar en los sitios web de la mayoría de las VOPE. Esta sección incluye información de la American Evaluation Association (AEA), la Aotearoa New Zealand Evaluation Association (ANZEA), la Canadian Evaluation Society (CES), el Development Assistance Committee (DAC) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), la Asociación Internacional de Evaluación del Desarrollo (IDEAS), Red de Seguimiento, Evaluación y Sistematización de Latinoamérica y el Caribe (ReLAC), el Grupo de Evaluación de las Naciones Unidas (UNEG) y el Programa de las Naciones Unidas para el Desarrollo (PNUD).

Marcos de referencia en capacidades y capacidades de personas evaluadoras, que han sido desarrollados por algunas VOPE, como son la CES, IDEAS, la Sociedad Japonesa de Evaluación(JES) y la Sociedad Europea de Evaluación (SEE), las cuales además están elaborando publicaciones académicas. Aunque los nombres de las categorías de capacidades varían, existen ciertos “puntos en común sorprendentes [23]”, en el tipo de capacidades que dichas VOPE identifican como necesarias. Por ejemplo, las categorías de la CES incluyen capacidades relacionadas con la práctica reflexiva, técnica, situacional, de gestión y de comunicación interpersonal^[1] [24]. La EES cubre un terreno similar al utilizar las siguientes categorías: Conocimiento sobre evaluación, Práctica profesional, Disposición y Actitudes. No obstante, es importante mencionar que la lista de capacidades se actualiza a medida que evoluciona la profesión de evaluación. Por ejemplo, la CES actualizó sus “Capacidades para la práctica de evaluación canadiense” (Competencies for Canadian Evaluation Practice [25]) en octubre de 2018. Por supuesto, hay muchos tipos de evaluadores con diversas especialidades, por lo que los perfiles de capacidades deben elaborarse cuidadosamente de tal forma que se reconozca esta complejidad y se incluyan todas las escuelas de evaluación, evitando la suposición implícita o explícita de que la profesionalización intenta reducir el campo a un conjunto particular de habilidades.

•  Actualmente, la CES es la única VOPE que cuenta con un sistema de acreditación establecido basado en un sistema de revisión por pares de las capacidades, la educación y la práctica de evaluación de cada candidato individual.
•  La JES tiene un sistema de certificación de tres niveles, en el cual los dos primeros se basan en la finalización de un curso, seguido por un examen o una aplicación en campo. El tercer nivel de certificación se logra mediante la revisión por pares de la cartera del individuo basada en su capacidad para llevar a cabo investigaciones sistemáticas sobre la evaluación. (Ver el artículo de Kuji-Shikatani e Imata más abajo).
• SEE y UKES han establecido de manera conjunta, un proceso de revisión por pares de evaluadores (es decir, Revisión voluntaria del evaluador por pares o Voluntary Evaluator Peer Review - VEPR), centrado principalmente en el desarrollo profesional a través de la revisión por pares.

Evaluator capability and competency frameworks have been developed by some VOPEs including CES, IDEAS, the Japanese Evaluation Society (JES), and the European Evaluation Society (EES), many of them building academic publications. The naming of categories of competencies are varied yet there are “surprising commonalities [23]” in the kinds of competencies identified (i.e., reflective, professional/ methodological/ technical, contextual/situational, management and interpersonal communication). For example, CES’ categories include reflective practice, technical practice, situational practice, management practice and interpersonal practice; the EES covers similar ground under the categories of evaluation knowledge, professional practice and dispositions and attitudes. Competencies are updated as the evaluation profession evolves, for example, CES updated its Competencies for Canadian Evaluation Practice [25] in October 2018. Of course, there are many kinds of evaluators, with various specialties, and competency profiles must be carefully crafted to recognize this complexity, to include all schools of evaluation, and to avoid the implicit or explicit assumption that professionalization attempts to narrow the field to one particular set of skills.

Recognition of knowledge, skills and experience requires some formal mechanism which can take the form of a credentialing or certification system.

• Currently, the CES is the only VOPE to have an established credentialing system [26] in place which is based on a peer-review system of the individual candidate’s competencies, education and evaluation practice.
• The JES has a three-level certification system, with the first two levels based on course-completion followed by an exam or a completed field application; and the third level of certification is portfolio-based peer-reviewed certification assessment that focuses on the individual’s ability to conduct systematic research on evaluation. (See the article by Kuji-Shikatani and Imata below.)
• EES and UKES jointly have established an evaluator peer review process (i.e., Voluntary Evaluator Peer Review - VEPR) focusing primarily on professional development through peer review.

Las discusiones de VOPE compartidas en los kits de herramientas de IOCE indican que, si bien los primeros tres pilares identificados anteriormente facilitan y fomentan el arraigo de una cultura de la evaluación, los últimos tres son identificados como un continuo de progresión que conduce a una eventual exploración e implementación del mecanismo concreto para la profesionalización que mejor se adapte a la realidad contextual de las mismas.

Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿Cuál es el estado actual de los recursos para la profesionalización disponibles en su país? ¿Qué mecanismos podrían implementarse de manera realista en su país, dado el estado de desarrollo del ecosistema, y en qué secuencia para avanzar hacia la profesionalización? ¿Qué recursos podría dedicar su VOPE para promocionar estos mecanismos una vez que estén siendo implementados? ¿Con qué socios podría asociarse para crear mecanismos de profesionalización en su país?

Está bien establecido que las iniciativas de cambio que no involucran a las personas interesadas no duran. Las iniciativas deben centrarse en las necesidades y derechos de la comunidad; esto finalmente asegurará que la gente se apropie de la iniciativa, lo que traerá sostenibilidad al cambio. El papel del agente de cambio (por ejemplo, la VOPE) será uno de facilitador durante la implementación de la iniciativa.

Garantizar la participación y retroalimentación de los interesados a través de procesos de reflexión bien estructurados, es un pilar esencial en el trabajo de los evaluadores. Sabemos que las personas y los grupos que tienen interés en las actividades de planificación, o que son responsables de llevar a cabo diversas acciones, deben conocer los cambios que les afectan, y más: deben participar en la definición de los problemas y en el diseño de las soluciones. Además, su participación tiende a respaldar las siguientes características positivas:

• Pasar de resultados a corto plazo a resultados a largo plazo, donde los procesos de participación y reflexión se centrarán en capturar los resultados tanto a nivel individual como comunitario;
• Pasar de las cosas a las personas, ya que los cambios afectarán en primer lugar a las personas y las prácticas;
• Apoyar a los impulsores del cambio social, haciendo uso de los resultados de los procesos de participación y reflexión para informar dichos cambios;
• Llevar la rendición de cuentas a las comunidades afectadas por los cambios;
• Empoderar a los grupos más desfavorecidos, con un propósito centrado en la equidad.
• Fomentar una cultura de participación efectiva.

El viaje hacia la profesionalización debe ser una oportunidad de aprendizaje. Por lo tanto, no ocurre en una simple sesión individual. Evoluciona, comenzando con individuos que plantean cuestiones importantes y cuestionan suposiciones a través de análisis grupales que muestran diferentes perspectivas e insumos de información. Por lo tanto, la VOPE necesitará planificar el aprendizaje como una serie de eventos reflexivos.

La comunidad de evaluación tiene una sólida formación en monitoreo que puede aplicarse al proceso reflexivo de la profesionalización. Los evaluadores pueden desarrollar una lista de cuestiones clave asociadas con la profesionalización en su contexto (por ejemplo, niveles existentes de profesionalización, problemas asociados con la falta de profesionalización, falta de recursos, niveles de experiencia, riesgos para las personas y las colectividades, así como para quienes encargan o solicitan las evaluaciones) e indicadores asociados con cada aspecto. Probablemente alentados por la VOPE, las y los evaluadores pueden recopilar datos de monitoreo para evaluar la situación actual, así como la evolución de la situación. A través de este proceso, la comunidad puede identificar preocupaciones compartidas, así como soluciones potenciales. También puede involucrar a las comunidades vecinas, a las personas que encargan o solicitan las evaluaciones y a los gerentes y usuarios de las mismas en el desarrollo de una comprensión de los datos de monitoreo y en la definición de soluciones a los problemas identificados.

Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿ha involucrado su VOPE a los diferentes grupos que podrían verse afectados por un proceso de profesionalización? ¿Se han incluido sus preocupaciones en el plan de cambio? ¿La VOPE ha ideado un enfoque para monitorear la situación y garantizar la capacidad de reaccionar ágilmente a las condiciones cambiantes? ¿Son claras las responsabilidades respecto a quién o quienes deben informar o dar reportes al respecto?