Published on VOPE Toolkit (https://vopetoolkit.ioce.net)

Home > Contenido > 5. Profesionalización de la evaluación

5. Profesionalización de la evaluación

Nuestro sincero agradecimiento a los coautores del texto: Awny Amer, Susan Branker Greene, Mauricio Dorantes, Benoît Gauthier, Keiko Kuji-Shikatani, Alan Mackie, Martha McGuire y Gunter Rochow.

Esta sección de la Caja de herramientas acerca de la profesionalización de los (las) evaluadores(as) proporciona recursos para las VOPE para promover una discusión sobre la profesionalización que ayudará a seleccionar un camino apropiado para el país.

La puesta en marcha de una VOPE probablemente requiere cinco ingredientes:

1. Definición. Una definición clara de lo que significa profesionalización para su VOPE. La profesionalización se define de manera diferente por diferentes personas. El primer paso en la discusión de la profesionalización es considerar cómo su VOPE definirá este término. En IOCE, definimos la profesionalización como un conjunto colectivo de acciones diseñadas para equipar a los (las) evaluadores (as) con valores, conocimiento y fuertes competencias de evaluación que respalden la probabilidad de evaluaciones útiles y de calidad. Otra discusión es si su VOPE desea usar el término "profesionalización". Por ejemplo, en Sudáfrica, la Asociación Sudafricana de Seguimiento y Evaluación se refiere al "fortalecimiento" de los evaluadores y no a su "profesionalización".

2. Motivos. Motivos obvios que explican el interés de la VOPE en el proceso de profesionalización. Las discusiones aquí a menudo se enfocan en los desafíos que la profesionalización intenta abordar, cómo el profesionalismo refuerza lo que ya existe, o ambos. Este análisis debe realizarse en tres niveles: individual, institucional y sistémico.

3. Mecanismos. Los mecanismos concretos para reforzar capacidades y mejorar o mantener continuamente la capacidad de las personas y, cuando corresponda, de las instituciones y los sistemas.

4. Estrategia. Una estrategia clara que responde a las razones identificadas anteriormente e identifique el conjunto más relevante de mecanismos adaptados a un contexto dado; lo más probable es que esto incluya una estrategia holística que apunta a fortalecer individuos, instituciones y sistemas para lograr estos objetivos.

5. Compromiso y reflexión. Estas cuatro discusiones requieren el compromiso con grupos clave de partes interesadas, ya sea grupos obvios o quizás menos visibles. Una vez identificado, un proceso reflexivo organizado debe estar presente en los pasos 1 a 4. El proceso es probablemente iterativo.

La IOCE reconoce que las comunidades de evaluación tienen diferentes historias, trayectorias y niveles de madurez. Los recursos que se ofrecen aquí respetan estas diferencias mientras se abren al sueño de una profesión de evaluación donde los(as) evaluadores(as) claramente ven el camino para convertirse en un(a) evaluador(a) profesional.

5.1 Significado de la Profesionalización en el marco de la evaluación

  • English [1]
  • Français [2]

El primer ingrediente del viaje hacia la profesionalización de su VOPE, es el establecimiento de una definición clara de qué y qué significa la profesionalización para su VOPE (recuerde que VOPE es el acrónimo en inglés de “Voluntary Organization for Professional Evaluation”, que en español se traduce como “organización voluntaria para la evaluación profesional". Es decir, el nombre en sí hace referencia y enfatiza la noción de profesionalización). Distintas personas definen la profesionalización de diferentes maneras. En la Organización Internacional para la Cooperación en la Evaluación (IOCE por sus siglas en inglés), por ejemplo, definimos la profesionalización como un conjunto colectivo de acciones destinadas a equipar a las y los evaluadores con valores sólidos, ética, conocimientos y habilidades en evaluación que contribuyan a generar evaluaciones útiles y de calidad.

Publicaciones como las del Grupo de Evaluación de las Naciones Unidas (2016, 2018), Blaine Worthen (1994) y Robert Picciotto (2011) proveen diferentes posturas respecto al significado de la noción de profesionalización. Sin embargo, todas coinciden en algunos aspectos importantes, como que la profesionalización se refiere a un "plan" colectivo para dar estatus y reconocimiento especial a una actividad (en este caso la evaluación) con la finalidad de contribuir a un desempeño superior de la misma y a la protección del público que no está equipado o no cuenta con las herramientas o conocimientos necesarios para poder juzgar la calidad de dicho desempeño. Las actividades llevadas a cabo con profesionalismo están cimentadas en una base de conocimiento central que requiere de una capacitación especial. También se adhieren a los estándares de la práctica y se llevan a cabo de conformidad con pautas éticas que tienen objetivos altruistas claros. Una profesión conlleva el respeto por parte de sus usuarios, quienes aceptan que el profesional es autónomo y está mejor posicionado que una persona cualquiera, para enfrentar una situación determinada.

La profesionalidad se refiere a la actitud y el comportamiento de un profesional. Curiosamente, no es fácil documentar las características de un profesional como aquellas que a menudo se oponen a las de un aficionado. Sin embargo, se puede inferir que las y los profesionales (y por lo tanto, el profesionalismo) son aquellas personas que trabajan a tiempo completo en su ocupación, lo que les otorga un mayor estatus profesional que alguien que no lo hace. El profesionalismo se basa en un entrenamiento formal en un campo de conocimiento especializado, el cual a menudo es confirmado mediante algún tipo de certificación. Los miembros de una profesión se rigen por un código de ética profesional y son vigilados por asociaciones de profesionales. El profesionalismo, entonces, puede verse como la victoria de la experiencia, la honestidad y el servicio desinteresado sobre la incapacidad, el fraude y la charlatanería (tal y como lo expresa un autor).

Desde el punto de vista de una VOPE, el objetivo de profesionalizar la práctica de evaluación implica apoyar mecanismos que favorezcan los objetivos de:

  • Determinar la manera en que la práctica de la evaluación contribuye al desarrollo de los sistemas nacionales de administración pública y/o gobernanza (y, por lo tanto, de describir el ecosistema de evaluación nacional);
  • Identificar las capacidades que se requieren por parte de las personas evaluadoras en el sistema nacional de evaluación (y por ende, de quienes potencialmente podrían comisionar las evaluaciones);
  • Adoptar estándares mínimos en la práctica de evaluación.
  • Definir pautas éticas dentro de las cuales debe operar la práctica de evaluación, dando especial atención a la salvaguarda de los derechos humanos y los derechos del público;
  • Apoyar el desarrollo de capacidades individuales por parte de instituciones académicas y formadores especializados;
  • Considerar cómo reconocer a las personas que son profesionales.

Un segundo aspecto que debe de considerar su VOPE es si desea o no utilizar el término “profesionalización”. Por ejemplo, en Sudáfrica, la Asociación Sudafricana de M&E (SAMEA) prefiere utilizar el término “fortalecer” a las y los evaluadores y a la práctica de la evaluación en vez de “profesionalizar”.

Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿Ha definido su VOPE lo que significa ser un profesional de la evaluación? ¿Han discutido al respecto con sus integrantes y aliados? ¿Existe un consenso en torno a lo que significa ser un evaluador (y por lo tanto sobre lo que es la evaluación propiamente dicha)?

Referencias

  • Picciotto, Robert (2011) The logic of evaluation professionalism, Evaluation
  • Grupo de Evaluación de las Naciones Unidas. Normas y estándares para la evaluación (2016).
  • Grupo de trabajo del Grupo de Evaluación de las Naciones Unidas (2018) Round Table Meeting, Becoming Fit to Evaluate in the SDG Era: Exchanges on Professionalization, mayo de 2018
  • Worthen, Blaine R. (1994) Is Evaluation a Mature Profession That Warrants the Preparation of Evaluation Professionals?, New Directions in Evaluation
¿Qué es ser un profesional?
Advice
Enlaces web: 
What is it to be a professional? [3]
¿Qué es la profesionalidad?
Advice
Enlaces web: 
What is professionalism? [4]
¿Cómo identificas a un profesional en el mundo de los negocios?
Advice
Enlaces web: 
How do you spot a professional in the business world? [5]
Evaluation Professionalization and the VEPR initiative by Robert Picciotto

 

 

  

A presentation at the A SAYFES, Nordic, EES seminar in Helsinki, September 17, 2015 on 

EVALUATION PROFESSIONALIZATION AND THE VOLUNTARY EVALUATOR PEER REVIEW INITIATIVE (VEPR)TIATIVE

by Robert (‘Bob’) Picciotto (EES Board member)

(Helsinki, September 17, 2015)
Advice
Archivos: 
PDF icon nordic_seminar_professionalization_vepr.pdf [6]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF [7]

 

 

UNEG: Professionalization of Evaluation Concept Paper

Published by the UNEG

Professionalization of Evaluation  Concept Paper

2 June 2016

Purpose of the Document

This concept paper provides a framework for thinking about the professionalization of evaluation at the global level and provides specific direction regarding the roles of the United Nations Evaluation Group (UNEG). It looks at setting up a professionalization system that would apply the UNEG Competency Framework1, provide a platform for evaluation professional development and strengthen the  professionalization of evaluation at the organizational level.

 

Advice
Archivos: 
PDF icon 5.1e2_professionalisation_of_evaluation_working_paper_web.pdf [8]

5.2 Razones para la profesionalización de la evaluación

  • English [9]
  • Français [10]

 ¿Por qué promover la profesionalización de la evaluación? Las razones pueden encontrarse en cuatro diferentes niveles interrelacionados:

  1. Profesionales: La profesionalización debe traducirse en un mayor conocimiento y mejores habilidades de parte de los evaluadores, para que puedan satisfacer las necesidades de quienes comisionan las evaluaciones y además contribuyan a los imperativos de desarrollo nacionales, regionales o internacionales, como los Objetivos de Desarrollo Sostenible. Esto se lograría respondiendo a las preguntas clave de evaluación de una manera más segura, alentando y facilitando prácticas más reflexivas, así como moldeando las culturas organizacionales de evaluación.
  2. Demanda del cliente: Una práctica de la evaluación profesionalizada brindaría a quienes comisionan o gerencian las evaluaciones, una mejor comprensión de lo que se requiere en términos de estándares y calidad, así como cuales deberían ser sus expectativas al respecto. Los responsables de comisionar evaluaciones y los gerentes de las mismas podrían tener diferentes expectativas que no coinciden con las del evaluador. La profesionalización facilitaría a los gobiernos, empresas y organizaciones con o sin fines de lucro por igual, solicitar o financiar evaluaciones con mayor confianza.
  3. Las VOPE: En un contexto profesionalizado, las VOPE estarían mejor equipadas para promover y promocionar el valor de la evaluación, así como para establecer estándares de práctica nacionales o regionales, códigos de ética y buenas prácticas. Las personas evaluadoras provienen de diversos contextos con diferentes tipos de experiencias académicas y profesionales; por lo tanto, sin herramientas colectivas, la calidad puede variar mucho dependiendo de quién evalúe. Mediante el establecimiento de principios rectores que garanticen la calidad, las VOPE también estarían en una posición mucho más sólida para defender el trabajo de sus miembros, quienes habrán cumplido los requisitos necesarios para ser evaluadores profesionales.
  4. Sistemas: A nivel de sistemas, la profesionalización puede fomentar un mayor interés en realizar evaluaciones de alta calidad para responder preguntas clave en torno a la implementación y desarrollo de políticas tanto del sector público como privado. Reconociendo el potencial que la evaluación tiene para iniciar cambios sistémicos, se debe dar un especial reconocimiento a las y los evaluadores que “hagan las cosas bien”.

La profesionalización crea un beneficio mutuo para todos. Al igual que otras profesiones de la “economía del conocimiento” en auge alrededor del mundo, es importante llevar a cabo esfuerzos nacionales, regionales e internacionales que permitan avanzar hacia definiciones colectivas de buenas prácticas y estándares de calidad.

Por otra parte, las personas evaluadoras deben reflexionar en torno a sus propias habilidades y experiencia, así como sobre la importancia del desarrollo profesional continuo para actualizarse en la aplicación de varios modelos, enfoques, herramientas y métodos.

La profesionalización de la evaluación conllevaría una mayor rendición de cuentas en términos de transparencia, calidad e integridad. Asimismo, aumentaría el reconocimiento del campo de la evaluación como una profesión consolidada, haciéndola más atractiva a nuevos participantes.

Los clientes también se beneficiarían de la profesionalización de la evaluación, pues las personas responsables de encargar o solicitar las evaluaciones y/o los gerentes de las mismas, tendrían mayores garantías de que las evaluaciones contratadas serían de mejor calidad, así como una perspectiva más clara respecto a lo que deben o podrían esperar de un evaluador profesional.

Sin embargo, la profesionalización de la evaluación plantea algunos riesgos para las personas, las instituciones y los sistemas. A nivel individual, una mayor profesionalización probablemente signifique que aquellos que no siguen los estándares de la práctica profesional, podrían dejar de ser contratados para prestar sus servicios. La profesionalización podría desalentar diseños metodológicos innovadores, promover la conformidad y la adopción de enfoques homogéneos. A nivel institucional y sistémico, se corre el riesgo de que los servicios de un grupo de evaluadores profesionalizados y organizados sean rechazados por instituciones que no están dispuestas a adaptarse a partir de los hallazgos que resulten de las evaluaciones, o por quienes consideran que la evidencia objetiva de una evaluación puede significar que se hagan públicas "verdades inconvenientes". Esto podría traer como consecuencia que un servicio profesional sea evitado o socavado por instituciones o sistemas opuestas al desafío al estatus quo que una evaluación puede generar. Al final, sin embargo, "los riesgos genéricos (diversidad metodológica restringida, capacitación rígida y estandarizada, acceso bloqueado a profesionales talentosos, la primacía de los intereses de las y los evaluadores por sobre los de sus clientes), parecen ser fácilmente manejables" (Picciotto, 2011).

Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿qué problemas se generarían de llevarse a cabo un proceso de profesionalización de la evaluación en su país? ¿Qué beneficios creen ustedes que podrían obtener las y los evaluadores individuales, quienes encargan o solicitan las evaluaciones y/o los gerentes de las mismas de llevarse a cabo tal proceso? ¿Cuáles serían los beneficios que traería para su VOPE y para su país el impulsar la profesionalización de la evaluación? ¿Qué riesgos asociados creen que pudieran generarse de llevarse a cabo un proceso como tal en su país? ¿Cómo podrían mitigarse estos riesgos?

Approaches to Professionalization

The section Goals for Professionalization (page16) is relevant to the discussion on reasons to professionalize evaluation. 

Reference:

National Research Council. 2013. Professionalizing the Nation's Cybersecurity Workforce?: Criteria for Decision-Making. Washington, DC: The National Academies Press. https://doi.org/10.17226/18446 [11].

Example
Enlaces web: 
Goals for Professionalisation (www.nap.edu) [12]
The Problem of Professionalization
Advice
Archivos: 
PDF icon the_problem_of_professionalization.pdf [13]
Enlaces web: 
The Problem of Professionalization [14]

In the arts and sciences, we can no longer afford to view the word ‘professional’ with disdain.

By Leonard Cassuto March 23, 2015

Available on the website of: CHRONICLE OF HIGHER EDUCATION

 

5.3 Mecanismos para la profesionalización

  • English [15]
  • Français [16]

Esta sección considera los mecanismos concretos que apuntan a desarrollar, mejorar y/o mantener continuamente la capacidad de individuos, instituciones y ecosistemas Si bien muchos de los documentos a los que se hace referencia en esta sección se enfocan en la perspectiva de evaluadores individuales, otros muestran la perspectiva de sectores específicos (por ejemplo, la cooperación internacional). Además, algunos de los documentos citados describen roles, responsabilidades y capacidades tanto de quienes producen las evaluaciones como de quienes las gerencian o comisionan, por lo que incluyen idiosincrasias asociadas a su contexto.

Se han identificado seis pilares que respaldan las herramientas para la profesionalización de la evaluación.

Las estructuras institucionales se refieren a la existencia dentro de países, regiones y organizaciones, de un entorno propicio que reconozca y respalde la importancia de la evaluación. Si bien muchos países y organizaciones internacionales ya cuentan con políticas y regulaciones que requieren la evaluación periódica de sus programas, países como Nepal, Marruecos y un pequeño número de otros países han ido un paso más allá, pues han incluido requerimientos de monitoreo y evaluación a nivel de sus Constituciones nacionales.

El acceso a la educación y la capacitación, incluyendo educación académica, desarrollo profesional continuo a través de instituciones académicas y a través de las VOPE u organizaciones privadas, mentoreo y entrenamiento “en el trabajo” a través de arreglos formales e informales.

La difusión del conocimiento y buenas prácticas a través de publicaciones académicas revisadas por pares, sitios especializados en internet de acceso abierto o restringido a miembros, como son AEA365 [17], Centers for Disease Control and Prevention [18], Canadian Journal of Program Evaluation [19], Journal of Multidisciplinary Evaluation [20], y Better Evaluation [21] (este último compila buenas prácticas en una enorme variedad de temas a través de artículos y blogs), así como EvalPartners con su iniciativa e-learning initiative [22]. De igual forma, muchas VOPE y organizaciones internacionales incluyen espacios en sus sitios web para mostrar videos, literatura no revisada por pares, artículos y blogs.

Los principios rectores, ética, normas y estándares, que se pueden encontrar en los sitios web de la mayoría de las VOPE. Esta sección incluye información de la American Evaluation Association (AEA), la Aotearoa New Zealand Evaluation Association (ANZEA), la Canadian Evaluation Society (CES), el Development Assistance Committee (DAC) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), la Asociación Internacional de Evaluación del Desarrollo (IDEAS), Red de Seguimiento, Evaluación y Sistematización de Latinoamérica y el Caribe (ReLAC), el Grupo de Evaluación de las Naciones Unidas (UNEG) y el Programa de las Naciones Unidas para el Desarrollo (PNUD).

Marcos de referencia en capacidades y capacidades de personas evaluadoras, que han sido desarrollados por algunas VOPE, como son la CES, IDEAS, la Sociedad Japonesa de Evaluación(JES) y la Sociedad Europea de Evaluación (SEE), las cuales además están elaborando publicaciones académicas. Aunque los nombres de las categorías de capacidades varían, existen ciertos “puntos en común sorprendentes [23]”, en el tipo de capacidades que dichas VOPE identifican como necesarias. Por ejemplo, las categorías de la CES incluyen capacidades relacionadas con la práctica reflexiva, técnica, situacional, de gestión y de comunicación interpersonal[1] [24]. La EES cubre un terreno similar al utilizar las siguientes categorías: Conocimiento sobre evaluación, Práctica profesional, Disposición y Actitudes. No obstante, es importante mencionar que la lista de capacidades se actualiza a medida que evoluciona la profesión de evaluación. Por ejemplo, la CES actualizó sus “Capacidades para la práctica de evaluación canadiense” (Competencies for Canadian Evaluation Practice [25]) en octubre de 2018. Por supuesto, hay muchos tipos de evaluadores con diversas especialidades, por lo que los perfiles de capacidades deben elaborarse cuidadosamente de tal forma que se reconozca esta complejidad y se incluyan todas las escuelas de evaluación, evitando la suposición implícita o explícita de que la profesionalización intenta reducir el campo a un conjunto particular de habilidades.

El reconocimiento de conocimientos, habilidades y experiencia, el cual requiere un mecanismo formal que pueda asumir la forma de un sistema de acreditación o certificación.
  •  Actualmente, la CES es la única VOPE que cuenta con un sistema de acreditación establecido basado en un sistema de revisión por pares de las capacidades, la educación y la práctica de evaluación de cada candidato individual.
  •  La JES tiene un sistema de certificación de tres niveles, en el cual los dos primeros se basan en la finalización de un curso, seguido por un examen o una aplicación en campo. El tercer nivel de certificación se logra mediante la revisión por pares de la cartera del individuo basada en su capacidad para llevar a cabo investigaciones sistemáticas sobre la evaluación. (Ver el artículo de Kuji-Shikatani e Imata más abajo).
  • SEE y UKES han establecido de manera conjunta, un proceso de revisión por pares de evaluadores (es decir, Revisión voluntaria del evaluador por pares o Voluntary Evaluator Peer Review - VEPR), centrado principalmente en el desarrollo profesional a través de la revisión por pares.

 

Evaluator capability and competency frameworks have been developed by some VOPEs including CES, IDEAS, the Japanese Evaluation Society (JES), and the European Evaluation Society (EES), many of them building academic publications. The naming of categories of competencies are varied yet there are “surprising commonalities [23]” in the kinds of competencies identified (i.e., reflective, professional/ methodological/ technical, contextual/situational, management and interpersonal communication). For example, CES’ categories include reflective practice, technical practice, situational practice, management practice and interpersonal practice; the EES covers similar ground under the categories of evaluation knowledge, professional practice and dispositions and attitudes. Competencies are updated as the evaluation profession evolves, for example, CES updated its Competencies for Canadian Evaluation Practice [25] in October 2018. Of course, there are many kinds of evaluators, with various specialties, and competency profiles must be carefully crafted to recognize this complexity, to include all schools of evaluation, and to avoid the implicit or explicit assumption that professionalization attempts to narrow the field to one particular set of skills.

Recognition of knowledge, skills and experience requires some formal mechanism which can take the form of a credentialing or certification system.

  • Currently, the CES is the only VOPE to have an established credentialing system [26] in place which is based on a peer-review system of the individual candidate’s competencies, education and evaluation practice.
  • The JES has a three-level certification system, with the first two levels based on course-completion followed by an exam or a completed field application; and the third level of certification is portfolio-based peer-reviewed certification assessment that focuses on the individual’s ability to conduct systematic research on evaluation. (See the article by Kuji-Shikatani and Imata below.)
  • EES and UKES jointly have established an evaluator peer review process (i.e., Voluntary Evaluator Peer Review - VEPR) focusing primarily on professional development through peer review.

 

Las discusiones de VOPE compartidas en los kits de herramientas de IOCE indican que, si bien los primeros tres pilares identificados anteriormente facilitan y fomentan el arraigo de una cultura de la evaluación, los últimos tres son identificados como un continuo de progresión que conduce a una eventual exploración e implementación del mecanismo concreto para la profesionalización que mejor se adapte a la realidad contextual de las mismas.

Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿Cuál es el estado actual de los recursos para la profesionalización disponibles en su país? ¿Qué mecanismos podrían implementarse de manera realista en su país, dado el estado de desarrollo del ecosistema, y en qué secuencia para avanzar hacia la profesionalización? ¿Qué recursos podría dedicar su VOPE para promocionar estos mecanismos una vez que estén siendo implementados? ¿Con qué socios podría asociarse para crear mecanismos de profesionalización en su país?

 


[1] [27] https://evaluationcanada.ca/competencies-canadian-evaluators [25]

 

ESTÁNDARES DE EVALUACIÓN para América Latina y el Caribe

Una iniciativa de la Red de Seguimiento, Evaluación y Sistematización de

América Latina y el Caribe (ReLAC) y del Proyecto Fomento de Capacidades

en Evaluación en Costa Rica y países seleccionados de América Latina

(FOCEVAL), ejecutado por el Ministerio de Planificación Nacional y Política

Económica de Costa Rica (MIDEPLAN) y el Instituto Alemán de Evaluación

de la Cooperación para el Desarrollo (DEval).

ReLAC http://noticiasrelac.ning.com [28]

FOCEVAL http://foceval.org [29]

MIDEPLAN http://www.mideplan.go.cr [30]

DEval https://www.deval.org [31]

Agosto 2016

Example
Archivos: 
PDF icon estndaresdeevaluacinparaamricalatinayelcaribe.pdf [32]
EVALGENDER: Decálogo de la evaluación con perspectiva de género
Advice
Archivos: 
File decalogo_de_la_evaluacion_con_perspectiv.pptx [33]
AEA's Evaluator Competencies- The Japan Evaluation Society’s Case

JES developed an evaluator competency framework and implemented a certification program based on a combination of: completing a training program and passing an exam and/or portfolio-based review. JES has three levels of certification: the certified professional evaluator (CPE), the certified specialty evaluator (CSE) for evaluators in educational settings, and the certified advanced evaluator (CAE).  CAEs’ names and their CVs are publicly listed in Japanese on their website.  This session will share JES pathways from the perspective of an external consultant to JES who is instrumental in CES’ credentialing effort and experienced in partnering and supporting VOPEs in building evaluation capacity specific to their own needs such as EvalGender+, IDEAS EvalFCG - Evaluation in Fragility, Conflict and Violence, and Thai Evaluation Network. She filled the quality assurance advisor and course developer role for the Japanese Evaluation Society Professional Development Accreditation Project (2003-2008) developing the first school-evaluator training program using a collaborative approach.

Presentation at the 2018 AEA Evaluation Conference.

 

Kuji-Shikatani, K. & Imata. K. (2018) AEA Evaluation 2018 Session1518: AEA's Evaluator Competencies-- what can we learn from other Evaluation societies about next steps? The Japan Evaluation Society’s Case https://comm.eval.org/viewdocument/aea-evaluation-2018-session1518aea [34] 

Example
Archivos: 
PDF icon AEA's Evaluator Competencies- The Japan Evaluation Society’s Case [35]
Enlaces web: 
The Japan Evaluation Society’s Case [34]
Peer-assessment - BetterEvaluation (2018)
Example
Enlaces web: 
Peer assesment [36]

 

Retrieved from http://betterevaluation.org/evaluation-options/Peer-assessment [36]

 

EVALGENDER: 2016 Poster EES conference
Example
Archivos: 
PDF icon poster-gender_decalogue_eesconference_2016_def.pdf [37]
Australasian Evaluation Society: Pathways to advance professionalization

Greet Peersman and Patricia Rogers from BetterEvaluation were contracted by the Australasian Evaluation Society to explore options "to strengthen the capacity and professionalism of the evaluation sector". The report identifies four pathways to professionalization that are situated on a continuum of intervention and structure: stay the course; focused, connected and strategic activities; voluntary credentialing of evaluators; and regulated and licensed profession.

Example
Archivos: 
PDF icon Report from BetterEvaluation to the Australasian Evaluation Society on pathways to professionalization [38]
CES Ethics / Ethique

 

 

An example of ethics from the Canadian Evaluation Society (CES) [39].

 

Example
Archivos: 
PDF icon 5.3.1e1_ces_ethics_ethique_sce.pdf [40]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF [7]

 

DAC Norms and standards

Published by the OECD DAC NETWORK ON DEVELOPMENT EVALUATION

EVALUATING DEVELOPMENT CO-OPERATION a SUMMARY OF KEY NORMS AND STANDARDS

SECOND EDITION

"A set of core principles for evaluation of development assistance (summarised in Part I) were adopted by the OECD DAC in 1991 and are at the heart of the Evaluation Network’s approach to evaluation. The principles focus on the management and institutional arrangements of the evaluation system within development agencies." (page 5)

 

Example
Archivos: 
PDF icon 5.3.1e2_dac_norms_and_standards.pdf [41]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FDAC [42]

 

DAC Principles

Published by DEVELOPMENT ASSISTANCE COMMITTEE 

PRINCIPLES FOR EVALUATION OF DEVELOPMENT ASSISTANCE PARIS 1991

 

"In response to its general mandate to strengthen the volume and developmental
effectiveness of aid, the DAC has drawn up a series of policy principles addressing key areas
of aid programming and management including Project Appraisal, Programme Assistance and
Technical Co-operation. Aid evaluation plays an essential role in the efforts to enhance the
quality of development co-operation. The following set of principles state the views of DAC
Members on the most important requirements of the evaluation process based on current
policies and practices as well as donor agency experiences with evaluation and feedback of
results." (Page  3)

 

Example
Archivos: 
PDF icon 5.3.1e3_dac_principles.pdf [43]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FDAC [42]

Evaluation standards for Aotearoa New Zealand

Evaluation standards for Aotearoa New Zealand

APRIL 2015

Social Policy Evaluation and Research Unit

This document presents the standards for evaluation in Aotearoa New Zealand.

"The  Aotearoa New Zealand evaluation standards are principle-based rather than a set of rules. They are aspirational in their entirety. They outline expectations of evaluation processes, practice and products. They provide guidance on what should occur and how to judge the quality of an evaluation. They recognise
a range of evaluative activity and people involved, and sectors, contexts and cultural settings in which evaluation occurs in Aotearoa New Zealand.

The four principles framing the evaluation standards are:
• Respectful meaningful relationships
• Ethic of care
• Responsive methodologies and trustworthy results
• Competence and usefulness.

Integrity is the core value underlying these principles. Each principle is accompanied by five standards.
The first two principles and their standards are influenced by the values and principles from Ma-ori and Pasifika worldviews, and form the foundation for realising the other two principles.

ANZEA and Superu jointly developed the standards specifically for Aotearoa New Zealand. It is an important step in ensuring that evaluation in Aotearoa New Zealand is high quality, credible, valid, cost effective, culturally sound and responsive, ethical and meets the learning, development and accountability needs of our organisations, communities, projects and initiatives. "(page 7)

 

Example
Archivos: 
PDF icon 5.3.1e5_superu_evaluation_standards_final_020415.pdf [44]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF

 

UNEG Norms for Evaluation in the UN System

Published by UNEG (United Nations Evaluation Group)

Norms for Evaluation in the UN System  April 2005

Foundation Document

 

"The norms seek to facilitate system-wide collaboration on evaluation by ensuring that evaluation entities within the UN follow agree-upon basic principles. They provide a reference for strengthening, professionalizing and improving the quality of evaluation in all entities of the United Nations system, including funds, programmes and specialized agencies. The norms are consistent with other main sources3 and reflect the singularity of the United Nations system characterized by its focus on people and respect for their rights, the importance of international values and principles, universality and neutrality, its multiple stakeholders, its needs for global governance, its multidisciplinarity, and its complex accountability system. Last but not least, there is the challenge of international cooperation embedded in the Millennium Declaration and Development Goals." (Page 3)

Example
Archivos: 
PDF icon 5.3.1e6_uneg_norms_2005-final.pdf [45]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF [7]

UNEG Standards for Evaluation in the UN System

Published by UNEG

Standards for Evaluation in the UN System April 2005

"These standards build upon the UNEG Norms for Evaluation in the UN system (UNEG/FN/Norms[2005]). They are drawn from best practice of UNEG members2. They are intended to guide the establishment of the institutional framework, management of the evaluation function, conduct and use of evaluations. They are also a reference for the competencies of evaluation practitioners and work ethics, and are intended to be applied as appropriate within each organization. UNEG will periodically update, elaborate and expand the coverage of these standards in the service of the UN system organization3." (Page 2)

Example
Archivos: 
PDF icon 5.3.1e7_uneg_standards_2005-final.pdf [46]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF [7]

AEA Evaluator Competencies Crosswalk of Developed Competency Documents

Evaluator Competencies Crosswalk of Developed Competency Documents (August 2015)

"In 2015 the AEA Board of Directors appointed a Task Force to develop a set of evaluator competencies for the association. The membership of the American Evaluation Association has previously endorsed three documents that have contributed to the professionalization of our field:

  • The Joint Committee’s Program Evaluation Standards, currently in their 3rd edition (2011, http://www.jcsee.org/program-evaluation-standards-statements [47])
  • AEA’s Guiding Principles for Evaluators (revised in 2004, http://eval.org [48])
  • AEA’s Cultural Competence Statement (2011, http://eval.org [48])

The proposed competencies will be the fourth such document. Working over the course of the spring and summer 2015, the Task Force reviewed existing sets of general and subject-specific competencies for program, policy, and personnel evaluation to identify foundational competencies necessary to the diverse evaluation practice of AEA members. What follows is a crosswalk of evaluator competencies." (Page 1)

Example
Archivos: 
PDF icon 5.3.2e3_aea_competences_task_force_cross_walk-_all_domains_8-15.pdf [49]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FAEA [50]

anzea Evaluator competencies

Evaluator Competencies for Aotearoa New Zealand

" anzea is proud to introduce a set of unique evaluator competencies which place values – cultural values and values as an integral part of evaluation – at the centre, along with the principles of the Treaty of Waitangi – partnership, protection and participation as an underpinning base." (Page 4)

"The competencies have emerged from work undertaken by anzea from 2009 to 2011. A working group has reviewed the literature, local and international to date Hyperlink: evaluator competency literature précis on website, brought together a caucus of evaluators from a range of sectors and roles, and held regional consultations with its membership and the international evaluation community during 2010. The development of evaluator competencies is part of anzea’s strategy1 to promote and facilitate the development of quality evaluation practice in Aotearoa New Zealand (NZ), underpinned by the principles of the Treaty of Waitangi." (Page 4)

Example
Archivos: 
PDF icon 5.3.2e2_110801_anzea_evaluator_competencies_final.pdf [51]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF [7]

CES Competencies for Canadian Evaluation Practice

Published by the The Canadian Evaluation Society

Competencies for Canadian Evaluation Practice

V 11.0 4 16 2010

"This document provides a suite of competencies for evaluation work in Canada. Competencies are defined as “the background, knowledge, skills, and dispositions program evaluators need to achieve standards that constitute sound evaluations.” 1 These were developed through research, member consultation and expert validation processes conducted in 2008 and 2009.

While the Competencies for Canadian Evaluation practice were developed as part of the Credentialing Program of the Canadian Evaluation Society (CES), they provide a much broader foundation for the evaluation community. They can be used as a foundation for:

  •  developing training programs and deciding what skills and knowledge to incorporate in a learning
  • event;
  •  self assessment by Evaluators to decide what professional development they want to pursue;
  •  designing jobs, writing job descriptions when deciding to employ evaluation expertise;
  •  developing RFPs, SoWs or ToRs when contracting for evaluation services;
  •  And supporting decisions made in the Credentialing Program." (Page 2)

 Here is a link to the updated version of November 2018:

https://evaluationcanada.ca/txt/2_competencies_cdn_evaluation_practice_2... [52]

 

Example
Archivos: 
PDF icon 5.3.2e1_2_competencies_cdn_evaluation_practice.pdf [53]
PDF icon Competencies for Canadian Evaluation Practice: Revised version, Nov 2018 [54]
Enlaces web: 
Competencies for Canadian Evaluation Practice: Revised version, Nov 2018 [52]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF [7]

 

 

The EES Evaluation Capabilities Framework

Published by the EES

THE EES EVALUATION CAPABILITIES FRAMEWORK

 

"Evaluation professional and ethical guidelines issued by various evaluation societies are predicated on the assumption that they will encourage evaluators to meet appropriate standards of good evaluation practice. Equally diverse initiatives have emerged towards strengthening education and training dedicated to evaluation excellence. These twin developments have triggered a wide ranging debate about the knowledge, skills and attitudes that evaluators should be in a position to demonstrate." (Page 1)

Example
Archivos: 
PDF icon 5.3.2e4_ees_evaluation_capabilities_framework.pdf [55]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FEES [56]

IDEAS Competencies for Development Evaluation

Published by INTERNATIONAL DEVELOPMENT EVALUATION ASSOCIATION 

Competencies for Development Evaluation Evaluators, Managers, and Commissioners

IDEAS Working Group on Evaluation Competencies

"This document represents a first step in the initiative of IDEAS to systematically address the issue of competencies. Some of you have asked us to indicate which competencies are core, and others have asked us similarly to designate levels of competence. Let me say that there will be continuing work on the competencies and on the issue of whether IDEAS will grant a certificate of competence or some type of credential. These are issues that will be taken up in stage 2 of our work on competencies. For now, we hope that the competencies will assist you in the context of your own professional improvement or for reviewing team competence."  (Page 6)

Ray C. Rist, Ph. D. IDEAS, President  January 2012

Example
Archivos: 
PDF icon 5.3.2e5_ideas_competencies_adopted_feb_2012.pdf [57]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FIDEAS [58]

IDEAS Proposed position on Qualification in Evaluation

PROPOSED POSITION ON QUALIFICATION IN EVALUATION AND POSSIBLE ROLE FOR IDEAS

IDEAS Certification Working Group1

01 July 2014

 

"There is a growing demand for more professionalization and qualification of evaluators, including possibly certification. This demand arises from governments (at national and sub-national demand), donors and international organizations, providers of evaluation services as well as evaluators themselves." (Page 1)

Example
Archivos: 
PDF icon 5.3.2e6_qualification_in_eval_and_role_for_ideas_2014-07-01.pdf [59]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FIDEAS [58]

Professionalization of Evaluation in Canada

The Canadian  Journal  of Program Evaluation   /  La Revue canadienne d’évaluation de programme

29.3 Special Issue / Numéro spécial 2015

Professionalization of Evaluation in Canada / La Professionnalisation de l’évaluation au Canada

 

Guest Editors: Heather Buchanan and Keiko Kuji-Shikatani

Example
Archivos: 
PDF icon 5.3.3e1_cjpe-rcep-29-3.pdf [60]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF [7]

EES Introduction to VEPR

Introducing a Voluntary Evaluator Peer Review (VEPR)  initiative for EES and UKES

(Pam Olivier)

 

Example
Archivos: 
PDF icon 5.3.3e2_ees_vepr_short_concept_statement_pam_oliver_final-4.pdf [61]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FEES [56]

Why is the VEPR Initiative grounded in a capabilities approach?

Why is the VEPR Initiative grounded in a capabilities approach? (Robert Picciotto)

Advice
Archivos: 
PDF icon 5.3.3e3_why_is_the_vepr_grounded_in_a_capabilities_approach-2.pdf [62]

https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FEES [56]

5.4 Estrategia

  • English [63]
  • Français [64]

Las secciones anteriores abordan el "qué" (definición), el "por qué" (razones) y el "cómo" (mecanismos) del viaje hacia la profesionalización. Ahora es tiempo de pensar acerca del camino o conjunto de caminos que debemos tomar, que mejor contribuya a llevar la profesionalización de la evaluación en un nivel nacional, del estado actual al que deseamos o estamos buscando (o aún el ideal).

Profesionalizar significa modificar o cambiar actitudes: de lo informal a lo estructurado, de lo desorganizado a lo organizado, de lo indefinido a lo explícito- y, por lo tanto, puede incluirse o considerarse dentro de un marco de gestión del cambio. Afortunadamente, existe ya mucha literatura y documentación en torno al tema de la gestión del cambio. Es a partir de ahí que se elabora la siguiente lista de pasos que deben considerarse para avanzar hacia la profesionalización:

  1. Análisis preliminar o descripción de la situación actual, incluyendo percepciones de los interesados; problemas, cuestiones, preocupaciones. Recuerden: la acción colectiva se arraiga solo si se siente un dolor colectivo; sin dolor no hay cambio.
  2. El Contexto: Lista de partes interesadas, sus intereses y puntos de vista; aspectos clave del contexto que afectan la situación identificada como problemática; ritmo de cambio; punto de vista de la VOPE en este contexto, incluida la receptividad del ambiente y la capacidad de la VOPE para responder. Algunos autores han sugerido las siguientes cuatro categorías de variables contextuales que vale la pena considerar: el entorno competitivo, las expectativas de quienes están en contacto con la profesión o con el campo de la evaluación, los desarrollos tecnológicos y metodológicos, las limitaciones legales y regulatorias, así como los facilitadores.
  3. Habilitadores y obstáculos: Determinar los facilitadores y obstáculos para la profesionalización, mismos que influyen en que la situación actual sea lo que es; identificar los facilitadores que pudieran reforzarse y los obstáculos a minimizar; analizar las fuentes de resistencia al cambio e identificar medidas para mitigarlos.
  4. Planear las acciones: Con base en los facilitadores y obstáculos identificados, se requiere planificar las acciones que moverán los campos de fuerza hacia la dirección deseada que permita la profesionalización, incluidos los mecanismos enumerados en la sección 5.3.
  5. Monitoreo: Vigilar de cerca y tener en consideración un conjunto limitado de indicadores de cambio, incluidos los productos (por ejemplo, el diálogo con las partes interesadas, el nuevo marco de capacidades) y los resultados (por ejemplo, el número de personas capacitadas, y el número de evaluaciones producidas).
  6. Capacidad de reacción: Ajuste el plan en ritmo, secuencia y contenido en función de las reacciones de los interesados y los datos que resulten del monitoreo.

Un aspecto particularmente crucial es que la VOPE elija una estrategia que sea proporcional a su capacidad para implementarla. No tiene sentido desarrollar un plan formidable si los recursos (de todos tipos) no están disponibles. Dicho esto, desarrollar un plan abierto, inclusivo y ambicioso (pero realista) también es una forma de ayudar a los socios en la implementación de las estrategias de cambio y profesionalización.

No hay que olvidar que los elementos clave del éxito en la gestión del cambio son la transparencia y la comunicación. Trabajar en secreto y a escondidas son recetas para el desastre a corto o mediano plazo. Con transparencia y comunicación, las dinámicas de la situación se vuelven rápidamente claras y pueden abordarse fácilmente. Otra clave es la participación e involucramiento y compromiso de todas las partes hacia el cambio y la identificación de los beneficios que puede traer para todos, que sobrepasan con creces a los costos asociados con cualquier cambio.

Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿han realizado una evaluación de su contexto nacional? ¿Sabe quiénes son los principales interesados y cuáles son sus puntos de vista respecto a la profesionalización de la práctica de evaluación? ¿Han iniciado un diálogo con sus asociadas y asociados sobre los riesgos y las oportunidades que implica llevar a cabo un proceso de profesionalización? ¿Su VOPE (o en su caso, su ecosistema nacional) posee los recursos para apoyar un cambio profesional?

Introduction to Change Management
Advice
Enlaces web: 
https://blog.prosci.com/change-management-in-10-minutes- [65]
8 Elements of an Effective Change Management Process
Advice
Enlaces web: 
Elements of Effective Change Management [66]
Which Change Management Checklist Is Right For You?
Advice
Enlaces web: 
Change Management Checklist [67]

5.5 Compromiso y reflexión

  • English [68]
  • Français [69]

Está bien establecido que las iniciativas de cambio que no involucran a las personas interesadas no duran. Las iniciativas deben centrarse en las necesidades y derechos de la comunidad; esto finalmente asegurará que la gente se apropie de la iniciativa, lo que traerá sostenibilidad al cambio. El papel del agente de cambio (por ejemplo, la VOPE) será uno de facilitador durante la implementación de la iniciativa.

Garantizar la participación y retroalimentación de los interesados a través de procesos de reflexión bien estructurados, es un pilar esencial en el trabajo de los evaluadores. Sabemos que las personas y los grupos que tienen interés en las actividades de planificación, o que son responsables de llevar a cabo diversas acciones, deben conocer los cambios que les afectan, y más: deben participar en la definición de los problemas y en el diseño de las soluciones. Además, su participación tiende a respaldar las siguientes características positivas:

  • Pasar de resultados a corto plazo a resultados a largo plazo, donde los procesos de participación y reflexión se centrarán en capturar los resultados tanto a nivel individual como comunitario;
  • Pasar de las cosas a las personas, ya que los cambios afectarán en primer lugar a las personas y las prácticas;
  • Apoyar a los impulsores del cambio social, haciendo uso de los resultados de los procesos de participación y reflexión para informar dichos cambios;
  • Llevar la rendición de cuentas a las comunidades afectadas por los cambios;
  • Empoderar a los grupos más desfavorecidos, con un propósito centrado en la equidad.
  • Fomentar una cultura de participación efectiva.

El viaje hacia la profesionalización debe ser una oportunidad de aprendizaje. Por lo tanto, no ocurre en una simple sesión individual. Evoluciona, comenzando con individuos que plantean cuestiones importantes y cuestionan suposiciones a través de análisis grupales que muestran diferentes perspectivas e insumos de información. Por lo tanto, la VOPE necesitará planificar el aprendizaje como una serie de eventos reflexivos.

La comunidad de evaluación tiene una sólida formación en monitoreo que puede aplicarse al proceso reflexivo de la profesionalización. Los evaluadores pueden desarrollar una lista de cuestiones clave asociadas con la profesionalización en su contexto (por ejemplo, niveles existentes de profesionalización, problemas asociados con la falta de profesionalización, falta de recursos, niveles de experiencia, riesgos para las personas y las colectividades, así como para quienes encargan o solicitan las evaluaciones) e indicadores asociados con cada aspecto. Probablemente alentados por la VOPE, las y los evaluadores pueden recopilar datos de monitoreo para evaluar la situación actual, así como la evolución de la situación. A través de este proceso, la comunidad puede identificar preocupaciones compartidas, así como soluciones potenciales. También puede involucrar a las comunidades vecinas, a las personas que encargan o solicitan las evaluaciones y a los gerentes y usuarios de las mismas en el desarrollo de una comprensión de los datos de monitoreo y en la definición de soluciones a los problemas identificados.

Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿ha involucrado su VOPE a los diferentes grupos que podrían verse afectados por un proceso de profesionalización? ¿Se han incluido sus preocupaciones en el plan de cambio? ¿La VOPE ha ideado un enfoque para monitorear la situación y garantizar la capacidad de reaccionar ágilmente a las condiciones cambiantes? ¿Son claras las responsabilidades respecto a quién o quienes deben informar o dar reportes al respecto?

RELAC: Professionalization of Evaluation

PROFESSIONALIZATION OF EVALUATION - A general overview

Perspectives, achievementsand lessonslearntfromLatinAmericaand the Caribbean

Silvia Salinas, RELAC Coordinator

Rome, May7, 2018

 

 

Advice
Archivos: 
PDF icon relac-professionalization_of_evaluation_may_3.pdf [70]

PROFESSIONALIZATION OF EVALUATION

Perspectives, achievementsand lessonslearntfromLatinAmericaand the Caribbean

Silvia Salinas, RELAC Coordinator

Rome, May7, 2018

CES: Evaluation of the CES Credentialed Evaluator Designation Program

Canadian Evaluation Society

Credentialed Evaluator Designation Program: EVALUATION REPORT (Jan 2016)

 

Submitted by:

  • Leslie A. Fierro, PhD, MPH
  • Nicole Galport, MA
  • Ashley Hunt, MA
  • Heather Codd, MPA
  • Stewart I. Donaldson, PhD
  • Claremont Graduate University

Canadian Evaluation Society Credentialed Evaluator Designation Program EVALUATION REPORT: EXECUTIVE SUMMARY Submitted by: Leslie A. Fierro, PhD, MPH Nicole Galport, MA Ashley Hunt, MA Heather Codd, MPA Stewart I. Donaldson, PhD Claremont Graduate University

E
valuation
S
ociety
Credentialed Evaluator Designation Program
Example
Archivos: 
PDF icon CES: Credentialed Evaluator Designation Program EVALUATION REPORT [71]
PDF icon CES: Credentialed Evaluator Designation Program EVALUATION REPORT: EXECUTIVE SUMMARY [72]
Progress towards developing a set of AEA evaluator competencies

In 2015, the AEA Board approved the creation of an official taskforce to explore and refine a unified set of evaluator competencies as a next step in AEA’s continuing development. 

Example
Enlaces web: 
AEA summary of competencies discussion [73]

Source URL (modified on 04/30/2020 - 12:58): https://vopetoolkit.ioce.net/es/section/5-profesionalizacion-de-la-evaluacion-0

Links
[1] https://vopetoolkit.ioce.net/en/section/51-definition-professionalization-evaluation
[2] https://vopetoolkit.ioce.net/fr/section/51-definition-de-la-professionnalisation-de-levaluation
[3] https://www.merriam-webster.com/dictionary/professional
[4] http://graduate.auburn.edu/wp-content/uploads/2016/08/What-is-PROFESSIONALISM.pdf
[5] http://www.businessdictionary.com/definition/professional.html
[6] https://vopetoolkit.ioce.net/sites/default/files/resources/nordic_seminar_professionalization_vepr.pdf
[7] https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF
[8] https://vopetoolkit.ioce.net/sites/default/files/resources/5.1e2_professionalisation_of_evaluation_working_paper_web.pdf
[9] https://vopetoolkit.ioce.net/en/section/52-reasons-professionalization-evaluation
[10] https://vopetoolkit.ioce.net/fr/section/52-raisons-pour-la-professionnalisation-de-levaluation
[11] https://doi.org/10.17226/18446
[12] https://www.nap.edu/read/18446/chapter/4#16
[13] https://vopetoolkit.ioce.net/sites/default/files/resources/the_problem_of_professionalization.pdf
[14] https://www.chronicle.com/article/The-Problem-of/228633
[15] https://vopetoolkit.ioce.net/en/section/53-mechanisms-professionalization
[16] https://vopetoolkit.ioce.net/fr/section/53-mecanismes-de-professionnalisation
[17] https://aea365.org/blog/about/
[18] https://www.cdc.gov/eval/index.htm
[19] https://evaluationcanada.ca/cjpe-introduction
[20] http://journals.sfu.ca/jmde/index.php/jmde_1/about
[21] https://www.betterevaluation.org/
[22] https://elearning.evalpartners.org/
[23] https://vopetoolkit.ioce.net/sites/default/files/resources/ideas_evaluation_for_agenda_2030_chapter_5.pdf
[24] https://www.vopetoolkit.ioce.net/#_ftn1
[25] https://evaluationcanada.ca/competencies-canadian-evaluators
[26] https://evaluationcanada.ca/ce
[27] https://www.vopetoolkit.ioce.net/#_ftnref1
[28] http://noticiasrelac.ning.com
[29] http://foceval.org
[30] http://www.mideplan.go.cr
[31] https://www.deval.org
[32] https://vopetoolkit.ioce.net/sites/default/files/resources/estndaresdeevaluacinparaamricalatinayelcaribe.pdf
[33] https://vopetoolkit.ioce.net/sites/default/files/resources/decalogo_de_la_evaluacion_con_perspectiv.pptx
[34] https://comm.eval.org/viewdocument/aea-evaluation-2018-session1518aea
[35] https://vopetoolkit.ioce.net/sites/default/files/resources/jescaseaea_evaluation2018session1518_20181027.pdf
[36] http://betterevaluation.org/evaluation-options/Peer-assessment
[37] https://vopetoolkit.ioce.net/sites/default/files/resources/poster-gender_decalogue_eesconference_2016_def.pdf
[38] https://vopetoolkit.ioce.net/sites/default/files/resources/final_public_version_peersman_rogers.pdf
[39] https://evaluationcanada.ca/
[40] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e1_ces_ethics_ethique_sce.pdf
[41] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e2_dac_norms_and_standards.pdf
[42] https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FDAC
[43] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e3_dac_principles.pdf
[44] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e5_superu_evaluation_standards_final_020415.pdf
[45] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e6_uneg_norms_2005-final.pdf
[46] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e7_uneg_standards_2005-final.pdf
[47] http://www.jcsee.org/program-evaluation-standards-statements
[48] http://eval.org
[49] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e3_aea_competences_task_force_cross_walk-_all_domains_8-15.pdf
[50] https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FAEA
[51] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e2_110801_anzea_evaluator_competencies_final.pdf
[52] https://evaluationcanada.ca/txt/2_competencies_cdn_evaluation_practice_2018.pdf
[53] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e1_2_competencies_cdn_evaluation_practice.pdf
[54] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e1_2018_2_competencies_cdn_evaluation_practice_2018.pdf
[55] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e4_ees_evaluation_capabilities_framework.pdf
[56] https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FEES
[57] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e5_ideas_competencies_adopted_feb_2012.pdf
[58] https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FIDEAS
[59] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e6_qualification_in_eval_and_role_for_ideas_2014-07-01.pdf
[60] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.3e1_cjpe-rcep-29-3_0.pdf
[61] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.3e2_ees_vepr_short_concept_statement_pam_oliver_final-4.pdf
[62] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.3e3_why_is_the_vepr_grounded_in_a_capabilities_approach-2.pdf
[63] https://vopetoolkit.ioce.net/en/section/54-strategy
[64] https://vopetoolkit.ioce.net/fr/section/54-strategie-0
[65] https://blog.prosci.com/change-management-in-10-minutes-
[66] https://www.smartsheet.com/8-elements-effective-change-management-process
[67] https://change.walkme.com/change-management-checklist/
[68] https://vopetoolkit.ioce.net/en/section/55-engagement-and-reflection
[69] https://vopetoolkit.ioce.net/fr/section/55-engagement-et-reflexion-0
[70] https://vopetoolkit.ioce.net/sites/default/files/resources/relac-professionalization_of_evaluation_may_3.pdf
[71] https://vopetoolkit.ioce.net/sites/default/files/resources/ces_evaluation_report.pdf
[72] https://vopetoolkit.ioce.net/sites/default/files/resources/ces_cedesign_finalexecsum.pdf
[73] https://aea365.org/blog/competencies-task-force-week-jean-king-on-an-overview-and-history-of-aeas-competencies-task-force/