Nuestro sincero agradecimiento a los coautores del texto: Awny Amer, Susan Branker Greene, Mauricio Dorantes, Benoît Gauthier, Keiko Kuji-Shikatani, Alan Mackie, Martha McGuire y Gunter Rochow.
Esta sección de la Caja de herramientas acerca de la profesionalización de los (las) evaluadores(as) proporciona recursos para las VOPE para promover una discusión sobre la profesionalización que ayudará a seleccionar un camino apropiado para el país.
La puesta en marcha de una VOPE probablemente requiere cinco ingredientes:
1. Definición. Una definición clara de lo que significa profesionalización para su VOPE. La profesionalización se define de manera diferente por diferentes personas. El primer paso en la discusión de la profesionalización es considerar cómo su VOPE definirá este término. En IOCE, definimos la profesionalización como un conjunto colectivo de acciones diseñadas para equipar a los (las) evaluadores (as) con valores, conocimiento y fuertes competencias de evaluación que respalden la probabilidad de evaluaciones útiles y de calidad. Otra discusión es si su VOPE desea usar el término "profesionalización". Por ejemplo, en Sudáfrica, la Asociación Sudafricana de Seguimiento y Evaluación se refiere al "fortalecimiento" de los evaluadores y no a su "profesionalización".
2. Motivos. Motivos obvios que explican el interés de la VOPE en el proceso de profesionalización. Las discusiones aquí a menudo se enfocan en los desafíos que la profesionalización intenta abordar, cómo el profesionalismo refuerza lo que ya existe, o ambos. Este análisis debe realizarse en tres niveles: individual, institucional y sistémico.
3. Mecanismos. Los mecanismos concretos para reforzar capacidades y mejorar o mantener continuamente la capacidad de las personas y, cuando corresponda, de las instituciones y los sistemas.
4. Estrategia. Una estrategia clara que responde a las razones identificadas anteriormente e identifique el conjunto más relevante de mecanismos adaptados a un contexto dado; lo más probable es que esto incluya una estrategia holística que apunta a fortalecer individuos, instituciones y sistemas para lograr estos objetivos.
5. Compromiso y reflexión. Estas cuatro discusiones requieren el compromiso con grupos clave de partes interesadas, ya sea grupos obvios o quizás menos visibles. Una vez identificado, un proceso reflexivo organizado debe estar presente en los pasos 1 a 4. El proceso es probablemente iterativo.
La IOCE reconoce que las comunidades de evaluación tienen diferentes historias, trayectorias y niveles de madurez. Los recursos que se ofrecen aquí respetan estas diferencias mientras se abren al sueño de una profesión de evaluación donde los(as) evaluadores(as) claramente ven el camino para convertirse en un(a) evaluador(a) profesional.
El primer ingrediente del viaje hacia la profesionalización de su VOPE, es el establecimiento de una definición clara de qué y qué significa la profesionalización para su VOPE (recuerde que VOPE es el acrónimo en inglés de “Voluntary Organization for Professional Evaluation”, que en español se traduce como “organización voluntaria para la evaluación profesional". Es decir, el nombre en sí hace referencia y enfatiza la noción de profesionalización). Distintas personas definen la profesionalización de diferentes maneras. En la Organización Internacional para la Cooperación en la Evaluación (IOCE por sus siglas en inglés), por ejemplo, definimos la profesionalización como un conjunto colectivo de acciones destinadas a equipar a las y los evaluadores con valores sólidos, ética, conocimientos y habilidades en evaluación que contribuyan a generar evaluaciones útiles y de calidad.
Publicaciones como las del Grupo de Evaluación de las Naciones Unidas (2016, 2018), Blaine Worthen (1994) y Robert Picciotto (2011) proveen diferentes posturas respecto al significado de la noción de profesionalización. Sin embargo, todas coinciden en algunos aspectos importantes, como que la profesionalización se refiere a un "plan" colectivo para dar estatus y reconocimiento especial a una actividad (en este caso la evaluación) con la finalidad de contribuir a un desempeño superior de la misma y a la protección del público que no está equipado o no cuenta con las herramientas o conocimientos necesarios para poder juzgar la calidad de dicho desempeño. Las actividades llevadas a cabo con profesionalismo están cimentadas en una base de conocimiento central que requiere de una capacitación especial. También se adhieren a los estándares de la práctica y se llevan a cabo de conformidad con pautas éticas que tienen objetivos altruistas claros. Una profesión conlleva el respeto por parte de sus usuarios, quienes aceptan que el profesional es autónomo y está mejor posicionado que una persona cualquiera, para enfrentar una situación determinada.
La profesionalidad se refiere a la actitud y el comportamiento de un profesional. Curiosamente, no es fácil documentar las características de un profesional como aquellas que a menudo se oponen a las de un aficionado. Sin embargo, se puede inferir que las y los profesionales (y por lo tanto, el profesionalismo) son aquellas personas que trabajan a tiempo completo en su ocupación, lo que les otorga un mayor estatus profesional que alguien que no lo hace. El profesionalismo se basa en un entrenamiento formal en un campo de conocimiento especializado, el cual a menudo es confirmado mediante algún tipo de certificación. Los miembros de una profesión se rigen por un código de ética profesional y son vigilados por asociaciones de profesionales. El profesionalismo, entonces, puede verse como la victoria de la experiencia, la honestidad y el servicio desinteresado sobre la incapacidad, el fraude y la charlatanería (tal y como lo expresa un autor).
Desde el punto de vista de una VOPE, el objetivo de profesionalizar la práctica de evaluación implica apoyar mecanismos que favorezcan los objetivos de:
Un segundo aspecto que debe de considerar su VOPE es si desea o no utilizar el término “profesionalización”. Por ejemplo, en Sudáfrica, la Asociación Sudafricana de M&E (SAMEA) prefiere utilizar el término “fortalecer” a las y los evaluadores y a la práctica de la evaluación en vez de “profesionalizar”.
Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿Ha definido su VOPE lo que significa ser un profesional de la evaluación? ¿Han discutido al respecto con sus integrantes y aliados? ¿Existe un consenso en torno a lo que significa ser un evaluador (y por lo tanto sobre lo que es la evaluación propiamente dicha)?
Referencias
A presentation at the A SAYFES, Nordic, EES seminar in Helsinki, September 17, 2015 on
EVALUATION PROFESSIONALIZATION AND THE VOLUNTARY EVALUATOR PEER REVIEW INITIATIVE (VEPR)TIATIVE
by Robert (‘Bob’) Picciotto (EES Board member)
Published by the UNEG
Professionalization of Evaluation Concept Paper
2 June 2016
This concept paper provides a framework for thinking about the professionalization of evaluation at the global level and provides specific direction regarding the roles of the United Nations Evaluation Group (UNEG). It looks at setting up a professionalization system that would apply the UNEG Competency Framework1, provide a platform for evaluation professional development and strengthen the professionalization of evaluation at the organizational level.
¿Por qué promover la profesionalización de la evaluación? Las razones pueden encontrarse en cuatro diferentes niveles interrelacionados:
La profesionalización crea un beneficio mutuo para todos. Al igual que otras profesiones de la “economía del conocimiento” en auge alrededor del mundo, es importante llevar a cabo esfuerzos nacionales, regionales e internacionales que permitan avanzar hacia definiciones colectivas de buenas prácticas y estándares de calidad.
Por otra parte, las personas evaluadoras deben reflexionar en torno a sus propias habilidades y experiencia, así como sobre la importancia del desarrollo profesional continuo para actualizarse en la aplicación de varios modelos, enfoques, herramientas y métodos.
La profesionalización de la evaluación conllevaría una mayor rendición de cuentas en términos de transparencia, calidad e integridad. Asimismo, aumentaría el reconocimiento del campo de la evaluación como una profesión consolidada, haciéndola más atractiva a nuevos participantes.
Los clientes también se beneficiarían de la profesionalización de la evaluación, pues las personas responsables de encargar o solicitar las evaluaciones y/o los gerentes de las mismas, tendrían mayores garantías de que las evaluaciones contratadas serían de mejor calidad, así como una perspectiva más clara respecto a lo que deben o podrían esperar de un evaluador profesional.
Sin embargo, la profesionalización de la evaluación plantea algunos riesgos para las personas, las instituciones y los sistemas. A nivel individual, una mayor profesionalización probablemente signifique que aquellos que no siguen los estándares de la práctica profesional, podrían dejar de ser contratados para prestar sus servicios. La profesionalización podría desalentar diseños metodológicos innovadores, promover la conformidad y la adopción de enfoques homogéneos. A nivel institucional y sistémico, se corre el riesgo de que los servicios de un grupo de evaluadores profesionalizados y organizados sean rechazados por instituciones que no están dispuestas a adaptarse a partir de los hallazgos que resulten de las evaluaciones, o por quienes consideran que la evidencia objetiva de una evaluación puede significar que se hagan públicas "verdades inconvenientes". Esto podría traer como consecuencia que un servicio profesional sea evitado o socavado por instituciones o sistemas opuestas al desafío al estatus quo que una evaluación puede generar. Al final, sin embargo, "los riesgos genéricos (diversidad metodológica restringida, capacitación rígida y estandarizada, acceso bloqueado a profesionales talentosos, la primacía de los intereses de las y los evaluadores por sobre los de sus clientes), parecen ser fácilmente manejables" (Picciotto, 2011).
Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿qué problemas se generarían de llevarse a cabo un proceso de profesionalización de la evaluación en su país? ¿Qué beneficios creen ustedes que podrían obtener las y los evaluadores individuales, quienes encargan o solicitan las evaluaciones y/o los gerentes de las mismas de llevarse a cabo tal proceso? ¿Cuáles serían los beneficios que traería para su VOPE y para su país el impulsar la profesionalización de la evaluación? ¿Qué riesgos asociados creen que pudieran generarse de llevarse a cabo un proceso como tal en su país? ¿Cómo podrían mitigarse estos riesgos?
The section Goals for Professionalization (page16) is relevant to the discussion on reasons to professionalize evaluation.
Reference:
National Research Council. 2013. Professionalizing the Nation's Cybersecurity Workforce?: Criteria for Decision-Making. Washington, DC: The National Academies Press. https://doi.org/10.17226/18446 [11].
In the arts and sciences, we can no longer afford to view the word ‘professional’ with disdain.
By Leonard Cassuto March 23, 2015
Available on the website of: CHRONICLE OF HIGHER EDUCATION
Esta sección considera los mecanismos concretos que apuntan a desarrollar, mejorar y/o mantener continuamente la capacidad de individuos, instituciones y ecosistemas Si bien muchos de los documentos a los que se hace referencia en esta sección se enfocan en la perspectiva de evaluadores individuales, otros muestran la perspectiva de sectores específicos (por ejemplo, la cooperación internacional). Además, algunos de los documentos citados describen roles, responsabilidades y capacidades tanto de quienes producen las evaluaciones como de quienes las gerencian o comisionan, por lo que incluyen idiosincrasias asociadas a su contexto.
Se han identificado seis pilares que respaldan las herramientas para la profesionalización de la evaluación.
Las estructuras institucionales se refieren a la existencia dentro de países, regiones y organizaciones, de un entorno propicio que reconozca y respalde la importancia de la evaluación. Si bien muchos países y organizaciones internacionales ya cuentan con políticas y regulaciones que requieren la evaluación periódica de sus programas, países como Nepal, Marruecos y un pequeño número de otros países han ido un paso más allá, pues han incluido requerimientos de monitoreo y evaluación a nivel de sus Constituciones nacionales.
El acceso a la educación y la capacitación, incluyendo educación académica, desarrollo profesional continuo a través de instituciones académicas y a través de las VOPE u organizaciones privadas, mentoreo y entrenamiento “en el trabajo” a través de arreglos formales e informales.
La difusión del conocimiento y buenas prácticas a través de publicaciones académicas revisadas por pares, sitios especializados en internet de acceso abierto o restringido a miembros, como son AEA365 [17], Centers for Disease Control and Prevention [18], Canadian Journal of Program Evaluation [19], Journal of Multidisciplinary Evaluation [20], y Better Evaluation [21] (este último compila buenas prácticas en una enorme variedad de temas a través de artículos y blogs), así como EvalPartners con su iniciativa e-learning initiative [22]. De igual forma, muchas VOPE y organizaciones internacionales incluyen espacios en sus sitios web para mostrar videos, literatura no revisada por pares, artículos y blogs.
Los principios rectores, ética, normas y estándares, que se pueden encontrar en los sitios web de la mayoría de las VOPE. Esta sección incluye información de la American Evaluation Association (AEA), la Aotearoa New Zealand Evaluation Association (ANZEA), la Canadian Evaluation Society (CES), el Development Assistance Committee (DAC) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), la Asociación Internacional de Evaluación del Desarrollo (IDEAS), Red de Seguimiento, Evaluación y Sistematización de Latinoamérica y el Caribe (ReLAC), el Grupo de Evaluación de las Naciones Unidas (UNEG) y el Programa de las Naciones Unidas para el Desarrollo (PNUD).
Marcos de referencia en capacidades y capacidades de personas evaluadoras, que han sido desarrollados por algunas VOPE, como son la CES, IDEAS, la Sociedad Japonesa de Evaluación(JES) y la Sociedad Europea de Evaluación (SEE), las cuales además están elaborando publicaciones académicas. Aunque los nombres de las categorías de capacidades varían, existen ciertos “puntos en común sorprendentes [23]”, en el tipo de capacidades que dichas VOPE identifican como necesarias. Por ejemplo, las categorías de la CES incluyen capacidades relacionadas con la práctica reflexiva, técnica, situacional, de gestión y de comunicación interpersonal[1] [24]. La EES cubre un terreno similar al utilizar las siguientes categorías: Conocimiento sobre evaluación, Práctica profesional, Disposición y Actitudes. No obstante, es importante mencionar que la lista de capacidades se actualiza a medida que evoluciona la profesión de evaluación. Por ejemplo, la CES actualizó sus “Capacidades para la práctica de evaluación canadiense” (Competencies for Canadian Evaluation Practice [25]) en octubre de 2018. Por supuesto, hay muchos tipos de evaluadores con diversas especialidades, por lo que los perfiles de capacidades deben elaborarse cuidadosamente de tal forma que se reconozca esta complejidad y se incluyan todas las escuelas de evaluación, evitando la suposición implícita o explícita de que la profesionalización intenta reducir el campo a un conjunto particular de habilidades.
Evaluator capability and competency frameworks have been developed by some VOPEs including CES, IDEAS, the Japanese Evaluation Society (JES), and the European Evaluation Society (EES), many of them building academic publications. The naming of categories of competencies are varied yet there are “surprising commonalities [23]” in the kinds of competencies identified (i.e., reflective, professional/ methodological/ technical, contextual/situational, management and interpersonal communication). For example, CES’ categories include reflective practice, technical practice, situational practice, management practice and interpersonal practice; the EES covers similar ground under the categories of evaluation knowledge, professional practice and dispositions and attitudes. Competencies are updated as the evaluation profession evolves, for example, CES updated its Competencies for Canadian Evaluation Practice [25] in October 2018. Of course, there are many kinds of evaluators, with various specialties, and competency profiles must be carefully crafted to recognize this complexity, to include all schools of evaluation, and to avoid the implicit or explicit assumption that professionalization attempts to narrow the field to one particular set of skills.
Recognition of knowledge, skills and experience requires some formal mechanism which can take the form of a credentialing or certification system.
Las discusiones de VOPE compartidas en los kits de herramientas de IOCE indican que, si bien los primeros tres pilares identificados anteriormente facilitan y fomentan el arraigo de una cultura de la evaluación, los últimos tres son identificados como un continuo de progresión que conduce a una eventual exploración e implementación del mecanismo concreto para la profesionalización que mejor se adapte a la realidad contextual de las mismas.
Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿Cuál es el estado actual de los recursos para la profesionalización disponibles en su país? ¿Qué mecanismos podrían implementarse de manera realista en su país, dado el estado de desarrollo del ecosistema, y en qué secuencia para avanzar hacia la profesionalización? ¿Qué recursos podría dedicar su VOPE para promocionar estos mecanismos una vez que estén siendo implementados? ¿Con qué socios podría asociarse para crear mecanismos de profesionalización en su país?
Una iniciativa de la Red de Seguimiento, Evaluación y Sistematización de
América Latina y el Caribe (ReLAC) y del Proyecto Fomento de Capacidades
en Evaluación en Costa Rica y países seleccionados de América Latina
(FOCEVAL), ejecutado por el Ministerio de Planificación Nacional y Política
Económica de Costa Rica (MIDEPLAN) y el Instituto Alemán de Evaluación
de la Cooperación para el Desarrollo (DEval).
ReLAC http://noticiasrelac.ning.com [28]
FOCEVAL http://foceval.org [29]
MIDEPLAN http://www.mideplan.go.cr [30]
DEval https://www.deval.org [31]
Agosto 2016
JES developed an evaluator competency framework and implemented a certification program based on a combination of: completing a training program and passing an exam and/or portfolio-based review. JES has three levels of certification: the certified professional evaluator (CPE), the certified specialty evaluator (CSE) for evaluators in educational settings, and the certified advanced evaluator (CAE). CAEs’ names and their CVs are publicly listed in Japanese on their website. This session will share JES pathways from the perspective of an external consultant to JES who is instrumental in CES’ credentialing effort and experienced in partnering and supporting VOPEs in building evaluation capacity specific to their own needs such as EvalGender+, IDEAS EvalFCG - Evaluation in Fragility, Conflict and Violence, and Thai Evaluation Network. She filled the quality assurance advisor and course developer role for the Japanese Evaluation Society Professional Development Accreditation Project (2003-2008) developing the first school-evaluator training program using a collaborative approach.
Presentation at the 2018 AEA Evaluation Conference.
Kuji-Shikatani, K. & Imata. K. (2018) AEA Evaluation 2018 Session1518: AEA's Evaluator Competencies-- what can we learn from other Evaluation societies about next steps? The Japan Evaluation Society’s Case https://comm.eval.org/viewdocument/aea-evaluation-2018-session1518aea [34]
Greet Peersman and Patricia Rogers from BetterEvaluation were contracted by the Australasian Evaluation Society to explore options "to strengthen the capacity and professionalism of the evaluation sector". The report identifies four pathways to professionalization that are situated on a continuum of intervention and structure: stay the course; focused, connected and strategic activities; voluntary credentialing of evaluators; and regulated and licensed profession.
Published by the OECD DAC NETWORK ON DEVELOPMENT EVALUATION
EVALUATING DEVELOPMENT CO-OPERATION a SUMMARY OF KEY NORMS AND STANDARDS
SECOND EDITION
"A set of core principles for evaluation of development assistance (summarised in Part I) were adopted by the OECD DAC in 1991 and are at the heart of the Evaluation Network’s approach to evaluation. The principles focus on the management and institutional arrangements of the evaluation system within development agencies." (page 5)
Published by DEVELOPMENT ASSISTANCE COMMITTEE
PRINCIPLES FOR EVALUATION OF DEVELOPMENT ASSISTANCE PARIS 1991
"In response to its general mandate to strengthen the volume and developmental
effectiveness of aid, the DAC has drawn up a series of policy principles addressing key areas
of aid programming and management including Project Appraisal, Programme Assistance and
Technical Co-operation. Aid evaluation plays an essential role in the efforts to enhance the
quality of development co-operation. The following set of principles state the views of DAC
Members on the most important requirements of the evaluation process based on current
policies and practices as well as donor agency experiences with evaluation and feedback of
results." (Page 3)
Evaluation standards for Aotearoa New Zealand
APRIL 2015
Social Policy Evaluation and Research Unit
This document presents the standards for evaluation in Aotearoa New Zealand.
"The Aotearoa New Zealand evaluation standards are principle-based rather than a set of rules. They are aspirational in their entirety. They outline expectations of evaluation processes, practice and products. They provide guidance on what should occur and how to judge the quality of an evaluation. They recognise
a range of evaluative activity and people involved, and sectors, contexts and cultural settings in which evaluation occurs in Aotearoa New Zealand.
The four principles framing the evaluation standards are:
• Respectful meaningful relationships
• Ethic of care
• Responsive methodologies and trustworthy results
• Competence and usefulness.
Integrity is the core value underlying these principles. Each principle is accompanied by five standards.
The first two principles and their standards are influenced by the values and principles from Ma-ori and Pasifika worldviews, and form the foundation for realising the other two principles.
ANZEA and Superu jointly developed the standards specifically for Aotearoa New Zealand. It is an important step in ensuring that evaluation in Aotearoa New Zealand is high quality, credible, valid, cost effective, culturally sound and responsive, ethical and meets the learning, development and accountability needs of our organisations, communities, projects and initiatives. "(page 7)
Published by UNEG (United Nations Evaluation Group)
Norms for Evaluation in the UN System April 2005
Foundation Document
"The norms seek to facilitate system-wide collaboration on evaluation by ensuring that evaluation entities within the UN follow agree-upon basic principles. They provide a reference for strengthening, professionalizing and improving the quality of evaluation in all entities of the United Nations system, including funds, programmes and specialized agencies. The norms are consistent with other main sources3 and reflect the singularity of the United Nations system characterized by its focus on people and respect for their rights, the importance of international values and principles, universality and neutrality, its multiple stakeholders, its needs for global governance, its multidisciplinarity, and its complex accountability system. Last but not least, there is the challenge of international cooperation embedded in the Millennium Declaration and Development Goals." (Page 3)
Published by UNEG
Standards for Evaluation in the UN System April 2005
"These standards build upon the UNEG Norms for Evaluation in the UN system (UNEG/FN/Norms[2005]). They are drawn from best practice of UNEG members2. They are intended to guide the establishment of the institutional framework, management of the evaluation function, conduct and use of evaluations. They are also a reference for the competencies of evaluation practitioners and work ethics, and are intended to be applied as appropriate within each organization. UNEG will periodically update, elaborate and expand the coverage of these standards in the service of the UN system organization3." (Page 2)
Evaluator Competencies Crosswalk of Developed Competency Documents (August 2015)
"In 2015 the AEA Board of Directors appointed a Task Force to develop a set of evaluator competencies for the association. The membership of the American Evaluation Association has previously endorsed three documents that have contributed to the professionalization of our field:
The proposed competencies will be the fourth such document. Working over the course of the spring and summer 2015, the Task Force reviewed existing sets of general and subject-specific competencies for program, policy, and personnel evaluation to identify foundational competencies necessary to the diverse evaluation practice of AEA members. What follows is a crosswalk of evaluator competencies." (Page 1)
Evaluator Competencies for Aotearoa New Zealand
" anzea is proud to introduce a set of unique evaluator competencies which place values – cultural values and values as an integral part of evaluation – at the centre, along with the principles of the Treaty of Waitangi – partnership, protection and participation as an underpinning base." (Page 4)
"The competencies have emerged from work undertaken by anzea from 2009 to 2011. A working group has reviewed the literature, local and international to date Hyperlink: evaluator competency literature précis on website, brought together a caucus of evaluators from a range of sectors and roles, and held regional consultations with its membership and the international evaluation community during 2010. The development of evaluator competencies is part of anzea’s strategy1 to promote and facilitate the development of quality evaluation practice in Aotearoa New Zealand (NZ), underpinned by the principles of the Treaty of Waitangi." (Page 4)
V 11.0 4 16 2010
"This document provides a suite of competencies for evaluation work in Canada. Competencies are defined as “the background, knowledge, skills, and dispositions program evaluators need to achieve standards that constitute sound evaluations.” 1 These were developed through research, member consultation and expert validation processes conducted in 2008 and 2009.
While the Competencies for Canadian Evaluation practice were developed as part of the Credentialing Program of the Canadian Evaluation Society (CES), they provide a much broader foundation for the evaluation community. They can be used as a foundation for:
https://evaluationcanada.ca/txt/2_competencies_cdn_evaluation_practice_2... [52]
Published by the EES
THE EES EVALUATION CAPABILITIES FRAMEWORK
"Evaluation professional and ethical guidelines issued by various evaluation societies are predicated on the assumption that they will encourage evaluators to meet appropriate standards of good evaluation practice. Equally diverse initiatives have emerged towards strengthening education and training dedicated to evaluation excellence. These twin developments have triggered a wide ranging debate about the knowledge, skills and attitudes that evaluators should be in a position to demonstrate." (Page 1)
Published by INTERNATIONAL DEVELOPMENT EVALUATION ASSOCIATION
Competencies for Development Evaluation Evaluators, Managers, and Commissioners
IDEAS Working Group on Evaluation Competencies
"This document represents a first step in the initiative of IDEAS to systematically address the issue of competencies. Some of you have asked us to indicate which competencies are core, and others have asked us similarly to designate levels of competence. Let me say that there will be continuing work on the competencies and on the issue of whether IDEAS will grant a certificate of competence or some type of credential. These are issues that will be taken up in stage 2 of our work on competencies. For now, we hope that the competencies will assist you in the context of your own professional improvement or for reviewing team competence." (Page 6)
Ray C. Rist, Ph. D. IDEAS, President January 2012
PROPOSED POSITION ON QUALIFICATION IN EVALUATION AND POSSIBLE ROLE FOR IDEAS
IDEAS Certification Working Group1
01 July 2014
"There is a growing demand for more professionalization and qualification of evaluators, including possibly certification. This demand arises from governments (at national and sub-national demand), donors and international organizations, providers of evaluation services as well as evaluators themselves." (Page 1)
The Canadian Journal of Program Evaluation / La Revue canadienne d’évaluation de programme
29.3 Special Issue / Numéro spécial 2015
Professionalization of Evaluation in Canada / La Professionnalisation de l’évaluation au Canada
Guest Editors: Heather Buchanan and Keiko Kuji-Shikatani
Introducing a Voluntary Evaluator Peer Review (VEPR) initiative for EES and UKES
(Pam Olivier)
Why is the VEPR Initiative grounded in a capabilities approach? (Robert Picciotto)
Las secciones anteriores abordan el "qué" (definición), el "por qué" (razones) y el "cómo" (mecanismos) del viaje hacia la profesionalización. Ahora es tiempo de pensar acerca del camino o conjunto de caminos que debemos tomar, que mejor contribuya a llevar la profesionalización de la evaluación en un nivel nacional, del estado actual al que deseamos o estamos buscando (o aún el ideal).
Profesionalizar significa modificar o cambiar actitudes: de lo informal a lo estructurado, de lo desorganizado a lo organizado, de lo indefinido a lo explícito- y, por lo tanto, puede incluirse o considerarse dentro de un marco de gestión del cambio. Afortunadamente, existe ya mucha literatura y documentación en torno al tema de la gestión del cambio. Es a partir de ahí que se elabora la siguiente lista de pasos que deben considerarse para avanzar hacia la profesionalización:
Un aspecto particularmente crucial es que la VOPE elija una estrategia que sea proporcional a su capacidad para implementarla. No tiene sentido desarrollar un plan formidable si los recursos (de todos tipos) no están disponibles. Dicho esto, desarrollar un plan abierto, inclusivo y ambicioso (pero realista) también es una forma de ayudar a los socios en la implementación de las estrategias de cambio y profesionalización.
No hay que olvidar que los elementos clave del éxito en la gestión del cambio son la transparencia y la comunicación. Trabajar en secreto y a escondidas son recetas para el desastre a corto o mediano plazo. Con transparencia y comunicación, las dinámicas de la situación se vuelven rápidamente claras y pueden abordarse fácilmente. Otra clave es la participación e involucramiento y compromiso de todas las partes hacia el cambio y la identificación de los beneficios que puede traer para todos, que sobrepasan con creces a los costos asociados con cualquier cambio.
Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿han realizado una evaluación de su contexto nacional? ¿Sabe quiénes son los principales interesados y cuáles son sus puntos de vista respecto a la profesionalización de la práctica de evaluación? ¿Han iniciado un diálogo con sus asociadas y asociados sobre los riesgos y las oportunidades que implica llevar a cabo un proceso de profesionalización? ¿Su VOPE (o en su caso, su ecosistema nacional) posee los recursos para apoyar un cambio profesional?
Está bien establecido que las iniciativas de cambio que no involucran a las personas interesadas no duran. Las iniciativas deben centrarse en las necesidades y derechos de la comunidad; esto finalmente asegurará que la gente se apropie de la iniciativa, lo que traerá sostenibilidad al cambio. El papel del agente de cambio (por ejemplo, la VOPE) será uno de facilitador durante la implementación de la iniciativa.
Garantizar la participación y retroalimentación de los interesados a través de procesos de reflexión bien estructurados, es un pilar esencial en el trabajo de los evaluadores. Sabemos que las personas y los grupos que tienen interés en las actividades de planificación, o que son responsables de llevar a cabo diversas acciones, deben conocer los cambios que les afectan, y más: deben participar en la definición de los problemas y en el diseño de las soluciones. Además, su participación tiende a respaldar las siguientes características positivas:
El viaje hacia la profesionalización debe ser una oportunidad de aprendizaje. Por lo tanto, no ocurre en una simple sesión individual. Evoluciona, comenzando con individuos que plantean cuestiones importantes y cuestionan suposiciones a través de análisis grupales que muestran diferentes perspectivas e insumos de información. Por lo tanto, la VOPE necesitará planificar el aprendizaje como una serie de eventos reflexivos.
La comunidad de evaluación tiene una sólida formación en monitoreo que puede aplicarse al proceso reflexivo de la profesionalización. Los evaluadores pueden desarrollar una lista de cuestiones clave asociadas con la profesionalización en su contexto (por ejemplo, niveles existentes de profesionalización, problemas asociados con la falta de profesionalización, falta de recursos, niveles de experiencia, riesgos para las personas y las colectividades, así como para quienes encargan o solicitan las evaluaciones) e indicadores asociados con cada aspecto. Probablemente alentados por la VOPE, las y los evaluadores pueden recopilar datos de monitoreo para evaluar la situación actual, así como la evolución de la situación. A través de este proceso, la comunidad puede identificar preocupaciones compartidas, así como soluciones potenciales. También puede involucrar a las comunidades vecinas, a las personas que encargan o solicitan las evaluaciones y a los gerentes y usuarios de las mismas en el desarrollo de una comprensión de los datos de monitoreo y en la definición de soluciones a los problemas identificados.
Entonces, algunas preguntas para ustedes, líderes de las VOPE: ¿ha involucrado su VOPE a los diferentes grupos que podrían verse afectados por un proceso de profesionalización? ¿Se han incluido sus preocupaciones en el plan de cambio? ¿La VOPE ha ideado un enfoque para monitorear la situación y garantizar la capacidad de reaccionar ágilmente a las condiciones cambiantes? ¿Son claras las responsabilidades respecto a quién o quienes deben informar o dar reportes al respecto?
PROFESSIONALIZATION OF EVALUATION - A general overview
Perspectives, achievementsand lessonslearntfromLatinAmericaand the Caribbean
Silvia Salinas, RELAC Coordinator
Rome, May7, 2018
PROFESSIONALIZATION OF EVALUATION
Perspectives, achievementsand lessonslearntfromLatinAmericaand the Caribbean
Silvia Salinas, RELAC Coordinator
Rome, May7, 2018
Canadian Evaluation Society
Credentialed Evaluator Designation Program: EVALUATION REPORT (Jan 2016)
Submitted by:
Canadian Evaluation Society Credentialed Evaluator Designation Program EVALUATION REPORT: EXECUTIVE SUMMARY Submitted by: Leslie A. Fierro, PhD, MPH Nicole Galport, MA Ashley Hunt, MA Heather Codd, MPA Stewart I. Donaldson, PhD Claremont Graduate University
In 2015, the AEA Board approved the creation of an official taskforce to explore and refine a unified set of evaluator competencies as a next step in AEA’s continuing development.
Links
[1] https://vopetoolkit.ioce.net/en/section/51-definition-professionalization-evaluation
[2] https://vopetoolkit.ioce.net/fr/section/51-definition-de-la-professionnalisation-de-levaluation
[3] https://www.merriam-webster.com/dictionary/professional
[4] http://graduate.auburn.edu/wp-content/uploads/2016/08/What-is-PROFESSIONALISM.pdf
[5] http://www.businessdictionary.com/definition/professional.html
[6] https://vopetoolkit.ioce.net/sites/default/files/resources/nordic_seminar_professionalization_vepr.pdf
[7] https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF
[8] https://vopetoolkit.ioce.net/sites/default/files/resources/5.1e2_professionalisation_of_evaluation_working_paper_web.pdf
[9] https://vopetoolkit.ioce.net/en/section/52-reasons-professionalization-evaluation
[10] https://vopetoolkit.ioce.net/fr/section/52-raisons-pour-la-professionnalisation-de-levaluation
[11] https://doi.org/10.17226/18446
[12] https://www.nap.edu/read/18446/chapter/4#16
[13] https://vopetoolkit.ioce.net/sites/default/files/resources/the_problem_of_professionalization.pdf
[14] https://www.chronicle.com/article/The-Problem-of/228633
[15] https://vopetoolkit.ioce.net/en/section/53-mechanisms-professionalization
[16] https://vopetoolkit.ioce.net/fr/section/53-mecanismes-de-professionnalisation
[17] https://aea365.org/blog/about/
[18] https://www.cdc.gov/eval/index.htm
[19] https://evaluationcanada.ca/cjpe-introduction
[20] http://journals.sfu.ca/jmde/index.php/jmde_1/about
[21] https://www.betterevaluation.org/
[22] https://elearning.evalpartners.org/
[23] https://vopetoolkit.ioce.net/sites/default/files/resources/ideas_evaluation_for_agenda_2030_chapter_5.pdf
[24] https://www.vopetoolkit.ioce.net/#_ftn1
[25] https://evaluationcanada.ca/competencies-canadian-evaluators
[26] https://evaluationcanada.ca/ce
[27] https://www.vopetoolkit.ioce.net/#_ftnref1
[28] http://noticiasrelac.ning.com
[29] http://foceval.org
[30] http://www.mideplan.go.cr
[31] https://www.deval.org
[32] https://vopetoolkit.ioce.net/sites/default/files/resources/estndaresdeevaluacinparaamricalatinayelcaribe.pdf
[33] https://vopetoolkit.ioce.net/sites/default/files/resources/decalogo_de_la_evaluacion_con_perspectiv.pptx
[34] https://comm.eval.org/viewdocument/aea-evaluation-2018-session1518aea
[35] https://vopetoolkit.ioce.net/sites/default/files/resources/jescaseaea_evaluation2018session1518_20181027.pdf
[36] http://betterevaluation.org/evaluation-options/Peer-assessment
[37] https://vopetoolkit.ioce.net/sites/default/files/resources/poster-gender_decalogue_eesconference_2016_def.pdf
[38] https://vopetoolkit.ioce.net/sites/default/files/resources/final_public_version_peersman_rogers.pdf
[39] https://evaluationcanada.ca/
[40] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e1_ces_ethics_ethique_sce.pdf
[41] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e2_dac_norms_and_standards.pdf
[42] https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FDAC
[43] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e3_dac_principles.pdf
[44] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e5_superu_evaluation_standards_final_020415.pdf
[45] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e6_uneg_norms_2005-final.pdf
[46] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.1e7_uneg_standards_2005-final.pdf
[47] http://www.jcsee.org/program-evaluation-standards-statements
[48] http://eval.org
[49] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e3_aea_competences_task_force_cross_walk-_all_domains_8-15.pdf
[50] https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FAEA
[51] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e2_110801_anzea_evaluator_competencies_final.pdf
[52] https://evaluationcanada.ca/txt/2_competencies_cdn_evaluation_practice_2018.pdf
[53] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e1_2_competencies_cdn_evaluation_practice.pdf
[54] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e1_2018_2_competencies_cdn_evaluation_practice_2018.pdf
[55] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e4_ees_evaluation_capabilities_framework.pdf
[56] https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FEES
[57] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e5_ideas_competencies_adopted_feb_2012.pdf
[58] https://drive.google.com/drive/folders/144z7-LBWw-Bd1IZOnSFVQzNiT88LvxnF%2FIDEAS
[59] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.2e6_qualification_in_eval_and_role_for_ideas_2014-07-01.pdf
[60] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.3e1_cjpe-rcep-29-3_0.pdf
[61] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.3e2_ees_vepr_short_concept_statement_pam_oliver_final-4.pdf
[62] https://vopetoolkit.ioce.net/sites/default/files/resources/5.3.3e3_why_is_the_vepr_grounded_in_a_capabilities_approach-2.pdf
[63] https://vopetoolkit.ioce.net/en/section/54-strategy
[64] https://vopetoolkit.ioce.net/fr/section/54-strategie-0
[65] https://blog.prosci.com/change-management-in-10-minutes-
[66] https://www.smartsheet.com/8-elements-effective-change-management-process
[67] https://change.walkme.com/change-management-checklist/
[68] https://vopetoolkit.ioce.net/en/section/55-engagement-and-reflection
[69] https://vopetoolkit.ioce.net/fr/section/55-engagement-et-reflexion-0
[70] https://vopetoolkit.ioce.net/sites/default/files/resources/relac-professionalization_of_evaluation_may_3.pdf
[71] https://vopetoolkit.ioce.net/sites/default/files/resources/ces_evaluation_report.pdf
[72] https://vopetoolkit.ioce.net/sites/default/files/resources/ces_cedesign_finalexecsum.pdf
[73] https://aea365.org/blog/competencies-task-force-week-jean-king-on-an-overview-and-history-of-aeas-competencies-task-force/