Working Papers 2 -Metodología de planificación

INSTITUTO DE PROSPECTIVA, INNOVACIÓN Y GESTIÓN DEL CONOCIMIENTO DE LA UNIVERSIDAD DEL VALLE WORKING PAPER 2 Una metodología de planificación de la autoevaluación de instituciones de educación superior en el marco de la acreditación institucional de alta calidad desde la experiencia de la Universidad del Valle (2021). Leonardo Solarte/ Luis Felipe Sánchez/ Alejandro Franco1 Editores y comité editorial: Leonardo Solarte Pazos – Phd. Profesor Universidad del Valle (Cali-Colombia). Álvaro Pío Gómez – Phd. Profesor Universidad del Valle (Cali-Colombia). Javier Medina Vásquez – Phd. Profesor Universidad del Valle (Cali-Colombia). Una publicación anual del Instituto de Prospectiva, Innovación y Gestión del Conocimiento de la Universidad del Valle Marzo 2022 Cali, Colombia 1 Leonardo Solarte, Profesor Universidad del Valle (Cali, Colombia) Luis Felipe Sánchez, Investigador IPIGC Alejandro Franco, Consultor 1

INSTITUTO DE PROSPECTIVA, INNOVACIÓN Y GESTIÓN DEL CONOCIMIENTO DE LA UNIVERSIDAD DEL VALLE IPIGC WORKING PAPER 2 Este Working Paper fue elaborado en el marco del proyecto de investigación denominado “Una metodología de planificación de la autoevaluación de Instituciones de Educación Superior en el marco de la Acreditación Institucional de Alta Calidad desde la experiencia de la Universidad del Valle (2021)” realizado por el IPIGC para la Universidad del Valle en el año 2021. El proyecto fue dirigido y orientado por profesores e investigadores de la Universidad del Valle, asociados al IPIGC. Este documento se construye a partir de la reflexión, la experiencia y los resultados obtenidos en el desarrollo del proyecto de consultoría y/o investigación del cual se deriva. La presente publicación recoge algunos elementos académicos y técnicos propios del proyecto del que proviene, y no necesariamente corresponde al contenido de los productos entregados como parte de la consultoría. Las opiniones expresadas en los textos son de exclusiva responsabilidad de los autores y no reflejan necesariamente los puntos de vista del IPIGC. ISSN: 2806-0032 (En línea) Citación en estándar normas APA Solarte, L., Sánchez, L. F. y Franco A. (2022). Working Paper 2: Una metodología de planificación de la autoevaluación de Instituciones de Educación Superior en el marco de la Acreditación Institucional de Alta Calidad desde la experiencia de la Universidad del Valle (2021). Instituto De Prospectiva, Universidad Del Valle. 2

Contenido Introducción..................................................................................................................... 5 1. El contexto de los lineamientos para la acreditación institucional del CNA ........ 6 2. Marco conceptual ..................................................................................................... 6 2.1 Tipos de evaluación según los alcances requeridos por el CNA................... 8 2.2 Tipos de evidencia identificados para los aspectos definidos por el CNA ... 9 3. Elementos para una metodología de planificación .............................................. 10 3.1 Clasificación de aspectos según tipo de evaluación .................................... 11 3.2 Mapa conceptual.............................................................................................. 12 3.3 Matriz de diseño evaluativo ............................................................................ 16 4. Conclusiones .......................................................................................................... 24 5. Referencias ............................................................................................................. 26 Índice de tablas Tabla 1. Tipos de evaluación según los alcances requeridos por el CNA. ......................... 8 Tabla 2. Tipos de evidencia identificados para los aspectos definidos por el CNA. ........... 9 Tabla 3. Criterios de clasificación de aspectos en la “Matriz de clasificación”.................. 11 Tabla 4. Estructura y ejemplos de contenido de la matriz de diseño evaluativo............... 17 Tabla 5. Ejemplo de una matriz de diseño evaluativo. ..................................................... 18 Tabla 6. Ejemplo de construcción de un indicador (parte 1). ........................................... 22 Tabla 7. Ejemplo de construcción de un indicador (parte 2). ........................................... 23 Tabla 8. Criterios de validez de los indicadores............................................................... 24 Índice de gráficos Gráfico 1. Esquema de una cadena de resultados aplicada a Instituciones de Educación Superior. ............................................................................................................................ 7 Gráfico 2. Esquema de cadena de resultados con efectos internos, inmediatos e intermedios. ....................................................................................................................... 7 Gráfico 3. Momentos y fases de la metodología propuesta............................................. 11 Gráfico 4. Ejemplo de los tipos de evaluación identificables en un aspecto. ................... 12 Gráfico 5. Tipos de aspecto según su orientación y enfoque. ......................................... 13 3

Gráfico 6. Ejemplo de un mapa conceptual con una pregunta objetivo de evaluación – Factor 3, característica 9, aspecto 3. ............................................................................... 14 Gráfico 7. Ejemplo de un mapa conceptual con tres preguntas objeto de evaluación – Factor 1, característica 2, aspecto 3. ............................................................................... 15 Gráfico 8. Esquema del despliegue metodológico de indicadores requeridos. ................ 19 Gráfico 9. Tipo de análisis e indicadores......................................................................... 20 Gráfico 10. Ejemplo de identificación pregunta clave y la población que menciona el aspecto. ........................................................................................................................... 21 4

Una metodología de planificación de la autoevaluación de instituciones de educación superior en el marco de la acreditación institucional de alta calidad desde la experiencia de la Universidad del Valle (2021). Introducción El Consejo Nacional de Acreditación (CNA) acogió en marzo de 2021 los nuevos lineamientos y aspectos por evaluar para la acreditación en alta calidad de las Instituciones de Educación Superior (IES) en Colombia, los cuales se estructuran en 12 factores, 38 características y 204 aspectos en múltiples campos de actuación. Si bien ha habido diversas novedades, los lineamientos del CNA introducen la particularidad de un enfoque de resultados especialmente en uno de sus factores denominado impacto social. Por esta razón, la Universidad del Valle ha definido una metodología de trabajo que le permita interpretar y descomponer los aspectos y responder apropiadamente a sus requerimientos, que rebasan el enfoque tradicional en los procesos. De esta manera, el enfoque de cadena de resultados, que aporta un esquema lógico de organización y análisis de intervenciones, se ha identificado como útil para los diversos alcances de la misión de la Universidad del Valle. Ello radica en que la cadena de resultados establece una secuencia causal que permite descomponer cómo se logran unos objetivos dados; partiendo de los recursos, pasando por las actividades, los productos, e identificando al final los resultados. En esta lógica, este working paper presenta elementos metodológicos de análisis de los procesos institucionales, buscando identificar y categorizar productos, efectos e impactos y analizarlos de manera integral tanto interna como externamente a la institución. Esto es especialmente pertinente para las IES cuyos procesos de generación y transferencia del conocimiento no pasan solo por procesos formativos, sino por actividades altamente especializadas y de articulación con fenómenos y problemas complejos de la sociedad, participando en consultorías y desarrollo de investigación científica, tecnológica y desarrollos en arte y cultura. El propósito del working paper es exponer elementos de una metodología que permita comprender los enunciados de los 204 aspectos de evaluación en términos de los tipos de evaluación que implican y sus objetos centrales de análisis. De esta manera, se avanza hacia la identificación de las preguntas objetivo de evaluación y preguntas complementarias, así como las técnicas que permitirán dar respuesta a los requerimientos de los aspectos. El documento se estructura en cinco secciones. Tras aludir brevemente al contexto de los lineamientos para la Acreditación Institucional propuestos por el CNA en la sección 2, se expone en la sección 3 el marco conceptual de base para la comprensión de los aspectos tanto en términos de efectos internos como externos a las IES. Posteriormente, en la sección 4, se presenta la metodología de planificación orientada a la autoevaluación para la Acreditación Institucional, conformada por cuatro fases, de las cuales se abordan las tres primeras, que son previas al diseño de los instrumentos de recolección de información. Finalmente, se presentan las conclusiones en la sección 5 y las referencias bibliográficas en la sección 6. 5

1. El contexto de los lineamientos para la acreditación institucional del CNA El Consejo Nacional de Acreditación (CNA) ha redefinido los lineamientos para la acreditación en alta calidad de las IES en Colombia. La actualización es producto de una reflexión en torno a la actualización del modelo de acreditación en sí mismo a partir de evaluaciones internacionales, tendencias nacionales e internacionales, y reflexiones nacionales, desde el reconocimiento de la diversidad institucional y académica (CNA, 2021). En su versión aprobada por el Consejo Nacional de Educación Superior - CESU el 23 de marzo de 2021, los “lineamientos y aspectos por evaluar para la acreditación en alta calidad de las instituciones de educación superior”, están estructurados en 12 factores, 38 características y 204 aspectos (ver CNA, 2021, pp. 36-66), que abarcan múltiples campos de actuación. Estos responden, según el CNA, a las transformaciones del contexto social, cultural y ambiental, y le apuntan al directo fortalecimiento de las capacidades de transformación e impacto de las Instituciones de Educación Superior en la sociedad (CNA, 2021, p. 6). Los nuevos lineamientos de acreditación del CNA tienen diversas características que implican diversos retos operativos. Implican la incorporación de un análisis orientado a resultados entendidos como efectos e impactos en el entorno a mediano y largo plazo; lo cual pasa por la comprensión de los diferentes focos de análisis de cada aspecto y diversos tipos de evaluación y herramientas que implican. 2. Marco conceptual La perspectiva de gestión por resultados (results-based management) es un enfoque que ha tomado cada vez mayor relevancia. En el sector público y en el campo del desarrollo se ha acogido en términos de metodologías como el Marco Lógico, utilizado para planificar, monitorear y evaluar proyectos; mientras que en el sector privado, el Balanced Scorecard encontró gran recepción al integrar medidas de desempeño no financiero en un marco más general (Lawrie, Kalff y Andersen, 2005). Desde la perspectiva del enfoque de resultados, el modelo lógico o cadena de resultados (ver ilustración a continuación) es la herramienta usualmente adoptada con el fin de identificar la secuencia lógica en la cual los recursos que la organización utiliza son transformados mediante actividades y procesos –muchas veces mediante la ejecución de proyectos– para la generación de productos que son definidos previamente. Dichos productos se definen con el propósito de generar cambios o transformaciones definidas como resultados; los cuales, en función de sus dinámicas de agregación en el tiempo, pueden ser inmediatos, intermedios (definidos como efectos) o de largo plazo (usualmente definidos como impactos) (Wholey, Hatry, y Newcomer, 2015). 6

Gráfico 1. Esquema de una cadena de resultados aplicada a Instituciones de Educación Superior. Resultados Procesos/proyectos Productos Efectos Impactos Fuente: Instituto de Prospectiva (2016). En el marco de esta lógica, hay que mencionar que existen múltiples situaciones en las que los productos generan cambios al interior de la universidad (e.g. mejoramiento de la calidad de un proceso de la institución), en cuyo caso se consideran efectos internos (ver ilustración a continuación). En otros casos, se generan transformaciones externas a la institución, generando un fenómeno acumulativo que, en el largo plazo, permiten identificar impactos. En tal sentido, lo que se defina como impacto o efecto externo es a criterio propio de la institución, puesto que en el fondo hay una perspectiva temporal como base de su comprensión. Gráfico 2. Esquema de cadena de resultados con efectos internos, inmediatos e intermedios. Área de control Productos Efectos Área de influencia interna a la entregados a internos a externa a la institución beneficiarios institución la directos institución Entradas Actividades Productos Efectos Resultados Resultados Resultado de (recursos) internos inmediatos intermedios largo plazo (indirectos) Fuente: Elaboración propia (2021). 7

2.1 Tipos de evaluación según los alcances requeridos por el CNA En el contexto del proceso de autoevaluación en el marco del CNA, es preciso abordar los siguientes conceptos operativos, los cuales se disponen en la tabla siguiente, detallando la manera en que pueden usarse y algunos ejemplos. Tabla 1. Tipos de evaluación según los alcances requeridos por el CNA. Alcance de la Descripción Evaluación Recursos Se utiliza cuando se pretenden evaluar los conjuntos de elementos disponibles para llevar a cabo las actividades; p. ej., un aspecto Gestión relacionado con la: “apreciación por parte de profesores y estudiantes Organizacional acerca de las colecciones bibliográficas, documentales y de archivo, bases de datos y revistas suficientes para la capacidad de la Proceso institución, pertinentes y actualizadas para respaldar las labores académicas, formativas, de investigación, culturales y de extensión”. Producto Se utiliza para evaluar actividades que buscan dar solución a Efecto problemas puntuales de la organización que no necesariamente se enmarquen en un proceso formalizado; p. ej., un aspecto relacionado con la: “Evidencia del nivel y eficiencia de la comunicación bidireccional con sus grupos de interés”. La G.O. se refleja en decisiones, acciones de mejoramiento de la administración, coordinaciones, diseño de estrategias o planes, etc.; que evidencien el compromiso e interés de la organización por resolver un problema o mejorar el desempeño. Cabe reconocer que, en el tiempo, las actividades de gestión organizacional pueden eventualmente consolidarse y llegar a conformar procesos regularizados, documentados y controlados (como se describen en la categoría a continuación). Se utiliza cuando se pretende evaluar un procesamiento o conjunto de operaciones que se realizan para alcanzar un logro; y que se encuentran documentados y controlados, p. ej. Un aspecto relacionado con la: “evidencia del cumplimiento de las normas técnicas que garanticen la seguridad de las áreas académicas, administrativas, recreativas y deportivas”. Se utiliza cuando se pretende evaluar la existencia de productos específicos, por lo general, que pueden o no ser físicamente constatables y que son generados de forma inmediata al realizarse un proyecto o una actividad planeada concreta; p. ej. Un aspecto relacionado con la: “existencia del sitio web institucional, debidamente actualizado para mantener informada a la comunidad…”. Por lo general, los productos se describen mediante sustantivos y poseen indicadores que permiten apreciar sus características deseadas. Se utiliza cuando se pretende evaluar el resultado que se obtiene a partir de la utilización de uno o varios productos o de la realización de un proceso; p. ej. Un aspecto relacionado con la: “presentación de análisis sistemáticos y periódicos de los resultados de la aplicación de políticas de estímulos… que contribuyan a la cualificación del desempeño de funcionarios…”. 8

Alcance de la Descripción Evaluación Por lo general (aunque no exclusivamente), los efectos están Impacto asociados a cambios en capacidades, actitudes, prácticas y deben la consecuencia del uso de los productos entregados por la planificación. Atributos Pueden reflejarse en las personas o en las capacidades de la Gerenciales institución. Financiera Se utiliza cuando se pretende evaluar el resultado que se obtiene a partir de la generación de varios efectos o de la permanencia de un efecto en el largo plazo. Por lo general, en el modelo de acreditación en uso, cuando se pretende evaluar un impacto, este se menciona textualmente; p. ej. Un aspecto relacionado con la: “presentación del análisis sistemático y periódico del impacto de las actividades de proyección social e incorporación del mismo en los planes de mejoramiento institucional”. Se utiliza cuando se pretenden evaluar características o capacidades gerenciales; p. ej. Un aspecto relacionado con la: “apreciación por parte de los miembros de la comunidad universitaria acerca del liderazgo, integridad e idoneidad de los responsables de la dirección de la institución y sus dependencias”. Se utiliza cuando se pretenden evaluar aspectos financieros o monetarios; p. ej. Un aspecto relacionado con la: “presentación de información acerca de las fuentes de financiamiento, los recursos provenientes del Estado, otras fuentes externas y recursos propios”. Fuente: Solarte et al. (2021). 2.2 Tipos de evidencia identificados para los aspectos definidos por el CNA Por parte de los diversos tipos de evidencia que es posible identificar y recopilar según los requerimientos específicos de cada aspecto a evaluar, estos se presentan en la tabla siguiente detallando la manera en que pueden ser usados y algunos ejemplos. Tabla 2. Tipos de evidencia identificados para los aspectos definidos por el CNA. Tipo de Descripción evidencia Este tipo de evidencia hace referencia a las percepciones o Percepción apreciaciones de los actores frente a situaciones determinadas; p. ej. Un aspecto relacionado con la: “apreciación por parte de los miembros Documental de la comunidad académica, en relación con los mecanismos transparentes para la designación de los cargos de dirección…”. Este Resultado tipo de evidencias suelen recogerse a través de encuestas, entrevistas, Medible grupos focales, etc. Este tipo de evidencia hace referencia a documentos escritos, fotografías, listados, etc. p. ej. Un aspecto relacionado con la: “presentación de análisis sistemáticos y periódicos de los resultados derivados de la existencia de estamentos, políticas, estrategias, documentos que orientan la articulación y participación de la institución con diversos grupos de interés”. Este tipo de evidencia hace referencia a la demostración de la existencia de un resultado concreto, valorándolo mediante métricas cuantitativas. Su valoración se realiza por medio de indicadores o información 9

Tipo de Descripción evidencia susceptible de ser medida. P. ej. Un aspecto relacionado con la: Evidencia de “demostración del número de organizaciones de la sociedad en la la actividad región, el país y del extranjero con las que ha establecido relación…”. Este tipo de evidencia busca la verificación de la realización de tareas y realizada actividades específicas; p. ej. Un aspecto relacionado con la: “incorporación de los análisis de apreciaciones sistematizadas y Evidencia periódicas en planes de mejoramiento institucional”. Física e Este tipo de evidencia busca la verificación de elementos físicos, o bien, Intangible intangibles; p. ej., cuando se pretende evaluar la infraestructura de un edificio (física) o cuando se pretende evaluar la existencia de un Inversión software, página web, etc. (intangible). presupuestal Este tipo de evidencia se utiliza para comprobar la realización de actividades a través de registros de inversión presupuestal; p. ej. Un aspecto relacionado con la: “evidencia de políticas, recursos y presupuestos de inversión en equipos de laboratorio, sitios de práctica, bibliotecas, recursos didácticos y demás elementos para garantizar la calidad del proceso formativo…”. Fuente: Solarte et al. (2021). 3. Elementos para una metodología de planificación La ilustración a continuación permite reconocer tres grandes momentos de la autoevaluación, de los cuales solo el primero es objeto del presente documento: • Un momento de planificación (representada en el lado derecho de la siguiente ilustración); • Un momento de consecución y procesamiento de información; • Un momento final de elaboración de informes. El alcance de lo que aquí se presenta cubre las tres primeras fases del denominado momento de planificación de la ilustración 3 (es decir, la clasificación de aspectos según tipo de evaluación, el mapa conceptual, y las matrices de diseño evaluativo; mientras se excluye el diseño de instrumentos). 10

Gráfico 3. Momentos y fases de la metodología propuesta. Fuente: Solarte et al. (2021). 3.1 Clasificación de aspectos según tipo de evaluación Comprender los aspectos según el tipo de evaluación requerido es una primera aproximación al objeto de análisis y al alcance requerido de la autoevaluación; así como los tipos de evidencia que se requieren. Adicionalmente, en el caso de los tipos de evaluación, sirve para orientar la realización de los mapas conceptuales que facilitan su análisis. Para tales fines, la revisión de los aspectos del CNA puede realizarse a la luz de los tres criterios expuestos en la tabla siguiente. Tabla 3. Criterios de clasificación de aspectos en la “Matriz de clasificación”. Criterios Definición Consiste en la unidad básica de análisis del aspecto sobre la cual Objeto de se pretende evaluar. Coincide con componentes propios de la análisis universidad: objetos tales como instrumentos de planificación y seguimiento (planes, estrategias, políticas), sistemas de Tipo de información; así como personas: los miembros de la Comunidad evaluación Académica (profesores, estudiantes, personal administrativo). La Evidencia excepción a este lineamiento puede ser el egresado, que por definición ya no hace parte directa de la institución, pero es el objeto central de la acción. Consiste en la asignación de categorías que definen el alcance y foco evaluativo, abarcando los elementos de la tabla 1. Consiste en la forma en que se puede demostrar el cumplimiento de los requerimientos solicitados por cada aspecto, en función de los tipos propuestos en la tabla 2. Fuente: Solarte et al. (2021). A continuación, se ejemplifica la manera en que los tipos de evaluación y los tipos de evidencia pueden ser identificados en un aspecto, a partir de un análisis semántico. Asociados mediante colores, por ejemplo, la evaluación de la pertinencia (azul) corresponde a una evaluación de pertinencia / coherencia lógica (azul). 11

Gráfico 4. Ejemplo de los tipos de evaluación identificables en un aspecto. Fuente: Solarte et al. (2021). 3.2 Mapa conceptual Un mapa conceptual puede ser definido como un diagrama que ayuda a entender un tema específico al visualizar las relaciones entre las ideas y conceptos. El mapa conceptual es una herramienta para realizar el análisis de requerimientos contenidos en cada aspecto y avanzar en su comprensión. El uso de esta herramienta, permite al equipo de trabajo lo siguiente: • Desagregar el aspecto y determinar los requerimientos que pide el CNA. • Llegar a acuerdos en el equipo acerca de la forma como se va a interpretar el aspecto. • Simplificar enormemente la comprensión del aspecto, aislando los elementos con los cuales se va a trabajar. • Definir un mecanismo estable para uso y referencia para el trabajo futuro. • Asimilar de la misma forma los requerimientos y el alcance del aspecto, a todos los integrantes del equipo de trabajo. • Identificar el objeto central de análisis sobre el que nos debemos concentrar para dar respuesta al aspecto. • Identificar cuáles son las preguntas clave a las que se debe dar respuesta. • Identificar los tipos de evaluación que se van a realizar. • Identificar los tipos de evidencia. • Dimensionar el alcance real del trabajo y las limitaciones que se tendrán. • Determinar estrategias para cumplir los requerimientos. • Definir un punto de partida para iniciar con la fase 3, es decir, la construcción de la matriz de diseño evaluativo. La elaboración del mapa conceptual Producto de un aprendizaje colectivo a partir de la realización de algunos mapas conceptuales y la identificación de preguntas objetivo de evaluación, fue posible identificar patrones y características que sugieren la construcción de tipos de aspectos suficientemente representativos que guíen y agilicen el proceso de análisis. Dicha 12

construcción, si bien buscó representatividad, evitó que cualquier mínima variante pasara necesariamente a conformar en sí misma un nuevo tipo, ya que eso podría ser poco funcional y práctico a la hora de buscar seleccionar un modelo y proceder al análisis. La mayor utilidad de los tipos identificados es que sirven de referente para múltiples factores siempre que sean comparables en sus formas o bien en sus propósitos. Gráfico 5. Tipos de aspecto según su orientación y enfoque. Tipo I. Aspectos sobre la “apreciación de la Comunidad Académica” (C.A.) i. Aspecto orientado a la “Apreciación de la C.A. sobre una evaluación de pertinencia”. ii. Aspecto orientado a la “Apreciación de la C.A. sobre la existencia / aplicación de…”. iii. Aspecto orientado a la “Apreciación de la C.A. sobre la eficiencia”. Tipo II. Aspectos sobre el “análisis o evaluación de impacto” (correspondientes a efectos internos a la universidad) i. Aspecto orientado a la “Evaluación y análisis de impacto de la aplicación de normas”. ii. Aspecto orientado a la “Presentación de análisis / evaluación de impacto”. iii. Aspecto orientado a “Estudios de impacto de políticas”. Tipo III. Aspectos sobre la “evidencia de un proceso realizado con ciertos atributos” i. Aspecto orientado a la “Evidencia de la aplicación de un proceso con ciertos atributos”. Tipo IV. Aspectos sobre la “presentación de un análisis sistemático y periódico sobre la aplicación de un producto” i. Aspecto orientado a la “Presentación del análisis sistemático y periódico por la C.A. sobre aplicación de un producto”. Tipo V. Aspectos sobre la “Evidencia de la aplicación de un proceso (y su evaluación periódica)” i. Aspecto orientado a la “Evidencia de la aplicación de un proceso (y evaluación periódica)”. Tipo VI. Aspectos sobre la “Evidencia de atributos gerenciales” i. Aspecto orientado a la “Evidencia de la actuación según compromisos / acuerdos”. Fuente: Solarte et al. (2021). Como es de esperar, la complejidad del aspecto se refleja en su respectivo mapa conceptual. A continuación, se observa un ejemplo de un mapa que, por su sencillez, cuenta con una sola pregunta objeto de evaluación. 13

Gráfico 6. Ejemplo de un mapa conceptual con una pregunta objetivo de evaluación – Factor 3, característica 9, aspecto 3. Fuente: Solarte et al. (2021). Comparativamente, la ilustración siguiente presenta un ejemplo de un mapa más complejo que implica formular tres preguntas objeto de evaluación. Para realizar el mapa conceptual, es recomendable mapear inicialmente los componentes básicos del aspecto (objeto de análisis y complemento del objeto de análisis), para luego mapear los componentes adicionales, en términos del tipo de evaluación: atributos, procesos, productos, efectos, impactos, etc. Finalmente, se establecen las conexiones lógicas entre los componentes identificados (flechas y expresiones conectoras). Es importante tener en cuenta que para obtener una comprensión más cercana a la realidad de lo que dice el aspecto, es muy importante utilizar las palabras y frases textuales, especialmente, al momento de mapear los componentes básicos y adicionales. 14

Gráfico 7. Ejemplo de un mapa conceptual con tres preguntas objeto de evaluación – Factor 1, característica 2, aspecto 3. Fuente: Solarte et al. (2021). La formulación de “preguntas objeto de evaluación” o “preguntas clave” Las preguntas evaluativas dan dirección a la evaluación y al diseño evaluativo seleccionado, y constituyen el elemento crítico de cara al cual un grupo específico de interesados tomarán decisiones o proveerán información a un determinado público (Morras- Imas y Rist, 2009, p. 222). Dado que existen diversos referentes al momento de definir las preguntas (interesados, enfoques, marcos, teoría, consultores, estándares y lineamientos profesionales) (Fitzpatrick, Sanders, and Worthen (2004); citados en Morras-Imas y Rist, 2009, p. 222), es preciso definir que, en el marco de la Acreditación Institucional de Instituciones de Educación Superior, el referente es el conjunto de estándares, lineamientos y criterios definidos por el CNA como autoridad en la materia. Mediante análisis del aspecto y observación del mapa conceptual, se identifican aquellos elementos centrales sobre los que el aspecto pide dar respuesta, y que orientará la formulación de las “preguntas objeto de evaluación” o “preguntas clave”. Como puede reconocerse en la anterior tipología de aspectos, las preguntas clave frecuentemente giran en torno a cómo evidenciar la aplicación de criterios/atributos, cómo mostrar que se ha generado mejoramiento en la calidad de un proceso/documento, cuál es la apreciación de la comunidad académica sobre la eficiencia de un instrumento, etc. También, es preciso 15

tener en cuenta, como se muestra en las ilustraciones 4 y 5, que los mapas conceptuales pueden implicar, según sus grados de complejidad, la realización de 1, 2 y hasta 3 preguntas clave. Las preguntas objeto de evaluación no son preguntas operativas, como son aquellas centradas en la existencia de estudios, la frecuencia de un estudio, quién realiza el estudio, la sistematización de la información, la realización de análisis de información, etc. En ciertos casos, pueden plantearse preguntas de validación que indaguen por la existencia de un estudio, siempre que se consideren imprescindibles para trabajar el aspecto. Por ejemplo, en la ilustración 5, la “pregunta clave A” indaga si “se realizan estudios orientados a evaluar la pertinencia del PEI”; en este caso, se considera una pregunta imprescindible puesto que el aspecto indaga sobre la percepción de la comunidad académica en relación con dichos estudios, razón por la cual, de no existir estudios, el aspecto simplemente no podría desarrollarse si no se decide proceder a realizar al menos uno. La formulación de las preguntas clave debe ser sensible a si el aspecto pide dar cuenta de: (i) si se aplica un criterio, o más bien, de (ii) cómo se aplica el criterio, o (iii) la evaluación del “impacto” de la aplicación del criterio en un proceso interno2, o incluso, (iv) la apreciación de la comunidad académica sobre el impacto (visto como efecto interno) de la aplicación del criterio. De aquí, la importancia de buscar un referente de trabajo a partir de los tipos de aspecto del recuadro 2. Las preguntas clave formuladas deben revisarse y validarse en términos de su pertinencia y suficiencia, con respecto a si estas permiten dar respuesta integral a lo que se solicita en el aspecto, o si hay solicitudes frente al aspecto que se queden sin responder. 3.3 Matriz de diseño evaluativo La Matriz de diseño evaluativo es una herramienta que sirve para planificar la forma en la cual se dará respuesta a los diferentes aspectos de autoevaluación, teniendo como punto de partida las preguntas objeto de evaluación o preguntas clave identificadas. La tabla a continuación describe los componentes a desarrollar. 2 Lo que conduce a entender que el término “impacto” está realmente siendo usado en el lineamiento del CNA como sinónimo de “incidencia en”, “consecuencia sobre”, “repercusión sobre”, y no como impacto en el entorno de la universidad, como sucede corrientemente en las actividades de proyección social, por ejemplo). 16

Tabla 4. Estructura y ejemplos de conte Insertar aquí la pregunta objeto Tipo de Sub- Evaluación preguntas Técnica3 Restricciones Ejemplos: • Producto específicas • Efecto Preguntas Procedimiento Limitaciones • Impacto operativas escogido para propias de la • Recursos para dar dar respuesta institución para • Proceso respuesta a la responder al • Atributos pregunta clave a cada sub- requerimiento Gerenciales de evaluación. pregunta de las sub- • Financiera Por ejemplo, si específica, • Gestión esta indaga según preguntas Organizacional específicas. • Pertinencia / por la conveniencia Ejemplos: Coherencia apreciación práctica. • Información Ejemplos: no disponible Lógica sobre un • Información estudio, las • Verificación incompleta sub-preguntas de existencia • Información pueden • Análisis no indagar sobre documental sistematizada, la existencia • Análisis de etc. de dicho proceso estudio, su • Técnica de frecuencia y autoría, su medición sistematización • Encuesta y su análisis. • Grupo focal • Entrevista Fuente: Solarte 3 El término “técnica” se asume en un sentido amplio, como “conjunto de En términos estrictos, la técnica da respuesta al “método” investigativo se sugiere concentrarse en la selección de las técnicas para la búsqueda de

enido de la matriz de diseño evaluativo. de evaluación (pregunta clave) Tipo de Fuente de la Actores Lugar físico o involucrados virtual de Evidencias Evidencia búsqueda Actores que Tipos de pueden dar Lugar donde cuenta de la reposa la pruebas que evidencia, evidencia. incluso en Ejemplo: se aportarán Relacionado casos en que con el origen la información • Dependencia, para se encuentra • Archivo, de la dispersa en demostrar el información; • Sistema de a cumplimiento múltiples información, donde se documentos y • Software, de cada sub- refleja la evidencia. fuentes de • Repositorios pregunta Ejemplo: diverso tipo. de datos, etc. • Informes, específica. Estudios, Ejemplos: Actas, Normas, • Percepción Indicadores, Análisis • Documental técnicos, material • Resultado audiovisual, medible etc. • Evidencia de actividad realizada , • Resultado medible • Inversión Presupuestal • Etc… e et al. (2021). procedimientos y recursos de que se sirve una ciencia o un arte” (RAE). eleccionado. En el presente caso, el pragmatismo que requiere el trabajo, evidencia en el terreno. 17

A continuación, se presenta el ejemplo de Matriz de Diseño Ev anteriormente en la ilustración 5, el cual muestra el diligenciam detallarse. Tabla 5. Ejemplo de una m Fuente: Solarte

valuativo correspondiente a la pregunta B del caso presentado miento de la estructura presentada en la tabla 4, que acaba de matriz de diseño evaluativo. e et al. (2021). 18

El diseño de indicadores Es preciso reconocer que algunos aspectos requieren desarrollar indicadores en tanto medio necesario para dar cuenta de sus requerimientos; mientras que en otros casos, el solo aporte de evidencia es suficiente para demostrar su cumplimiento, no será necesario desarrollar indicadores. Un indicador se define como una variable o factor cuantitativo o cualitativo que proporciona un medio sencillo y fiable para medir logros, reflejar los cambios vinculados con una intervención o ayudar a evaluar los resultados (OCDE, 2002, p. 25), permitiendo evaluar el comportamiento de las variables y comprender el objeto de análisis (Quintero, 1996, p. 142). La ilustración 6 muestra el despliegue metodológico de los indicadores en el marco de los componentes de autoevaluación del CNA, como son los factores, de los cuales se despliegan las características, seguido de los aspectos y de los que es posible desprender a su vez, indicadores. Gráfico 8. Esquema del despliegue metodológico de indicadores requeridos. Autoevaluación Factor n Característica Aspecto Indicador 1 global Aspecto Indicador 2 Característica Aspecto Característica Aspecto Indicador 3 Fuente: Solarte et al. (2021). Los indicadores pueden clasificarse según los tipos de análisis a realizar. En la ilustración 7, se categorizan en términos de análisis de eficiencia y de análisis de eficacia. En el análisis de eficiencia se valora la capacidad de desarrollar las acciones establecidas en los planes de trabajo, en relación con la utilización de los recursos que establezca la institución. Mientras que el análisis de eficacia, tiene que ver con valorar los cambios en los objetivos propuestos en los tiempos planificados. En la ilustración 7 se especifican las características principales. 19

Gráfico 9. Tipo de análisis e indicadores. Análisis de Eficacia Análisis de Eficiencia Evalúa la productividad de los Evalúa lo alcanzado frente a lo planeado. insumos utilizados en la generación Por ejemplo, en el caso de la Universidad de un objetivo dado, en el marco de la del valle: medición de tiempos y costos. - En el Plan Programático hay Según el propósito de la evaluación, indicadores de resultado con metas pueden considerarse: evaluadas cada semestre. -Indicadores de recursos -Indicadores de actividad - En los proyectos de inversión hay - Indicadores de tiempo indicadores de producto con metas cuya -Indicadores de presupuesto eficacia se evalúa cada trimestre. Según el propósito de la evaluación, pueden considerarse: -Indicadores de producto -Indicadores de efectos -Indicadores de impacto Fuente: Solarte et al. (2021), DNP (2018). El éxito de diseñar un buen indicador depende en gran medida del dominio que se tenga sobre el tema específico a medir. Por ello, es necesario contar con la participación de personas expertas en el tema del aspecto, a fin de no formular indicadores deficientes o que no midan lo que se debe medir. Se recomienda mente abierta y flexibilidad en la discusión, y no detener el ejercicio con el primer candidato a indicador identificado. Disponer del Factor, la Característica y el Aspecto, ayuda a centrarse en la búsqueda del indicador. Para su diseño, se toma como punto de referencia lo que el aspecto está solicitando, ya sea una apreciación, una evaluación o una evidencia de estudios; así como las preguntas objetivo de evaluación o preguntas clave formuladas en los mapas conceptuales. De cara a esto, se identifican potencial(es) indicador(es) relacionados con el tema central y sus complementos, analizando sus posibilidades, debilidades y fortalezas de ser un(os) auténtico(s) indicador(es) que permita(n) captar y medir el aspecto. Un punto a valorar y especificar es la población sobre la que se hará la definición del indicador y se recolectará información. El recuadro 3 muestra un ejemplo de preguntas clave de un aspecto del Factor 4 (previamente identificadas con base en el respectivo mapa conceptual). A partir de estas, se formulan interrogantes sobre quiénes constituyen “la comunidad académica”. La definición de la población está supeditada al alcance del área de trabajo y de lo que requiere el aspecto. Por otro lado, y dado que la pregunta B indaga por la incorporación periódica de los análisis de las apreciaciones de la comunidad académica, esta no requiere el diseño de indicadores, sino evidenciar esa incorporación. Solo la pregunta A requiere el diseño de indicadores. 20

Gráfico 10. Ejemplo de identificación pregunta clave y la población que menciona el aspecto. Ejemplo F4.C13.A1 – El Factor 4, característica 13, aspecto 1 precisa lo siguiente: Apreciación por parte de los miembros de la comunidad académica en relación con la definición, construcción y seguimiento de indicadores de gestión coherentes con las proyecciones institucionales, expresadas en sus planes de desarrollo y de mejora. Incorporación de los análisis de apreciaciones sistematizadas y periódicas en los planes de mejoramiento institucional. Fuente: Solarte et al. (2021). La identificación de indicadores y variables La definición de un indicador requiere de la claridad sobre qué es lo que se quiere medir. En el ejemplo del recuadro 3, se trata de la percepción de la comunidad académica sobre la coherencia entre la definición, construcción y seguimiento a los indicadores de gestión plasmadas en el Plan de Desarrollo, con las proyecciones institucionales de la universidad. Como se identifica en la tabla 6 a continuación, la población que será consultada para dar respuesta al aspecto son los docentes, empleados, estudiantes y directivos. Sin embargo, estos obedecen a unas características muy especiales y es que deben tener activa participación en órganos de planeación, por ejemplo, como representantes de su estamento. Si no fuere el caso, consultar personas que no tengan real conocimiento de la planeación, inevitablemente generará sesgos e imprecisiones en la información. La claridad en la definición de la población objeto de consulta es determinante. La identificación de variables permite precisar y delimitar los datos a utilizar para la medición del indicador (Ministerio de Vivienda, 2020, p. 3). Siguiendo con el ejemplo, las variables serían, “la definición”, “la construcción” y “el seguimiento de indicadores” que pueden reposar, por ejemplo, en un plan programático de la inversión o matrices de seguimiento de indicadores de gestión. Por su parte, la unidad de medida del indicador puede ser porcentaje, número o valores en pesos. 21

Tabla 6. Ejemplo de construcción de un indicador (parte 1). ¿Cuál es la apreciación de estudiantes, docentes, empleados y directivos sobre la definición, construcción y seguimiento de indicadores de gestión y su coherencia con las proyecciones institucionales? Paso 2.3 Aspecto Paso 2.1. ¿Qué se Paso 2.2 ¿Qué variable Unidad de quiere medir? se utilizará? medida (%, número) V1. Docentes líderes con percepción favorable o desfavorable sobre la “Apreciación por coherencia de los indicadores del Plan parte de los Programático con las miembros de la proyecciones comunidad Percepción de institucionales. académica en miembros de la relación con la C.A. líderes, que V2. Empleados líderes con definición, participan percepción favorable o construcción y activamente en desfavorable sobre la seguimiento de órganos coherencia de los indicadores de universitarios; de indicadores del Plan gestión coherentes los siguientes Programático con las Defina cuál es con las estamentos: proyecciones la unidad de proyecciones a) Docentes institucionales. medida del institucionales, b) Empleados indicador. expresadas en sus c) Estudiantes. V3. Estudiantes líderes planes de d) Directivos con percepción favorable o La unidad de desarrollo y de desfavorable sobre la medida es %. mejora. Sobre la coherencia coherencia de los Incorporación de de la definición, indicadores del Plan los análisis de construcción y Programático con las apreciaciones seguimiento de proyecciones sistematizadas y indicadores de institucionales. periódicas en los gestión con las planes de proyecciones V4. Directivos con mejoramiento institucionales. percepción favorable o institucional” desfavorable sobre la (F4.C13.A1). coherencia de los indicadores del Plan Programático con las proyecciones institucionales. Fuente: Solarte et al. (2021) La tabla anterior continúa a continuación, con la sección de formulación del indicador, sus fórmulas y técnicas para medir las variables. 22

Tabla 7. Ejemplo de construcción de un indicador (parte 2). Población Indicador Construcción de la fórmula del Describa la indicador Técnica Docentes % de docentes de líderes planta líderes que V1= # total de docentes líderes Encuesta (en valoran en una escala encuestados. términos de Empleados la coherencia del V2= # de docentes líderes eficiencia y líderes Plan Programático encuestados que responden como pertinencia, con las proyecciones aceptable en el rango de escala de se considera institucionales 6 a 10. que lo más (Escala de 1 a 10). apropiado es Fórmula del indicador= V1/V2 * conformar % de empleados 100. grupos de líderes que valoran en V1= # total de empleados líderes líderes una escala la encuestados. conocedores coherencia del Plan V2= # de empleados líderes de la Programático con las encuestados que responden como planeación proyecciones aceptable en el rango de escala de de la institucionales 6 a 10 puntos. universidad (Escala de 1 a 10). para medir Fórmula del indicador= V1/V2 * estos 100. indicadores). Estudiantes % de estudiantes V1= # total de estudiantes líderes -Se líderes líderes que valoran en encuestados. formularán una escala la V2= # de estudiantes líderes Escalas de Directivos coherencia del Plan encuestados que responden como percepción: Programático con las aceptable en el rango de escala de desde proyecciones 6 a 10 puntos. Muy institucionales favorable (Escala de 1 a 10). Fórmula del indicador= V1/V2 * hasta Muy 100. desfavorable. % de miembros del Consejo Superior que V1= # total miembros del C.S. Encuesta. valoran en una escala V2= # miembros del C.S. que la coherencia del Plan responden como aceptable en el Encuesta. Programático con las rango de escala de 6 a 10 puntos. proyecciones institucionales (escala Fórmula del indicador= V1/V2 * de 1 a 10). 100. % de miembros del V1= # total miembros del Consejo Consejo Académico Acad. que valoran en una V2= # miembros del Consejo escala la coherencia Acad. que responden como del Plan Programático aceptable en el rango de escala de con las proyecciones 6 a 10 puntos. institucionales (1 a 10). Fórmula del indicador= V1/V2 * 100. 23

Población Indicador Construcción de la fórmula del Describa la indicador Técnica # de Consejos de Revisión Documental. Facultad que han # Consejos de Facultad con analizado su direccionamiento estratégico de planeación facultad aprobado o en proceso. estratégica. Fuente: Solarte et al. (2021). Los indicadores construidos deben ser validados, para lo cual pueden utilizarse criterios como los expuestos en la tabla siguiente. Tabla 8. Criterios de validez de los indicadores. Validez Relevante Mensura Confiable Preciso Oportuno -ble ¿El ¿El indicador ¿El ¿Al medir el ¿Operativa- ¿Aportaría indicador es realmente indicador indicador en la mide lo que importante es la forma mente el información se debe frente al medible - planteada en el medir? aspecto verificabl es confiable indicador es momento abordado? e? esta adecuado? medición? claro? Sí, mide la Sí, aborda Sí, a Sí, Sí, las Sí, se relación los través de correspond variables, puede entre la componente una e a una escalas y medir en el misión en s de la encuesta muestra formulas son momento sus tres misión en la . estadística precisas, que se áreas población representati comprensible estime misionales estratégica. va de la s. convenient y la población. e (2021, percepción 2022) y actual de la tener los comunidad resultados. universitari a Fuente: Solarte et al. (2021). Una vez validados los indicadores se incorporan en la Matriz de Diseño Evaluativo. De esta manera, se da por concluida esta fase. 4. Conclusiones La redefinición de los lineamientos para la acreditación en alta calidad de las IES en Colombia en reconocimiento de la diversidad institucional y académica del país (CNA, 2021), implica así mismo grandes retos para las IES, especialmente al ampliar su foco autoevaluativo desde la clásica mirada a los procesos e indicadores hacia el impacto de las IES en el entorno. 24

Más allá de toda implicación conceptual, que incluye la redefinición del rol mismo de las IES en la sociedad, esta ha implicado un aparataje metodológico coherente y suficientemente flexible, pues no toda actividad tiene efectos evaluables en el sentido estricto de lo que es la evaluación o análisis del impacto. Una primera y necesaria distinción es que las IES realizan actividades que generan efectos internos, como también actividades y proyectos que generan efectos externos sobre poblaciones o entidades definidas. El documento, por su parte, permitió exponer un marco metodológico que la Universidad del Valle ha implementado en su fase de aproximación a los 204 aspectos marco del CNA, que le permitió a múltiples equipos y decenas de docentes y colaboradores, proceder de manera sistemática, coordinada y ordenada a la planificación de un trabajo en esencia colaborativo. Una labor de especial atención ha consistido en la interpretación minuciosa de cada aspecto en cuanto a reconocer los diversos sentidos con los que se utiliza la palabra impacto por parte del CNA, puesto que las implicaciones metodológicas son variadas entre si se usa como sinónimo de incidencia o repercusión sobre procesos internos (como es el caso de diversos factores en los que no implica evaluación de impacto), o como impacto en el entorno de la universidad (en el factor 7 especialmente, pero también en tres aspectos del factor 6 (C22, aspectos 1, 2, 14) y uno en el factor 12 (C36, aspecto 3), que remiten directamente a analizar el impacto de la IES en el entorno. Frente a la metodología presentada, resalta su utilidad y sencillez para proceder en la comprensión de los aspectos, y especialmente para planificar el trabajo. Se estima que, tras el trabajo de planificación, cualquier IES podrá elaborar los instrumentos de recolección de información según las técnicas que defina en función de cada aspecto, para proceder a la consecución y al procesamiento de la información pertinente con base en la cual podrá proceder a responder a los requerimientos de cada aspecto. En tal sentido, podrían presentarse a futuro eventuales contribuciones con nuevas reflexiones sobre dichas fases, con el fin de orientar los esfuerzos de otras instituciones. 25

5. Referencias Consejo Nacional de Acreditación (2021). Lineamientos y aspectos por evaluar para la acreditación en alta calidad de las instituciones de educación superior. CNA. https://www.cna.gov.co/1779/articles-404751_norma.pdf Departamento Nacional de Planeación (2018). Guía para la Construcción y Análisis de Indicadores. Bogotá: DNP. Instituto de Prospectiva, Innovación y Gestión del Conocimiento (2017). Informe final del mapeo de contribuciones en cuatro facultades de la Universidad del Valle y de sus centros, institutos y observatorios. Cali: Universidad del Valle. Instituto de Prospectiva, Innovación y Gestión del Conocimiento (2016). Informe final del proyecto “Diseño e implementación de un Sistema de Planificación y Evaluación de impacto de la Universidad del Valle”. Cali: Universidad del Valle. Ministerio de Vivienda Republica de Colombia. (2020). Instructivo Hoja de Vida del Indicador. https://www.minvivienda.gov.co/sites/default/files/procesos/det-i-01- instructivo-hoja-de-vida-del-indicador-6.0.pdf Morra-Imas, L. y Rist, R. (2009). Developing Evaluation Questions and Starting the Design Matrix. En: The road to results. Designing and conducting effective development evaluations. Washington DC: The World Bank. OCDE (2002). Glosario de los principales términos sobre evaluación y gestión basada en resultados. https://www.oecd.org/dac/evaluation/2754804.pdf Quintero, V. (1996). Evaluación de proyectos sociales, construcción de indicadores. (2a ed.). Cali: Fundación para la Educación Superior. Solarte, L. (2014). Metodología para la evaluación de impacto del Plan Estratégico de Desarrollo de la Universidad del Valle. Cali. Solarte, L., Franco, A., Sánchez, L.F., Muñoz, D., Ruiz, J. J. (2021). Documentos de trabajo de la metodología con enfoque de resultados para la evaluación de los aspectos para la acreditación en alta calidad de las instituciones de educación superior por el Consejo Nacional de Acreditación. Cali: Universidad del Valle. Solarte, L., Sánchez, L.F. y Caicedo, S. (s.f.). Elementos para la evaluación de impacto en Instituciones de Educación Superior (working paper). Wholey, J. Hatry, H. y Newcomer, K. (2015). Handbook of Practical Program Evaluation. (4th ed.). New Jersey: Jossey-Bass. 26

0