HTAi 2022 LATAM Program

2022 Latin 2022 Foro de America Policy Políticas en Forum Evaluación de Tecnología Sanitaria en Latinoamérica Real world evidence: Evidencia del Mundo Real Experiences and challenges (Real World Evidence): for decision making in Latin Experiencias y desafíos para America la toma de decisiones en América Latina Royal Tulip Hotel Royal Tulip Hotel Brasilia, Brazil Brasilia, Brazil August 14-16, 2022 14-16 de agosto 2022



Dear colleagues, Welcome | Bienvenida Welcome to HTAi’s VII Latin American Health Technology Assessment Policy Forum! As in previous years, our Forum continues to offer a space for neutral and independent debate on topics of common interest for senior professionals from public and private institutions in connection with strategic decision-making on health technology matters. The last few years have been challenging for everyone due to the global pandemic, but we have taken great pains to create a forum for meeting and discussion of the highest level and content. So much so that, this year, in which we can meet face-to-face again, we are welcoming guests from public institutions from 10 countries in the region, as well as representatives of 9 companies in the field of health technology. We are honored to have as our guests a representative of the Pan American Health Organization -PAHO, two international speakers and, as has been the case in recent years, two patient representatives, thus showing once again our commitment to the end users of health technology innovations. The theme chosen for this occasion is \"Real World Evidence (RWE): Experiences and challenges for decision- making in Latin America\", and it has been selected based on the preferences and needs expressed by participants in previous years. We are aware that this topic is quite broad and has multiple potential uses in the field of health technology assessment. That is why we think it is so important to meet and discuss and share our visions regarding the main uses of RWE in HTA systems in our region, its challenges, and how we can promote its development based not only on international experiences but on those of our members as well. Finally, we take this opportunity to formally thank all the speakers for their presentations and excellent predisposition, as well as the members of the Organizing Committee of this Forum for their contribution and guidance in the preparation of the basic document, as well as in the design of the agenda, among other things. We hope you will find this event as stimulating and rewarding as the previous ones have been. My esteemed participants, welcome to this VII Forum and thank you very much for your interest and continued commitment to HTAi! Dr. Manuel A. Espinoza, MD MSc PhD President HTAi Latin American Health Technology Assessment Policy Forum 1

Welcome | Bienvenida Apreciados colegas, Bienvenidos al VII Foro Latinoamericano de Políticas de Evaluación de Tecnología Sanitaria (ETESA) de HTAi! Como en años anteriores, nuestro Foro continúa ofreciendo un espacio de debate neutral e independiente sobre temas de interés común para profesionales senior de instituciones públicas y privadas en relación con la toma de decisiones estratégicas relacionadas a las tecnologías médicas. Los últimos años han sido desafiantes para todos debido a la pandemia mundial, pero hemos hecho el mayor esfuerzo por desarrollar espacios de encuentro y discusión del más alto nivel y contenido; es así que este año, en el que retomamos la presencialidad, contaremos con la presencia de invitados de instituciones públicas de 10 países de la región y también con representantes de 9 empresas del área de tecnologías en salud. Estamos complacidos de contar con la presencia de un representante de la Organización Panamericana de la Salud- PAHO, dos oradores internacionales y, tal como ha sucedido en los últimos años, la participación de dos representantes de pacientes, mostrando así una vez más nuestro compromiso con los usuarios finales de las innovaciones tecnológicas en salud. El tema elegido en esta ocasión, “Real World Evidence (RWE): Experiencias y desafíos para la toma de decisiones en América Latina”, el cual ha sido seleccionado a partir de las preferencias y necesidades manifestadas por nuestros participantes en años anteriores. Estamos conscientes que el tema es bastante amplio y con múltiples potenciales usos en el quehacer de la evaluación de tecnologías sanitarias. Por esta razón es que consideramos tan relevante la invitación a discutir y compartir visiones respecto de cuáles son los principales usos de RWE en los sistemas de ETESA de nuestra región, sus desafíos y cómo podemos favorecer su desarrollo a partir de las experiencias internacionales y de nuestros miembros. Por último, aprovechamos esta ocasión para agradecer formalmente a todos los oradores por sus presentaciones y excelente predisposición como así también a los miembros del Comité Organizador de este Foro por sus contribuciones y direccionamiento en la ejecución del documento de base, así como en el diseño de la agenda, entre otros. Deseamos que encuentren este evento tan estimulante y gratificante como han sido los anteriores. Bienvenidos apreciados participantes de este VII Foro y muchas gracias por su interés y compromiso continuo con HTAi! Dr. Manuel A. Espinoza, MD MSc PhD Presidente Foro Latinoamericano de Políticas de Evaluación de Tecnología Sanitaria de HTAi   2

COVID-19 Policy Welcome | Bienvenida HTAi is committed to providing attendees at all Society events with the best possible health practices during the COVID-19 pandemic. As a result, HTAi will ensure that basic steps are taken to reduce the risk to event attendees from this communicable disease. The COVID-19 pandemic is continually changing as are public health guidelines. HTAi will consider the possibility of additional restrictions and be prepared to amend this policy accordingly. HTAi will ensure that all attendees, including speakers, are aware of any newly required or recommended public health actions/ measures in effect at the location of their event. HTAi supports vaccination as protection against the spread of COVID. All participants at our events are therefore expected to comply with the rules regarding vaccination and testing (and additional measures as and if required) in place at the location of HTAi events. All in-person event attendees shall provide proof of full vaccination (in accordance with the national regulations in the host country) during the online registration process and onsite at the event. All event attendees are required to monitor their health prior to attendance and are asked NOT to attend the event if they are experiencing COVID-19 symptoms and/or are feeling unwell. All event attendees are required to monitor their health prior to attendance and are asked NOT to attend the event if they are experiencing COVID-19 symptoms and/or are feeling unwell. Any individual who has or is suspected of having COVID-19 is required to inform the meeting organizer. Should HTAi become aware of the situation, it shall inform the event attendees. Timely reporting can help minimize the spread of COVID-19. HTAi will make every effort to protect the privacy of the individual(s). HTAi will take no responsibility and will not reimburse attendees for any COVID-19 test (rapid, PCR or antigen) associated with attendee travel and event registration fees to an HTAi event, any insurance purchase, any expenses incurred as a result of mandatory quarantine or isolation. The individuals who do not comply with this Policy will be asked to leave or not to enter the event space. COVID-19 TESTING OPTIONS FOR TRAVELLERS Cr Diagnostic - Brasília Unit SGAS 915 Sul Centro Clinico Advance 2nd rooms 206/208 - Asa Sul, Brasília PCR test base cost is $82 CDN results between 12 – 24 hours Booking is available through their website: https://furtherpass.com/clinic/cr-diagnostic-brasilia-unit GRUPO CR DIAGNÓSTICOS [email protected] or (11)2373-3392 Long Life https://clinicalonglife.com.br/ Block 02 - Set A - Store 5 - Paranoá - Brasília/DF - CEP 71570-201 (61) 3049 4448 [email protected] 3

Welcome | Bienvenida Política COVID-19 HTAi se compromete a brindar a los asistentes a todos los eventos de la Sociedad las mejores prácticas de salud posibles durante la pandemia de COVID-19. Como resultado, HTAi se asegurará de que se tomen las medidas básicas para reducir el riesgo de esta enfermedad transmisible para los asistentes al evento. La pandemia de COVID-19 cambia continuamente, al igual que las pautas de salud pública. HTAi considerará la posibilidad de restricciones adicionales y estará preparado para modificar esta política en consecuencia. HTAi se asegurará de que todos los asistentes, incluidos los oradores, estén al tanto de cualquier acción/ medida de salud pública recién requerida o recomendada que esté vigente en el lugar de su evento. HTAi apoya la vacunación como protección contra la propagación de COVID. Por lo tanto, se espera que todos los participantes en nuestros eventos cumplan con las reglas relacionadas con la vacunación y las pruebas (y las medidas adicionales que sean necesarias) vigentes en el lugar de los eventos HTAi. Todos los asistentes al evento en persona deberán proporcionar prueba de vacunación completa (de acuerdo con las regulaciones nacionales en el país anfitrión) durante el proceso de registro en línea y en el lugar del evento. Se requiere que todos los asistentes al evento controlen su salud antes de asistir y se les pide que NO asistan al evento si experimentan síntomas de COVID-19 y/o no se sienten bien. Cualquier persona que tenga o se sospeche que tenga COVID-19 debe informar al organizador de la reunión. En caso de que HTAi tenga conocimiento de la situación, informará a los asistentes al evento. La notificación oportuna puede ayudar a minimizar la propagación de COVID-19. HTAi hará todo lo posible para proteger la privacidad de las personas. HTAi no asumirá ninguna responsabilidad y no reembolsará a los asistentes ninguna prueba de COVID-19 (rápida, PCR o antígeno) asociada con el viaje de los asistentes y las tarifas de inscripción a un evento de HTAi, ninguna compra de seguro, ningún gasto incurrido como resultado de la cuarentena obligatoria o aislamiento. A las personas que no cumplan con esta Política se les solicitará que abandonen o no ingresen al espacio del evento. OPCIONES DE PRUEBA DE COVID-19 PARA VIAJEROS Diagnóstico Cr - Unidad de Brasilia SGAS 915 Sul Centro Clínico Advance 2ª salas 206/208 - Asa Sul, Brasilia El costo base de la prueba de PCR es de $ 82 CDN resultados entre 12 y 24 horas La reserva está disponible a través de su sitio web: https://furtherpass.com/clinic/cr-diagnostic-brasilia-unit GRUPO CR DIAGNÓSTICOS [email protected] o (11)2373-3392 Larga vida https://clinicalonglife.com.br/ Bloque 02 - Conjunto A - Tienda 5 - Paranoá - Brasilia/DF - CEP 71570-201 (61) 3049 4448 [email protected] 4

Lanyard Colour Leyenda del color Welcome | Bienvenida Legend del cordón To gauge attendee comfort levels with physical Para medir los niveles de comodidad de los proximity and contact, we will be providing asistentes con la proximidad física y el contacto coloured lanyards at the registration desk on-site at físico, proporcionaremos cordones de colores en el the Forum. mostrador de registro en el sitio del Foro. Red = No physical contact Rojo = Sin contacto físico Yellow = Still cautious (elbow bump, fist bump, Amarillo = todavía cauteloso (choque de codo, etc.) golpe de puño, etc.) Green = Handshakes, high fives, and hugs Verde = apretones de manos, chocar los cinco y abrazos Sharing Compartir Information información HTAi would like to encourage Forum members to HTAi desea alentar a los miembros del Foro a share their thoughts and experiences on social compartir sus pensamientos y experiencias en sus media. However, please keep in mind the HTAi Latin redes sociales. Sin embargo, por favor tenga en America Policy Forum is held under the Chatham cuenta que el Foro de Políticas de América Latina House Rule so neither the identity nor affiliation de HTAi se lleva a cabo bajo la regla de Chatham of the speaker(s), nor that of any other participant, House , por lo que ni la identidad ni la afiliación del may be revealed. orador (es), ni la de ningún otro participante, podrá ser revelada. Official hashtag: #2022LATAM Hashtag oficial: #2022LATAM Social media handles: Manejo de redes sociales: • Twitter: @HTAiOrg • LinkedIn: Health Technology Assessment • Twitter: @HTAiOrg • LinkedIn: Evaluación Internacional de International (HTAi) • Facebook: @HTAiOrg Tecnologías de la Salud (HTAi) • Facebook: @HTAiOrg 5

Welcome | Bienvenida Networking Recepción de Reception Networking The Old Barr El Viejo Barr Located on the ground floor of the Royal Tulip Ubicado en la planta baja del Royal Tulip Time: 18:30 onwards Hora: 18:30 en adelante Food and Beverages to be provided Se proporcionarán alimentos y bebidas 6

Social Dinner Cena Social Welcome | Bienvenida Conjunto 36, Parte C, 301, Conjunto 36, Parte C, 301, St. de Clubes Esportivos Sul Trecho 2 Ícone Parque St. de Clubes Esportivos Sul Trecho 2 Ícone Parque - Asa Sul, - Asa Sul, Brasília - DF, 70200-002, Brazil Brasilia - DF, 70200-002, Brasil Time: 19:30 - 22:30 Hora: 19:30 - 22:30 We have booked a private coach from the Royal Hemos reservado un autobús privado desde el Tulip to Coco Bambu, we ask that you join us in the Royal Tulip hasta Coco Bambu, le pedimos que se hotel lobby at 19:30. Please note the bus will leave una a nosotros en el vestíbulo del hotel a las 19:30. the venue at 19:45. Tenga en cuenta que el autobús saldrá del lugar a las 19:45. https://goo.gl/maps/zfMQcqjLkfJ4tEb97 https://goo.gl/maps/zfMQcqjLkfJ4tEb97 • • 7

Welcome | Bienvenida Meeting Hotel Hotel de Reuniones Hotel Royal Tulip Brasilia Alvorada Hotel Royal Tulip Brasília Alvorada SHTN - TRECHO 01 CONJ 1B - BLOCOS C SHTN - TRECHO 01 CONJ 1B - BLOQUES C 70800-200 Brasilia, Brazil 70800-200 Brasília, Brasil Phone +55 61 34247000 Teléfono +55 61 34247000 Email: [email protected] Correo electrónico: rtbsba.reservas@goldentulip. Website: https://royal-tulip-brasilia-alvorada. com.br goldentulip.com/en-us/ Sitio web: https://royal-tulip-brasilia-alvorada. goldentulip.com/en-us/ The Royal Tulip Brasilia Alvorada hotel is certainly one of the most imposing hotels in Brasilia. With its El hotel Royal Tulip Brasilia Alvorada es sin duda architecture signed by Ruy Ohtake, it is located on uno de los hoteles más imponentes de Brasilia. the shores of Lake Paranoá, next to the Alvorada Con su arquitectura firmada por Ruy Ohtake, está Palace and less than 10 minutes away from the ubicado a orillas del lago Paranoá, junto al Palacio commercial center of Brasilia and Esplanada dos de la Alvorada y a menos de 10 minutos del centro Ministérios and 25 minutes away from the airport. comercial de Brasilia y Esplanada dos Ministérios y a 25 minutos del aeropuerto. Check-in is available from 14:00 on your day of arrival to request an early check-in, please El check-in está disponible a partir de las 14:00 del contact the hotel. Check-out is 12:00 on the day of día de su llegada. Para solicitar un early check-in, departure. póngase en contacto con el hotel. El check-out es a las 12:00 del día de salida. 8

Agenda Agenda VII Latin American Health Technology Assessment Policy Forum - Latam Policy Forum - 15-16 August 2022, Brasilia \"Real World Evidence: Experiences and challenges for decision-making in Latin America\" Networking Activities: Sunday, August 14 - Welcome Reception Monday, August 15 - Social Dinner Wednesday, August 17 – CONITEC \"Appraisal\" DELIBERATION COMMITTEE Sunday August 14 , 2022 (GMT-3) Networking Activity The Old Barr 18:00 to 20:00 Welcome Reception (2 hs.) Monday, August 15, 2022 (GMT-3) 8:30 to 9:00 Registration Please have your passport # avail if you 9:00 to 9:30 (30 min) plan on attending the CONITEC tour. 9:30 to 11:00 Welcome ceremony and presentations Dr. Manuel Antonio Espinoza, President (30 min) of HTAi's Latin American Health Technology Assessment Policy Forum, Chile Ministry of Health of Brazil/ CONITEC Wija Oortwijn, Radboud University Medical Centre, Department for Health Evidence, HTAi President, The Netherlands Real World Evidence: Experiences and challenges for decision-making in Latin America (SGM Chair Session) (1 hour, 30 min) RWE in the context of health technology Wija Oortwijn, Radboud University assessment processes (20 min) Medical Centre, Department for Health Evidence, HTAi President, The Netherlands RWE from the perspective of a Health Pall Jonsson, Director of the Data & Technology Assessment Agency: The Analysis Programme, National Institute experience of NICE, UK (20 min) for Health and Care Excellence-NICE, United Kingdom Q&A All attendees (35 min) 9

Agenda Summary of the base document Sebastián García Martí, Coordinator (15 min) of Health Technology Assessment 11:00 to 11:30 and Health Economics, IECS, Scientific 11:30 to 12:55 Coffee break (30 min) Secretariat, Argentina Local state of Real World Evidence Networking 12:55 to 13:10 (1 hour 25 min) Moderator: Alexandre Lemgruber, 13:10 to 15:00 Regional Advisor, Technology 15:00 to 16:45 Use of RWE in Coverage Decisions in Brazil Assessments, PAHO, Brazil (10 min) Vania Cristina Canuto Santos, CONITEC, 16:45 to 17:15 Monitoring of Real-life Interventions in Ministry of Health, Brazil 17:15 to 18:15 Uruguay (10 min) Graciela Fernandez, National Resource 18:15 to 18:30 Experience in the use of RWE in coverage Fund, FNR, Uruguay 18:30 to 19:30 decisions in Colombia (10 min) Adriana Robayo, Institute of 19:30 to 23:00 Technological Assessment in Health- Patient and user perspective (15 min) IETS, Colombia Cecilia Alejandra Rodríguez Ruiz, Citizen Industry perspective (15 min) Participation Area, Ministry of Health, Chile Q & A (25 min) Homero Monsanto, Executive Director, Presentation and Instructions for Outcomes Research, Merck & Co. Breakout Groups (15 min) All participants Andrés Pichon-Riviere, Director of the Lunch (1 hour 50 min) Institute for Clinical Effectiveness and Group Activity 1 (1 hour 45 min) Health Policy (IECS), HTAi Scientific Discussion and group work activity on the Secretariat current situation in the region (Challenges Networking and challenges) (1 hour 30 min) Preparation of conclusions from each group All participants (15 min) Coffee break (30 min) Facilitator and Secretary Plenary session (1 hour) Presentation from Discussion Groups Networking (30 min) Moderator Manuel A. Espinoza Q & A and Plenary Discussion (30 min) A representative of each group Social Dinner overview (15 min) All participants Break (1 hour) Secretariat Social Dinner (Pick up at 19:30 at Hotel Reception) Networking Activity 10

Tuesday, August 16, 2022 (GMT-3) Agenda 8:45 to 9:00 Registration (15 min) 9:00 to 9:15 Key topics and conclusions from the first Manuel A. Espinoza and 9:15 to 11:00 day of the Forum Andrés Pichon-Riviere Presentation and Instructions for Breakout Groups (15 min) Group Activity 2 (1 hour 45 min) Discussion and group work activity on All participants international experiences, how they apply to the local reality, and key recommendations for the region. (1 hour 30 min) Preparation of conclusions from each group Facilitator and Secretary (15 min) 11:00 to 11:30 Coffee break (30 min) Networking 11:30 to 12:30 12:30 to 13:15 Plenary session (1 hour) Moderator Manuel A. Espinoza 13:15 to 14:15 Discussion Group Presentations Representatives of each group Q & A and Plenary Discussion All participants Achievements in the Region and Future of Moderator: Dr. Manuel Antonio the HTAi POLICY FORUM in Latin America Espinoza, President of HTAi's Latin (45 min) American Health Technology Assessment Policy Forum, Chile Presentations from selected countries Argentina (4 agencies): (20 min) Chile Mexico • What major advances have there been Peru during the last year? • What are the main challenges they face? Possible topics for future Forums – Mentimeter Survey (25 min) Lunch and Forum Closing (1 hour) Networking Wednesday, August 17, 2022 (GMT-3) 9:00 to 12:30 CONITEC \"Appraisal\" Deliberation Networking 12:30 to 13:30 Committee at PAHO Brazil (3 hours, 30 min) Lunch (1 hour) 11

Agenda Agenda VII Foro de Políticas en Evaluación de Tecnología Sanitaria de Latinoamérica - Latam Policy Forum - 15-16 de agosto 2022, Brasilia “Real World Evidence: Experiencias y desafíos para la toma de decisiones en América Latina¨ Actividades de Networking: Domingo, 14 de agosto - Recepción de bienvenida Lunes, 15 de agosto - Cena Social Miércoles, 17 de agosto - Comité de deliberación “Appraisal” de la CONITEC Domingo 14 de agosto, 2022 (GMT-3) 18:00 a 20:00 Recepción de Bienvenida Actividad de Networking (2 hs.) The Old Barr Lunes 15 de agosto, 2022 (GMT-3) 8:30 a 9:00 Inscripción y registro de participantes Tenga a mano su número de pasaporte 9:00 a 9:30 (30 min) si planea asistir a la gira CONITEC 9:30 a11:00 Bienvenida y presentaciones Dr. Manuel Antonio Espinoza, Presidente (30 min) Foro Latinoamericano de Políticas de Evaluación de Tecnologías Sanitarias de HTAi, Chile Ministerio de Salud de Brasil/ CONITEC Wija Oortwijn, Radboud University Medical Centre, Department for Health Evidence, HTAi Presidente, Países Bajos Real World Evidence: Experiencias y desafíos para la toma de decisiones en América Latina (SGM Chair Session)(1 hora 30 min) RWE en el contexto de los procesos de Wija Oortwijn, Radboud University evaluación de la tecnología sanitaria (20 min) Medical Centre, Department for Health Evidence, HTAi Presidente, Países Bajos RWE desde la mirada de una Agencia de Pall Jonsson, Director del Programa Evaluación de Tecnologías Sanitarias: La Datos y Análisis, National Institute for experiencia de NICE, Reino Unido (20 min) Health and Care Excellence-NICE, Reino Unido Preguntas y Respuestas de clarificación Todos los asistentes (35 min) 12

Resumen del documento de base (15 min) Sebastián García Martí,Coordinador de Agenda Evaluación de Tecnologías Sanitarias y Economía de la Salud, IECS, Secretaria Científica, Argentina 11:00 a 11:30 Pausa café (30 min) Networking 11:30 a 12:55 Situación local en relación a Real World Moderator: Alexandre Lemgruber, 12:55 a 13:10 Evidence (1 hora 25 min) Regional Advisor, Technology 13:10 a 15:00 Assessments, PAHO, Brazil 15:00 a 16:45 Uso de RWE en Decisiones de Cobertura en Vania Cristina Canuto Santos, CONITEC, Brasil (10 min) Ministerio de Salud, Brasil 16:45 a 17:15 Seguimiento de las Intervenciones en la vida Graciela Fernandez, National Resource 17:15 a 18:15 real en Uruguay (10 min) Fund, FNR, Uruguay Experiencia en el uso de RWE en decisiones Adriana Robayo, Institute of 18:15 a 18:30 de cobertura en Colombia (10 min) Technological Assessment in Health- 18:30 a 19:30 IETS, Colombia 19:30 a 23:00 La mirada de los pacientes y usuarios Cecilia Alejandra Rodríguez Ruiz, Área (15 min) de Participación Ciudadana Ministerio de Salud, Chile La mirada desde la industria (15 min) Homero Monsanto, Executive Director, Outcomes Research, Merck & Co. Preguntas y Respuestas de clarificación Todos los participantes (25min) Presentación e Instrucciones para los Andrés Pichon-Riviere, Director del Grupos de Discusión (15 min) Instituto de Efectividad Clínica y Sanitaria (IECS), Secretaría Científica Almuerzo (1 hora 50 min) HTAi Actividad Grupal 1 (1 hora 45 min) Networking Actividad de discusión y trabajo grupal sobre la situación actual de la región (Retos y Todos los participantes desafíos): (1 hora 30 min) Preparación de conclusiones de cada grupo Facilitador y Secretario/a (15 min) Pausa café (30 min) Networking Sesión Plenaria (1 hora) Moderator Manuel A. Espinoza Presentaciones de los Grupos de Discusión Representantes de cada grupo (30 min) Preguntas y respuestas y discusión plenaria Todos los participantes (30 min) Información logística para la cena Secretaría (15 min) Descanso (1 hora) Actividad de Networking Cena Social (Pick up a las 19:30 - Recepción del Hotel) 13

Agenda Martes 16 de agosto, 2022 (GMT-3) 8:45 a 9:00 Registro (15 min) Manuel A. Espinoza y 9:00 a 9:15 Andrés Pichon-Riviere Temas clave y conclusiones del primer día 9:15 a 11:00 del Foro Todos los participantes Presentación e Instrucciones para los Facilitador y Secretario/a Grupos de Discusión (15 min) Actividad Grupal 2 (1 hora 45 min) Actividad de discusión y trabajo grupal sobre experiencias internacionales, aplicación a la realidad local y principales recomendaciones para la región. (1 hora 30 min) Preparación de conclusiones de cada grupo (15 min) 11:00 a 11:30 Pausa café (30 min) Networking 11:30 a 12:30 12:30 a 13:15 Sesión Plenaria (1 hora) Moderador Manuel A. Espinoza Presentaciones de los Grupos de Discusión Representantes de cada grupo 13:15 a 14:15 Preguntas y Respuestas y discusión plenaria Todos los participantes Avances en la Región y Futuro del Foro de Moderador: Dr. Manuel Antonio Políticas en ETESA en Latinoamérica Espinoza, Presidente Foro (45 min) Latinoamericano de Políticas de Evaluación de Tecnologías Sanitarias de Presentaciones de países seleccionados (4 HTAi, Chile agencias): (20 min) Argentina Chile • Cuáles han sido los principales avances México durante el último año Perú • Cuáles son los principales desafíos que Networking enfrentan Posibles tópicos para futuros Foros – Encuesta Mentimeter (25 min) Almuerzo y Cierre Foro (1 hora) Miércoles 17 de agosto, 2022 (GMT-3) 9:00 a 12:30 Comité de deliberación “Appraisal” de la Networking 12:30 a 13:30 CONITEC en OPS Brasil (3 horas, 30 min) Almuerzo (1 hora) 14

2022 HTAi Latin American Health Background Paper | Documento de Antecedentes Technology Assessment Policy Forum Background Paper Real World Evidence: Experiences and challenges for decision-making in Latin America VII Latin American Health Technology Assessment Policy Forum (Latam Policy Forum). Brasilia, August 2022. 15

Background Paper | Documento de Antecedentes Overview of the Base Document The document consists of the following sections: 1. Introduction Section 2. Background Section 3. Real World Evidence (RWE) Section 4. International Experiences Section 5. Reference Section This document has been drawn up by: • Sebastián García Martí - Instituto Efectividad Clínica y Sanitaria (IECS), • Guadalupe Montero - Red Argentina Pública de Evaluación de Tecnologías Sanitarias (RedARETS), • Verónica Sanguine - Dirección Nacional de Calidad en Servicios de Salud y Regulación Sanitaria - Ministerio de Salud de la Nación Argentina, • Federico Augustovski - Instituto Efectividad Clínica y Sanitaria (IECS), and • Andrés Pichon Riviere - Instituto Efectividad Clínica y Sanitaria (IECS). 16

Introduction Background Paper | Documento de Antecedentes In the Glossary of Health Technology Assessment International (HTAi), real-life evidence (RWE) is defined as \"evidence derived from the analysis of real-world data\" (RWD). RWD is defined as data collected for purposes other than specific research, which provide information on the routine delivery of healthcare and the health status of the target population.\" 1 It is then necessary to distinguish between these complementary terms \"real-world evidence\" (RWE) and \"real-world data\" (RWD). RWD refer to data collected outside traditional randomized controlled trials (sometimes called pivotal by regulatory agencies, which data are used as evidence to achieve marketing approval). These RWD consist of a wide range of possible information on the various health conditions people may have and on the provision of health care, from a wide variety of sources, such as administrative databases, digital medical records, billing data, product records, records of specific diseases, data generated by patients, as well as data from mobile device applications among others. RWE is instead the evidence obtained from the analysis of the RWD on the use, risks, and benefits health technologies entail, as well as the health status of a population. Some of the potential uses of \"real life\" studies at different stages of the health technology assessment cycle are the characterization of those patients or diseases with unmet or poorly controlled needs, the identification of not so frequent adverse effects by pharmacovigilance, or the description of the usual treatment patterns with their consequent usefulness to define standard comparators in a clinical trial or in an economic evaluation. They also provide information for entering risk-sharing agreements or the monitoring of interventions once these are incorporated. Sometimes this type of information can complement randomized controlled clinical trials to evaluate the comparative effectiveness of different technologies or interventions in certain scenarios where their execution may be more complex or difficult.2 RWD and RWE are becoming increasingly important at different stages of the health technology life cycle, from the initial 'regulatory' stages to those of adoption and coverage by health systems, also including their monitoring once they are actually incorporated.3 The objective of the seventh 2022 Latin American Health Technology Assessment Policy Forum will be to discuss and understand the usefulness and potential uses of RWE in HTA processes and decision-making, analyze the problems that HTA agencies and different stakeholders face regarding its use, and define a series of key principles and actions that can serve to guide the establishment and development of the use of RWE in health technology assessment and decision-making in Latin America. What is Health Technology Assessment (HTA)? HTA is a multidisciplinary process that uses explicit methodologies to determine the value of a health technology throughout its lifecycle (O'Rourke 2020). Its purpose is to inform the decision-making process to promote equitable, efficient, and high-quality health systems. This information is used by health systems to make decisions that primarily affect the way health resources are allocated, such as the decision to cover a certain health technology, or the decision to incorporate it into a benefits package. 1 Oortwijn W: Real-world evidence in the context of health technology assessment processes- from theory to action. HTAi Global Policy Forum. Dec 2018. Available in: https://htai.org/wp-content/uploads/2019/02/ HTAiGlobalPolicyForum2019_BackgroundPaper.pdf 2 Anneman, L. The use of real world data throughout an innovative medicine’s lifecycle. Disponible in: https://www. riziv.fgov.be/nl/themas/kost-terugbetaling/door-ziekenfonds/geneesmiddel-gezondheidsproduct/terugbetalen/ innovatieve-geneesmiddelen/Paginas/innovative- medicins-lifecycle.aspx 3 McNair D, Lumpkin M, Kern S, Hartman D. Use of RWE to Inform Regulatory, Public Health Policy, and Intervention Priorities for the Developing World. Clin Pharmacol Ther. 2022 Jan;111(1):44-51 17

Background Paper | Documento de Antecedentes Health technologies have become an indispensable part of any health system and their use has increased in recent decades. The introduction of new technologies has generally involved significant benefits, in terms of prevention, safety, improvements in health and quality of life, or reduction of adverse effects. However, in a context in which resources are limited, the correct incorporation and dissemination of technologies has become a challenge, and in some cases, a serious problem. The rapid emergence of technologies and the increasing volume of available evidence have now become a reality for all health systems. Providing health services involves making decisions about which interventions should be offered (and implicitly or explicitly, which ones should not), how the health system is to be organized, who will pay for these interventions; as well as how and who should provide them. The challenge is to achieve adequate health outcomes with the available resources, once the social values, expectations, and demands of the population have been duly contemplated. Currently, a large number of countries have committed to achieving universal health coverage (UHC) for their population, this being one of the objectives prioritized by the World Health Organization (WHO). In the context of the UHC, the prioritization of interventions is a central strategy, and in the documents developed by this body it is considered of the utmost importance that it be carried out based on the best available evidence and through a deliberative process that takes social values into account45. Within this context, health decision-makers have come to need more and more reliable and detailed information to help them make transparent and legitimate decisions when setting priorities, in order to obtain the maximum benefit on limited budgets. The growth and development of HTA reflects this demand for solid and transparent information that serves as a guarantee to make decisions on the development, incorporation, and dissemination of health technologies 6. HTA has precisely arisen from this growing concern about the expansion of new and expensive health technologies in the 1970s and the limitations of health systems to finance their use. As a discipline it has evolved since the 70's to become a multidisciplinary specialty whose purpose is to gather and summarize the available evidence to help health decision-makers, health professionals, and patients understand the relative value of technologies. The development of HTA has been particularly remarkable over the past 20 years and is today an essential component of health systems in many countries. Several initiatives have emerged in the Latin American and Caribbean (LA) region. Argentina, Brazil, Colombia, Chile, Mexico, and Uruguay have HTA agencies that are members of INAHTA (acronym for International Network of HTA Agencies), and several Latin American countries currently apply HTA, to various extents, to decision-making on resource allocation. Most of these initiatives in the region are grouped under RedETSA, the Latin American Health Technology Assessment Network (http://redetsa.org/), coordinated by the Pan American Health Organization (PAHO). HTA is potentially an extremely useful tool for decision makers. However, if not executed and used properly, there is a risk of producing an inefficient allocation of resources, covering interventions of little or no benefit, preventing or delaying patient access to useful health technologies, exposing patients to unnecessary risks, and sending the wrong messages to technology producers, among others7. In turn, HTA is not a purely technical practice, and the decision-making process must contemplate increasingly broader dimensions. For these reasons, since the decisions to be made through the HTA process have the potential to affect a great number of individuals and institutions, a set of basic principles has been proposed for HTA to abide by. These principles include aspects such as transparency in the process of carrying out an HTA and decision-making, the involvement of relevant stakeholders, the existence of explicit mechanisms 4 Terwindt Hotels F, Rajan D, Soucat A. Priority-setting for national health policies, strategies and plans. In: Schmets G, Rajan D, Kadandale S, eds. Strategizing national health in the 21st century: a handbook: World Health Organization (WHO); 2015:71 5 World Health Organization (WHO). Making fair choices on the path to universal health coverage. Final report of the WHO Consultative Group on Equity and Universal Health Coverage 2014: http://apps.who.int/iris/ bitstream/10665/112671/1/9789241507158_eng.pdf?ua=1. Accessed 11- 3-2016 6 Gabbay J, Walley T. Introducing new health interventions. BMJ. 2006;332(7533):64-65. 7 Wilsdon T, Serota A. A comparative analysis of the role and impact of health technology assessment. . London:UK: Charles River Associates; 2011: http://www.phrma.org/sites/default/files/pdf/hta_final_comparison_report_13_ may_2011_stc1.pdf 18

to decide which technologies are to be evaluated, and the existence of a clear link between assessment and Background Paper | Documento de Antecedentes decision making.8 9 10 Many of these aspects were addressed in previous editions of the Latin American HTAi Policy Forum.11 12 13 14 15 Background and Objectives of the Forum The Health Technology Assessment Policy Forum is an activity organized by HTAi (Health Technology Assessment International). It was created in 2004 with the aim of providing a neutral space to carry out strategic discussions on the present state of HTA, its development, and its implications for health systems, the industry, patients, and other stakeholders. It convenes representatives of three main groups of institutions: 1) decision-makers on matters of coverage and reimbursement/prices of medicines and devices in health systems; (2) agencies carrying out HTA in support of these decisions; and 3) technology-producing biomedical companies. It has been carried out for 17 years with a focus on Europe and the USA and for 10 years in Asia. In 2016 it was also held in Latin America for the first time, the present Forum being the seventh meeting to be held in the region. The approach, agenda, and logistical details were developed by an Organizing Committee composed of the President of the Forum and representatives of the participating institutions (three representatives of the public sphere and three representatives of the field of technology producing companies). The Institute for Clinical Effectiveness and Health Policy of Argentina (IECS – www.iecs.org.ar) acted as the Scientific Secretariat. The process of selecting the topic for this seventh Forum began during the sixth Forum and included the following steps: 1. A list of potentially relevant topics based on the proposals/topics suggested by the members of the Latin American Forum was drawn up and a vote was held during the closing of the 2021 Forum to identify the most urgent topics for 2023. 2. This list was sent to the members of the Organizing Committee for their comments/suggestions. 3. The final topic was selected through a deliberative process within the Organizing Committee Based on this process, the topic selected for this seventh forum is \"Real World Evidence: Experiences and challenges for decision-making in Latin America\". 8 Daniels N, Sabin J. Setting limits fairly: learning to share resources for health. 2nd ed. New York: Oxford University Press; 2008 9 Drummond MF, Schwartz JS, Jönsson B, Luce BR, Neumann PJ, Siebert U, Sullivan SD. Key principles for the improved conduct of health technology assessments for resource allocation decisions. Int J Technol Assess Health Care. 2008. Summer;24(3):244-58; discussion 362-8 10 Pichon-Riviere A, Augustovski F, Rubinstein A, Martí SG, Sullivan SD, Drummond MF. Health technology assessment for resource allocation decisions: Are key principles relevant for Latin America? Int J Technol Assess Health Care. 2010 Oct;26(4):421-7 11 Pichon-Riviere A, Soto NC, Augustovski FA, García Martí S, Sampietro-Colom L. Health techonolgy assessment for decision making in Latin America: good practice principles. Int J Technol Assess Health Care, 34:3 (2018), 1-7 12 Pichon-Riviere A, Soto NC, Augustovski FA, Sampietro-Colom L. Stakeholder involvement in health technology assessment process in Latin America. Int J Technol Assess Health Care, 34:3 (2018), 1-6 13 Pichon-Riviere A, GarciaMarti S, Oortwijn In Augustovski F, SampietroColom L (2019). Defining the Value of Health Technologies in Latin America: Developments in Value Frameworks to Inform the Allocation of Healthcare Resources. International Journal of Technology Assessment in Health Care 35, 64–68 14 Pichon-Riviere A, Augustovski F, García Martí S, Alfie V, Sampietro-Colom L (2020). The link between health technology assessment and decision making for the allocation of health resources in Latin America. International Journal of Technology Assessment in Health Care 36, 173–178 15 Pichon-Riviere A, Augustovski F, García Martí S, Alcaraz A, Alfie V, Sampietro-Colom L (2021). Identification and selection of health technologies for assessment by agencies in support of reimbursement decisions in Latin America. International Journal of Technology Assessment in Health Care 1–8 19

Background Paper | Documento de Antecedentes This seventh edition of the Latin American Policy Forum is concatenated with the previous six: 2016 Policy Forum: The first LA Policy Forum was held in Costa Rica. At this meeting the \"Principles of good practices in the application of Health Technology Assessment in decision-making in Latin America\" were discussed. As a result of this forum, the principles deemed as most relevant to promote the application of HTA in LA were: • Transparency in the processes of carrying out HTA and communicating its results • Involvement of relevant stakeholders in the HTA process • Existence of appeal mechanisms • Existence of clear mechanisms for the establishment of priorities in HTA • Existence of a clear link between assessment and decision-making 2017 Policy Forum: This second Policy Forum, held in Lima, had as its central theme the incorporation of different stakeholders into the Health Technology Assessment process, an aspect that had been identified as a priority during the first Policy Forum. 2018 Policy Forum: It was held in Montevideo in 2018 and it considered value frameworks in HTA. 2019 Policy Forum: It was held in Buenos Aires, and it was focused on the relationship between HTA and decision-making. 2020 Policy Forum: It was held online, and the discussion covered the mechanisms used by HTA agencies to prioritize the assessments to be carried out. 2021 Policy Forum: Also held online, the debate in this case was about the role of deliberative processes in HTA (All the results of the discussions held during these five Latin American Policy Forums are available in a series of publications: Pichon-Riviere et al 2018-2021) The main objectives of this seventh Health Technology Assessment Policy Forum in Latin America will be: • Explore the current state of the use of RWD/RWE in the different stages of HTA processes in Latin America (also including aspects related to the generation and analysis of RWD) • Explore the positive/negative aspects, advantages/disadvantages, and main consequences/difficulties that using RWE entails in the Region • Explore the limitations/barriers/risks, as well as the opportunities/facilitators for the implementation/ expansion of the use of RWE in the Region • Discuss and identify the main contextual aspects that should be taken into account in the region when implementing/expanding the use of RWE, as well as the principles of good practice and requirements that a health system should meet to carry them forward • Discuss the potential applicability of the different models used abroad to health systems in Latin America and generate a set of recommendations to guide the establishment and development of the use of the RWE in health technology assessment and decision making in Latin America. 20

Introduction to RWE. Definition. Background. Conceptual framework Background Paper | Documento de Antecedentes As mentioned in the introduction, RWE is considered to be meticulously analyzed information arising from the analysis of RWD (data collected without having a research study as a specific purpose). The figure below describes both the different designs and data types and their potential usefulness in the context of RWE generation. RWD and its analysis and transformation into RWE, are currently used to a greater or lesser extent by the different stakeholders within a health system. It can be applied to procedures such as the ones listed below16: • Characterize health conditions, interventions, care pathways, and patient outcomes and experiences. • Understand the safety of medical technologies, such as medications, devices, and interventional procedures • Assess the impact of interventions (including diagnostic tests) on service delivery and care decisions • Evaluate the applicability of clinical trials to patients under usual practice conditions • Design, complete, and validate economic models (including estimates of the use of resources, quality of life, event rates, prevalence, incidence, and long-term outcomes) • Develop or validate digital health technologies • Identify, characterize, and address health inequalities • Provide information for the generation of risk-sharing agreements A specific aim of both regulatory agencies and health technology assessment agencies is to supplement information from randomized controlled clinical trials (RCTs) on occasion, when their performance may be complex or difficult to carry out in the assessment of comparative effectiveness between interventions. 16 Real-world evidence framework. NICE UK. https://www.nice.org.uk/about/what-we-do/real-world-evidence- framework-feedback 21

Background Paper | Documento de Antecedentes Randomized clinical trials (RCTs) are the priority source when analyzing evidence on the efficacy of interventions. Randomization ensures that any difference in the initial characteristics across groups to be compared is evenly distributed among them. However, RCTs are sometimes unavailable or not directly relevant to decisions about patient care. Although RCTs often manage to inform on the efficacy of new health technologies –which in fact is a requirement set by regulatory agencies authorizing their commercialization (FDA, EMA, ANVISA, etc.)- they rarely manage to answer the question of health systems (payers, providers) on the effectiveness of technologies under the usual conditions. In turn, RCTs can be particularly difficult to perform in populations with rare diseases due to the small number of patients, unmet needs that make it difficult to conduct studies in these populations, or variations in clinical practice. In some cases, it is not possible to obtain information from RCTs, for a number of reasons, including 17: • randomization is considered unethical or unfeasible (e.g., for some rare or serious diseases with significant unmet needs) • technical challenges make randomization impractical, which is more common for medical devices and interventional procedures • there is no funding available for a trial (e.g., where the intervention is already used in standard practice). Similarly, high-quality RCTs can be a challenge for medical devices and interventional procedures due to the difficulty in blinding, the importance of learning effects, changes in the standard of care that make it difficult to choose comparators, changes in the characteristics of a technology over time that can impact their performance, and limited research capability or access to funding.18 It may also happen that the evidence from RCTs is not sufficient for decision-making when the comparator does not reflect the care standard, relevant population groups are excluded, there are important differences in patient behavior, care pathways or settings differ from implementation in usual practice, follow-up time is limited, non-validated substitute results are used, or the quality of trials is poor.19 It is in these contexts that some other designs included in what is considered RWE can be used. Among these are observational studies such as prospective or retrospective cohorts, or other designs such as \"pragmatic\" clinical trials. On the other hand, apart from the fact that RWE could be used to complement information from other types of studies and accelerate access to technologies by some patient groups, there are deterrents to its use, including, among others:20 • Challenges to access high-quality data in a timely manner • Concerns about the source and quality of the data • Risk of bias due to information limitations • Limited confidence in the integrity of some real-world evidence studies due to the complexity of the generation of evidence and the opportunity to \"select\" results • Difficulties in its analysis that limit its internal validity 17 Real-world evidence framework. NICE UK. https://www.nice.org.uk/about/what-we-do/real-world-evidence- framework-feedback 18 Fleurence RL, Shuren J. Advances in the Use of Real-World Evidence for Medical Devices: An Update From the National Evaluation System for Health Technology. Clin Pharmacol Ther. 2019 Jul;106(1):30-33 19 Real-world evidence framework. NICE UK. https://www.nice.org.uk/about/what-we-do/real-world-evidence- framework-feedback 20 Framework for FDA’s Real-World Evidence Program. FDA. 2018 22

Role and potential utility of RWE throughout the lifecycle of HTA Background Paper | Documento de Antecedentes RWE can have different uses during the different phases of a health technology lifecycle, i.e., the development phase, the market access phase, the usage phase once incorporated, and even obsolescence. In each of these phases, different designs or data sources are used. In this document, when referring to RWE, we assume that it is generated from RWD, the necessary input to produce this type of information. The background paper of the 2018 Global Policy Forum21, on RWE and HTA, discusses the role and potential usefulness of RWE throughout the HTA lifecycle. A number of potential applications were identified at the different stages of the lifecycle as mentioned below (mainly based on a paper from Annemans 2017).22 During the development phase During the development phase some of the uses of RWE can be to better characterize diseases, patient populations, and understand current needs, as well as to allow the execution of disease burden studies; identify those patients who are eligible to participate in research studies, thus facilitating recruitment processes; enable the performance of \"pragmatic or realistic\" clinical trials, thus allowing to incorporate results of the usual clinical practice. During the market access phase Marketing approval (regulatory agencies): RWE can provide additional information for the approval of technologies, especially in scenarios where evidence from RCTs is not available, as they are innovative technologies, they involve rare or ultra-rare diseases, or where it is ethically impracticable to conduct an RCT, for example. RWE can also provide additional backup information with greater external validity than RCTs, and offer data inherent to different population subgroups, to the use outside the initially approved indications (the so called \"off-label\" use), to the inappropriate use of technologies, and to validate the use of surrogate endpoints in certain pathologies.23 RWE can also contribute to a better understanding of patients' usual treatment and standards of care, as well as a better understanding of complications, adverse events, disease progression, use of resources, and costs, which can potentially be used to conduct Economic Evaluations. For coverage decisions (health system payers, HTA agencies, providers): Sometimes, besides the contribution of complementary information to the RCTs when deciding on coverage policies, RWE can be useful for the generation of risk-sharing agreements or conditional coverage with the development of evidence that sometimes allows to optimize decisions in scenarios of uncertainty about the true benefit of the technologies. During the usage phase, after their incorporation During this phase, RWE can allow to evaluate the results of the technologies in real practice (adherence, identification of subgroups of patients deriving the greatest benefits, or safety evaluation). This information can serve as an input into outcome-based risk arrangements, the reassessment of the true benefit of a technology that could lead to evaluating its divestment, or as an input for the development of clinical decision support systems.24 21 Oortwijn W: Real-world evidence in the context of health technology assessment processes- from theory to action. HTAi Global Policy Forum. Dec 2018. Available in: https://htai.org/wp-content/uploads/2019/02/ HTAiGlobalPolicyForum2019_BackgroundPaper.pdf 22 Anneman, L. The use of real world data throughout an innovative medicine’s lifecycle. Available in: https://www. riziv.fgov.be/nl/themas/kost-terugbetaling/door-ziekenfonds/geneesmiddel-gezondheidsproduct/terugbetalen/ innovatieve-geneesmiddelen/Paginas/innovative- medicins-lifecycle.aspx 23 Use of real-world evidence in single-drug assessments. Ottawa: CADTH; 2018. (Environmental scan; no. 74) 24 Pearson SD, Dreitlein WB, Towse, A, Hampson G, Henshall C. A framework to guide the optimal development and use of real-world evidence for drug coverage and formulary decisions. J Comp Eff Res. 2018;7:1145–52 23

Background Paper | Documento de Antecedentes Challenges of RWE in the context of HTA Increased use of RWE requires adequate and quality data sources (RWD) (e.g., digital health records, administrative databases, patient records, wearable devices, social media platforms, patient organization websites, genomics, biomarkers). On the other hand, there is an ever-increasing production of data from \"wearables\", which poses challenges when it comes to using such data not only in terms of their analysis but in terms of privacy and access thereto. As described in the Duke-Margolis Center for Health Policy 'white paper'25 it is a known fact that data and evidence are not the same; RWD are necessary but not sufficient to generate RWE. There is a clear need to keep these concepts separate. Currently under discussion are aspects such as the appropriate time and manner in which RWE is incorporated into an HTA. Also, on the impact its incorporation would have for different stakeholders, such as patients, health professionals, payers, manufacturers, decision-makers, and technology assessors. During the Global Policy Forum on RWE held in 2018 the key challenges related to the use of RWE identified by HTAi26 and applicable to the region were: • For which HTA questions could RWE be accepted as fit for the purpose? • When throughout the technology lifecycle is RWE to be used? • Quality of data from real-world sources • Data infrastructure and data accessibility • Transferability issues For which HTA questions would using RWE be acceptable or useful Some key questions related to this topic include: In what cases can HTA benefit from the use of RWE? And in turn, to what extent do decision-makers and payers accept RWE? RWE can be used for multiple purposes. Some of those purposes include providing evidence on the natural history and epidemiology of a disease, providing information on treatment and interventions in routine practice, informing regulatory approval decisions, and its application to monitoring the use of technologies once these are incorporated; on the other hand, and increasingly so in HTA, especially in cost-effectiveness analysis, payers’ coverage decisions or payment agreements are based on results. RWE can also be useful for estimating healthcare costs as well as providing information to supplement evidence from RCTs or other existing research findings. Beyond these listed potential utilities, there is some resistance from various stakeholders to use RWE and to understand its usefulness, as detailed in the background paper of the Global Policy Forum, due to lack of understanding, access to data sources, or collaboration between the different stakeholders, which problems are common to different regions.27 When to use RWE in the lifecycle of technologies There is no clear consensus among the various stakeholders on when to use RWE. However, some stakeholders believe that RWE does have the potential to rationalize the use of health technologies and drive divestment decisions. 25 Characterizing RWD Quality and Relevancy for Regulatory Purposes. October 2018. Duke-Margolis Center for Health Policy 26 Oortwijn W: Real-world evidence in the context of health technology assessment processes- from theory to action. HTAi Global Policy Forum. Dec 2018. Available in: https://htai.org/wp-content/uploads/2019/02/ HTAiGlobalPolicyForum2019_BackgroundPaper.pdf 27 HTAi Policy Forum Series Newsletter. Universal health care in the Asia Region: overcoming the barriers using HTA and Real World Data. December 2017. Available at: https://htai.org/wp-content/uploads/2018/05/HTAi_Asia-Policy-Forum_ newsletter_20171208b.pdf 24

Regulatory agencies such as the U.S. FDA and the EMA in the European Union, or Health Canada, use RWE Background Paper | Documento de Antecedentes to supplement data from RCTs, both during and after pre-marketing authorization for monitoring and supervision of technologies.28 In addition to these uses, EMA has identified some potential barriers to the use of RWE including poor data quality and limited access to data sources, unsuitable definition of outcomes, and extrapolation of data from non-European registries.29 Quality of data from real-world sources Another aspect mentioned in the background paper of the Global Policy Forum that is very relevant to our region relates to data quality. Incomplete data, heterogeneity between different sources and the difficulty to link them, as well as certain difficulties in analyzing data not collected for specific research purposes, are key issues that need to be addressed in the context of RWE.30 Another challenge is to identify robust methodologies for collecting and analyzing RWD (standardization) to estimate efficacy and effectiveness.31 This is partly due to differences in clinical practice among different countries or regions, leading to a great heterogeneity in RWD. This situation compromises the use of RWD and RWE. In this regard, it is necessary to define minimum sets of data across the different sources to subsequently allow the interoperability and extrapolation of the same. There are also some initiatives such as DARWIN in the European Union to promote the standardization of RWD and facilitate their subsequent use, as well as increase their potential usefulness.32 Another aspect related to data quality concerns the transparency of the RWE generated from RWD. The ISPOR-ISPE special task force published a paper33 that addresses several key aspects of transparency in the overall planning of the study as well as in its execution to facilitate replicability. Specific recommendations are provided for studies that include data on treatment efficacy with previously specified hypotheses (so- called 'HETE' studies, Hypothesis Studies Evaluating Treatment Effectiveness) for the protocol34 to be recorded and its design before it is actually carried out, as well as the publication of the results or deviations from the protocol, and also the analysis, which allows to increase transparency and include the different stakeholders (HTA agencies, payers, regulatory agencies, doctors, patients, or industry) in the design, execution, and dissemination of these studies. Infrastructure and data access Differences in the content and structure of diverse databases that could be used can lead to significant challenges in sharing RWD both within a country and between countries and/or regions. There are also considerable challenges regarding the lack of governance of these. Sometimes there are no regulations 28 Use of real-world evidence in single-drug assessments. Ottawa: CADTH; 2018. (Environmental scan; no. 74) 29 Plueschke, K., McGettigan, P., Pacurariu, A., et al. EU-funded initiatives for real world evidence: descriptive analysis of their characteristics and relevance for regulatory decision-making. BMJ Open 2018; 8 (6): e021864 30 Considerations for the Use of Real-World Data and Real- World Evidence to Support Regulatory Decision-Making for Drug and Biological Products. Draft Guidance. FDA December 2021 31 Anneman, L. The use of real world data throughout an innovative medicine’s lifecycle. Available in: https://www. riziv.fgov.be/nl/themas/kost-terugbetaling/door-ziekenfonds/geneesmiddel-gezondheidsproduct/terugbetalen/ innovatieve-geneesmiddelen/Paginas/innovative- medicins-lifecycle.aspx 32 Data Analysis and Real World Interrogation Network (DARWIN EU®) https://www.ema.europa.eu/en/about-us/how- we-work/big-data/data-analysis-real-world-interrogation-network-darwin-eu 33 Orsini LS, Berger M, Crown W, Daniel G, Eichler HG, Goettsch W, Graff J, Guerino J, Jonsson P, Lederer NM, Monz B, Mullins CD, Schneeweiss S, Brunt DV, Wang SV, Willke RJ. Improving Transparency to Build Trust in Real-World Secondary Data Studies for Hypothesis Testing-Why, What, and How: Recommendations and a Road Map from the Real-World Evidence Transparency Initiative. Value Health. 2020 Sep;23(9):1128-1136. 34 Real-World Evidence Registry https://www.ispor.org/strategic-initiatives/real-world-evidence/real-world-evidence- registry 25

Background Paper | Documento de Antecedentes for collaboration, there are no incentives for data sharing, problems or aspects related to patient consent and data privacy and security can hinder access and lead to high data protection costs to comply with local regulations. As mentioned above, the European Union is making progress in these aspects that promote the use of RWD through the DARWIN initiative. Another aspect to keep in mind is that improving the infrastructure to generate RWD can be expensive and complex, as it may require changes in usual practice, including the creation of support infrastructures, such as computer systems. Transferability Data collection, especially RWD, is often related to specific contexts (e.g., a local health system), particular care or patient characteristics, or even the level of knowledge or variations in clinical practice. For example, incorporating usual care as a comparator in a study (dose frequency, route of administration, monitoring) may differ between different settings and populations. These usual differences become more evident as the RWD get more specific to distinct contexts, thus raising definite aspects about transferability of the results. Status and recommendations regarding global RWE utilization processes Various agencies, both in the regulatory field and in HTA in general, incorporate RWE into their evaluation processes. However, the extent of use is heterogeneous, although certain common aspects can be pointed out. The Canadian health technology assessment agency -CADTH – has conducted a survey on the use of RWE by different HTA agencies in the world, in which the following studies are mentioned.35 Makady et al.36 examined RWE use policies in 6 HTA agencies in European countries (NICE, TLV, IQWiG, HAS, ZIN and AIFA), overall, the 6 agencies consider RWE studies to be of a lower quality of evidence than RCTs. They believe that the special circumstances in which the use of RWE could be contemplated are absence of RCTs (NICE, ZIN, IQWiG), as in the absence of direct comparison RCTs RWE can be used to report the effectiveness of indirect comparisons (NICE, ZIN) or to supplement data from RCTs in specific subgroups not covered by RCTs, or for longer-term results (NICE, ZIN). In all cases, these agencies request that the need to use RWE be adequately explained and the potential biases and their consequences on the estimation of the effect of the technologies under evaluation be specified. In the report conducted by CADTH the use of RWE by the agencies in Canada, Australia, and New Zealand was evaluated, with similar results to those found in Makady's report. Notwithstanding the fact that the agencies consider that RWE studies entail a higher risk of bias than RCTs, they acknowledge their particular value in the following situations: conditions that can be fatal in the short term without an intervention (\"dramatic effect\"), an unmet need of the highest magnitude, difficulty in performing RCTs due to very low number of patients or because they are considered unethical (e.g., women during pregnancy), and to identify rare or long-term serious adverse effects. Where RCTs do exist, RWE studies can provide information about treatment adherence, the persistence of its effects, or its dose, as well as the use of technologies in routine practice. 35 Use of real-world evidence in single-drug assessments. Ottawa: CADTH; 2018. (Environmental scan; no. 74) 36 Makady A, Ham RT, de Boer A, Hillege H, Klungel O, Goettsch W, et al. Policies for use of real-world data in health technology assessment (HTA): a comparative study of six HTA agencies. Value Health. 2017 Apr;20(4):520-32. 26

Another cited report by Griffiths37 assessed the proportion of use of RWE in the NICE, IQWiG, and CADTH Background Paper | Documento de Antecedentes health technology assessment reports, which was 38%, 12%, and 13% respectively, with RWE being the only evidence presented at 4%, 4%, and 6%, respectively. In general, the use of RWE as the only source for assessing the advantages of interventions is uncommon and when it is indeed used it requires a careful approach. The use of RWE is being explored more actively in the preliminary phases of market entry decisions, in the extension of indications, or in those situations where the magnitude of unmet needs is high, or in post- incorporation surveillance in use. Specific aspects about the use of RWE in HTA in Latin America In Latin American countries, in recent decades there has been an increase in the number of agencies and organizations performing HTA, as well as a growing interest in expanding the sources of information within health systems beyond controlled clinical trials, by academic organizations, evaluators, payers, and producers. However, the availability of adequate sources of RWD is very scarce, and there are deficiencies in relation to the reliability and completeness of the data. For this reason, the reluctance of the assessment agencies to incorporate this type of sources into the HTA is still significant. At the regional level, a review conducted by Justo et al. in 2019 38, which included a literature review and consultations with key opinion leaders from Argentina, Brazil, Chile, and Colombia, described the main use at the time as that of pharmacovigilance and technovigilance. Regarding coverage decisions, although no formal processes have been identified, assessment agencies generally incorporate evidence from observational data, especially into budget impact analyses or economic evaluations. The greatest progress in its use is described in Brazil, although in relatively small populations and with little development of interoperability between databases and record systems. In the other countries included in this review, more and more economic evaluations are being carried out for decision-making, but the use of RWE tends to be especially promoted by health technology producers, though it does not constitute a formal part of market access agreements in conjunction with assessment agencies, decision makers and/or payers. Also mentioned in this review is the existence of government records of specific diseases that can be useful data sources in the generation of RWE. Similar to the challenges and limitations found in other regions, the review mentions the uncertainty about the quality or integrity of the databases, or the quality and security of the same as impediments. It also mentions a lack of skilled personnel specifically trained for data analysis and methodological management, and the scarce dissemination of good practices in the process of generating RWE based on the available RWD. It also mentions a lack of confidence between the different stakeholders as there are no integrated or trust- based actions, which adds to the difficulty of using RWD and RWE. 37 Griffiths EA, Macaulay R, Vadlamudi NK, Uddin J, Samuels ER. The Role of Noncomparative Evidence in Health Technology Assessment Decisions. Value Health. 2017 Dec;20(10):1245-51 38 Justo N, Espinoza MA, Rat B, Nicholson M, Rosselli D, Ovcinnikova O, García Martí S, Ferraz MB, Langsam M, Drummond MF. Real-World Evidence in Healthcare Decision Making: Global Trends and Case Studies From Latin America. Value Health. 2019 Jun;22(6):739-749 27

Background Paper | Documento de Antecedentes International Experiences Section Two HTA assessment agencies (NICE and CADTH) and one regulatory agency (FDA) were then selected to describe their RWE utilization processes and frameworks. The processes of using these are described. NICE RWE Usage Framework (United Kingdom)39 In its framework document for the proper use of real-world data NICE provides detailed guidance and clearly describes the best practices for planning, conducting, and reporting RWE studies to enhance the quality and transparency of evidence. This document points out the elements to be considered at the different stages of evidence generation: 1. When planning: • Clearly define the research question, the population eligibility criteria, interventions, outcomes, and target population. • Plan the study prospectively and make the protocols public. • Choose data from good sources and of sufficient quality and relevance to address the research question • Justify the need for increased primary data collection, weighing the burden on patients and healthcare professionals against the value of additional data • Use the data in compliance with the local law, local government processes, codes of practice, and data owner requirements 2. During execution: • Use study designs and statistical methods that are appropriate to the research question, considering the main risks of bias • Use sensitivity and/or bias analyses to assess the robustness of studies against risks of bias or data analyses. • Ensure quality to guarantee the integrity and quality of the study. 3. Report generation: • Disclose the study design and analytical methods in sufficient detail to allow independent researchers to fully understand what was done and why, so they can critically evaluate the study, and reproduce it. • Reports should also describe: the source, quality, and relevance of the data, data safeguarding, patient follow-up from initial data to final analysis, patient characteristics (including missing data) and follow-up details in general, and among key population groups, the results of all planned and performed analyses (clearly indicating any analyses that had not been previously planned), risk of bias assessment and extendibility to the target population. 39 Real-world evidence framework. NICE UK https://www.nice.org.uk/about/what-we-do/real-world-evidence- framework-feedback 28

CADTH RWE Usage Framework (Canada)40 Background Paper | Documento de Antecedentes Generally speaking, various aspects common to the use of data in general are mentioned in CADTH's framework of use of RWE. Those differential aspects are focused on the evaluation of the quality and collection of the data to be used. They specifically define that data sources and their coding systems if any (CIE, ATC for example) and all the forms of relationship between the different bases that allow their joint analysis must be described in detail. When using administrative databases, it is mentioned that it is a good practice to perform some validation method that allows to evaluate the representativeness of the data with respect to the population of interest. On the other hand, it is also mentioned that access to the different data sources used must be provided. The analysis approach should be clearly described, as should treatment of incomplete or absent data. United States (FDA) RWE Utilization Framework41 The Food and Drugs Administration (FDA) created a framework to evaluate the potential use of RWE in the approval instance of new technologies in 2018, in the context of a specific program for the use of RWE in approval decisions. There is a long history of using RWE in the context of safety assessment and post-marketing monitoring. In limited circumstances, the FDA has accepted RWE for product approval, especially in the context of oncological or rare diseases. This program focuses on the evaluation of the effectiveness of new technologies through RWE, on the aspects of modifications and / or extensions to the indications of products already approved, changes in dosages, routes of administration, comparative effectiveness, or safety information. Specific considerations addressed by the program include the following items: • Assessment of whether the real-life data are appropriate to be used • Assessment of whether RWE studies generated from these data provide adequate scientific evidence to answer regulatory questions • Evaluation of whether the studies conducted meet the regulatory requirements established by the FDA. This approach was developed to serve as a guide for both individual applications and the RWE usage program in general. It also targets standardization in requests and submissions involving real-life data. The forwarding of a questionnaire to all countries in the region for the purpose of summarizing the characteristics of the local use of RWE will be evaluated. Another alternative would be to fill the questionnaire during or after the PF as additional information for the Report and publication. 40 Elements of Real World Data/Evidence Quality throughout the Prescription Drug Product Life Cycle https://www. canada.ca/en/services/health/publications/drugs-health-products/real-world-data-evidence-drug-lifecycle-report. html 41 Framework for FDA Real World Evidence Program. Dec 2018 https://www.fda.gov/media/120060/download 29

Background Paper | Documento de Antecedentes HTAi 2022 Foro de Políticas en Evaluación de Tecnologías Sanitarias en Latinoamérica Documento de Antecedentes Evidencia del Mundo Real (Real World Evidence): Experiencias y desafíos para la toma de decisiones en América Latina VII Foro de Políticas en Evaluación de Tecnología Sanitaria en Latinoamérica (Latam Policy Forum). Brasilia, Agosto 2022. 30

Descripción general del Documento Base Background Paper | Documento de Antecedentes El documento se compondrá de las siguientes secciones: 1. Sección Introducción 2. Sección Antecedentes 3. Sección Evidencia del Mundo Real (RWE) 4. Sección Experiencias Internacionales 5. Sección Referencias Este documento ha sido elaborado por: • Sebastián García Martí - Instituto Efectividad Clínica y Sanitaria (IECS), • Guadalupe Montero - Red Argentina Pública de Evaluación de Tecnologías Sanitarias (RedARETS), • Verónica Sanguine - Dirección Nacional de Calidad en Servicios de Salud y Regulación Sanitaria - Ministerio de Salud de la Nación Argentina, • Federico Augustovski - Instituto Efectividad Clínica y Sanitaria (IECS), and • Andrés Pichon Riviere - Instituto Efectividad Clínica y Sanitaria (IECS). 31

Background Paper | Documento de Antecedentes Introducción En el glosario de la sociedad Internacional de Evaluación de Tecnologías Sanitarias (HTAi), se define la evidencia de vida real (RWE, Real World Evidence en inglés) como “evidencia derivada del análisis de datos del mundo real” (RWD, Real World Data en inglés). Se definen a los RWD, como datos recolectados con otros fines distintos a la investigación específica, que proporcionan información sobre la prestación rutinaria de atención de la salud y el estado de salud de la población objetivo.” 1 Es entonces necesario distinguir entre estos términos complementarios “evidencia del mundo real” (RWE) y “datos del mundo real” (RWD). Los RWD se refieren a los datos recopilados fuera de los ensayos controlados aleatorizados tradicionales (a veces llamados pivotales por las agencias regulatorias, los que se utilizan como evidencia para lograr la aprobación de la comercialización). Estos RWD consisten en una amplia gama de información posible, sobre los diferentes estados de salud de las personas y sobre la provisión de cuidados de la salud, provenientes de una gran variedad de fuentes, como por ejemplo, bases de datos administrativas, historias clínicas digitales, datos de facturación, registros de productos, registros de enfermedades específicas, datos generados por los pacientes, así como datos provenientes de aplicaciones en dispositivos móviles y otros. La RWE es en cambio la evidencia que se obtiene del análisis de los RWD sobre el uso, riesgos y beneficios de las tecnologías sanitarias así como del estado de salud de una población. Algunas de las potencialidades de los estudios de “vida real” en distintas fases del ciclo de evaluación de tecnologías sanitarias son la caracterización de aquellos pacientes o enfermedades con necesidades no satisfechas o poco controlados, la identificación de efectos adversos no tan frecuentes mediante farmacovigilancia o la descripción de los patrones habituales de tratamiento con su consiguiente utilidad para definir los comparadores estándar en un ensayo clínico o en una evaluación económica. También permiten aportar información para la realización de acuerdos de riesgo compartido o el monitoreo de intervenciones una vez incorporadas. En ocasiones este tipo de información puede complementar los ensayos clínicos controlados aleatorizados para evaluar la efectividad comparativa de distintas tecnologías o intervenciones en determinadas situaciones donde puede ser más compleja o difícil su realización.2 Los RWD y la RWE están teniendo creciente importancia en las diferentes etapas del ciclo de vida de las tecnologías sanitarias, desde las etapas iniciales ‘regulatorias’ hasta las de adopción y cobertura por los sistemas de salud, incluyendo también su monitoreo una vez incorporadas.3 El objetivo del séptimo Foro de Políticas en Evaluación de Tecnología Sanitaria en Latinoamérica de 2022 será discutir y entender la utilidad y potencial de la utilización de la RWE en los procesos de ETESA y toma de decisión, analizar los problemas que las agencia de ETESA y los diferentes actores enfrentan respecto a su utilización, y definir una serie de principios clave y acciones que puedan servir para guiar el establecimiento y desarrollo de la utilización de la RWE en la evaluación de tecnologías sanitarias y toma de decisiones en América Latina. ¿Que es la Evaluación de Tecnologías Sanitarias (ETESA)? La ETESA es un proceso multidisciplinario que utiliza metodologías explícitas para determinar el valor de una tecnología sanitaria a lo largo de su ciclo de vida (O'Rourke 2020). Su propósito es informar el proceso de 1 Oortwijn W: Real-world evidence in the context of health technology assessment processes- from theory to action. HTAi Global Policy Forum. Dic 2018. Disponible en: https://htai.org/wp-content/uploads/2019/02/ HTAiGlobalPolicyForum2019_BackgroundPaper.pdf 2 Annemans, L. The use of real world data throughout an innovative medicine’s lifecycle. Disponible en: https://www. riziv.fgov.be/nl/themas/kost-terugbetaling/door-ziekenfonds/geneesmiddel-gezondheidsproduct/terugbetalen/ innovatieve-geneesmiddelen/Paginas/innovative- medicins-lifecycle.aspx 3 McNair D, Lumpkin M, Kern S, Hartman D. Use of RWE to Inform Regulatory, Public Health Policy, and Intervention Priorities for the Developing World. Clin Pharmacol Ther. 2022 Jan;111(1):44-51 32

toma de decisión para promover sistemas de salud equitativos, eficientes y de alta calidad. Esta información Background Paper | Documento de Antecedentes es utilizada por los sistemas de salud para tomar decisiones que afectan sobre todo la forma en que se asignan los recursos sanitarios, como por ejemplo la decisión de dar cobertura a una determinada tecnología sanitaria, o la decisión de incorporarla a un paquete de beneficios. Las tecnologías sanitarias constituyen hoy una parte indispensable de todo sistema de salud y su uso se ha incrementado en las últimas décadas. La introducción de nuevas tecnologías ha representado en general beneficios significativos, en términos de prevención, seguridad, mejoras en la salud y calidad de vida o reducción de efectos adversos. Sin embargo, en un contexto en el cual los recursos son limitados, la correcta incorporación y difusión de las tecnologías se ha convertido en un desafío y, en algunos casos, un serio problema. La rápida aparición de tecnologías y el aumento del volumen de la evidencia disponible son hoy una realidad para todos los sistemas de salud. Brindar servicios de salud implica tomar decisiones acerca de qué intervenciones deben ser ofrecidas (e implícita o explícitamente cuáles no), la forma en que se organizará el sistema de salud, quién pagará por estas intervenciones; y también cómo y quiénes deben proveerlas. El desafío es lograr resultados en salud adecuados con los recursos disponibles, habiendo contemplado también los valores sociales, las expectativas y demandas de la población. Actualmente, una gran cantidad de países se han comprometido a alcanzar la cobertura universal en salud (CUS) para su población, siendo uno de los objetivos priorizados por la Organización Mundial de la Salud (OMS). En el contexto de la CUS, la priorización de intervenciones es una estrategia central, y en los documentos desarrollados por este organismo se considera de fundamental importancia que la misma se realice en base a la mejor evidencia disponible y a través de un proceso deliberativo que tome en cuenta los valores sociales4 5 . En este contexto, los decisores sanitarios han comenzado a necesitar cada vez más información confiable y detallada que les permita tomar decisiones transparentes y legítimas a la hora de fijar prioridades, para lograr obtener el máximo beneficio con presupuestos limitados. El crecimiento y desarrollo de la ETESA refleja esta demanda de información sólida y transparente que sirva como aval para tomar decisiones sobre el desarrollo, incorporación y difusión de tecnologías sanitarias6. Precisamente la ETESA tiene sus orígenes en esta creciente preocupación por la expansión de nuevas y costosas tecnologías sanitarias en los 1970s y las limitaciones de los sistemas de salud para financiar su uso. Como disciplina evolucionó desde los años 70´ para convertirse en una especialidad multidisciplinaria cuyo propósito es unir y sintetizar la evidencia disponible con el fin de ayudar a los decisores sanitarios, profesionales de la salud y pacientes a entender el valor relativo de las tecnologías. El desarrollo de la ETESA ha sido especialmente notable en los últimos 20 años y constituye hoy un componente indispensable de los sistemas de salud de muchos países. En la región de Latinoamérica y el Caribe (LA) han surgido varias iniciativas. Argentina, Brasil, Colombia, Chile, México y Uruguay cuentan con agencias de ETESA miembros de INAHTA (sigla de la Red Internacional de Agencias de ETESA), y diversos países latinoamericanos aplican actualmente, en diferente medida, la ETESA en la toma de decisiones sobre asignación de recursos. La mayor parte de estas iniciativas de la región están agrupadas en RedETSA, la red de evaluación de tecnologías sanitarias de América Latina (http://redetsa.org/), coordinada por la Organización Panamericana de la Salud (OPS). La ETESA tiene la potencialidad de ser una herramienta de gran utilidad para los tomadores de decisión. Sin embargo, si no se realiza y utiliza de forma adecuada, se corre el riesgo de producir una asignación ineficiente de recursos, dar cobertura a intervenciones de poco o nulo beneficio, impedir o demorar el acceso 4 Terwindt F, Rajan D, Soucat A. Priority-setting for national health policies, strategies and plans. In: Schmets G, Rajan D, Kadandale S, eds. Strategizing national health in the 21st century: a handbook: World Health Organization (WHO); 2015:71 5 World Health Organization (WHO). Making fair choices on the path to universal health coverage. Final report of the WHO Consultative Group on Equity and Universal Health Coverage 2014: http://apps.who.int/iris/ bitstream/10665/112671/1/9789241507158_eng.pdf?ua=1. Accessed 11- 3-2016 6 Gabbay J, Walley T. Introducing new health interventions. BMJ. 2006;332(7533):64-65. 33

Background Paper | Documento de Antecedentes de pacientes a tecnologías sanitarias útiles, exponer a los pacientes a riesgos innecesarios, y enviar mensajes equivocados a los productores de tecnologías, entre otros7. A su vez, la ETESA no es un ejercicio puramente técnico, y el proceso de toma de decisiones debe tomar en cuenta dimensiones cada vez más amplias. Por estos motivos, dado que las decisiones que se tomarán a través del proceso de ETESA tienen el potencial de afectar a un gran número de personas e instituciones, se han propuesto una serie de principios básicos que la ETESA debería cumplir. Estos principios incluyen aspectos como la transparencia en el procesos de realización de ETESA y la toma de decisión, el involucramiento de actores relevantes, la existencia de mecanismos explícitos para decidir qué tecnologías serán evaluadas, y la existencia de un vínculo claro entre la evaluación y la toma de decisión.8 9 10 Muchos de estos aspectos fueron tratados en las diferentes ediciones del Foro de Políticas de HTAi para Latinoamérica.11 12 13 14 15 Antecedentes y Objetivos del Foro El Foro de Políticas de Evaluación de Tecnologías Sanitarias (del inglés Policy Forum) es una actividad organizada por HTAi (de su sigle en inglés Health Technology Assessment International). Se creó en el año 2004 con el objetivo de proporcionar un espacio neutral para llevar a cabo discusiones de carácter estratégico sobre el estado presente de la ETESA, su desarrollo, y sus implicancias para los sistemas de salud, la industria, los pacientes y otras partes interesadas. El mismo convoca a representantes de tres grupos principales de instituciones: 1) tomadores de decisión sobre la cobertura y reembolso/precios de medicamentos y dispositivos en los sistemas de salud; 2) organismos que realizan ETESA en apoyo de estas decisiones; y 3) empresas biomédicas productoras de tecnologías. Se realiza desde hace 17 años con foco en Europa y EE.UU; y desde hace 10 años, en Asia. En el año 2016 comenzó a realizarse también en Latinoamérica, siendo este el séptimo Foro que se realizará en la región. El enfoque, la agenda y los detalles logísticos fueron desarrollados por un Comité Organizador compuesto por el presidente del Foro y representantes de las instituciones participantes (tres representantes del ámbito público y tres representantes del ámbito de empresas productoras de tecnología). El Instituto de Efectividad Clínica y Sanitaria de Argentina (IECS – www.iecs.org.ar) actuó como la Secretaría Científica. El proceso de selección del tópico de este séptimo Foro comenzó durante el sexto Foro e incluyó los siguientes pasos: 1. Se procedió a la elaboración de un listado de temas potencialmente relevantes a partir de las propuestas/temas sugeridos por parte de los miembros del Foro Latinoamericano y se realizó una votación durante el cierre del Foro 2021 para identificar los tópicos más prioritarios para el 2023. 7 Wilsdon T, Serota A. A comparative analysis of the role and impact of health technology assessment. . London:UK: Charles River Associates; 2011: http://www.phrma.org/sites/default/files/pdf/hta_final_comparison_report_13_ may_2011_stc1.pdf 8 Daniels N, Sabin J. Setting limits fairly: learning to share resources for health. 2nd ed. New York: Oxford University Press; 2008 9 Drummond MF, Schwartz JS, Jönsson B, Luce BR, Neumann PJ, Siebert U, Sullivan SD. Key principles for the improved conduct of health technology assessments for resource allocation decisions. Int J Technol Assess Health Care. 2008. Summer;24(3):244-58; discussion 362-8 10 Pichon-Riviere A, Augustovski F, Rubinstein A, Martí SG, Sullivan SD, Drummond MF. Health technology assessment for resource allocation decisions: Are key principles relevant for Latin America? Int J Technol Assess Health Care. 2010 Oct;26(4):421-7 11 Pichon-Riviere A, Soto NC, Augustovski FA, García Martí S, Sampietro-Colom L. Health techonolgy assessment for decision making in Latin America: good practice principles. Int J Technol Assess Health Care, 34:3 (2018), 1-7 12 Pichon-Riviere A, Soto NC, Augustovski FA, Sampietro-Colom L. Stakeholder involvement in health technology assessment process in Latin America. Int J Technol Assess Health Care, 34:3 (2018), 1-6 13 Pichon-Riviere A, GarciaMarti S, Oortwijn W, Augustovski F, SampietroColom L (2019). Defining the Value of Health Technologies in Latin America: Developments in Value Frameworks to Inform the Allocation of Healthcare Resources. International Journal of Technology Assessment in Health Care 35, 64–68 14 Pichon-Riviere A, Augustovski F, García Martí S, Alfie V, Sampietro-Colom L (2020). The link between health technology assessment and decision making for the allocation of health resources in Latin America. International Journal of Technology Assessment in Health Care 36, 173–178 15 Pichon-Riviere A, Augustovski F, García Martí S, Alcaraz A, Alfie V, Sampietro-Colom L (2021). Identification and selection of health technologies for assessment by agencies in support of reimbursement decisions in Latin America. International Journal of Technology Assessment in Health Care 1–8 34

2. Envío de dicho listado a los miembros del Comité Organizador para sus comentarios/sugerencias. Background Paper | Documento de Antecedentes 3. Selección del tópico final a través de un proceso deliberativo en el Comité Organizador En base a este proceso, el tópico seleccionado para este séptimo foro fue “Real World Evidence: Experiencias y desafíos para la toma de decisiones en América Latina”. Esta séptima edición del Policy Forum Latinoamericano se concatena con los seis anteriores: Policy Forum 2016: El primero de los Policy Forum de LA se realizó en Costa Rica. En este encuentro se discutió sobre los “Principios de buenas prácticas en la aplicación de la Evaluación de Tecnología Sanitaria en la toma de decisiones en Latinoamérica”. Como resultado del mismo los principios priorizados como más relevantes para promover la aplicación de ETESA en LA fueron: • Transparencia en procesos de realización de ETESA y de comunicación de sus resultados • Involucramiento de los actores relevantes en el proceso de ETESA • Existencia de mecanismos de apelación • Existencia de mecanismos claros para el establecimiento de prioridades en ETESA • Existencia de un vínculo claro entre la evaluación y la toma de decisión Policy Forum 2017: Este segundo Policy Forum, llevado a cabo en Lima, tuvo como tema central la incorporación de distintos actores en el proceso de Evaluación de Tecnologías Sanitarias, un aspecto que había sido identificado como prioritario durante el primer Policy Forum. Policy Forum 2018: Se realizó en Montevideo en 2018 y discutió sobre marcos de valor en ETESA. Policy Forum 2019: Se realizó en Buenos Aires y tuvo como eje la relación entre la ETESA y la toma de decisiones. Policy Forum 2020: Fue realizado en forma on-line y discutió los mecanismos utilizados por las agencias de ETESA para priorizar las evaluaciones a realizar. Policy Forum 2021: También realizado en forma on-line, discutió el rol de los procesos deliberativos en la ETESA (Todos los resultados de las discusiones mantenidas durante estos cinco Policy Forum están disponibles en una serie de publicaciones: Pichon-Riviere et al 2018-2021) Los objetivos principales de este séptimo Foro de Políticas en Evaluación de Tecnología Sanitaria en Latinoamérica serán: • Explorar el estado actual de la utilización de RWD/RWE en las diferentes etapas de los procesos de ETESA en Latinoamérica (incluyendo también aspectos relacionados con la generación y análisis de los RWD) • Explorar los aspectos positivos/negativos, ventajas/desventajas y principales consecuencias/dificultades de la utilización de RWE en la Región • Explorar las limitaciones/barreras/riesgos y las oportunidades/facilitadores para la implementación/ profundización de la utilización de RWE en la Región • Discutir e identificar los principales aspectos contextuales que deberían tenerse en cuenta en la región al momento de implementar/profundizar la utilización de RWE, así como los principios de buena práctica y requisitos que debería cumplir el sistema de salud para llevarlos adelante • Discutir la potencial aplicabilidad de los diferentes modelos utilizados en el mundo a los sistemas de salud de Latino América, y generar una serie de recomendaciones para guiar el establecimiento y desarrollo de la utilización de la RWE en la evaluación de tecnologías sanitarias y toma de decisión en América Latina. 35

Background Paper | Documento de Antecedentes Introducción a RWE. Definición. Antecedentes. Marco conceptual Como fué mencionado en la introducción, se considera RWE a aquella información analizada juiciosamente y proveniente del análisis de RWD (datos recolectados sin tener como fin específico un estudio de investigación). En la figura a continuación se describen tanto los distintos diseños como tipos de datos y su potencial utilidad en el contexto de la generación de RWE. Los RWD y su análisis y transformación en RWE, actualmente son utilizados en mayor o menor medida por los diferentes actores del sistema de salud. Entre sus principales aplicaciones se pueden mencionar16: • Caracterizar las condiciones de salud, las intervenciones, las vías de atención y los resultados y experiencias de los pacientes. • Comprender la seguridad de las tecnologías médicas, incluidos los medicamentos, los dispositivos y los procedimientos de intervención • Evaluar el impacto de las intervenciones (incluidas las pruebas diagnósticas) en la prestación de servicios y las decisiones sobre la atención • Evaluar la aplicabilidad de los ensayos clínicos a los pacientes en condiciones de práctica habitual • Diseñar, completar y validar modelos económicos (incluidas estimaciones del uso de recursos, calidad de vida, tasas de eventos, prevalencia, incidencia y resultados a largo plazo) • Desarrollar o validar tecnologías de salud digital • Identificar, caracterizar y abordar las desigualdades en salud • Aportar información para la generación de acuerdos de riesgo compartido 16 Real-world evidence framework. NICE UK. https://www.nice.org.uk/about/what-we-do/real-world-evidence- framework-feedback 36

Un uso específico tanto por las agencias regulatorias como por las agencias de evaluación de tecnologías Background Paper | Documento de Antecedentes sanitarias es complementar la información proveniente de los ensayos clínicos aleatorizados controlados (ECAs) en ocasiones en que la realización de los mismos puede ser compleja o difícil para complementar los mismos en la evaluación de la efectividad comparada entre intervenciones. Los ensayos clínicos aleatorizados (ECAs) son la fuente priorizada cuando se analiza la evidencia sobre la eficacia de las intervenciones. La aleatorización garantiza que cualquier diferencia en las características iniciales entre los grupos a comparar se distribuya de manera homogénea entre los mismos. Sin embargo, los ECAs a veces no están disponibles o no son directamente relevantes para las decisiones sobre la atención de los pacientes. Aunque muchas veces los ECAs logran responder acerca de la eficacia -y a su vez son requeridos- por las agencias regulatorias que autorizan la comercialización de nuevas tecnologías sanitarias (FDA, EMA, ANVISA, etc); raramente logran responder a la pregunta de los sistemas de salud (pagadores, prestadores) de la efectividad de las tecnologías en condiciones habituales. A su vez, los ECAs pueden ser especialmente difíciles de realizar en poblaciones con enfermedades raras debido al pequeño número de pacientes, necesidades insatisfechas que dificultan la realización de estudios en estas poblaciones o variaciones en la práctica clínica. En algunos casos no es posible contar con información proveniente de ECAs, por varias razones, entre ellas 17: • la aleatorización se considera poco ética o inviable (por ejemplo, para algunas enfermedades raras o graves con necesidad insatisfecha importante) • los desafíos técnicos hacen que la aleatorización sea poco práctica, lo cual es más común para los dispositivos médicos y los procedimientos de intervención • no hay financiación disponible para un ensayo (por ejemplo, cuando la intervención ya se utiliza en la práctica habitual). De manera similar, los ECAs de alta calidad pueden ser un desafío para los dispositivos médicos y los procedimientos de intervención debido a la dificultad del cegamiento, la importancia de los efectos de aprendizaje, los cambios en el estándar de atención que dificultan la elección del comparador, los cambios en las características de la tecnología en el tiempo que pueden impactar en el desempeño, y capacidad de investigación limitada o acceso a financiamiento.18 También es posible que la evidencia de los ECA no sea suficiente para la toma de decisiones porque el comparador no refleja el estándar de atención, los grupos de población relevantes están excluidos, existen diferencias importantes en los comportamientos de los pacientes, las vías de atención o los entornos difieren de la implementación en la práctica habitual, el tiempo de seguimiento es limitado, se utilizan resultados sustitutos no validados o los ensayos fueron de mala calidad.19 Es en estos contextos donde algunos otros diseños enmarcados en lo que se considera RWE pueden ser utilizados. Dentro de los mismos se encuentran, estudios observacionales como por ejemplo de cohortes prospectivas o retrospectivas, u otros diseños como ser ensayos clínicos “pragmáticos”. Por otro lado, más allá que la RWE podría usarse para complementar la información proveniente de otro tipo de estudios y acelerar el acceso de las tecnologías en algunos grupos de pacientes, existen barreras para su uso, entre las que se incluyen:20 • Desafíos para acceder a datos de alta calidad de manera oportuna • Preocupaciones sobre la procedencia y calidad de los datos 17 Real-world evidence framework. NICE UK. https://www.nice.org.uk/about/what-we-do/real-world-evidence- framework-feedback 18 Fleurence RL, Shuren J. Advances in the Use of Real-World Evidence for Medical Devices: An Update From the National Evaluation System for Health Technology. Clin Pharmacol Ther. 2019 Jul;106(1):30-33 19 Real-world evidence framework. NICE UK. https://www.nice.org.uk/about/what-we-do/real-world-evidence- framework-feedback 20 Framework for FDA’s Real-World Evidence Program. FDA. 2018 37

Background Paper | Documento de Antecedentes • Riesgo de sesgo por limitaciones de información • Confianza limitada en la integridad de algunos estudios de evidencia del mundo real debido a la complejidad de la generación de evidencia y la oportunidad de “seleccionar” los resultados • Dificultades en el análisis de los mismos que limitan su validez interna Rol y utilidad potencial de RWE a lo largo del ciclo de vida de la ETESA La RWE puede tener distintas utilidades durante las diferentes fases del ciclo de vida de una tecnología sanitaria, es decir, desde la fase de desarrollo, la fase de acceso al mercado, la fase de utilización una vez incorporada e incluso la obsolescencia. En cada una de estas fases se utilizan distintos diseños o fuentes de datos. En este documento al referirnos a RWE damos por sentado que la misma se genera a partir RWD que son el insumo necesario para generar este tipo de información. En el background paper del Policy Forum global de 201821, sobre RWE y ETESA, se discute el rol y utilidad potencial de la RWE a lo largo del ciclo de vida de la ETESA. Se identificaron una serie de aplicaciones potenciales en las diferentes etapas del ciclo de vida que son mencionadas a continuación (principalmente basadas en un documento de Annemans 2017)22. Durante la fase de desarrollo Durante la fase de desarrollo algunas de las utilidades de RWE pueden ser: caracterizar mejor las enfermedades, las poblaciones de pacientes y comprender las necesidades actuales, así como permitir realizar estudios de carga de enfermedad. Identificar a aquellos pacientes que podrían participar en estudios de investigación, facilitando los procesos de reclutamiento. Permitir la realización de ensayos clínicos \"pragmáticos o realista\" permitiendo incorporar resultados de la práctica clínica habitual. Durante la fase de acceso al mercado Aprobación de comercialización (agencias regulatorias): La RWE puede proporcionar información adicional para la aprobación de tecnologías, especialmente en los escenarios en donde la evidencia proveniente de ECAs no está disponible, por ser tecnologías innovadoras, enfermedades raras o ultra-raras, o imposibilidad ética de conducir un ECA por ejemplo. Además la RWE puede proporcionar información adicional, de soporte, con mayor validez externa que los ECAs, así como ofrecer datos inherentes a diferentes subgrupos poblacionales, al uso fuera de las indicaciones inicialmente aprobadas (el llamado uso “off-label”), uso inapropiado de tecnologías y para validar el uso de puntos finales surrogados en determinadas patologías.23 La RWE también puede colaborar a una mejor comprensión del tratamiento habitual de los pacientes, y de los estándares de atención, así como a una mejor comprensión de las complicaciones, los eventos adversos, la progresión de la enfermedad, el uso de recursos y los costos que potencialmente pueden ser utilizados para la realización de Evaluaciones Económicas. Para decisiones cobertura (financiadores del sistema de salud, agencias de ETESA, prestadores): En ocasiones mas allá del aporte de información complementaria a los ECAs en la decisión sobre políticas de cobertura, la RWE puede ser útil para la generación de acuerdos de riesgo compartido o la cobertura 21 Oortwijn W: Real-world evidence in the context of health technology assessment processes- from theory to action. HTAi Global Policy Forum. Dic 2018. Disponible en: https://htai.org/wp-content/uploads/2019/02/ HTAiGlobalPolicyForum2019_BackgroundPaper.pdf 22 Annemans, L. The use of real world data throughout an innovative medicine’s lifecycle. Disponible en: https://www. riziv.fgov.be/nl/themas/kost-terugbetaling/door-ziekenfonds/geneesmiddel-gezondheidsproduct/terugbetalen/ innovatieve-geneesmiddelen/Paginas/innovative- medicins-lifecycle.aspx 23 Use of real-world evidence in single-drug assessments. Ottawa: CADTH; 2018. (Environmental scan; no. 74) 38

condicional con el desarrollo de evidencia que permite en ocasiones optimizar las decisiones en escenarios Background Paper | Documento de Antecedentes de incertidumbre acerca del verdadero beneficio de las tecnologías. Durante la fase de utilización una vez incorporada Durante esta fase puede permitir evaluar los resultados de las tecnologías en la práctica real (adherencia, identificación de subgrupos de pacientes con mayor beneficio o evaluación de la seguridad). Esta información puede servir como insumo en los acuerdos de riesgo basados en resultados, la reevaluación del verdadero beneficio de una tecnología que podría llevar a evaluar la desinversión de la misma o como insumo para el desarrollo de sistemas de apoyo a la toma de decisiones clínicas.24 Desafíos de la RWE en el contexto de la ETESA El mayor uso de RWE requiere fuentes de datos adecuadas (RWD) y de calidad (por ejemplo historias clínicas electrónicas, bases de datos administrativas, registros de pacientes, dispositivos portátiles, plataformas de redes sociales, sitios web de organizaciones de pacientes, genómica, biomarcadores). Por otro lado existe cada vez mas una producción creciente de datos provenientes de “wereables” que plantea desafíos al momento de ser utilizados no solo en cuanto a su análisis sino en cuanto a la privacidad y acceso a los mismos. Como se describe en el ‘libro blanco’ del Duke-Margolis Center for Health Policy 25 se reconoce que datos y evidencia no son lo mismo; los RWD son necesarios pero no suficientes para generar RWE. Existe una clara necesidad de separar estos conceptos entre sí. Actualmente se encuentran en debate aspectos tales como el momento y la manera adecuados para incorporar la RWE en las ETESA. También sobre qué impacto tendría su incorporación para los diferentes actores, como los pacientes, los profesionales de la salud, financiadores, fabricantes, decisores y evaluadores de tecnologías. Durante el Policy Forum Global sobre RWE realizado en 2018 los desafíos claves relacionados con el uso de RWE identificados por HTAi 26 que también son aplicables a la región fueron: • ¿Para qué preguntas de ETESA podría la RWE ser aceptada como adecuada para su propósito? • ¿Cuándo usar RWE a lo largo del ciclo de vida de la tecnología? • Calidad de los datos de fuentes del mundo real • Infraestructura de datos y acceso a datos • Problemas de transferibilidad Para qué preguntas de ETESA podría ser aceptable o útil el uso de RWE Las preguntas clave que están relacionadas con este tema incluyen: ¿En qué casos la ETESA puede beneficiarse del uso de RWE? Pero a su vez ¿Cuál es la aceptabilidad de RWE por parte de los tomadores de decisiones y los financiadores? La RWE puede ser utilizada para múltiples propósitos. Entre los distintos fines se incluyen proporcionar evidencia sobre la historia natural y la epidemiología de una enfermedad, proporcionar información sobre 24 Pearson SD, Dreitlein WB, Towse, A, Hampson G, Henshall C. A framework to guide the optimal development and use of real-world evidence for drug coverage and formulary decisions. J Comp Eff Res. 2018;7:1145–52 25 Characterizing RWD Quality and Relevancy for Regulatory Purposes. October 2018. Duke-Margolis Center for Health Policy 26 Oortwijn W: Real-world evidence in the context of health technology assessment processes- from theory to action. HTAi Global Policy Forum. Dic 2018. Disponible en: https://htai.org/wp-content/uploads/2019/02/ HTAiGlobalPolicyForum2019_BackgroundPaper.pdf 39

Background Paper | Documento de Antecedentes el tratamiento e intervenciones en la práctica habitual, aportar información en las decisiones de aprobación regulatoria, y ser útil para el monitoreo de la utilización de las tecnologías una vez incorporadas. Por otro lado, y cada vez más en ETESA, especialmente en análisis de costo-efectividad, decisiones de cobertura de los financiadores o acuerdos de pagos basados en resultados. La RWE también puede ser útil para estimar costos en atención médica así como también proporcionar información para complementar la evidencia de ECAs u otros hallazgos de investigación existentes. Más allá de estas potenciales utilidades mencionadas previamente, existe cierta resistencia por parte de los distintos actores a utilizar RWE y a comprender su utilidad como también se detalla en el background paper del Policy Forum Global debido a falta de comprensión, acceso a fuentes de datos o falta de colaboración entre los distintos actores, problemas comunes a distintas regiones.27 Cuando usar RWE en el ciclo de vida de las tecnologías No existe un consenso claro entre los distintos actores sobre cuándo usar RWE. Sin embargo, algunos actores involucrados consideran que hay potencial en la RWE para racionalizar el uso de las tecnologías sanitarias e impulsar decisiones de desinversión. Las agencias regulatorias como la FDA de EE.UU. y la EMA en la Unión Europea, o Health Canada, utilizan la RWE para complementar los datos provenientes de ECAs, tanto durante la autorización previa a la comercialización como posteriormente a la misma para monitoreo y tutela de las tecnologías.28 Adicionalmente a estos usos mencionados, EMA identificó algunas potenciales barreras al uso de RWE entre las que se incluyen: calidad de los datos y acceso limitado a las fuentes de los mismos, definición de desenlaces en forma apropiada y extrapolación de datos de registros no europeos.29 Calidad de los datos de fuentes del mundo real Otro aspecto mencionado en el background paper del Policy Forum Global y que es muy relevante para nuestra región son los aspectos relacionados a la calidad de los datos. Los datos incompletos, la heterogeneidad entre las distintas fuentes y su dificultad para vincularlas, así como dificultades particulares del análisis de los datos no recolectados con fines específicos de investigación, son cuestiones clave que deben ser abordadas en el contexto de RWE.30 Otro desafío es identificar metodologías sólidas para recolectar y analizar RWD (estandarización) para estimar la eficacia y la efectividad.31 Esto se debe en parte a las diferencias en la práctica clínica entre distintos países o regiones, lo que lleva a una gran heterogeneidad en RWD. Esta situación compromete la utilización de RWD y RWE. En este sentido es necesario definir conjuntos mínimos de datos entre las distintas fuentes que permitan posteriormente la interoperabilidad y extrapolación de los mismos. Existen iniciativas como por ejemplo DARWIN en la Unión Europea para promover la estandarización de los RWD y facilitar su uso posterior así como incrementar su potencial utilidad.32 27 HTAi Policy Forum Series Newsletter. Universal health care in the Asia Region: overcoming the barriers using HTA and Real World Data. December 2017. Available at: https://htai.org/wp-content/uploads/2018/05/HTAi_Asia-Policy-Forum_ newsletter_20171208b.pdf 28 Use of real-world evidence in single-drug assessments. Ottawa: CADTH; 2018. (Environmental scan; no. 74) 29 Plueschke, K., McGettigan, P., Pacurariu, A., et al. EU-funded initiatives for real world evidence: descriptive analysis of their characteristics and relevance for regulatory decision-making. BMJ Open 2018; 8 (6): e021864 30 Considerations for the Use of Real-World Data and Real- World Evidence to Support Regulatory Decision-Making for Drug and Biological Products. Draft Guidance. FDA December 2021 31 Annemans, L. The use of real world data throughout an innovative medicine’s lifecycle. Disponible en: https://www. riziv.fgov.be/nl/themas/kost-terugbetaling/door-ziekenfonds/geneesmiddel-gezondheidsproduct/terugbetalen/ innovatieve-geneesmiddelen/Paginas/innovative- medicins-lifecycle.aspx 32 Data Analysis and Real World Interrogation Network (DARWIN EU®) https://www.ema.europa.eu/en/about-us/how- we-work/big-data/data-analysis-real-world-interrogation-network-darwin-eu 40

Otro aspecto relacionado a la calidad de los datos se refiere a la transparencia de RWE generada a partir Background Paper | Documento de Antecedentes de RWD. El grupo de trabajo especial ISPOR-ISPE publicó un documento33 que aborda varios aspectos claves de la transparencia en la planificación general del estudio, así como en la ejecución para facilitar la reproducibilidad. Se proporcionan recomendaciones específicas para los estudios que incluyen datos sobre la eficacia del tratamiento con hipótesis explícitas a priori (los llamados estudios ‘HETE’ en inglés, Estudios de Hipótesis que Evalúan la Efectividad del Tratamiento) para que se registre el protocolo34 y el diseño del mismo antes de ser realizado, así como la publicación de los resultados o desviaciones del protocolo y del análisis, que permita aumentar la transparencia e incluir a los distintos actores (agencias de ETESA, financiadores, agencias regulatorias, médicos , pacientes o industria) en el diseño, la realización y la difusión de estos estudios. Infraestructura y acceso a los datos Las diferencias en el contenido y la estructura de las distintas bases de datos que podrían ser utilizadas puede dar lugar a importantes desafíos para compartir RWD tanto dentro de un país como entre países y/o regiones. Asimismo, existen retos considerables en relación con la falta de gobernanza de los mismos. En ocasiones no hay normativas para la colaboración, existen falta de incentivos para el intercambio de datos, problemas o aspectos relacionados al consentimiento de los pacientes, y la privacidad y la seguridad de los datos, pueden obstaculizar el acceso y dar lugar a elevados costos de protección de datos para cumplir con normativas adecuadas. Como se mencionó previamente la Unión Europea está avanzando en estos aspectos que promuevan la utilización de RWD a través de la iniciativa DARWIN. Otro aspecto a tener en cuenta, es que mejorar la infraestructura para generar RWD puede ser costosa y compleja, ya que puede requerir cambios en la práctica habitual incluida la creación de infraestructuras de apoyo, como los sistemas informáticos. Transferabilidad La recopilación de datos, más aún RWD, suele estar relacionada con contextos específicos (por ejemplo un sistema sanitario local), características particulares de la atención o los pacientes o incluso el nivel de conocimiento o variaciones en la práctica clínica. Por ejemplo, incorporar la atención habitual como comparador en un estudio (dosis frecuencia, vía de administración, monitoreo) puede diferir entre distintos ámbitos, así como diferencias en la población. Estas diferencias que habitualmente existen se hacen más evidentes al ser los RWD más específicos de los distintos contextos planteando aspectos puntuales sobre la transferibilidad de los resultados. Situación y recomendaciones respecto a los procesos de utilización de RWE a nivel global Distintas agencias, tanto en el ámbito regulatorio como en el de la ETESA a nivel global, incorporan RWE en sus procesos de evaluación. De todos modos, el grado de utilización es heterogéneo, aunque se pueden señalar ciertos aspectos comunes. La agencia canadiense de evaluación de tecnologías sanitarias CADTH realizó un relevamiento del uso de RWE por distintas agencias de ETESA en el mundo, en el cual se mencionan los siguientes estudios.35 33 Orsini LS, Berger M, Crown W, Daniel G, Eichler HG, Goettsch W, Graff J, Guerino J, Jonsson P, Lederer NM, Monz B, Mullins CD, Schneeweiss S, Brunt DV, Wang SV, Willke RJ. Improving Transparency to Build Trust in Real-World Secondary Data Studies for Hypothesis Testing-Why, What, and How: Recommendations and a Road Map from the Real-World Evidence Transparency Initiative. Value Health. 2020 Sep;23(9):1128-1136. 34 Real-World Evidence Registry https://www.ispor.org/strategic-initiatives/real-world-evidence/real-world-evidence- registry 35 Use of real-world evidence in single-drug assessments. Ottawa: CADTH; 2018. (Environmental scan; no. 74) 41

Background Paper | Documento de Antecedentes Makady y colaboradores36 examinaron las políticas de uso de RWE en 6 agencias de ETESA de países europeos (NICE, TLV, IQWiG, HAS, ZIN y AIFA), en general las 6 agencias consideran a los estudios de RWE de una calidad de evidencia menor a los ECAs. Consideran que las circunstancias especiales en que se podría considerar la utilización de RWE son: ausencia de ECAs (NICE, ZIN, IQWiG), en ausencia de ECAs de comparaciones directas RWE puede utilizarse para informar la efectividad de comparaciones indirectas (NICE, ZIN) o suplementar datos provenientes de ECAs en subgrupos específicos no contemplados en los ECAs o para obtener resultados a mayor largo plazo (NICE, ZIN). En todos los casos las agencias solicitan que se explicite adecuadamente la necesidad de utilizar RWE y detallar los potenciales sesgos y sus consecuencias sobre la estimación del efecto de las tecnologías en evaluación. En el reporte realizado por CADTH evaluaron también la utilización de RWE por parte de las agencias de Canadá, Australia y Nueva Zelanda observando resultados similares a los hallados en el reporte de Makady. Más allá que las agencias consideran a los estudios de RWE con mayor riesgo de sesgo que los ECAs, les confieren un valor particular en las siguientes situaciones: aquellas condiciones que sin una intervención pueden ser fatales en el corto plazo (“efecto dramático”), necesidad insatisfecha de gran magnitud, dificultad para la realización de ECAs debido a muy bajo número de pacientes o ser considerado antiético (por ejemplo mujeres durante el embarazo) y para identificar efectos adversos serios raros o a largo plazo. Cuando existen ECAs los estudios de RWE pueden proveer información acerca de la adherencia de los tratamientos, la persistencia de sus efectos, o la dosis y utilización de las tecnologías en la práctica habitual. Otro reporte mencionado realizado por Griffiths37 evaluó la proporción de uso de RWE en los reportes de evaluación de tecnologías sanitarias de NICE, IQWiG y CADTH, observando 38%, 12% y 13% respectivamente, siendo RWE la única evidencia presentada en 4%, 4% y 6% respectivamente. En general es infrecuente el uso de RWE como única fuente para la evaluación del beneficio de las intervenciones y cuando es utilizada requiere un abordaje prudente. Se está explorando más activamente el uso de RWE en las fases preliminares de las decisiones de incorporación a los mercados, en la extensión de indicaciones o en aquellas situaciones donde la magnitud de las necesidades insatisfechas es alta o en la vigilancia pos incorporación de la utilización. Aspectos específicos acerca de la utilización de RWE en ETESA en Latinoamérica En los países de Latinoamérica se constata en las últimas décadas un incremento del número de agencias y organizaciones que realizan ETESA, y también un creciente interés por ampliar las fuentes de información en los sistema de salud, más allá de los ensayos clínicos controlados, por parte de organizaciones académicas, de evaluadores, financiadores y de productores. Sin embargo, la disponibilidad de fuentes adecuadas de RWD es muy escasa, con deficiencias en relación a la confiabilidad y completitud de los datos. Por este motivo la reticencia de las agencias evaluadoras para incorporar este tipo de fuentes en las ETESA es aún significativa. A nivel regional, una revisión llevada a cabo por Justo y cols en 201938, que incluyó una revisión de la literatura y consultas con líderes de opinión claves de Argentina, Brasil, Chile y Colombia, describió que el principal uso en ese momento era el de la farmacovigilancia y tecnovigilancia. A nivel de las decisiones de cobertura, aunque no se identificaron procesos formales, en general las agencias 36 Makady A, Ham RT, de Boer A, Hillege H, Klungel O, Goettsch W, et al. Policies for use of real-world data in health technology assessment (HTA): a comparative study of six HTA agencies. Value Health. 2017 Apr;20(4):520-32. 37 Griffiths EA, Macaulay R, Vadlamudi NK, Uddin J, Samuels ER. The Role of Noncomparative Evidence in Health Technology Assessment Decisions. Value Health. 2017 Dec;20(10):1245-51 38 Justo N, Espinoza MA, Ratto B, Nicholson M, Rosselli D, Ovcinnikova O, García Martí S, Ferraz MB, Langsam M, Drummond MF. Real-World Evidence in Healthcare Decision Making: Global Trends and Case Studies From Latin America. Value Health. 2019 Jun;22(6):739-749 42

evaluadoras incorporan evidencia proveniente de datos observacionales en especial en los análisis de Background Paper | Documento de Antecedentes impacto presupuestario o evaluaciones económicas. El mayor desarrollo en su uso se describe en Brasil, aunque en poblaciones relativamente chicas y con escaso desarrollo de interoperabilidad entre bases y sistemas de registros. En los demás países incluidos en esta revisión, se llevan a cabo cada vez más evaluaciones económicas para la toma de decisiones, pero el uso de la RWE tiende aún a ser promovido en mayor medida por los productores de tecnologías sanitarias pero no constituye una parte formal de acuerdos de acceso a mercados en conjunto con agencias evaluadoras, tomadores de decisión y/o financiadores. También se menciona en esta revisión la existencia de registros de enfermedades específicas a nivel gubernamental que pueden ser fuentes de datos útiles en la generación de RWE. Al igual que desafíos y limitaciones encontrados en otras regiones, en la revisión se mencionan como algunas barreras la incertidumbre sobre la calidad o integridad de las bases de datos o la calidad y seguridad de los mismos. Se menciona también una deficiencia en los recursos profesionales capacitados para el análisis y manejo metodológico de datos y escasa difusión de buenas prácticas en el proceso de generación de RWE en base a los RWD disponibles. También se menciona una falta de confianza entre los distintos actores al no haber acciones integradas ni basadas en la confianza que influye en la dificultad del uso de RWD y RWE. Sección Experiencias internacionales Se seleccionaron a continuación 2 agencias de evaluación de ETESA (NICE y CADTH) y una agencia regulatoria (FDA) para describir sus procesos y marcos de utilización de RWE. Se describen los procesos de utilización de las mismas. Marco de utilización RWE NICE (Reino Unido)39 El NICE en su documento marco para el uso adecuado de datos del mundo real proporciona una guía detallada y describe claramente las mejores prácticas para planificar, realizar y reportar estudios de RWE para mejorar la calidad y la transparencia de la evidencia. Este documento puntualiza los elementos a tener en cuenta en las distintas etapas de generación de la evidencia: 1. En la planificación: • Definir claramente la pregunta de investigación, las definiciones de los criterios de elegibilidad de la población, las intervenciones, los resultados y la población objetivo. • Planificar el estudio prospectivamente y hacer públicos los protocolos. • Elegir datos que sean de buena procedencia y de suficiente calidad y relevancia para abordar la pregunta de investigación • Justificar la necesidad de una mayor recopilación de datos primarios, sopesando la carga de los pacientes y los profesionales de la salud frente al valor de los datos adicionales • Usar los datos de acuerdo con la ley local, los procesos de gobierno local, los códigos de práctica y los requisitos del propietario de los datos 2. Durante la ejecución: • Usar diseños de estudio y métodos estadísticos apropiados para la pregunta de investigación, considerando los principales riesgos de sesgo • Usar análisis de sensibilidad y/o sesgo para evaluar la solidez de los estudios frente a los riesgos de sesgo o análisis de datos. 39 Real-world evidence framework. NICE UK https://www.nice.org.uk/about/what-we-do/real-world-evidence- framework-feedback 43

Background Paper | Documento de Antecedentes • Asegurar la calidad para garantizar la integridad y la calidad del estudio. 3. Generación del informe: • Informar el diseño del estudio y los métodos analíticos con suficiente detalle para permitir que los investigadores independientes comprendan completamente lo que se hizo y por qué, evalúen críticamente el estudio y lo reproduzcan. • Los informes también deben describir: procedencia, calidad y relevancia de los datos, resguardo de los datos, seguimiento del paciente desde los datos iniciales hasta los análisis finales, características de los pacientes (incluidos los datos faltantes) y detalles del seguimiento en general y entre los grupos de población clave, resultados de todos los análisis planificados y realizados (indicando claramente cualquier análisis que no haya sido planificado previamente), evaluación del riesgo de sesgo y generalizabilidad a la población objetivo. Marco de utilización RWE CADTH (Canadá)40 En general, en el marco de utilización de RWE por parte de CADTH se mencionan distintos aspectos comunes a la utilización de datos en forma general. Aquellos aspectos diferenciales se centran en la evaluación de la calidad y recolección de los datos a ser utilizados. Describen específicamente que se tienen que describir detalladamente las fuentes de datos y sus sistemas de codificación si los tuvieran (CIE, ATC por ejemplo) y todas las formas de relación entre las distintas bases que permiten su análisis en forma conjunta. En ocasión de utilizar bases de datos administrativas se menciona que es de buena calidad realizar algún método de validación que permita evaluar la representatividad de los datos respecto a la población de interés. Por otro lado mencionan que deben ser provistos los accesos a las distintas fuentes de datos utilizados. El abordaje de análisis debe ser claramente descripto así como el tratamiento de los datos incompletos o ausentes. Marco de utilización RWE Estados Unidos (FDA)41 La Food and Drugs Administration (FDA) creó un marco para evaluar el potencial uso de la RWE en la instancia de aprobación de nuevas tecnologías en el año 2018, en el entorno de un programa específico para el uso de RWE en decisiones de aprobación. Existe una larga trayectoria del uso de RWE en el contexto de la evaluación de la seguridad y monitoreo luego de la comercialización. En circunstancias limitadas, la FDA ha aceptado la RWE para la aprobación de productos, especialmente en el contexto de enfermedades oncológicas o poco frecuentes. Este programa se enfoca en la evaluación de la efectividad de las nuevas tecnologías mediante la RWE, en los aspectos de modificaciones y/o ampliaciones en las indicaciones de productos ya aprobados, cambios en las dosificaciones, vías de administración, efectividad comparativa o información sobre seguridad. Las consideraciones específicas abordadas por el programa incluyen los siguientes ítems: • Valoración sobre si los datos de la vida real son apropiados para ser utilizados • Valoración sobre si los estudios de RWE generado a partir de estos datos proveen la evidencia científica adecuada para responder a las preguntas regulatorias • Evaluación de si los estudios conducidos alcanzan los requisitos regulatorios establecidos por la FDA. 40 Elements of Real World Data/Evidence Quality throughout the Prescription Drug Product Life Cycle https://www. canada.ca/en/services/health/publications/drugs-health-products/real-world-data-evidence-drug-lifecycle-report. html 41 Framework for FDA Real World Evidence Program. Dec 2018 https://www.fda.gov/media/120060/download 44

Este enfoque se desarrolló para que se utilice como guía tanto para las aplicaciones individuales como Background Paper | Documento de Antecedentes para el programa de uso de RWE en general. También se dirige a la estandarización en las solicitudes y presentaciones que involucren datos de la vida real. Para los países de la región se evaluará el envío de un cuestionario a todos los países para resumir las características de la utilización de RWE en la región. Otra alternativa sería hacer el cuestionario durante o luego del PF como información adicional para el Reporte y publicación. 45

Participants | Participantes Mr. Rob Abbott Executive Director HTAi [email protected] Rob Abbott is a pioneering strategy and social Rob Abbott es un catalizador pionero de estrategia responsibility catalyst in Canada; a much sought- y responsabilidad social en Canadá; un facilitador, after facilitator, moderator and content-weaver; moderador y tejedor de contenido muy solicitado; a coach to entrepreneurs and executives; and a coach de empresarios y ejecutivos; y profesor de professor of global management and strategy. gestión y estrategia global. La experiencia de Rob en las ciencias médicas de la vida incluye Rob’s experience in medical life sciences includes nombramientos como miembro de la Junta y appointments as a member of the Board and el Comité Ejecutivo de la Red Canadiense de Executive Committee of the Canadian Genetic Enfermedades Genéticas (CGDN) y la Fundación Diseases Network (CGDN), and the Canadian Gene Canadiense Gene Cure. Posteriormente se convirtió Cure Foundation. He subsequently became CEO of en director ejecutivo de CGDN, cargo que requería CGDN, a role that required him to regularly discuss que discutiera regularmente los avances en la advances in gene-based medical research on the investigación médica basada en genes, por un lado, one hand, and the translation of that research y la traducción de esa investigación en diagnósticos into practical diagnostics and therapeutics on the prácticos y terapias, por el otro. También ha other. He has also advised provincial and federal asesorado a las autoridades sanitarias provinciales health authorities in Canada and abroad on a wide y federales en Canadá y en el extranjero sobre una variety of issues, including the role of artificial amplia variedad de temas, incluido el papel de la intelligence and advanced robotics in the delivery inteligencia artificial y la robótica avanzada en la of health care. prestación de atención médica. Rob escribe y da conferencias sobre temas ambientales estratégicos Rob writes and speaks on strategic environmental con regularidad, y es el autor de Uncommon Cents: issues regularly, and is the author of Uncommon Thoreau and the Nature of Business; Esfuerzos Cents: Thoreau and the Nature of Business; Conscientes: Negocios, Sociedad y el Camino hacia Conscious Endeavors: Business, Society and the la Sostenibilidad; y coautor del próximo libro, The Journey to Sustainability; and co-author of the Future of Mining: 7 Steps to a Globally Sustainable forthcoming book, The Future of Mining: 7 Steps Industry. Rob también está trabajando en un libro to a Globally Sustainable Industry. Rob is also llamado Walking Toward the Edge: From Heartbreak working on a book, called Walking Toward the to Hope in an Age of Loss. Rob ha impartido cursos Edge: From Heartbreak to Hope in an Age of Loss. y conferencias en varias universidades de América del Norte, incluidas la Universidad de Toronto, Rob has taught courses and delivered lectures at la Universidad de Columbia Británica y Harvard. several universities in North America including También ha enseñado en universidades de China, the University of Toronto, the University of British Tailandia y México. Columbia, and Harvard. He has also taught at universities in China, Thailand, and Mexico. 46

Lizbeth Acuña Merchan Participants | Participantes Director CAC [email protected] Doctor in Health Economics, Master in Epidemiology Doctora en Economía de la Salud, Máster en and Master in government and public management Epidemiología y Máster en gobierno y gestión pública for Latin America. With complementary studies in para América latina. Con estudios complementarios quality improvement in health organizations from the en mejoramiento de la calidad en las organizaciones Harvard School of Public Health, evaluation of health de salud de la Escuela de Salud Pública de Harvard, technologies, studies in high government, managerial evaluación de tecnologías en salud, estudios en alto leadership, strategic innovation and public innovation gobierno, liderazgo directivo, innovación estratégica y en innovación pública With 23 years of experience in the health sector, she has led the planning and implementation of health Con 23 años de experiencia en el sector de la salud, promotion and disease prevention strategies, planning, ha liderado la planeación e implementación de intervention, and control of health spending. Since estrategias de promoción de la salud y prevención de 2012, she has assumed the executive direction of la enfermedad, planeación, intervención y control del the High Cost Account, where she leads the design gasto en salud. Desde el año 2012 asumió la dirección and implementation of the information system for ejecutiva de la Cuenta de Alto Costo, donde lidera el catastrophic or ruinous diseases in the country, which diseño e implementación del sistema de información allows the construction and implementation of de enfermedades catastróficas o ruinosas del país, public policies for risk adjustment and evaluation and que permite la construcción e implementación de performance monitoring in care processes carried out políticas públicas para el ajuste por riesgo y evaluación y by insurers, providers and health service providers in monitoreo del desempeño en los procesos de atención Colombia. que realizan los aseguradores, prestadores y proveedores de servicios de salud en Colombia. It also leads the design of analysis methodologies for the identification and implementation of policies, strategies También lidera el diseño de metodologías de and actions that contribute to improving the quality of análisis para la identificación y puesta en marcha de care. It has guided the technological transformation of políticas, estrategias y acciones que contribuyen al the High Cost Account for the service of all actors in the mejoramiento de la calidad de la atención. Ha orientado health system, making it a pioneer in key issues such as la transformación tecnológica de la Cuenta de Alto interoperability, machine learning and Big data, among Costo para el servicio de todos los actores del sistema de others, to generate evidence and promote the use of salud, convirtiéndola en pionera en temas clave como data from real life in the investigation and adjustment interoperabilidad, machine learning y Big data entre of policies through participation processes with the otros, para generar evidencia y promover el uso de datos different interest groups of the sector, and through de la vida real en la investigación y ajuste de políticas spaces and means of dissemination and publications of mediante procesos de participación con los diferentes great impact at the national and international level. grupos de interés del sector, y a través de espacios y medios de difusión y publicaciones de gran impacto en el Likewise, their work is characterized by a focus on ámbito nacional e internacional. equity and empowerment of work teams. In 2020 she co-founded MPODERA, a group of leading women in Así mismo, su trabajo se caracteriza por un enfoque de the health sector that promotes equity and female equidad y empoderamiento de los equipos de trabajo. En empowerment in organizations and, since 2022, has 2020 fue cofundadora de MPODERA, un grupo de mujeres been part of its board of directors, promoting this líderes en el sector salud que promueve la equidad y culture within the entity she manages. el empoderamiento femenino en las organizaciones y, desde 2022 hace parte de su junta directiva, fomentando esta cultura al interior de la entidad que gerencia. 47

Participants | Participantes Dayane Albuquerque Manager Heor Edwards Lifescience [email protected] Dayane Albuquerque is Manager, Public Affairs Dayane Albuquerque es Gerente de Asuntos & Market Access for Latin America at Edwards Públicos y Acceso al Mercado para América Lifesciences. She is responsible for providing high- Latina en Edwards Lifesciences. Es responsable de quality health economic and outcomes research proporcionar análisis económicos y de resultados analyses, synthesizing data as required to build the de salud de alta calidad, sintetizando los datos value propositions to secure timely patient access según sea necesario para construir las propuestas to them. de valor para asegurar el acceso oportuno de los Dayane Albuquerque has more than ten years pacientes a ellos.Dayane Albuquerque tiene más of experience in Health Economics and Market de diez años de experiencia en Economía de la Access. Dayane was working as an Independent Salud y Acceso al Mercado. Dayane trabajaba como Consultant, where she was responsible for Consultora Independiente, donde era responsable services in pricing and market access strategy, de los servicios en estrategia de fijación de precios evidence generation planning, preparation y acceso al mercado, planificación de generación of HTAs (strategy and development), and the de evidencia, preparación de ETS (estrategia y implementation of studies to generate new desarrollo) y la implementación de estudios para evidence, including health economic modelling, generar nueva evidencia, incluyendo modelos meta-analyses and budget impact analysis as económicos de salud, meta-análisis y análisis de well as updating and review dossiers. Before that, impacto presupuestario, así como la actualización she worked for the Brazilian Ministry of Health, y revisión de expedientes. Antes de eso, trabajó where she was responsible for coordinating the para el Ministerio de Salud de Brasil, donde fue Department of Health Economics, the Department responsable de coordinar el Departamento of Management and Incorporation of Health de Economía de la Salud, el Departamento de Technologies (DGITS) and the National Committee Gestión e Incorporación de Tecnologías de la Salud for Health Technology Incorporation into SUS (DGITS) y el Comité Nacional para la Incorporación (CONITEC) developing HTA studies, evidence de Tecnologías de salud en el SUS (CONITEC) synthesis, budget impact, and economic analyses. desarrollando estudios de ETS, síntesis de evidencia, Dayane holds a bachelor's degree in Pharmacy impacto presupuestario y análisis económicos. from Alfenas Health College, Master in Dayane es Licenciada en Farmacia por al Colegio de Management of Biomedical and Biotechnological Salud Alfenas, Magíster en Gestión de Tecnologías Technologies from The Catholic University of Biomédicas y Biotecnológicas por la Universidad Rome, MBA in Economics and Health Technology Católica de Roma, MBA en Economía y Evaluación Assessment from São Paulo University (USP), de Tecnologías sanitarias por la Universidad de São Master in Pharmaceutical Science Federal Paulo (USP), Maestría en Ciencias Farmacéuticas de University of Brasília (UNB) and Ph.D. in Science la Universidad Federal de Brasilia (UNB) y Doctora from Federal University of Rio de Janeiro (UNIRIO). en Ciencias por la Universidad Federal de Río de Janeiro (UNIRIO). 48