GUÍA PARA LA ELABORACIÓN DE INFORMES DE EVALUACIÓN DE TECNOLOGÍAS SANITARIAS I n fo rme de Evaluación de Tecnologías Sanitarias Nº 19 Madrid, Junio de 1999 1.ª edición, Junio 1999 2.ª edición, Noviembre 1999 Edita: AGENCIA DE EVALUACIÓN DE TECNOLOGÍAS SANITARIAS Instituto de Salud Carlos III - Ministerio de Sanidad y Consumo N.I.P.O.: 354-99-006-X I.S.B.N.: 84-930379-2-3 Depósito Legal: M-45380-1999 Imprime: Rumagraf, S.A. Avda. Pedro Díez, 25. 28019 Madrid 0.T.23417 Agencia de Evaluación de Tecnologías Sanitarias (AETS) Instituto de Salud Carlos III Ministerio de Sanidad y Consumo Sinesio Delgado, 6 - Pabellón 3 28029 MADRID (SPAIN) Tels.: 91 387 78 40 - 91 387 78 00 Fax: 91 387 78 41 Este documento es un Informe Técnico de la Agencia de Evaluación de Tecnologías Sanitarias (AETS) del Instituto de Salud Carlos III del Minis- terio de Sanidad y Consumo. Dirección y coordinación: José L. Conde Olasagasti Elaboración y redacción: Iñaki Imaz Iglesia Jesús González Enríquez Juan Fco. Alcaide Jiménez Edición y diseminación: Antonio Hernández Torres Para citar este informe: Agencia de Evaluación de Tecnologías Sanitarias (AETS) Instituto de Salud Carlos III - Ministerio de Sanidad y Consumo «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» Madrid: AETS - Instituto de Salud Carlos III, Junio de 1999 Este texto puede ser reproducido siempre que se cite su procedencia. El propósito de este trabajo es servir de orien- tación para la elaboración de informes de Eva- luación de Tecnologías Sanitarias (ETS), t ra- tando de clarificar y hacer explícitas las dis- tintas etapas de su elaboración y los criterios utilizados para la va l o ración y selección de la información válida. A su ve z , p retende descri- bir las herramientas metodológicas más em- pleadas en la síntesis de resultados y ofre c e r una recopilación de los recursos más eficien- tes para realizar un trabajo de evaluación sa- n i t a r i a . El documento adopta una ap rox i m a- ción genera l , sintética y eminentemente prác- t i c a , haciendo énfasis en lo esencial y priorita- rio de cada una de las etapas de elabora c i ó n , en el contexto local y la adaptación de la re s- puesta a la necesidad del solicitante. Se abordan primero los conceptos genera l e s que definen la ETS. A continuación se refieren los tipos, métodos y proceso de elabora c i ó n de los informes, teniendo en cuenta que éstos no están completamente establecidos y sus contenidos, estructura y formato de presenta- ción no han sido consensuados. El propósito es estimular la discusión acerca de cuáles son los elementos que deben conformar un infor- me de ETS y la posible unificación de un es- quema de re f e rencia para este tipo de pro- ducto. El último apartado presenta en forma de anexos una serie de herramientas útiles para la realización de informes: una propues- ta de estructura o formato; una selección de fuentes de información útiles para la ETS, y varios esquemas para la valoración y grada- ción de la evidencia científica. La realización de revisiones sistemáticas que p ro mu eve la Colaboración Coch ra n e, a s í como el fenómeno de la Medicina Basada en la Evidencia, buscan la mejora de la asisten- cia sanitaria a través del aumento de la can- tidad y calidad de las evidencias científicas, basándose siempre en la búsqueda exhausti- va de la mejor información. La ETS se sitúa en ese mismo escenario y se nu t re del tra b a- jo de esas líneas de inve s t i g a c i ó n , además de o t ras como la investigación en re s u l t a d o s, la investigación en servicios sanitarios, l a evaluación económica o la epidemiología clí- n i c a . Todos estos campos han producido en los úl- timos años un gran volumen de publicaciones sobre metodología aplicable a la ETS, pero no sobre la elaboración de informes o el proceso de realización de un trabajo eva l u a t ivo. E l p resente trabajo pretende aportar ese ele- mento diferencial. No es una revisión exhaus- t iva de los procedimientos y métodos de la E T S, sino que, como el término guía i n d i c a , pretende ser un documento sencillo, que faci- lite el empleo de la metodología y re c u r s o s propios de la ETS. Su preparación, edición y difusión se enmar- can en el conjunto de actividades de promo- ción de la ETS que desarrollan el Instituto de Salud «Carlos III» del Ministerio de Sanidad y Consumo de España y la Organización Pa n- americana de la Salud (OPS) a través de un Convenio Marco de colaboración firmado en- tre ambas instituciones. 5«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Presentación Índice Pág. INAHTA STRUCTURED ABSTRACT ...................................................................................... 9 INTRODUCCIÓN ...................................................................................................................... 11 PROCESO DE ELABORACIÓN DE INFORMES DE ETS ........................................................... 15 1. Tipos de documentos de ETS ......................................................................................... 16 1.1. Informes de ETS .................................................................................................... 16 1.2. Guías de Práctica Clínica ..................................................................................... 16 1.3. Dictámenes técnicos ............................................................................................ 16 2. Solicitud del informe ...................................................................................................... 16 2.1. Priorización en la elaboración de informes de ETS ........................................... 17 3. Diseño de la evaluación ................................................................................................. 17 3.1. Definición de las preguntas de evaluación ........................................................ 17 3.2. Estudio de la factibilidad ..................................................................................... 20 3.3. La elaboración del proyecto de evaluación ........................................................ 20 4. Búsqueda de la información ......................................................................................... 22 5. Evaluación crítica y selección de los estudios identificados ..................................... 24 5.1. La evaluación crítica de los estudios identificados .......................................... 24 5.2. Selección de los estudios ..................................................................................... 26 5.3. Extracción de datos de los estudios seleccionados ........................................... 27 6. Estudio del contexto local .............................................................................................. 28 7. Técnicas de síntesis de la información y otros métodos utilizados en ETS ............. 29 7.1. Síntesis cualitativa y narrativa ........................................................................... 29 7.2. Meta-análisis ......................................................................................................... 30 7.3. Análisis de decisión .............................................................................................. 34 7.4. Estudios de evaluación económica ..................................................................... 37 7.5. El juicio de expertos ............................................................................................. 40 8. Valoración de los efectos sociales, organizativos, psicológicos y éticos ................... 41 9. Elaboración de las conclusiones y recomendaciones ................................................. 42 10. Revisión del documento provisional ............................................................................ 44 11. Difusión y aplicación de los resultados del informe ................................................... 44 ANEXOS .................................................................................................................................... 47 Anexo I. Formato y estructura de un informe de ETS ........................................... 47 Anexo II. Recopilación de fuentes de información útiles en ETS .......................... 50 Anexo III. Esquemas para la interpretación de la evidencia científica ................. 55 Anexo IV. Clasificaciones del grado de evidencia científica ................................... 59 REFERENCIAS .......................................................................................................................... 63 7«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 GUIDE FOR PERFORMING HEALTH TECHNO- LOGIES ASSESSMENT REPORTS (GUÍA PARA LA ELABORACIÓN DE INFORMES DE EVA- L UACIÓN DE TECNOLOGÍAS SANITA R I A S ) . Authors: Imaz-Iglesia I, González-Enríquez J, Alcaide-Jiménez JF, C o n d e - O l a s agasti JL. O r- g a n i z ation: AETS (Agencia de Evaluación de Tecnologías Sanitarias) (Spanish Health Tech- nology Assessment Agency). Correspondence Address: Imaz-Iglesia, Iñaki. Agencia de Eva- luación de Tecnologías Sanitarias, Instituto de Salud “Carlos III”, c/ Sinesio Delgado, 6 Pab. 3, 28029 Madrid, Spain. Date: June of 1999. Lan- g u age: S p a n i s h . Summary: No P u b l i c at i o n type: M e t h o d o l o gical guidelines. Pages: 7 1 References: 232. ISBN: 84-930379-2-3. Subject index terms: Health Technology Assessment- methods-guidelines. Objectives: To describe the process of perfor- ming Health Technologies Assessment (HTA) reports. To offer a selection of useful sources of information, checklist for critical appraisal of medical literature and other tools for eva- luating technologies in health care. To propo- se a standardized structure for HTA rep o r t s. This guide intends to offer tools and pro p o- sals for improving the quality and impact of HTA reports, as well as enhancing discussions among the organizations invo l ved in HTA in order to obtain agreements about the structu- re and practice of elaborating HTA reports. Results/Content of the report: The guide be- gins with an introduction of the justifications and concepts of HTA. The description of the steps involved in the creation of HTA reports f o l l ow s. This section sets forth the methods used in HTA with practical ap p raisal and emphasizes the essential aspects of each method and components of HTA. The process of elaborating a HTA report starts with the formal request or with the identification of priorities. The design of the evaluation project includes the study of feasibility, and the formulation of the scientific question. The next step is a sys- tematic and exhaustive bibliographic search and critical reading of the identified articles. The study of the local context and the appli- cability of the results are essential contents in all HTA rep o r t s. The guide explains the methods for synthesis and analysis of infor- mation and other methods useful for HTA . Qualitative synthesis, Meta-analysis, Decision Analysis, Economic Analysis and the Consen- sus Methodology are the main eva l u a t ive methods discussed. Moreover, the HTA must assess the social, p s y ch o l o gi c a l , e t h i c a l , a n d organizational effects. This guide offers tools to make HTA reports, including a selection of useful sources of in- f o r m a t i o n , ch e cklist for critical ap p raisal of medical literature, several scales of quality of medical ev i d e n c e, a format of the HTA re- ports, a description of the types of HTA docu- ments and other tools for evaluating techno- logies in health care. In the last few years many papers concerning methodology applied to HTA have been pu- blished, but few or none have been published re g a rding the elaboration of reports or the process of HTA work. This document tries to cover this subject. It is not an exhaustive, nor in depth description of the HTA pro c e d u re s and methods, but rather, it seeks to be a guide to aid in the use of HTA methodology and re- s o u rc e s. On the other hand, taking into ac- count that HTA reports are not well defined publications, this could contribute to discuss their contents, methodology and format. 9«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 INAHTA Structured Abstract Los prove e d o res y financiadores de servicios sanitarios, en la búsqueda de mayor efectivi- dad y eficiencia de dichos servicios, e s t á n cada vez más interesados en disponer de evi- dencias explícitas sobre la efectividad y cos- t e - e f e c t ividad de las tecnologías y pro c e d i- mientos que proveen o financian. Por otra parte, los ciudadanos de los países desarrolla- dos se ven sometidos en la actualidad a dos elementos en conflicto: la oferta de un núme- ro creciente de nuevos procedimientos médi- cos cada vez más sofisticados y pro m e t e d o- res, y el aviso continuado de las autoridades económicas acerca del crecimiento del gasto sanitario y las dificultades para afro n t a r l o. Esta situación ha sido analizada por profesio- nales sanitarios y políticos, llegando a consta- tar tres fenómenos que configuran un pano- rama de incertidumbre s, que en última ins- tancia pueden ser considerados genera d o re s de la ETS o del movimiento llamado “Medici- na Basada en la Evidencia”1. El primero de estos fenómenos es la ausencia de una buena correlación entre el nivel de gasto sa - nitario de un país y la salud colectiva de sus ciu - dadanos. Así, por ejemplo, Grecia, con el gasto sanitario per capita más bajo de la Unión Euro- p e a , l o g ra una mayor esperanza de vida en hombres que Alemania o Francia2. Los resul- tados agregados de salud y bienestar de una población son poco sensibles a los cambios en el gasto sanitario a partir de unos niveles mí- nimos de cobertura de riesgos, a l c a n z a d o s por la mayoría de los países desarrollados. El sistema sanitario y la inversión en tecnología sanitaria constituyen sólo uno de los determi- nantes de la salud y el bienestar (junto a fac- tores de la biología humana, medio ambien- t a l e s, p rotección social o educación, e n t re otros). El segundo es la variabilidad observada en la práctica clínica. Fenómeno descrito en los años treinta3, y estudiado con detalle a partir de la década de los setenta4. Se han realizado mul- titud de estudios. Unos han descrito diferen- cias importantes en las tasas de intervencio- nes realizadas a pacientes según el lugar de residencia. Por ejemplo, Mark Chassin descri- bió variaciones en las tasas de implantación de prótesis de cadera de hasta 6 veces entre 13 Estados de los EE.UU. La diferencia aumen- taba a 26 veces para el caso de las esclerosis h e m o r ro i d a l e s5. O t ros han descrito difere n- cias en las tasas de intervención entre hospi- tales de la misma zona geográfica. Por ejem- plo, en 1984 se realizó un estudio que medía la probabilidad de que a un niño residente en Vermont (EE.UU.) le fuera practicada una amigdalectomía durante su infancia, y obser- vó que ésta difería hasta en 9 veces en depen- dencia del hospital en el que le correspondie- ra la atención sanitaria, s i e m p re dentro del mismo Estado6. A pesar de los estudios realizados, los deter- minantes analizados (razones médicas, socia- les, de necesidad) no llegan a explicar toda la variabilidad observada en la práctica clínica. O t ra de las posibles explicaciones es el uso inadecuado de recursos. Se han detectado di- f e rencias entre países atribuidas no tanto a los criterios de indicación de la técnica, sino a la conducta del profesional en caso de incerti- dumbre, al estilo de práctica clínica y a cues- tiones org a n i z a t iva s7 , 8. En nu m e rosas áre a s asistenciales se detecta una infra u t i l i z a c i ó n de procedimientos altamente eficaces y apro- piados y distintos tipos de barreras que limi- tan el acceso a dichos procedimientos. Por otra parte, los cambios en la práctica clí- nica no obedecen simplemente a la disponibi- lidad de información válida sobre efectividad y eficiencia de las técnicas utilizadas. L a s fuentes de variación en la práctica clínica su- peran en mucho a la mera incertidumbre pro- fesional sobre la efectividad de la práctica médica, si bien el juicio de los médicos puede ser el principal factor de variabilidad. Sin em- b a rg o, es probable que las re c o m e n d a c i o n e s basadas en evidencias de alta calidad puedan modificar dicha práctica más que las re c o- mendaciones basadas en otros procedimien- t o s. Todo ello hace necesarios los estudios evaluativos que, basados en la mejor eviden- cia disponible, contribuyan a disminuir la va- riabilidad inexplicable e inaceptable en la práctica clínica9. El tercer y último fenómeno es la incertidumbre a c e rca del impacto real que sobre la salud de los ciudadanos tiene el uso de muchas prácticas médi - cas. Algunas estimaciones sitúan el gasto sa- nitario dedicado a procedimientos ineficaces 11«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Introducción o perjudiciales en un 20% del gasto total. También se ha señalado que un 20-25% de los p rocedimientos médicos realizados en los EE.UU. están basados en indicaciones inapro- piadas o dudosas10. La constatación de la fal- ta de eficacia y efectividad de muchas inter- venciones médicas consideradas clásicas y ampliamente extendidas en la mayoría de los países desarrollados ha generado un impor- tante debate, q u e, p a ra algunos autore s, h a producido una auténtica revolución en la in- vestigación biomédica11. En conclusión, el rápido incremento del gasto sanitario no acompañado de mejoras propor- cionales en el nivel de salud, el alto grado de variabilidad no explicable en la práctica mé- dica y la incertidumbre acerca del impacto real de mu chos procedimientos médicos so- bre la salud, conducen a admitir la existencia de importantes lagunas en el conocimiento que dificultan la adopción de decisiones jui- ciosas sobre asignación de recursos y uso y a c eptación de prácticas médicas. Esta re a l i- dad es la que ha llevado al nacimiento y desa- rrollo del concepto de ETS1. Concepto de Tecnología Sanitaria El término Tecnología Sanitaria (TS) se identi- fica en mu chos casos con equipamientos o técnicas complejas, pesadas y sofisticadas. Sin embargo, el Diccionario de la Real Acade- mia Española define tecnología como el “con- junto de conocimientos propios de un oficio mecánico o industrial”. Definición que, si se hace extensiva a la práctica de la medicina, l l eva a considerar las TS como algo mu ch o más amplio que los equipamientos pesados. En general, hoy se acepta la definición que en su día propuso el Institute of Medicine de los EE.UU.: “conjunto de medicamentos, disposi- tivos y procedimientos médicos o quirúrgicos usados en la atención sanitaria, así como los sistemas organizativos y de soporte dentro de los cuales se proporciona dicha atención”12. Concepto de Evaluación de Tecnologías Sanitarias El concepto de ETS fue definido inicialmente por la Office of Technology Assessment de los EE.UU. (OTA) como aquella “forma de investi- gación que examina las consecuencias clíni- cas, económicas y sociales derivadas del uso de la tecnología, incluyendo el corto y medio plazo, así como los efectos directos e indirec- tos, deseados e indeseados”12. Esta definición utiliza el término investigación como cuasi si- nónimo de evaluación, lo cual ha sido revisado por algunos autores que consideran más con- veniente utilizar términos amplios como “es- trategia o proceso de análisis”13. Por otro lado, según la Real Academia Española, evaluar es “ e s t i m a r, ap re c i a r, calcular el valor de una cosa”. Así, se propone la siguiente definición de ETS: proceso de análisis e investigación, dirigi - do a estimar el valor y contribución relativos de cada tecnología sanitaria a la mejora de la salud individual y colectiva, teniendo además en cuenta su impacto económico y social. Requisitos y atributos de los informes de ETS La propia naturaleza y funciones de los orga- nismos dedicados a la Evaluación de Tecnolo- gías Sanitarias obliga a que sus pro d u c t o s reúnan ciertas características que los hag a n acordes y coherentes con su misión. Los atri- butos básicos deben ser la fundamentación en la evidencia científica, la utilidad para la toma de decisiones, la claridad en la re d a c- ción, la facilidad de comprensión de los docu- m e n t o s, y la oportunidad y adaptación al tiempo y ámbito de decisión. 1. Fundamentación en la evidencia científica. Las afirmaciones y contenidos de un informe de ETS han de apoyarse siempre y esencialmen- te en la evidencia científica, incorporando, en determinados casos, la aportación del juicio de expertos. Sólo la revisión exhaustiva y el análisis crítico de la evidencia disponible pro- porcionan la base sobre la que se pueden sus- tentar las conclusiones y re c o m e n d a c i o n e s de un informe de ETS. Dicho de otro modo, un informe de ETS ha de ser incuestionable en su rigor científico. Se podrán compartir o no sus conclusiones pero no re chazar las bases en que se apoya14. 2 . Utilidad para la toma de decisiones. Tal ve z sea éste el atributo principal y más claramen- te diferenciado de las publicaciones de ETS f rente a otro tipo de textos científicos. En el caso de la comunicación científica, los autore s están obligados a exponer la metodología uti- lizada y los resultados alcanzados en deter- minado experimento u observación clínica, transmitiendo un conocimiento que puede o 12 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 no servir para la toma de decisiones. Sin em- b a rg o, los informes de ETS siempre se re a l i- zan con la intención de que el resultado sirva a alguien (político, g e s t o r, a d m i n i s t ra d o r, c l í- n i c o, usuario) para tomar decisiones. No se pretende sustituir a quien tiene la responsa- bilidad de la decisión, sino facilitar el proceso p ro p o rcionando elementos de información relevantes14,15. 3. Redacción clara y fácil de comprender. Este re- quisito, importante en cualquier texto escrito, a d q u i e re una particular re l evancia en este ámbito si se tiene en cuenta el variado perfil de los posibles destinatarios al que se dirigen los informes. Los destinatarios de un informe s o b re una TS no son única ni fundamen- talmente los especialistas médicos que la uti- lizan. Otros profesionales sanitarios o no sa- nitarios pueden ser lectores de un informe de ETS y, por tanto, el lenguaje que se utilice debe adaptarse a las características de los usuarios, que en muchos casos van a ser múl- tiples y muy variados, lo cual obliga a un es- fuerzo de redacción importante. La adecuada definición y precisión en los términos, el or- den y la estructuración, la claridad expositi- va, el rechazo de lo accesorio y la huida de los s o b re e n t e n d i d o s, deben caracterizar el estilo de redacción de cualquier documento de ETS. 4. Oportunidad y adaptación al tiempo y ámbito de decisión. La capacidad de influencia e im- pacto de la información presentada en un in- forme de evaluación de TS dependerá del gra- do en que esta información se adapte al con- texto en el que se generó la demanda. E l modo y grado de profundización en la re s- puesta deben estar también adaptados al marco temporal del proceso de toma de deci- siones. Este marco debe estar siempre presen- te, de forma que exista cierta flexibilidad en la elaboración y formato de la respuesta, con el objetivo de maximizar el grado de oportu- nidad. El sacrificio de la exhaustividad puede venir justificado por un marco temporal limi- tado. La búsqueda rápida de información váli- da y relevante para una toma de decisión in- mediata puede constituir el objetivo de un in- forme de ETS y, por tanto, esto tiene que que- dar claro en los primeros momentos tras la solicitud. Fases de introducción de una TS El principal de los atributos mencionados anteriormente, utilidad para la toma de deci- siones, tiene un componente importante que se relaciona con la evolución en el tiempo del uso de una tecnología. El proceso de ETS debe c o n s i d e rar el momento y la oportunidad de elaborar un informe, valorando la utilización y el grado de implantación de esa TS. En ese sentido es importante conocer las fases de la introducción de las tecnologías sanitarias en los servicios sanitarios, que se pueden con- ceptualizar a partir de un esquema aceptado de forma bastante genera l i z a d a , como es el de la figura 1. 13«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Figura 1 Fases de la evolución de una tecnología sanitaria (tomado de Banta16) Las fases de introducción de una TS suelen ser cinco: • Experimental. Es la fase en la que se suele realizar la innovación, investigación inicial y conceptualización de la TS. • I n t ro d u c c i ó n . Se inicia la implantación y uso de la TS. • E x p a n s i ó n . Coincide con la parte más as- cendente de la curva. • Utilización generalizada. La curva comien- za a aplanarse y si la TS es aceptada pasa a ser una meseta. • Declive o sustitución. Las primeras fases (experimental e intro- ducción) son las más oportunas para la eva- luación de la viabilidad técnica, eficacia y s e g u r i d a d . En estas fases no suelen interve- nir los organismos o agencias dedicados a la ETS. G e n e ra l m e n t e, c o r responde al inve s- tigador o a la industria pro p o rcionar los pri- m e ros datos sobre la T S. Sin embarg o, d u- rante las fases de introducción y expansión, cuando ya es posible conocer la efectiv i d a d , utilidad clínica o impacto económico de una T S, un informe de ETS puede pro d u c i r un impacto muy importante que logre mo- dificar la curva de introducción de la tecno- l o g í a . Éste es, por tanto, el momento más eficiente para realizar un trabajo de eva l u a- c i ó n . Por último, durante la fase de utilización ge- n e ralizada es todavía más útil el estudio de los efectos, al poder medir los resultados e impacto de la tecnología a medio y largo pla- z o. Las evaluaciones realizadas en esta fase proporcionan datos muy fidedignos y consis- tentes sobre los efectos reales de la técnica o intervención. 14 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 A continuación se estructuran y describen los elementos a considerar en un informe de ETS, estableciendo la secuencia temporal de ela- boración, los tipos de informes y los aspectos m e t o d o l ó gicos más destacados, a la vez que se ofrecen recursos y bibliografía relacionada. No se pretende realizar una descripción por- menorizada de las técnicas utilizadas en ETS, sino ofrecer una guía de apoyo para la elabo- ración de informes; por ello, algunos temas sólo son mencionados, aunque se pre s e n t a n fuentes bibliográficas y otros recursos que permiten profundizar en ellos. Algunas de las cuestiones planteadas se en- cuentran actualmente sometidas a debate. En primer lugar, la necesidad de nuevas publica- ciones que atiendan a sintetizar la gran canti- dad de información disponible, o la influencia creciente del movimiento de Medicina Basada en la Evidencia, línea de colaboración inter- nacional que pro mu eve la mejor utilización de los conocimientos médicos17,18. Existen di- versos tipos de trabajos que se pueden situar en ese marco común: los informes de ETS, las revisiones sistemáticas o los meta-análisis, entre o t ro s. La descripción somera de las difere n- cias entre ellos puede servir para caracterizar los informes de ETS y comprender su pap e l particular. Las revisiones sistemáticas son trabajos que pre- tenden resumir toda la evidencia que existe so- b re un tema concre t o, g e n e ralmente sobre los efectos de una intervención sanitaria. D e b e n realizarse con una metodología explícita, o rd e- nada y rep ro d u c i b l e, permitiendo establecer las bases científicas sobre las que se sustenta el uso de determinadas técnicas o pro c e d i m i e n- t o s. La utilización de métodos explícitos y siste- máticos limita los sesgos o erro res sistemáticos y reduce los erro res aleatorios o simples1 9. El meta-análisis es una técnica de síntesis cuantitativa de resultados de investigaciones primarias, cuyo objetivo es proporcionar esti- maciones más precisas sobre los efectos de la atención sanitaria que las derivadas de estu- dios aislados incluidos en una revisión20. Las revisiones sistemáticas pueden incorporar un meta-análisis o no hacerlo. Los informes de ETS, sin embargo, son publica- ciones que utilizan habitualmente revisiones sistemáticas (con o sin meta-análisis), e n t re o t ros re c u r s o s, p a ra determinar la posible contribución de una TS a la mejora de la sa- lud en una población concreta. Su objetivo es responder a solicitudes de terceros (Adminis- tración, proveedores de servicios, asegurado- res) que precisan información fiable sobre los resultados o impacto de una TS y su posible aplicación en un contexto determinado. E n consecuencia, su metodología debe ajustarse al tipo de pregunta planteada y al tiempo re- querido para su respuesta. La formulación de conclusiones y recomendaciones aplicables a un ámbito local determinado es otro de los aspectos que diferencia los informes de ETS de las revisiones sistemáticas o los meta-aná- lisis. En los informes de ETS casi siempre es necesario realizar un estudio del contexto lo- cal que permita que el solicitante del informe pueda tomar una decisión sobre la incorpora- ción o no de esa TS. Los responsables de tomar decisiones en los sistemas sanitarios (autoridades, a d m i n i s t ra- d o re s, p rofesionales) están interesados en dis- poner de información válida, re l eva n t e, a ve c e s en un corto espacio de tiempo y aplicable al contexto en el que actúa. La ETS pretende cu- brir esas necesidades, por lo que los informes de evaluación pueden ir consolidándose como publicaciones de gran impacto y utilidad. E s t a g u í a , que describe la metodología, p roceso de e l a b o ración y tipos de informes, p retende di- fundir la práctica de la ETS, así como provo c a r debate e investigación para el establecimiento de los beneficios y limitaciones de la metodo- logía eva l u a t iva en ciencias de la salud. El informe de Evaluación de Tecnologías Sa - nitarias se puede definir como un documento estructurado, comprensible, basado en la mejor evidencia disponible, elaborado con metodología explícita y reproducible y que responda a cues - tiones relativas a la seguridad, eficacia, efectivi - dad, utilidad, eficiencia o impacto de una tecno - l ogía en un contexto previamente definido. S u misión finalista es la ayuda en la toma de deci - siones. Su elaboración requiere una metodología acorde con el carácter de la pregunta y el tiempo en el que ésta debe ser contestada. 15«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Proceso de elaboración de informes de ETS 1. Tipos de documentos de ETS 1.1. Informes de ETS • Informes a demanda o internos. Se realizan en respuesta a solicitudes de parte intere s a d a . Su objeto, e x t e n s i ó n , metodología y circ u- lación se ajustan a los términos que prev i a- mente se convengan entre las dos partes. La agencia actúa de segunda parte, es decir, ela- bora el informe para asesorar al solicitante en sus decisiones unilatera l e s. El producto de esa colaboración, el “informe a demanda”, se orienta a satisfacer las cuestiones planteadas, por lo que suele ser un informe interno o de circulación supeditada al solicitante. En gene- ral, y debido a la necesidad urgente del solici- t a n t e, son informes de ejecución rápida y contenido breve, aunque no se debe asimilar los informes a demanda o internos con docu- mentos breves, ya que en muchos casos no es así. Algunas organizaciones como la Agencia para la ETS de A l b e r t a , en Canadá, denominan a este tipo de productos consultas técnicas, Health tech notes, y las definen como respues- tas breves a peticiones de asesoría urg e n t e s q u e, por su limitación de tiempo, p re s e n t a n un análisis más limitado y no están necesa- riamente sujetas a un proceso de revisión ex- terna21. Esta organización ha evaluado la cali- dad de la información que proporcionan y su impacto en la toma de decisiones a través de e n t revistas con solicitantes y lectores de los informes. Seis de los once informes conside- rados tuvieron un impacto elevado en la toma de decisiones, cuatro un impacto mode- rado pero fueron considerados útiles para la gestión, y únicamente un informe fue valora- do como de bajo impacto. La calidad se consi- deró aceptable en todos ellos. El mismo estu- dio previene de las limitaciones de este tipo de informes, en el sentido de que la urgencia impuesta por los solicitantes puede perturbar el proceso de búsqueda de información y el análisis ulterior22. • Informes públicos. Son los productos más co- nocidos de las agencias de ETS. En este caso, la agencia actúa de tercera parte, ofreciendo una va l o ración técnica útil para cualquiera de las partes presentes en el sistema sanita- rio. Dado que deben ser útiles a cualquiera de los operadores que interactúan en un Servicio de Salud,son públicos y de libre acceso a todo aquel que lo solicite. Su origen y motivación pueden ser diversos, pero en todo caso la tras- cendencia de la cuestión que tratan ha acon- sejado su difusión pública. Estos informes van a formar parte de la base de datos de in- formes de ETS de la red internacional INAH- TA y generalmente se elaboran por iniciativa de la Autoridad Sanitaria o de la propia agen- cia. 1.2. Guías de Práctica Clínica Pretenden ayudar a profesionales sanitarios y usuarios a decidir sobre la atención sanitaria más apropiada en circunstancias clínicas es- p e c í f i c a s, mediante la formulación de unas recomendaciones desarrolladas sistemática- mente y presentadas de manera estructura- da, frecuentemente con algoritmos o árboles de decisión2 3. C o n s t i t u yen un instrumento p a ra la difusión de los resultados de la eva- luación de tecnologías sanitarias. La elaboración de una Guía de Práctica Clíni- ca debe perseguir la obtención de un texto basado en la evidencia científica y consen- suado. Sus características básicas deben ser: validez, fiabilidad, aplicabilidad clínica, flexi- bilidad clínica, mu l t i d i s c i p l i n a r i e d a d , p rev i- sión de revisión y documentación adecuada. La calidad de una Guía de Práctica Clínica se basa en la exhaustividad y valoración crítica de la literatura científica y en la adecuada va- loración de la evidencia, que debe acompañar a cada recomendación incluida. Su descrip- ción, proceso de elaboración, implantación y evaluación no han sido abordados en esta guía y merecen un tratamiento específico, aunque se pueden recomendar una serie de referencias que permiten conocer sus funda- mentos23,24,25,26,27. 1.3. Dictámenes técnicos Otra parte de la actividad de las agencias de ETS es la asesoría acerca de lo apropiado de la adopción de una tecnología en un contexto determinado (peritaje, a u d i t ) . La respuesta a este tipo de consulta se materializa en infor- mes breves o dictámenes sobre aspectos con- c retos de determinadas técnicas o pro c e d i- mientos. 2. Solicitud del informe El origen del proceso de elaboración de un in- forme de ETS suele ser la solicitud de evalua- 16 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 ción por parte de la administración sanitaria, instituciones u organismos usualmente pro- veedores o financiadores de TS. Algunos cen- tros han elaborado hojas de solicitud de infor- me en las que se pide la identificación del so- licitante, la formulación de preguntas concre- t a s, información sobre el contexto local de aplicación de la TS, y además se establece el marco temporal y el formato de la respuesta. Este procedimiento puede facilitar y clarificar inicialmente el tipo de trabajo requerido y la previsión de recursos necesarios para su de- sarrollo. 2.1. Priorización en la elaboración de informes de ETS Con independencia de la respuesta a deman- das concre t a s, es importante que la re a l i z a- ción de informes de ETS y su consiguiente planificación de recursos se haga a través de un proceso explícito y meditado. La ETS pue- de abordar una enorme cantidad de temas, siendo su prioridad, relevancia y oportunidad variables. Establecer prioridades, o sea, esco- ger los temas o aspectos específicos a estu- diar, puede ser el primer paso en el ciclo de la ETS, que se continúa con la realización de la evaluación, la difusión y aplicación de los re- sultados y la medición de su impacto. U n a metodología ideal para este paso de estableci- miento de prioridades debería definir el al- cance de los temas a priorizar desarrollando una lista de posibles temas a evaluar, los cri- terios explícitos para establecer prioridades, los métodos de aplicación de esos criterios y la inclusión de un amplio rango de perspecti- vas en el proceso, desde gestores, financiado- re s, i nve s t i g a d o re s, p rofesionales o pacien- tes28. Algunas agencias han desarrollado métodos de priorización, que facilitan la planificación de su trabajo y a la vez posibilitan el análisis global de la situación de las TS en su contexto local. Las agencias de ETS españolas han rea- lizado un estudio de priorización de las tecno- logías susceptibles de evaluación o de investi- gación para el Consejo Interterritorial del Sis- tema Nacional de Salud español29. El propósi- to del estudio era ordenar un amplio grupo de TS en función de la necesidad de elaboración de un informe de ETS o de realización de in- vestigación dirigida a cubrir las lagunas de conocimiento detectadas sobre los efectos de esa técnica o procedimiento. El listado inicial incluía seiscientos tipos de técnicas o intervenciones sanitarias seleccio- nadas en función de su re l eva n c i a , n ivel de concreción y razonable disponibilidad de evi- dencias acerca de su efectividad y utilidad. Las fuentes de obtención de las TS iniciales fueron la red INAHTA (International Network of Agencies of Health Te chnology A s s e s s- ment), las cuatro agencias de evaluación es- pañolas, las propuestas presentadas por Con- sejerías de Sanidad de las Comunidades Au- tónomas españolas, el Instituto Nacional de la Salud y el Ministerio de Sanidad y Consu- mo españoles, y un estudio sobre priorización en TS realizado recientemente en el Reino Unido30. Los criterios que se utilizaron para la prioriza- ción realizada por las agencias de ETS espa- ñolas fueron29: • Prevalencia de la condición o situación clí- nica a la que se dirige la tecnología. • Carga de la enfermedad. Grado de deterioro de la salud que ocasiona la condición clíni- ca implicada. Los datos que pueden definir este concepto son los referentes a mortali- d a d , d i s c ap a c i d a d , años de vida perd i d o s, jornadas laborales perdidas o calidad de vida, entre otros. • Grado de incertidumbre. Se refiere a la exis- tencia de información contradictoria, esca- sa y/o de baja calidad. • Posible impacto sobre la salud. Efectos de la TS sobre el manejo y resultados clínicos para los pacientes, teniendo en cuenta las alternativas concurrentes. • Posible impacto económico. Se valora si el uso de la tecnología eleva o reduce el coste agregado. • Posible impacto organizativo. Se valora si el uso de la TS provoca cambios en las condi- ciones y organización del trabajo. • Posible impacto ético, social y/o legal. 3. Diseño de la evaluación 3.1. Definición de las preguntas de evaluación La elaboración de un informe de ETS requiere determinar desde el inicio el enfoque de la eva l u a c i ó n , estableciendo las preguntas con concreción. En muchas ocasiones, la formula- ción adecuada de la pregunta no resulta una tarea simple. La petición inicial o solicitud de 17«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 evaluación no suele estar planteada en térmi- nos suficientemente precisos y específicos; por ello se debe abrir un proceso de discusión con la institución o persona solicitante para delimitar preguntas, objetivos o hipótesis cla- ramente definidos y opera t ivo s, que puedan ser objeto de inve s t i g a c i ó n . En esta fase ini- cial, es útil la realización de una primera reu- nión con los solicitantes que clarifique los ob- jetivos del informe. La pregunta de evaluación se compone de un objetivo general o pregunta política y de obje- tivos específicos o preguntas científicas. El ob - jetivo general o pregunta política c o n s t i t u ye el motivo inicial que fundamenta la solicitud de un informe de ETS. Su naturaleza puede ir desde un problema o preocupación poco defi- nidos de una autoridad o gestor sanitarios, hasta una pregunta muy concreta sobre su ámbito de gestión. R a ra vez se formula ini- cialmente una cuestión que pueda re s p o n- derse científicamente15. Objetivos específicos, preguntas científicas o pre - guntas de eva l u a c i ó n . El objetivo general o p regunta política debe descomponerse en cuestiones más delimitadas y que puedan responderse con metodología científica. L a formulación de los objetivos específicos va a determinar todo el proceso de eva l u a c i ó n , desde el diseño hasta su posible impacto en la práctica clínica. D u rante el proceso de construcción de las preguntas es necesario plantearse cuál es la forma de presentar los resultados más útil y comprensible para los potenciales receptores del informe. Éste es el momento de realizar una búsqueda y re c u p e ración bibliográfica inicial sobre el tema a evaluar (el anexo II ofrece un listado de fuentes de información para la búsqueda p re l i m i n a r ) , con el objeto de identificar los datos o elementos de información más rele- vantes en relación con las preguntas de inves- tigación. Una posible caracterización y clasifi- cación de los tipos de elementos a considerar en la formulación de la pregunta es31: a) da- tos referidos a las características de los parti- cipantes; b) a la tecnología; c) a la metodolo- gía, y d) a los resultados. a) Datos sobre las características de los partici - pantes. Las características que tengan influen- cia sobre el efecto o resultado clínico, o sobre su interpretación, son las que más interesan, y van a determinar en gran parte la validez de las inferencias. Por ejemplo, una característi- ca de los participantes con gran influencia en la efectividad de las intervenciones es el gru- po socioeconómico al que pertenecen. Sería el caso de un informe que evaluara la efectivi- dad de determinadas intervenciones contra la obesidad en Atención Primaria en España. Si estas intervenciones incluyen modificaciones de hábitos alimenticios que conlleven un in- cremento del gasto habitual en alimentación, los estudios que incorp o ren una pro p o rc i ó n de personas de bajo nivel económico, más nu- m e rosa que la media española, o b t e n d r á n menor efectividad que aquellos en los que el nivel socioeconómico sea semejante a la me- dia. En ese caso, la evaluación de esas inter- venciones sobre hábitos alimenticios pre c i s a que se recojan datos sobre el grupo socioeco- nómico al que pertenecen los participantes. Otras características de los participantes con influencia en el efecto o resultado clínico son la naturaleza o determinados aspectos de la enfermedad implicada (por ejemplo, si el in- forme evalúa un tratamiento antihipertensi- vo, los niveles iniciales de presión arterial de los participantes antes de la intervención de- terminarán los resultados del estudio), el ám- bito en el que se realiza el estudio (por ejem- plo, un hospital de crónicos o un servicio de u rg e n c i a s ) , la re gión geográfica, la edad, e l sexo, el nivel de educación o la existencia de co-morbilidad. b) Los datos acerca de las características de la TS o intervención a evaluar también condicionan la validez de los re s u l t a d o s. Por ejemplo, e n los ensayos con tratamientos farmacológicos debe considerarse la vía de administra c i ó n , las dosis y la duración del tratamiento. En los estudios que no comparan con placebo es im- p o r t a n t e, por ejemplo, re gi s t rar la informa- ción re f e rente al tratamiento que recibió el grupo contro l , ya que si los tratamientos de los diferentes estudios son excesivamente he- t e rogéneos no será razonable combinar sus resultados en un meta-análisis. Son múltiples las características de la TS o intervención que podrían enu m e ra r s e. Cada técnica tiene aspectos diferenciales que pueden influir en las variables a considerar cuando se redacta una pregunta de inve s t i g a c i ó n . Un estudio exhaustivo de las características de la TS per- mitirá conocer todos los factores que pueden influir y modificar los resultados, costes y be- neficios de la intervención sanitaria que se evalúa. c ) Los datos sobre la metodología de los estu- dios que se suelen incluir en las preguntas de evaluación son: — Las características de las medidas de re- sultado que han utilizado los estudios re- visados. 18 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 — La precisión de los resultados de los estu- dios. — La técnica de asignación de pacientes a los grupos. — La duración del estudio. — El tipo de diseño, por ejemplo, ensayo alea- torio controlado o estudio observa c i o n a l de cohortes. — La existencia de enmascaramiento y en qué gra d o, ciego simple, doble o triple ciego. — Las pérdidas de pacientes durante la reali- zación del estudio. — Las co-intervenciones. d) Las medidas de resultado requeridas por la p regunta de investigación van a determinar totalmente la posibilidad de encontrar una respuesta válida.La elección del tipo de medi- da más idónea para responder a la pregunta científica es una tarea a la que hay que dedi- car mucho tiempo y estudio cuando se diseña la evaluación. En la actualidad, el estudio de las medidas de resultado en medicina es una importante línea de investigación conocida también como investigación sobre la efectivi- dad y la utilidad (outcomes research)32,33,34. Un informe de ETS basado en medidas de re- sultado que describan efectos sobre la salud o utilidades permitirá establecer conclusiones s ó l i d a s, c u ya validez difícilmente pueda ser cuestionada.Sin embargo, si se utilizan medi- das que describan los resultados clínicos de forma indirecta o intermedia, tales como los cambios producidos en un parámetro bioquí- m i c o, pueden surgir dudas sobre la efectiv i- dad real de la tecnología evaluada35,36. Es im- portante llamar la atención acerca de la fre- cuente utilización de evidencias indirectas o s u r r ogate end-points, que son, g e n e ra l m e n t e, p a r á m e t ros fisiológicos o bioquímicos que forman parte de una cadena causal o de aso- ciación con resultados o efectos clínicos (ver ejemplo en tabla 1). 19«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 1 Ejemplo de utilización de una evidencia indirecta o surrogate end-point Las conclusiones del ensayo clínico llevado a cabo para evaluar la influencia que la reducción de las arritmias tiene sobre la mortalidad postinfarto (CAST, Cardiac Arrhythmia Suppression Trial)35 son úti- les para explicar el concepto de evidencia indirecta o surrogate end-point. La relación encontrada pre- viamente entre las arritmias postinfarto y la muerte súbita37 y los efectos de la encainida, flecainida y moricizina disminuyendo las arritmias cardíacas durante el año siguiente a un infarto agudo de mio- cardio38 conforman una línea tratamiento, resultado intermedio - resultado final, que se inicia con el uso de antiarrítmicos, continúa con la reducción de las arritmias y debería finalizar en la disminución de la mortalidad postinfarto. En este caso, los efectos positivos observados en el paso intermedio o evi- dencia indirecta, la arritmia cardíaca, estaban justificando la utilización generalizada de antiarrítmi- cos en los pacientes con infarto de miocardio por una supuesta disminución de la mortalidad post- infarto no demostrada. El citado ensayo clínico pretendía obtener evidencias que demostraran ese efecto sobre la mortalidad. Sin embargo, diez meses después de iniciarlo, el análisis de los resultados preliminares conllevó su in- terrupción inmediata. El motivo fue que se observó mayor mortalidad en los grupos que tomaban en- cainida y flecainida que en los grupos que tomaban placebo. Las curvas de supervivencia que compa- raron el grupo con tratamiento y el grupo placebo mostraron una mortalidad y una incidencia de in- farto mucho mayor en el grupo que tomaba antiarrítmicos, tanto debido a arritmia (p=0,0004) como a cualquier causa (p=0,001). El ensayo CAST demostró los resultados negativos de una práctica profilác- tica extendida, al medir sus efectos con una medida de resultado final (la mortalidad) y no una medi- da de resultado indirecta, como la disminución de arritmias. La asunción de que las medidas intermedias predicen el resultado final es aventurada, por dos razones fundamentales. En primer lugar, porque la biología es extremadamente sensi- ble a multitud de factores que difícilmente se pueden conocer en su totalidad y, por tanto, las asociaciones biológicas demostradas en casos concretos no pueden ser utilizadas de manera general para predecir comportamien- tos clínicos complejos. Las teorías actuales sobre causalidad la definen, en la mayoría de los casos, como multifactorial. Se han descri- to muchos factores causales necesarios, pero no muchos factores causales suficientes. Ade- m á s, mu chas veces se ha observado que la existencia de asociación, e n t re un re s u l t a d o A, resultado intermedio, y uno B, resultado fi- n a l , en condiciones de laboratorio o ideales, se diluye o desaparece completamente en las condiciones de la práctica habitual39. 3.2. Estudio de la factibilidad Antes de iniciar el trabajo de evaluación es necesario valorar la viabilidad del proyecto y la posibilidad de responder a la solicitud. E s posible que la evaluación esté ya total o par- cialmente re a l i z a d a , que exista información suficiente de fácil acceso para cubrir los obje- t ivos pro p u e s t o s, o, por el contra r i o, que los recursos de personal o de tiempo necesarios para la elaboración del informe sean muy su- periores a los inicialmente previstos. A continuación se presenta una propuesta de los aspectos que pueden determinar la facti- bilidad y oportunidad de realizar un informe de ETS. La Agencia de ETS de Alberta, en Ca- nadá, tiene en cuenta varios criterios para de- cidir el tipo y grado de la respuesta a las soli- citudes de evaluación que, parcialmente mo- dificados, se exponen en la tabla 2. 20 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 2 Aspectos que determinan la factibilidad de realizar un informe de ETS (modificado de Alberta Heritage Foundation21) • El propósito de la solicitud. • El impacto de la tecnología. Prevalencia de la condición clínica implicada, gravedad de ésta e impacto económico, social y organizativo. • La pertinencia de realizar la evaluación. Considerando el momento en el que se presentará el informe. Este criterio depende de aspectos como la sobre o infrautilización percibida o la fase de introducción en que se encuentra la TS. • La variabilidad en el uso de esa tecnología o en el manejo de la enfermedad entre diferentes zonas geo- gráficas o medios clínicos. • La disponibilidad de la información necesaria para realizar la evaluación. • Calidad y grado de homogeneidad de la información que se utilizará para la evaluación. • Los recursos necesarios para realizar la evaluación y la capacidad para obtenerlos. Tiempo, recursos humanos, urgencia u oportunidad política de la solicitud. • La idoneidad de que se responda aportando informes ya elaborados o fuentes de información rela- cionadas, o la posibilidad de que otros organismos lleven a cabo el proyecto. En algunas ocasiones el estudio de factibili- dad puede concluir con la conveniencia de elaborar un informe preliminar de forma rá- pida o un informe completo de ETS. Un infor- me preliminar puede constituir una ap rox i- mación inicial al conocimiento científico dis- ponible sobre esa TS, siendo útil para la esti- mación de los recursos necesarios para culminar el proceso de ETS, o para re a l i z a r p o s t e r i o r m e n t e, si así se decide, un informe de evaluación completo. 3.3. La elaboración del proyecto de evaluación En los pasos anteriores se han definido las p reguntas de eva l u a c i ó n , se ha estudiado la factibilidad de realizar el informe y se ha realizado una búsqueda de información p re l i m i n a r. En este momento ya se tiene información suficiente como para conocer el volumen de litera t u ra que se va a mane- j a r, diseñar la estra t e gia de revisión de la l i t e ra t u ra y considerar la utilización de o t ros métodos. Se está en disposición de planificar la evaluación presentando un p royecto para la discusión con los solici- t a n t e s. Los contenidos que debe incluir un pro t o- colo o proyecto de evaluación pueden es- t r u c t u rarse tal y como se propone en la ta- bla 3. No siempre es posible definir con pre c i s i ó n todos los puntos especificados en la tabla 3, ya que son los estadios iniciales del proyecto y no se dispone de información suficiente. Por o t ra parte, existen otras posibles pro p u e s t a s de esquema para el proyecto de eva l u a c i ó n . Por ejemplo, el Fondo de Investigación Sanita- ria de la Seguridad Social en España exige una serie de requisitos para la financiación de p royectos de investigación que conforman toda una propuesta de pro t o c o l o4 0; además, se han publicado muchos trabajos con esque- mas sobre cómo planear y conducir una in- vestigación científica que son aplicables a la ETS41,42,43,44. La elección de la metodología a emplear Éste es el aspecto del proyecto de eva l u a c i ó n que más va a condicionar el resultado final y las posibles limitaciones del informe. Un in- forme de ETS puede utilizar un amplio ra n g o de técnicas y métodos de análisis, algunos de los cuales se describen posteriormente en esta guía. Cada uno de esos métodos ha sido ampliamente estudiado y analizado, con sus fortalezas y debilidades. Algunos están en c o n t i nuo debate y son muy controve r- t i d o s. En muchos casos, los informes de ETS inclui- rán la utilización de varios métodos comple- mentarios para la obtención de información que permita responder a las preguntas de evaluación. Por ejemplo, si el objetivo es com- parar la eficiencia en un Servicio de Salud de una técnica diagnóstica nueva, A, con respec- to a la antigua, o B, se puede realizar una revi - sión sistemática a c e rca de su eficacia que in- cluya meta-análisis. Las medidas resumen ob- tenidas se pueden incluir en un análisis de de - cisión que cuantifique el valor de las dos es- trategias diagnósticas. Además, con los datos sobre los costes que ocasionan las dos técni- cas se puede realizar un estudio de coste-efecti - vidad que permita comparar su eficiencia. Todo ello puede ser completado con un estu- dio del contexto local en el que se van a apli- car esas tecnologías mediante una encuesta que valore la práctica habitual y disposición al cambio por parte de los profesionales. El estudio y consideración de la metodología más adecuada para responder a la pregunta y elaborar unas conclusiones basadas en infor- mación de alta calidad re q u i e re n , g e n e ra l- m e n t e, la mayor parte del esfuerzo que se emplea en elaborar el proyecto de evaluación. Por otra parte, uno de los aspectos clave de la planificación de los recursos necesarios para elaborar el informe es el grado de exhaustivi- dad de la búsqueda bibliográfica. Ésta es una t a rea que siempre parece inacabada y, a d e- más, tiene rendimientos decrecientes. A partir de una determinada cantidad de tra b a j o, cada nueva unidad de resultado obtenida re- quiere recursos crecientes. La decisión sobre el tiempo y recursos a emplear en la elabora- ción del informe debe ser valorada en función del tipo de pregunta, los objetivos del trabajo, la exhaustividad necesaria para responder a la pregunta o los recursos disponibles. Tras la presentación del proyecto de eva l u a- ción se debe convocar una reunión entre los solicitantes y los evaluadores para discutir y 21«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 3 Estructura de un proyecto de evaluación + Definición precisa de las preguntas u objetivos generales y específicos de la evaluación. + Metodología que se utilizará para elaborar el informe: revisión sistemática, evaluación económica, métodos de consenso, encuesta sobre el uso actual de una TS, investigación con datos primarios u otros métodos. + Fuentes y estrategia de la búsqueda de información. + Criterios de inclusión y exclusión de los estudios, y criterios que se van a utilizar para la lectura crí- tica de los estudios. + Datos a extraer de los estudios y métodos que se emplearán para ello. + Estudio de los sesgos y limitaciones del proyecto. + Equipo de trabajo y, en su caso, métodos de selección de los expertos que van a participar. + Necesidades de personal, de tiempo y de presupuesto, para llevar a cabo la evaluación. + Estrategia de difusión del informe una vez elaborado. + Recopilación bibliográfica preliminar. aprobar el proyecto. En cualquier caso, la rea- lización del proyecto debe ser un proceso fle- xible y abierto a la modificación y valoración continuas45. 4. Búsqueda de la información La búsqueda exhaustiva y sistemática de la información requerida por las preguntas de evaluación constituye la base de todo informe de ETS. En los últimos tiempos, a la vez que han progresado los sistemas de identificación bibliográfica, acercándose a la exhaustividad a través de las búsquedas sistemáticas, h a aumentado exponencialmente la cantidad de información médica, de tal manera que estar actualizado cada vez cuesta más esfuerzo; es lo que se ha denominado sobrecarga de infor- mación, information overload46. Hace trece años ya se estimaba que la cantidad de artículos médicos que se publicaban al año ro n d a b a los 2 millones en unas 2.000 revistas médi- cas47. La búsqueda a través de bases de datos bi- bliográficas es actualmente impre s c i n d i b l e para realizar una buena revisión de la litera- tura médica. Las bases de datos electrónicas de amplia cobertura más utilizadas son MED- LINE y EMBASE, si bien el uso exclusivo de es- tas bases presenta limitaciones. Se ha estima- do que MEDLINE sólo identifica el 30% de los ensayos clínicos randomizados y controlados en algunos temas científicos4 8. O t ra limita- ción de las bases de datos proviene, paradóji- c a m e n t e, de su principal ve n t a j a , ya que el sistema de palabras clave posibilita la identi- ficación rápida de algunos artículos de un tema determinado pero no ofrece pre c i s i ó n . Existen múltiples interpretaciones sobre qué palabras clave definen mejor un tema de in- vestigación y puede haber errores o inexacti- tudes en el proceso de elección de las pala- bras clave de un artículo por parte de los edi- tores o autores. Además, hay que considerar la posibilidad de que la búsqueda esté afecta- da por el sesgo de publicación o por el sesgo debido al idioma del artículo. La búsqueda a través de bases de datos bi- bliográficas es el mejor sistema para encon- t rar rápidamente unos pocos trabajos sobre un tema determinado, pero no permite reali- zar una búsqueda exhaustiva si es utilizado en solitario. Algunos estudios han estimado la c apacidad de las bases de datos MEDLINE y EMBASE, concluyendo que su utilización con- junta mejora mucho la capacidad de identifi- cación de literatura y la precisión de la bús- queda. La base de datos americana,MEDLINE, es más accesible y menos costosa, pero se ha estimado que el solap a m i e n t o, o sea, los re- sultados comunes entre los dos sistemas de búsqueda, es de un 34%, con lo que la mayo- ría de los artículos sólo están en una de las dos bases de datos49. La estrategia de búsqueda es un paso clave, y a la vez complejo, que merece un tiempo im- portante que asegure que la revisión biblio- gráfica realizada para el informe sea sistemá- t i c a , e x h a u s t iva y pre c i s a . La utilización de bases de datos electrónicas permite diseñar una estrategia de búsqueda sistemática y fá- cilmente reproducible, disminuyendo los ses- gos. La exhaustividad y la precisión dependen en gran parte de la selección de las palabras clave. Estas dos cualidades, asimilables a la sensibi- lidad y especificidad, generalmente son inver- samente pro p o rcionales; es decir, a medida que aumentamos la exhaustividad de una búsqueda, reducimos su precisión. El intento de obtener un número elevado de trabajos so- b re un tema puede producir el denominado ruido de información, o aumento del vo l u m e n de publicaciones no relevantes para el usua- rio. Por el contrario, una búsqueda que tienda a la precisión producirá el efecto contrario, si - lencio de información, los resultados de la bús- queda pueden omitir documentos relevantes que no se ajustan a la estrategia de búsque- da, que resulta excesivamente selectiva50. Por tanto, una buena búsqueda bibliográfica debe combinar estrategias que consigan un resul- tado equilibrado en exhaustividad y pre c i- sión. Asimismo, el período de tiempo cubierto por la búsqueda y la fecha en que se realiza influ- yen considerablemente en el resultado final y, por tanto, deben describirse en la metodolo- gía del informe. Un sesgo habitual es el de se- lección de re f e rencias o reference bias, q u e consiste en que habitualmente se presta ma- yor atención a las re f e rencias re c u p e ra d a s que apoyan las tesis de la persona que realiza la búsqueda. Pa ra evitarlo se debe utilizar una estra t e gia de selección y análisis de los artículos lo más explícita posible51. En el anexo II se presenta una relación de las principales fuentes de información útiles en ETS con su dirección o modo de acceso. Po r o t ra parte, a continuación se clasifican las formas de búsqueda de información que de- ben considerarse en el proceso de elaboración de un informe de ETS31,52. 22 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 • Bases de datos electrónicas. Existen mu l t i t u d de bases de datos de investigaciones origi- nales, además de MEDLINE y EMBASE, que facilitan la identificación de trabajos sobre tecnologías sanitarias. Por otra parte, en los últimos años han pro l i f e rado las publica- ciones secundarias o las bases de datos so- b re rev i s i o n e s, e n t re las que destacan las que ofrece la Coch rane Libra r y, que en el proceso de elaboración de informes de ETS son de consulta obligada, y a veces previa, a las bases de datos de investigaciones origi- nales. • Informes de otras agencias de ETS. M u ch a s agencias se encuentran agrupadas en la red INAHTA, que promueve una base de datos con los informes de ETS realizados por sus miembros. • Fuentes de información estadística y/o admi - n i s t ra t i va . La aplicabilidad de los re s u l t a- dos del proceso de ETS va a depender en g ran parte de los contenidos del estudio del contexto local que todo informe debe i n c l u i r. Este estudio se nu t re de este tipo de fuentes de información. La disponibili- dad de re gi s t ros con los que poder re a l i z a r un ajuste al medio local, permitirá dotar de mayor validez a las conclusiones del in- f o r m e. • Consulta de libros o revisiones sobre el tema. En muchas ocasiones, la mejor manera de ini- ciar un trabajo de investigación y localizar la información más relevante y aceptada es la lectura de uno o varios libros de texto ge- nerales, continuando por un buen artículo de revisión. • Consulta en revistas especializadas. C u a n d o sea posible, la revisión manual de los índi- ces de revistas relacionadas con el tema es- tudiado durante un período de tiempo de- t e r m i n a d o, suele contribuir a la localiza- ción de origi n a l e s. Este método permite la recuperación de artículos no identificados a través de una búsqueda con palabras clave. La inevitable subjetividad o posibles errores d u rante el proceso de asignación de pala- bras clave a los artículos hacen que las bús- quedas manuales sean una valiosa herra- mienta. Este método, además, permite loca- lizar las publicaciones más recientes que aún no hayan sido incluidas en las bases de datos. • Búsqueda a través de las referencias de los ar - tículos encontrados. Es un método que suele resultar fructífero, aunque también laborio- so. Una buena fuente para realizar este tra- bajo son las revisiones, ya que suelen pre- sentar un gran número de citas. • Búsqueda de artículos publicados por un autor relevante. Se puede realizar fácilmente me- diante el empleo de bases de datos electró- n i c a s. Es útil cuando se trata de autore s muy significativos en determinadas áreas o d i s c i p l i n a s, o también cuando se estudian técnicas muy novedosas que aún no se han difundido ampliamente entre la comunidad científica. • Búsqueda en actas de congresos. Pueden ser una fuente de información muy temprana y útil sobre investigaciones recién termina- das o aún en progreso, cuya localización se ve facilitada por el desarrollo actual de ba- ses de datos electrónicas que las incluyen. Si bien los resúmenes de las actas de con- g resos generalmente son una fuente poco fiable de información, al carecer casi siem- p re de datos importantes, son una buena fuente de localización de autores y tra b a- jos. • Búsqueda de litera t u ra gris. El concepto de li- t e ra t u ra gris es aún algo impre c i s o, a pesar de que su uso está cada vez más extendi- d o. En genera l , se entiende por tal un con- junto de documentos de tirada limitada y c i rculación re s t r i n gi d a , que no pueden ob- tenerse por los canales habituales de dis- t r i b u c i ó n . Son materiales que pueden aportar resultados de un considerable va- l o r, tales como libro s, f o l l e t o s, i n f o r m e s técnicos de administraciones y empre s a s publicas o priva d a s, actas de congre s o s, t e- sis doctorales y otro s5 3 , 5 4. Aunque su loca- lización exhaustiva es difícil, a c t u a l m e n t e existen bases de datos que facilitan su lo- c a l i z a c i ó n . Las sociedades profesionales y los organismos de investigación pueden ser otra interesante fuente de “ i n f o r m a- ción gris”. • Consulta a personas clave. La consulta a in- vestigadores o profesionales destacados es un método de obtención de información muy útil para conseguir estudios recientes que todavía no han sido publicados o estu- dios antiguos que nunca llegaron a publi- carse. Además, los documentos de literatu- ra gris son conocidos por muchos profesio- nales que trabajan en ese campo, pero son muy difíciles de identificar mediante los sistemas de búsqueda clásicos. La consulta a personas clave es una manera muy eficaz de disminuir el sesgo de publicación. D i r i- giéndose por carta a los autores de algunos de los estudios relevantes recuperados o a 23«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 un grupo de expertos, enviándoles una lista de los estudios identificados y pre g u n t á n- doles si conocen otros artículos o tra b a j o s diferentes a ésos. • Solicitud de información a las casas comerc i a l e s relacionadas con la tecnolog í a . G e n e ra l m e n t e, los primeros datos y estudios sobre una T S los realiza y conoce la industria o empre s a i n t e resada en su utilización. Las casas co- m e rciales disponen de información que, e n mu chos casos, no se hará pública o es de di- fícil acceso y que determina la forma en la que la tecnología se introduce en el sistema. • Internet. Recientemente, el espectacular de- s a r rollo de Internet ha posibilitado un có- modo y rápido acceso a mu chas de las fuentes de información citadas. Los busca- dores de Internet facilitan la posibilidad de e n c o n t rar rápidamente información de cualquier tema, aunque en ocasiones los resultados de la búsqueda no ofrecen la ca- lidad suficiente. El proceso de búsqueda de información en g e n e ral se compone de tres elementos o fa- ses sucesiva s, útiles para su análisis. Son la necesidad de información, la petición de in- formación y la estra t e gia de búsqueda que finalmente se diseña. Muy a menu d o, la in- formación que en ve rdad se necesita no coincide exactamente con la que se pide en una biblioteca o a través de otro medio. E l l o se debe a que el solicitante no conoce con p recisión sus necesidades, o tiene dificulta- des para expresarlas de una manera eficaz. La ayuda de un especialista en documenta- ción puede ser muy útil, tanto en la defini- ción de la pregunta como en la selección de las palabras clave y de las bases de datos o fuentes de información que se deben consul- t a r. Existen abundantes experiencias que de- mu e s t ran las difere n c i a s, a veces muy acu- s a d a s, e n t re una solicitud de información se- gún se presenta originariamente y tal como queda después de una discusión a fondo con un especialista en documentación5 5. Para la selección de las palabras clave es útil la consulta de artículos re l evantes sobre el tema56 o la utilización de estrategias predise- ñadas, filtros, para la búsqueda bibliográfica ( ver anexo II). Se han publicado nu m e ro s o s t rabajos sobre cómo manejar MEDLINE y otras fuentes bibliográficas en la búsqueda de evidencias médicas5 7 , 5 8 , 5 9 , 6 0 , 6 1 , 6 2 , 6 3 , 6 4. A d e m á s, existen programas informáticos que facilitan la gestión de las re f e rencias bibliográficas, como REFERENCE MANAG E R6 5, P RO - C I T E6 6, ENDNOTE67, SHAPIRE68. 5. Evaluación crítica y selección de los estudios identificados 5.1. La evaluación crítica de los estudios identificados Es un paso fundamental en la elaboración de un informe de ETS, que contribuye a la identi- ficación de sesgos y sirve de guía en la inter- p retación de los hallazgos. Los criterios que requieren evaluación crítica se pueden dividir en aquellos relacionados con: la validez, la pre - cisión y las medidas de resultado de los estudios. • La validez Un estudio es válido cuando su diseño y reali- zación garantizan la detección y eliminación de errores sistemáticos y sesgos. Existen dos tipos de validez, interna y externa. La validez i n t e r n a está relacionada con el diseño y los p rocedimientos de medición de variables y los métodos de análisis. Un estudio tiene vali- dez interna cuando representa o mide aquello para lo que ha sido diseñado. En ese caso, los resultados serán atribuibles a los factores que el estudio ha tenido en cuenta, además de al e r ror aleatorio6 9. El significado del término validez interna se relaciona con los conceptos de exactitud, fiabilidad y reproducibilidad. La validez externa de un estudio es la potencia- lidad de generalización de sus resultados a personas o poblaciones distintas a los sujetos del estudio. D epende de aspectos re l a c i o n a- dos con el diseño del estudio, como el mues- treo o las características de la población estu- diada, los cuales presentan mayor dificultad de control que los condicionantes de la vali- dez interna69. Los puntos a considerar en el análisis de la validez de un estudio son diversos. Por ejem- plo, puede analizarse la asignación aleatoria, por si se detecta el empleo de métodos de seu - d o a l e a t o r i z a c i ó n. Éstos se dan cuando el inve sti- gador conoce previamente la probabilidad de asignación de un tratamiento u otro, y dismi- nuye de forma considerable la calidad del es- tudio. Entre estos métodos se encuentran, por e j e m p l o, la asignación alterna, la asignación según el día de nacimiento o según el orden numérico que supone cada paciente. También pueden analizarse las características de los grupos de comparación. La comparación en- tre grupos separados en el tiempo, por ejem- 24 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 plo con controles históricos, tiene menor vali- dez que la comparación entre grupos simul- táneos. También, los estudios retrospectivos y los no controlados, en general, tienen menos validez que los prospectivos y los controlados. En re s u m e n , son variados los aspectos re l a- cionados con la validez que deben analizarse, y se pueden clasificar en aquellos relativos a la metodología del estudio, a los participantes y a la tecnología45. El análisis de la validez es el aspecto que me- jor valora la calidad de los estudios y, por tan- t o, de las evidencias científicas. Éstas deben fundamentar las recomendaciones de todo informe de ETS, relacionando la fuerza de la recomendación con el grado de calidad de la evidencia científica. No es posible establecer una recomendación muy re l evante y/o tra s- cendente a partir de evidencias de baja cali- dad. Por ello, es importante que después de la va l o ración crítica de los estudios se clasifi- quen las evidencias proporcionadas por éstos según el grado de su calidad científica (ve r anexo IV). • La precisión Un concepto importante que no debe ser con- fundido con la validez es la precisión. Ésta es una medida del error aleatorio que puede afectar al resultado de un estudio, y que ge- n e ralmente se rep resenta a través del inter- valo de confianza de la estimación del efecto. En algunos casos se incluye entre los criterios que ponderan los estudios sintetizados en un meta-análisis, dando más peso a los estudios más precisos70. • Las medidas de resultado El último de los tres criterios, aunque no el menos importante, a b o rdado anteriormente en la sección “Definición de las preguntas de evaluación”, se convierte, muchas veces, en el criterio más determinante para la selección de los artículos identificados. • Los cuestionarios o esquemas de análisis crítico Estos esquemas, o ch e ck l i s t s, son útiles para o rdenar los aspectos a incluir en la eva l u a- ción crítica de los estudios identificados. Pro- porcionan un método más objetivo de análi- sis que la simple lectura crítica, aunque nun- ca evitan ésta. Presentan los problemas típi- cos de cualquier cuestionario, la variabilidad inter e intra o b s e r vador y otras limitaciones que pueden disminuir su fiabilidad y rep ro- d u c i b i l i d a d , aspectos que deben ser eva l u a- dos si se utilizan7 1 , 7 2. En ese caso, es impor- tante que se describan claramente en el in- forme final; esto mejora la fiabilidad y re- p roducibilidad de las conclusiones. E x i s t e n multitud de cuestionarios o tablas de análisis para la evaluación crítica de estudios, algunos de los cuales se han recopilado y resumido en el anexo III. • Limitaciones Una de las limitaciones más relevantes y de difícil manejo en todo proceso de revisión de la literatura científica es el sesgo de publica- ción. Consiste en la tendencia a publicar más los estudios con datos positivos, estudios con- siderados relevantes por el autor o por el edi- tor de la revista. En este último caso el sesgo se denomina sesgo del arch iva d o r. En otro s casos, se observa que el tipo de revista deter- mina la publicación o no de determinados ar- tículos con datos negativos, o sea, datos que demuestran la ausencia de efectividad de una t e c n o l o g í a . Este tipo de artículos son exclui- dos de algunas revistas muy especializadas que pre f i e ren divulgar sobre todo inve s t i g a- ciones sobre los avances en determinadas técnicas. Se han realizado varios trabajos que explo- ran la repercusión potencial de los diferentes sesgos de publicación que existen, y conclu- yen que este sesgo puede limitar grave m e n - te la validez de las revisiones bibliográfi- cas73,74,75,76,77. El registro prospectivo de ensa- yos clínicos es, por el momento, la única es- trategia difundida que puede ser considerada efectiva en la lucha contra este sesgo78,79,80. Otra de las dificultades que surgen en la eva- luación crítica de los estudios es la presenta- ción inadecuada de los métodos y resultados. A veces, se observa la ausencia de datos im- p rescindibles para la lectura crítica del ar- tículo; por ejemplo, cuando sólo se describe el número de pacientes intervenidos pero no el número de intervenciones totales que se han realizado. Se podría suponer que si no se ofre- cen datos adicionales es porque los datos del n ú m e ro de pacientes coinciden con los del n ú m e ro de interve n c i o n e s, p e ro no siempre es así. Existen métodos para estimar esos datos in- existentes, aunque es necesario realizar algu- nas asunciones cuyo impacto en los resulta- 25«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 dos debería ser estudiado mediante un análi- sis de sensibilidad (ver el capítulo “Meta-aná- lisis”)81. En resumen, no existe ninguna solu- ción sencilla para el problema de los datos ausentes, pero se aconseja adoptar una serie de precauciones: siempre se deben describir las asunciones que se realicen, debe realizar- se un análisis de sensibilidad que va l o re los cambios que distintas asunciones pro d u c e n en los resultados, y, siempre que sea posible, se debe intentar obtener datos adicionales a los ofrecidos en los artículos, contactando di- rectamente con el autor del trabajo82,83,84. 5.2. Selección de los estudios Las decisiones sobre cuáles son los estudios que se incluirán en el informe de ETS son difí- ciles y muy relevantes. No es fácil discriminar todos los artículos con la misma objetividad; además, la exigencia de una descripción clara en el informe de los criterios utilizados para esa selección,aunque mejora la reproducibili- dad y rigor de las conclusiones, en algunos casos produce una valoración demasiado rígi- da e incluso ilógica. Se han propuesto diver- sas formas para llevar a cabo el proceso de selección de estudios31: • Estableciendo unos criterios umbrales para la inclusión o exclusión de estudios, q u e puede seguirse de un análisis de sensibili- dad de los criterios considerados. • Asignando pesos a cada estudio en función de criterios explícitos, para posteriormente incluir esos pesos en el análisis cuantitati- vo de agregación de estudios. • Analizando y valorando los estudios de ma- nera cualitativa, considerando la calidad el principal criterio de evaluación. Al igual que para los parámetros de eva l u a- ción crítica de los estudios, los criterios de inclusión y exclusión pueden atender a: va- l o ración de la validez (metodología, c a ra c t e- rísticas de los participantes y de la tecnolo- g í a ) , la precisión y las medidas de re s u l t a- d o8 5. Es conveniente que los criterios de selección de los estudios estén especificados ya en el p royecto inicial. De esta manera se ev i t a r á n sesgos de selección como el de “selección de referencias”51. Es aconsejable que la selección de estudios, al igual que la utilización de cuestionarios de va l o ración crítica, se hag a por varias personas y que los desacuerd o s sean discutidos y re s u e l t o s. El grado de c o n c o rdancia entre los rev i s o res puede ser valorado mediante el índice Kappa u otros ín- dices de concordancia72,86,87. Si son varias las personas que realizan el es- tudio o selección de la información, es útil que alguno de ellos sea experto en el tema o tecnología evaluada. La presencia de especia- listas en la materia aporta conocimiento y criterios valiosos y consistentes, p e ro pue- de introducir a su vez sesgos, dado que los expertos generalmente tienen una opinión preestablecida. Otro aspecto a decidir es si el proceso de se- lección de artículos se realiza con un método ciego para los revisores; este enmascaramien- to puede ser para los nombres de los autores, instituciones y publicaciones, y para los re- sultados de los estudios. Algunos estudios empíricos indican que la evaluación a ciegas puede producir puntuaciones inferiores y más uniformes que las evaluaciones abier- tas88. No obstante, tales evaluaciones requie- ren un tiempo considerable, por lo que se de- ben sopesar los beneficios potenciales de las evaluaciones con enmascaramiento frente a los costes ocasionados. El proceso de decisión acerca del punto de corte entre la inclusión y exclusión de estu- dios puede rep resentarse como una línea continua que va desde “libre de sesgo” a “sin duda sesgado”. Existen diversos mecanismos p a ra incluir los resultados de la eva l u a c i ó n crítica en esa decisión8 9. Se pueden utilizar gráficos visuales de los resultados ordenados según su grado de validez. Una segunda apro- ximación es el análisis de subgrupos, q u e consiste en realizar un análisis de sensibili- dad en el que se observa si cambian los resul- tados al incluir determinados grupos de estu- dios en un lado u otro del punto de corte90,91. Un tercer enfoque consiste en ordenar los es- tudios según su calidad y combinar secuen- cialmente los resultados de cada estudio; es un tipo de meta-análisis “ a c u mu l a t ivo ” , m e- diante el cual es posible examinar el impacto en los resultados globales a medida que se van incluyendo ensayos de menor calidad. Un cuarto enfoque consiste en utilizar métodos estadísticos para ponderar los estudios según su calidad o utilizar una meta-regresión para explorar la relación entre calidad y magnitud del efecto entre estudios. El manejo de los criterios de calidad en la se- lección de estudios presenta otras dificulta- d e s, ya que se sabe la elevada influencia de los criterios de calidad en los resultados de los estudios, pero no se ha medido ni se han establecido relaciones que permitan ponde- rar y ajustar con seguridad esos criterios. 26 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Aunque hay estudios que han demostra d o que, en general, tanto la ocultación inadecua- da de las asignaciones como la ausencia de doble ciego producen sobreestimaciones de los efectos del tratamiento, en general, no es recomendable el uso amplio de las “puntua- ciones de calidad” y la excesiva confianza en las evaluaciones detalladas de calidad de los estudios. Su uso no está sustentado por la evi- dencia empírica, puede ser lento y es poten- cialmente engañoso31. Un problema frecuente que se plantea a la hora de seleccionar los estudios es la duplica- ción total o parcial de trabajos. Para evitarlo es necesario ser cuidadoso en la revisión de los artículos, ya que es frecuente que algunos t rabajos se publiquen de nu evo un tiempo después con pequeños cambios o un incre- mento en el número de pacientes incluidos, y que el autor no indique qué parte de ese tra- bajo ya ha sido publicada prev i a m e n t e. Po r último, es recomendable que el informe final p resente tablas con los estudios selecciona- dos y otras con los excluidos, con el objeto de que los lectores conozcan con claridad cuáles son los estudios que se han quedado fuera del análisis y por qué45. 5.3. Extracción de datos de los estudios seleccionados La ayuda de un formulario de recogida de da- tos, que contenga los criterios utilizados en la evaluación crítica de los estudios y los datos o resultados seleccionados cuando se definió la p re g u n t a , suele ser beneficiosa. Los datos a extraer de los estudios se clasifican en: relati- vos a los re s u l t a d o s, a su metodología, a los participantes y a la tecnología. La definición de las unidades y medidas de resultado para el formulario de recogida de datos es una de las tareas más claves. No sólo es importante la decisión de incluir una variable de resulta- do, sino su tipo, y cómo se mide y trata esta- dísticamente. El tipo de variable va a condicionar la técnica de síntesis de resultados a utilizar. En el caso de variables dicotómicas, los datos que se de- ben incluir en el formulario serán los núme- ros de personas que experimentaron el suce- so en cada grupo de comparación y los núme- ros totales de personas en cada grupo. En el caso de variables continuas, los datos que de- ben incluirse son el número de personas en cada grupo y la media y desviación estándar de la medida de resultado en cada grupo. A veces, los resultados de una variable conti- nua en algunos estudios se presentan como cambios (media de las diferencias entre medi- ciones pre y postintervención), y en otros es- tudios como resultados postintervención31. En ocasiones, los datos de una misma medida de resultado se presentan en forma dicotómi- ca en algunos estudios y continua en otro s. Por ejemplo, los resultados en las escalas de depresión pueden presentarse como una me- dia o como el porcentaje de pacientes que es- taban deprimidos en cierto período después de una intervención (una puntuación supe- rior a un punto de corte determinado). A me- nudo, la información de este tipo es más fácil de comprender, y más útil para los que toman decisiones, si se expresa en forma dicotómica. Sin embarg o, la decisión de establecer un punto de corte es arbitraria y siempre se pier- de información cuando las variables conti- nuas se transforman en dicotómicas. Hay varias opciones para tratar de combinar datos dicotómicos y continuos. En general, es útil resumir los resultados de todos los estu- dios válidos y re l evantes de manera similar, pero esto no siempre es posible. En ese caso es recomendable resumir los datos en tre s grupos: continuos, dicotómicos y otros datos. Otra opción es presentar para todos los datos la media de las diferencias entre los grupos que se comparan o el log-odds-ratio31. Además, es aconsejable que las unidades se estandari- cen para que la comparación entre los estu- dios sea fácil y que se presenten en unidades naturales que son de comprensión más intui- tiva. Un formulario de recogida de datos debe ser completo pero manejable. Es fácil caer en un exceso por asegurar que la información que se recoge es suficiente. La elaboración de unas instrucciones para la utilización del cuestionario, el entrenamiento de los recopi- l a d o res de información y la realización de una prueba piloto que aseguren la validez y p recisión de los datos obtenidos son conve- nientes. La prueba piloto se realizará en una muestra representativa de los estudios identi- ficados y sus resultados pueden aconsejar la modificación de alguna parte del cuestiona- rio. En todo proceso de obtención de datos se de- ben tomar una serie de medidas encamina- das a asegurar la fiabilidad y pre c i s i ó n , a s í como estudiar la concordancia entre las in- t e rp retaciones de los diversos re c o p i l a d o re s de datos, asegurar una codificación discrimi- nante pero a la vez manejable o realizar un control de calidad de los posibles errores en cualquiera de las fases del proceso de extrac- ción de datos. La extracción de datos puede 27«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 ser aconsejable que se realice por varias per- s o n a s, estableciendo previamente el sistema de consenso que se utilizará y analizando posteriormente la concordancia entre obser- vadores. El grado en que diferentes personas coinciden en los datos extraídos de un estudio se co- r responde con la fiabilidad del cuestionario. No hay un estándar fijo sobre el nivel de fiabi- lidad adecuado o sobre cómo evaluar la fiabi- lidad. Sin embargo, es importante que se ana- lice en todo el proceso de recogida de datos. Por ejemplo, si después de alcanzar el con- senso en los primeros estudios los observado- res detectan o mu e s t ran frecuentes discre- pancias en datos específicos, p ro b a b l e m e n t e sea necesario modificar las instrucciones de codificación. Si aparecen cambios frecuentes en la forma de codificar por parte del mismo o b s e r va d o r, denominado coder drift o cambio temporal en la forma de codificar la informa- ción, posiblemente sea necesario volver a co- dificar o incrementar el entrenamiento31. 6. Estudio del contexto local E n t re la información fundamental que debe incluir un informe de evaluación está la re f e r i- da a la situación del medio en el que se ap l i c a o se va a aplicar la tecnología. La utilidad de un informe de ETS se maximiza si se ofre c e una va l o ración adaptada a las condiciones lo- cales en las que se encuentra el usuario de la tecnología o re c eptor del informe. Si los datos y conclusiones ofrecidos por el informe son aplicables al medio del que forma parte el lec- t o r, el informe ofrecerá confianza e interés a éste y será más fácil conseguir el efecto final que busca la ETS: influir en la toma de decisiones relacionadas con la T S. El estudio del contexto local es especialmente necesario si el carácter de la pregunta va orientado a conocer el uso ap ropiado de una tecnología o su impacto en una determinada organización o ámbito. Evaluar el impacto local de una TS u ofrecer información que sitúe la evaluación en un contexto determinado es un elemento especí- fico de las organizaciones que hacen ETS, a d i f e re n c i a , por ejemplo, de aquellas dedica- das a la realización de revisiones sistemáti- cas. La valoración de la validez externa o ge- neralizabilidad de las conclusiones de los in- formes de ETS está íntimamente relacionada con el análisis del contexto local que incluya el informe. El marco de desarrollo de los estudios (aten- ción primaria, especializada, población gene- ra l ) , los criterios de inclusión y exclusión de sujetos en los estudios, las características de la interve n c i ó n , pueden orientarnos sobre el grupo de población y condiciones locales de aplicación de la tecnología. Las cara c t e r í s- ticas de la población, la prevalencia y distri- bución de la enfermedad, el nivel de recursos y tipo de sistema sanitario, la perc epción y preferencia de los pacientes y de los profesio- nales, condicionan la aplicabilidad y efectivi- dad de una determinada tecnología que ha demostrado ser eficaz en determinadas con- diciones ideales. Por ello, resulta fundamental añadir a la revisión y búsqueda de evidencias un análisis contextualizado que facilite la toma de decisiones sobre la adquisición o de- sarrollo de la TS. El estudio del contexto local puede enfocarse de dos formas, descriptiva o analítica. El enfo- que descriptivo consiste en ofrecer informa- ción re l evante sobre la utilización actual o f u t u ra de la tecnología o sobre las posibles consecuencias de la implantación de esa tec- nología basada en datos de otros estudios o registros sanitarios diseñados para otro fin. El enfoque analítico consiste en realizar un es- tudio con datos primarios que evalúe la utili- zación o implantación de la tecnología en el medio elegido. Este enfoque ofrece mayor ca- lidad que el descriptivo, ya que la informa- ción se recoge in situ en el mismo ámbito local de la evaluación, y representa una metodolo- gía eva l u a t iva muy potente, dada la enorme validez y aplicabilidad de sus conclusiones. Otros aspectos a considerar cuando se estu- dia el contexto son los aspectos legales y or- g a n i z a t ivo s. Conocer la normativa legal que afecta al uso de la TS es esencial para valorar la introducción de ésta en el sistema sanitario o para la elaboración de recomendaciones so- bre su uso apropiado o su regulación. En otros casos resulta muy útil realizar un estudio de la normativa legal o de la situación organiza- tiva comparando diversos países, con el obje- to de evaluar la conveniencia de que el infor- me realice propuestas que afecten a la legis- lación u organización del sistema sanitario. Por otra parte, el proceso de difusión y aplica- ción en la práctica de las conclusiones y reco- mendaciones del informe incluye la re a l i z a- ción de actividades que produzcan efectos o m o t iven cambios en un medio o ámbito de- terminado. El éxito de esta fase de la ETS de- penderá en parte del estudio del contexto lo- cal que se haya re a l i z a d o. La tabla 4 ofre c e una de las posibles clasificaciones de la infor- 28 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 mación que se puede utilizar en un estudio del contexto local. Además, en el anexo II se p ro p o rciona una selección de las fuentes de información estadísticas y administra t iva s, útiles para la valoración del impacto local de una TS. 7. Técnicas de síntesis de la información y otros métodos utilizados en ETS 7.1. Síntesis cualitativa y narrativa El empleo apropiado de la metodología cuan- t i t a t iva es un instrumento muy potente que contribuye a evitar muchos errores y a ajus- tar las interpretaciones, pero muchas veces se o b s e r van importantes limitaciones para el empleo de técnicas de integración cuantitati- va de resultados. En contraste, las valoracio- nes cualitativas deben estar incluidas siem- pre en los informes de ETS. Es más, muchos de los informes sólo van a incluir una valora- ción cualitativa o narrativa que, situada en el contexto de la ETS, tiene que ser sistemática, exhaustiva y explícita19. A veces los resultados del empleo de una téc- nica estadística, por ejemplo un meta-análi- sis, no son discutidos con la amplitud y pro- fundidad necesarias y no se va l o ran sufi- cientemente las consideraciones referentes a la calidad de los estudios, las limitaciones de la técnica estadística o la re l evancia clínica de los resultados89,92. La proliferación de estu- dios que incluyen un meta-análisis está au- mentando, lo que ha llevado a que se anali- cen los problemas y ventajas de su utilización en medicina,advirtiendo de la peligrosidad de una excesiva confianza en ellos9 3 , 9 4 , 9 5. A l g u- nos autores han mostrado que, en mu ch o s c a s o s, los resultados de un meta-análisis no son consistentes con los de ensayos aleatori- zados, controlados y de gran tamaño realiza- dos con posterioridad96. Los riesgos, compleji- dad, así como las limitaciones e incertidum- b res acerca de las consecuencias de su uso p a ra la obtención de evidencias científicas, han llevado a algunos autores a recomendar restricciones en su empleo92,95,96. Las razones para no emplear técnicas estadís- ticas de síntesis cuantitativa de resultados en medicina pueden resumirse en las siguien- tes45: • La excesiva heterogeneidad de los estudios y/o sus resultados. • La falta de datos válidos y/o relevantes. • La escasa precisión de los datos disponi- bles. • La baja calidad metodológica de los estu- dios. • La inseguridad de que la agregación cuanti- t a t iva de resultados pueda contribuir a aclarar las dudas que ya existen. Si los datos seleccionados no tienen la calidad suficiente como para ser considerados váli- d o s, su ag regación puede dar lugar a erro r, c u yo efecto se incrementa por la confianza que pueda tener el lector en un documento que le ofrece la mejor evidencia disponible. La difusión de información sesgada tiene peores consecuencias en mu chas ocasiones que el hecho de no difundir ninguna información. El h e cho de conocer que no existen ev i d e n c i a s científicas sobre la contribución de una tec- nología a la mejora de la salud puede ayudar en la toma de decisiones. Todo informe de ETS debe contener, al menos, una síntesis cualitativa o narrativa que inclu- 29«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 4 Tipos de fuentes de información útil para el estudio del contexto local • Datos epidemiológicos de la enfermedad o condición clínica implicada, referidos fundamentalmen- te a la magnitud y distribución de ésta. • Datos que describan la utilización actual de la tecnología y la práctica clínica habitual,a través de la información contenida en registros sanitarios, encuestas o estudios ad hoc. • Datos sobre los costes que conllevará la utilización de la tecnología. • Datos económicos y/o sociales de la población afectada. • Otros datos que ayuden a responder a las preguntas de investigación en el contexto local. ya una revisión bibliográfica exhaustiva y sis- temática con una buena valoración crítica de los estudios identificados, un examen y des- cripción minuciosos de los datos de los ar- tículos, la elaboración de tablas que resuman y comparen los trabajos, y un estudio del im- pacto de la tecnología en el contexto local del solicitante. Una evaluación desarrollada únicamente me- diante una síntesis cualitativa debe evitar for- mas de síntesis p s e u d o c u a n t i t a t i vas que no presentan las suficientes garantías de calidad metodológica. Por ejemplo, se pueden come- ter errores como comparar el número de es- tudios positivos y negativos, enfoque del “re- cuento de votos”, o excluir estudios con efec- tos pequeños pero clínicamente relevantes o estudios que presentan efectos sin significa- ción estadística94; a veces, se ponderan los es- tudios inadecuadamente. La valoración de la importancia de los estudios no puede hacerse s u b j e t iva m e n t e, es necesario explicitar una serie de criterios ra z o n a d o s. El recuento de votos concede igual peso a los estudios, igno- rando las diferencias en su tamaño y calidad. Todas estas formas de síntesis son metodoló- gicamente deficientes y pueden intro d u c i r importantes sesgos, agravados por la confian- za que suele producir la utilización de meto- dología cuantitativa. A continuación se abordan los enfoques ana- líticos cuantitativos más útiles para la sínte- sis de resultados en ETS. El meta-análisis, el análisis de decisión y la evaluación económi- ca son instrumentos metodológicos de gra n valor en ETS que pueden usarse de forma c o m b i n a d a , c o n s t i t u yendo una herra m i e n t a de gran potencia97. Algunos estudios han in- tegrado estas técnicas en la búsqueda de me- didas resumen que obtuvieran el máximo c o n s e n s o9 8. Los métodos citados, junto con las técnicas de consenso a través fundamen- talmente del juicio de expertos, deben cono- cerse con profundidad para la práctica de la ETS; en algunos casos se emplearán para la elaboración del informe; en otros, su uso se li- mitará a la lectura crítica e integración de sus resultados en la evaluación. 7.2. Meta-análisis Es un método cuantitativo para la agregación de resultados de diferentes estudios basado en la utilización de técnicas estadísticas que posibilitan la combinación y síntesis de los datos de las diversas investigaciones, y en las que las unidades primarias de análisis son los d i f e rentes estudios. El objetivo del meta-análi- sis no es únicamente la obtención de una me- dida que sintetice el efecto de una interve n- c i ó n , sino también el análisis y la va l o ra c i ó n de las diferencias entre los resultados de los d i f e rentes estudios. Ya en 1904 ap a recen estu- dios que emplean este tipo de técnica9 9, p e ro no fue hasta la década de los setenta en que el meta-análisis se comenzó a usar en medicina. El término meta-análisis fue acuñado por G l a s s1 0 0 y posteriormente redefinido por la Bi- blioteca Nacional de Medicina de Estados Uni- dos como sigue: “método cuantitativo de com- binación y síntesis de resultados de estudios i n d ependientes (obtenidos generalmente de t rabajos publicados) con el objeto de conse- guir unas conclusiones o un resumen que pueda ser utilizado para la va l o ración de la e f e c t ividad de un tratamiento o la planifica- ción de nu evos estudios, e n t re otros usos”2 0. Un meta-análisis estaría indicado en aquellas ocasiones en las que se desee realizar una re- visión crítica con el rigor de un pro t o c o l o científico; cuando los resultados de los estu- dios existentes son conflictivos o no conclu- ye n t e s, por ejemplo, si incluyen un número reducido de pacientes; e incluso cuando se desea detectar la evidencia existente y la cali- dad de la misma, identificando las lagunas en el conocimiento del área investigada.El meta- análisis se considera útil si los estudios son de alta calidad, existe una heterogeneidad ex- plicable y de pequeño tamaño o la obtención de una medida estimadora de un efecto clíni- co resulta de alta relevancia. Sin embargo, to- davía no puede decirse que los beneficios de su utilización compensen los riesgos y limita- ciones que presenta92,94,95,96. Los pasos de un meta-análisis son los siguien- tes97: 1) Formulación de los objetivos o preguntas de investigación y establecimiento de un protocolo o proyecto que planifique el es- tudio. 2) Búsqueda y re c u p e ración de estudios, análisis de su calidad y selección, d e a c u e rdo con los criterios de inclusión y exclusión especificados previamente. 3) Selección y extracción de los datos de los estudios (fundamentalmente ca- racterísticas metodológicas y re s u l t a- d o s ) . 4) Test de homogeneidad, que determina si es adecuado el cálculo de una medida re- sumen a partir de los resultados de los di- ferentes estudios. 30 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 5 ) Análisis estadístico mediante el cual se obtiene un resultado que sintetice los estu- dios seleccionados. 6 ) Análisis de sensibilidad para conocer la solidez de la medida final obtenida. Antes de realizar un meta-análisis se deben establecer con precisión las medidas de resul - tados y el estadístico que se utilizarán para re- p resentar los efectos y ag re g a r l o s. Las medi- das de resultados deben ser coherentes con los criterios de inclusión y exclusión de los e s t u d i o s. Los estadísticos descriptores de los efectos que más se utilizan son las difere n- cias de tasas (mediante o d d s - ra t i o, riesgos re- l a t ivo s, d i f e rencias de riesgo, reducción de riesgo y el número necesario de pacientes i n t e r venidos para prevenir un caso, N u m b e r Needed to Tr e a t)1 0 1 , 1 0 2 , 1 0 3 o las diferencias en variables continuas (mediante compara c i o- nes de medias o comparaciones de medias e s t a n d a r i z a d a s ) . La representación gráfica de los resultados de los estudios incluidos en el meta-análisis es de gran utilidad. Se han usado varios métodos gráficos, el clásico suele tener forma de pirá- mide o embudo. En él se representa la medida de efecto en el eje de abscisas (eje x) y a lo lar- go del eje de ordenadas (eje y) se sitúan los di- f e rentes estudios ordenados por el peso que se les haya dado. Generalmente se ponderan por el inverso de la varianza de la medida de efecto elegida o por el tamaño de la mu e s- t ra1 0 4. El siguiente ejemplo (figura 2) forma parte de un meta-análisis que pretende inte- grar los ensayos clínicos aleatorios que com- paran los efectos de la angioplastia coronaria y de la cirugía con bypass en pacientes con angina severa105. La figura 2 rep resenta los logaritmos de los riesgos re l a t ivos (log RR) del grupo tra t a d o con ACTP frente al grupo tratado con CB, d e tal manera que si un RR es mayor de 1 indica un riesgo mayor en el grupo tratado con AC T P. El meta-análisis de los ocho ensayo s clínicos (cuatro forman un único grupo de análisis) fue realizado con el método de efec- tos fijos, obteniendo una medida sumaria de la media ponderada de los log RR. La ponde- ra c i ó n , y por tanto el orden de los estudios en el “eje y”, se realizó por el inverso de la varianza del RR. Los estudios con mayor va- rianza ap a recen en la parte inferior del grá- f i c o. 31«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Figura 2 Prevalencia de angina (de grado >1) tras un año de seguimiento en el grupo tratado con Angioplastia Coronaria Transluminal Percutánea (ACTP) frente al tratado con Cirugía de Bypass (CB) (tomado de Pocock105) CB ACTP Ensayo 1 52/474 77/493 Ensayo 2 51/481 102/496 Ensayo 3 17/188 34/184 Ensayo 4 35/139 44/155 Otros 4 ensayos 13/268 21/254 Medida resumen Se han utilizado otros métodos gráficos, como el llamado odd man out, en el cual la s u p e rposición de los intervalos de confian- za facilita la obtención de una re gión que resuma los interva l o s1 0 6. También se utili- zan la rep resentación de la “tendencia cro- n o l ó gica del efecto”1 0 4, los gráficos de cajas (box plot)1 0 7 o gráficos biva r i a d o s, radiales o c i rc u l a re s1 0 8. Antes de realizar un meta-análisis debemos c o m p robar que la heterogeneidad entre los diferentes estudios que vamos a combinar se debe al azar, en vez de a factores no aleato- rios, mediante la realización de un test de ho - mogeneidad (ver tabla 5). El siguiente paso es la realización de la técnica estadística de combinación de estudios, con lo que se obtiene una medida resumen, que ge- n e ralmente se presenta acompañada de su i n t e r valo de confianza1 1 1. Los estudios son p o n d e rados generalmente por su va r i a n z a , aunque también se aplican otros criterios: ca- lidad del estudio, diseño y validez de los da- tos70,89,97. La heterogeneidad entre los estudios puede incorporarse en el análisis, a través de los mé- todos de efectos aleatorios, o no ser incluida, si se utiliza un método de efectos fijos20. Los modelos de efectos fijos asumen que existe un único efecto en la población y no tienen en cuenta la heterogeneidad (varianza) entre los distintos estudios. Así, el tamaño del estudio y su propia varianza son los únicos determi- nantes de su peso ponderado en el meta- a n á l i s i s. El modelo de “efectos fijos” es válido p a ra comprobar la “hipótesis nula global”, l a cual defiende que ningún estudio tiene efec- t o. Un resultado que permita re chazar esta- dísticamente la hipótesis nula global indica que existe efecto en al menos uno de los es- t u d i o s. Los modelos de efectos aleatorios, por el contra- rio, tienen en cuenta la heterogeneidad entre los estudios al considerar que los efectos de la i n t e r vención en la población son diversos y que los estudios incluidos en la revisión son sólo una muestra aleatoria de todos los posi- bles efectos. La ponderación de los estudios se realiza, además de por la varianza o tama- ño de éstos, por la varianza entre los estudios. Los resultados de este método tienden a ser más conserva d o re s, con mayo res interva l o s de confianza, y generalizables al posible uni- verso de estudios. Deben utilizarse siempre que se determine tras un test de homogenei- dad que los estudios son heterogéneos y no puedan identificarse claramente las causas, lo cual es muy habitual. Se puede decir que existe consenso general sobre la utilización prioritaria del modelo de «efectos aleatorios». Los métodos estadísticos utilizados en el meta- análisis son múltiples y no están totalmen- te establecidos. Pa ra una visión genera l pueden ser útiles las siguientes re f e re n- cias82,97,104,112,113,114. La elección de la técnica depende fundamentalmente del tipo de datos analizados (ver tabla 6). 32 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 5 Análisis de homogeneidad El propósito es comprobar si los factores que motivan la heterogeneidad entre los estudios no son aleatorios o, por el contrario, se deben al azar. Una manera de hacerlo es a través del estudio de la re- presentación gráfica conjunta de los resultados de los estudios. Por ejemplo, con la utilización de los gráficos odd man out106, pero la metodología más utilizada es el Análisis de Homogeneidad82,109,110. Si el resultado de la prueba es que las diferencias observadas no pueden ser explicadas por el azar, se concluye que hay heterogeneidad.En ese caso es importante explorar y explicar en la medida de lo po- sible los motivos de hetero g e n e i d a d . Las características diferenciales que se utilizan más habitual- mente para definir la heterogeneidad entre los estudios son las características de los pacientes, de la intervención sanitaria (por ejemplo, la dosis administrada) y de las medidas de resultado utilizadas45. Hay que ser muy cautos a la hora de buscar explicaciones a esa heterogeneidad. Se pueden adoptar varias opciones, de las cuales la más rigurosa metodológicamente es no resumir los estudios en una medida sumaria. En cualquier caso, si se realiza es necesario presentar los resultados con claras ad- vertencias a sus limitaciones analíticas y utilizar el modelo de “efectos aleatorios”. En caso de que se encuentren motivos convincentes que expliquen la heterogeneidad entre los estudios, la opción más recomendable es realizar un Análisis de Subgrupos (ver tabla 7). Un meta-análisis basado en la agregación de datos de pacientes individuales, mega-análisis, es más válido y fiable que el basado en la sín- tesis de los resultados ofrecidos por cada es- tudio. El aumento del poder estadístico, la po- sibilidad de comprobar la calidad de los datos originales y de corregir ciertos errores, la posi- bilidad de adaptar el análisis a la pre g u n t a que nos interesa, y de realizar análisis de sub- grupos (ver tabla 7), son algunas de las venta- jas de este método. Sin embargo, en la mayo- ría de los casos es muy difícil obtener los da- tos individualizados originales de cada estu- dio, debido a la pérdida de datos, acceso limi- tado o a la ausencia de colaboración de los in- vestigadores. La combinación de estudios de validez mu y diferente en un meta-análisis debe realizarse con una metodología específica que evite ses- g o s. Se han utilizado hasta el momento tre s 33«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 6 Métodos estadísticos para meta-análisis disponibles en el programa informático REVMAN 3.0 (tomado de Mulrow31) Tipo de datos Estadístico descriptor Modelo Método Dicotómicos Odds-ratio Efectos fijos Peto115,116 Mantel-Haenszel117,118 Efectos aleatorios Dersimonian-Laird110 Riesgo relativo Efectos fijos Mantel-Haenzsel Efectos aleatorios Dersimonian-Laird Diferencia de riesgos Efectos fijos Mantel-Haenszel Efectos aleatorios Dersimonian-Laird Continuos119,120,121 Diferencia de medias Efectos fijos Inverso de la varianza o ponderada método de Woolf109,122 Efectos aleatorios Dersimonian-Laird Diferencia estandarizada Efectos fijos Inverso de la varianza de medias Efectos aleatorios Dersimonian-Laird Datos de pacientes Odds-ratio Efectos fijos Peto individuales Tabla 7 Análisis de subgrupos El estudio de los resultados de una serie de trabajos puede enfocarse hacia la búsqueda de explicacio- nes en las diferencias entre los grupos de participantes. Este tipo de metodología pretende contrastar la significación de una diferencia aparentemente importante en un subgrupo, por ejemplo en mujeres, o en una determinada franja de edad. La utilización o interp retación de un análisis de subgrupos debe hacerse con mu cha cautela, ya que pue- de haber mu chos factores que pueden explicar las diferencias entre los estudios. Podemos estar intro d u- ciendo fácilmente erro res sistemáticos o heterogeneidad y las conclusiones o recomendaciones en ese caso provocan equivocaciones que afectan a la asignación de recursos a todo un grupo de población. Los factores que influyen en la fuerza de las conclusiones que un análisis de subgrupos puede propo- ner son la magnitud y la significación estadística de las diferencias, si la hipótesis fue anterior o poste- rior al análisis, si el análisis de subgrupos fue una entre las varias hipótesis que se estudiaron, si la di- ferencia surgió por las comparaciones intra o interestudios, si la hipótesis es consistente y si existen evidencias indirectas que la apoyan.90,91 métodos diferentes para ese objetivo. El pri- m e ro consiste en realizar un meta-análisis para cada grupo de estudios, clasificando és- tos por su calidad, y posteriormente compa- rar los resultados. El segundo consiste en rea- lizar algo parecido a un análisis de sensibili- d a d , i n c l u yendo en el meta-análisis paso a paso estudios de menor validez que van mo- dificando los resultados; es lo que se llama meta-análisis acumulativo1 2 3. El tercer método introduce la calidad de los estudios como una variable más en un análisis multivariante; es la técnica denominada meta-regresión124,125,126. El último paso de un meta-análisis es el análi - sis de sensibilidad. Es una prueba de estabili- dad de los resultados de una técnica de sínte- sis cuantitativa, sea meta-análisis, evaluación económica o análisis de decisión. Se utiliza cuando hay incertidumbre en aspectos im- portantes que condicionen la validez de los estudios. Sirve, por tanto, para valorar la con- sistencia de la medida resumen obtenida tras el proceso de combinación cuantitativa de re- sultados. Con el análisis de sensibilidad se in- tenta responder a la pregunta ¿serían diferen- tes los resultados finales de la técnica esta- dística si se modifican los datos dudosos que se han utilizado en el análisis? Por tanto, se está comprobando la robustez de los resulta- dos con relación a las asunciones y supuestos que han surgido en el proceso de realización del análisis. En general, los tipos de asunciones o aspectos condicionantes de la validez que se examinan en los análisis de sensibilidad incluyen31: — Cambio de los criterios de inclusión. — Inclusión o exclusión de estudios en los que persiste ambigüedad sobre si reúnen o no los requisitos de inclusión. — Exclusión de estudios no publicados. — Exclusión de los estudios de poca calidad metodológica. — Cambio en el intervalo de resultados para los estudios que plantean incertidumbres. Por ejemplo, debido a incongruencias en la manera de describir los datos o a diferen- cias en la definición o medida de los resul- tados. — Imputar un intervalo de valores razonable a los datos inexistentes. — Cambio en el enfoque analítico. Por ejem- plo, usando un modelo de efectos aleato- rios. El análisis de sensibilidad se realiza repitien- do la técnica estadística realizada con dife- rentes va l o res para determinados datos, i n- c l u ye n d o, por ejemplo, un estudio excluido p rev i a m e n t e, o b s e r vando posteriormente si la modificación cambia sustancialmente el efecto final. Si ocurre así, los resultados no tienen la solidez suficiente y, por tanto, es ne- cesario ser muy cauto en la valoración de los datos y en la elaboración de las conclusio- nes97. El análisis de sensibilidad es una de las mejores maneras de depurar o detectar erro- res y de realizar una evaluación pre l i m i n a r del resultado final de una síntesis cuantita- tiva127. Existen diversos programas informáticos úti- les para la realización de un meta-análisis o una revisión sistemática como: REVMAN1 2 8, FA S T * P RO1 2 9 , 1 3 0, S TATA1 2 9, T RUE EPISTAT1 2 9, D S TAT1 2 9, D E S CA RT E S1 2 9, EASY MA1 2 9 y META-ANALYST129. 7.3. Análisis de decisión Es una herramienta cuantitativa que eva l ú a el valor relativo de cada una de las opciones existentes en una decisión9 7. D ivide los pro- blemas complejos en partes más sencillas, los analiza en detalle y los combina de nuevo de manera que se pueda identificar la mejor es- trategia. Trata de evitar los errores sistemáti- cos producidos al establecer juicios clínicos basados fundamentalmente en la intuición clínica o en la experiencia personal. El análi- sis de decisión es un procedimiento de apoyo a la toma de decisiones, basado en la utilidad esperada de cada opción desde una determi- nada perspectiva. A la vez, constituye un mé- todo sistemático de identificación de opcio- nes, cuantificación de expectativas o probabi- lidades, asignación de valores a resultados y comparación entre opciones. En medicina se utiliza tanto para facilitar la toma de decisiones en la práctica clínica,ante pacientes concretos, como para diseñar estra- tegias globales aplicables a un amplio grupo de pacientes o a la política sanitaria97. Su ori- gen proviene de la “Teoría de la Estrategia de Juegos”, descrita en los años veinte y aplicada en economía y política a partir de la década de los cuarenta131. Existen varios textos rele- vantes que desarrollan con amplitud el análi- sis de decisión97,132,133. ¿Cuándo está indicado el abordaje de un pro- blema mediante el análisis de decisión? Se han propuesto las siguientes situaciones127: 1) Existe un conjunto de alternativas reales bien definidas entre las que escoger. 34 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 2) Se detecta incertidumbre sobre las conse- cuencias de las alternativas. 3) La persona o personas que deciden tie- nen pre f e rencias acerca de los posibles resultados. 4) Existen una o más restricciones que limi- tan el conjunto de alternativas. Por ejem- plo, el coste de oportunidad de vacunar a toda la población escolar de hepatitis B es tan grande que nos impide realizar otras actuaciones sanitarias con una mejor re- lación coste-efectividad. 5) El problema precisa que se tome una de- cisión. En algunos estudios que abordan una situa- ción clínica complicada, el análisis de deci- sión no proporciona más información que la necesidad de datos adicionales impre s c i n d i- bles y de nu evos estudios en ese campo. E n otros casos puede indicar que las diferencias e n t re los resultados de las distintas estra t e- gias son muy pequeñas, lo que suele deberse a errores del método. Incluso cuando resulta potencialmente útil, puede no ser factible completar los cálculos o el análisis de sensibi- lidad precisos por limitaciones de tiempo o de re c u r s o s. No obstante, el valor del enfoque analítico del proceso de decisión radica en que integra los datos disponibles, obliga a un razonamiento riguroso y expone las áreas de incertidumbre o ignorancia134. Los árboles de decisión son las técnicas más usadas entre la amplia gama de análisis de decisión existentes. Son útiles para explicitar la secuencia temporal y lógica de las diferen- tes alternativas de un problema, de tal mane- ra que sea fácil comprender todas sus posi- bles decisiones y consecuencias. La figura 3 muestra un ejemplo de árbol de decisión para decidir si tratar con un determinado fármaco t rombolítico intravenoso a los pacientes en los que se sospecha infarto agudo de miocar- dio. 35«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Figura 3 Árbol de decisión sobre la trombolisis en pacientes con sospecha de infarto agudo de miocardio (tomado de Goldman134) El cuadrado o “núcleo” marcado con la letra A indica la decisión que el médico debe tomar. Los círc u l o s, m a rcados de B a O, indican los diferentes resultados. Cada uno de ellos pro- viene de una rama en la que se debe escribir la probabilidad conocida que tiene de produ- cirse ese resultado. Cada una de las evolucio- nes finales posibles recibirá una utilidad o pre- ferencia,o sea, una valoración cuantitativa de lo apreciado que resulta ese resultado en re- lación con los demás. El valor de cada resulta- do final se obtiene multiplicando todas las probabilidades de cada una de las ramas por la utilidad asignada a ese final de rama. Por último, para obtener el valor final de decidir t ratar con trombolisis frente al valor de no hacerlo, se suman los valores relativos de to- das las puntas de rama resultado de esas dos decisiones, y posteriormente se elegirá la op- ción que mu e s t re el mayor va l o r. La tabla 8 describe los pasos del análisis basado en ár- boles de decisión. Respecto al diseño de árboles de decisión se han realizado recomendaciones genera l e s p a ra evitar erro res e incorrecciones en su c o n s t r u c c i ó n1 2 7. E n t re las re c o m e n d a c i o n e s se incluyen las siguientes: procurar el balance e n t re riesgos y beneficios de la interve n c i ó n en las distintas ramas; situar preferentemen- te dos ramas en cada nodo de decisión; ramas ligadas a través de los cálculos de probabili- dades de resultados o de las utilidades; ase- gurar la simetría, o incluir todas las condicio- nes determinantes que pueden afectar a los resultados. Las utilidades pueden ser estimadas por di- versos procedimientos: juicio de expertos; opinión de las personas que realizan el estu- dio; búsqueda en la literatura científica o es- tudio ad hoc. Existen varias publicaciones que describen las utilidades de un amplio ra n g o de estados de salud1 3 5 , 1 3 6 , 1 3 7. Existen va r i a s publicaciones útiles para profundizar en los métodos de elaboración y medición de utili- dades en salud135,138,139,140,141,142. El árbol de decisión es la técnica principal y más empleada en los análisis de decisión. Otras técnicas son el análisis de umbrales de decisión y el proceso de Markov, que se des- criben a continuación; los modelos de simula- ción de Monte-Carlo1 4 3 , 1 4 4, y los métodos de 36 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 8 Fases del diseño de un análisis basado en un árbol de decisión (modificado de Petitti97) 1. IDENTIFICAR Y LIMITAR EL PROBLEMA, de tal manera que se establezcan todas las alternativas de decisión y los resultados a que pueden dar lugar. Se deben incluir los aspectos más relevantes que puedan determinar los resultados y la utilidad de los cursos de acción, definir claramente la pers- pectiva del análisis, identificar todas las alternativas y el horizonte temporal de análisis. 2. CONSTRUIR UN ÁRBOL DE DECISIÓN QUE ESTRUCTURE EL PROBLEMA. Selección de las opciones, nodos de decisión y nodos finales. Debe mantenerse el equilibrio entre complejidad y simplicidad, logrando que los elementos esenciales, tanto en lo que se refiere a opciones de acción como a va- lores, estén incluidos en el modelo. 3. ESTIMACIÓN DE PROBABILIDADES Y ASIGNACIÓN A LOS CURSOS DE ACCIÓN. Recopilar informa- ción mediante una revisión sistemática de la literatura, consulta a expertos o búsqueda de datos primarios, para estimar las probabilidades que van a ser asignadas a cada uno de los componen- tes del árbol. La probabilidad final de que ocurra el suceso definido por una rama se halla multi- plicando todas las probabilidades de todos los trayectos de rama necesarios para llegar a ese re- sultado clínico final. 4. ASIGNACIÓN DE VALORES Y UTILIDADES A LAS CONSECUENCIAS O RESULTADOS FINALES . Los resultados clínicos finales pueden expresarse de diversas formas: años de vida, años de vida ajus- tados por calidad,esperanza de vida ajustada por calidad,casos de enfermedad evitados o compli- caciones evitadas, o utilidades. La utilidad es una medida de la preferencia relativa, perspectiva, que tiene alguien respecto de un determinado resultado. Se expresa en una escala entre 0 y 1, de tal manera que al resultado de menor utilidad (la muerte sería el caso extremo) se le asigna el va- lor 0; y al de mayor utilidad (la salud plena sería el otro extremo), el valor 1. 5. INTERPRETACIÓN DE LOS RESULTADOS Y VALORACIÓN DE LA INCERTIDUMBRE. Conociendo la probabilidad de que ocurra cada suceso, o rama del árbol,y su utilidad se dispone de todos los da- tos para interpretar los resultados y poder elegir el curso de acción más favorable. Por último, es aconsejable realizar un análisis de sensibilidad que nos confirme la estabilidad de nuestros resul- tados en diferentes circunstancias. medición de preferencias entre estados de sa- lud standard gamble140,145,146, time trade-off y ca - tegory scaling142,146,147. El análisis de umbrales de decisión es un tipo de análisis de decisión que utiliza la teoría de Ba- yes para va l o ra r, por ejemplo, la conve n i e n c i a de realizar una prueba diagnóstica a un pa- c i e n t e. Parte del concepto de que realizar un test a un paciente es inútil si no sirve para mo- dificar la estra t e gia terapéutica o el manejo clínico global de ese paciente. El umbral es el n ivel de probabilidad en el que el beneficio p revisible de tomar una decisión iguala al de no tomarla o al de tomar una alternativa1 3 3 , 1 4 8. Las cadenas de Markov, o el proceso de Markov, son un método cuantitativo dinámico que toma en consideración la probabilidad de que un paciente cambie de un estado de salud a otro en un determinado período de tiempo, es d e c i r, la probabilidad de transición para ese determinado estado. En este modelo es nece- sario definir por adelantado cuáles son los es- tados de salud de interés y especificar todas las posibles transiciones o caminos entre es- tados127,149,150. Existe una variada oferta de programas infor- máticos útiles para los análisis de decisión disponibles en el merc a d o. Destacan DATA 3.5151, SMLTREE 2.9152, DECISION MAKER153 y FA S T * P RO1 5 4. Estos pro g ramas facilitan la construcción y análisis de árboles de deci- sión, cadenas de Markov, modelos de simula- ción de Monte-Carlo, análisis de sensibilidad y aplicaciones para análisis de coste-efectivi- dad. Anne Haddix, en su libro Prevention Effec - tiveness, ofrece un anexo con la descripción de estos y otros pro g ramas informáticos útiles130. 7.4. Estudios de evaluación económica La pertinencia de realizar un estudio de eva- luación económica para la elaboración de un informe de ETS depende fundamentalmente de la formulación de la pregunta planteada en la solicitud de evaluación. Cuando los ob- j e t ivos del informe vayan encaminados a la p o n d e ración de costes y consecuencias, y pueda conseguirse información de la sufi- ciente calidad y va l i d e z , se pueden usar las técnicas que a continuación se describen. El diseño de un estudio de evaluación econó- mica debe partir de la identificación del tipo de información económica que será más útil p a ra el destinatario del estudio o informe y definir de forma precisa las preguntas o pro- blemas de inve s t i g a c i ó n . Estos primeros pa- sos ofrecen las claves para orientar sobre el tipo de costes y resultados que van a ser ana- lizados y sobre el diseño más apropiado para responder a las preguntas formuladas130. Una vez aclarados estos aspectos iniciales, deben ser identificadas de forma precisa las posibles alternativas razonables de interven- ción y bases de referencia o comparación, in- cluida la ausencia de interve n c i ó n . La pers- pectiva de análisis debe ser definida a conti- nuación. El tipo de perspectiva adoptada de- penderá del problema planteado, del interés del solicitante del estudio y del contexto de la demanda. En general, la preferencia de los es- tudios de evaluación económica es la adop- ción de la perspectiva social o general, en la que se incluyen costes indirectos y de oportu- nidad si bien; otra perspectiva puede ser igual o más relevante para un estudio concreto: la p e r s p e c t iva indiv i d u a l , la del proveedor o la del financiador. El marco temporal de cada estudio, es decir, e l período en el que se desarrolla la interve n c i ó n que se eva l ú a , tiene que adaptarse al tipo de i n t e r venciones estudiadas y quedar perfecta- mente establecido en el diseño. El horizonte t e m p o ral de análisis, o período en el que se van a medir costes y resultados re l a c i o n a d o s con la interve n c i ó n , debe ser de suficiente du- ración como para incluir los costes y re s u l t a- dos re l evantes producidos durante la ap l i c a- ción de la interve n c i ó n , aun cuando se pro- duzcan en el futuro, una vez finalizada ésta. Tipos de estudios. Las dos características defini- torias del análisis económico en sanidad son155: — Los costes y beneficios de una actividad sanita - ria son los dos pasos de una cadena de produc - ción. Michael Drummond establece que al igual que se acepta la relación entre factor p ro d u c t ivo y producto en la industria, d e forma similar se puede enunciar una rela- ción similar en el ámbito sanitario. — El análisis económico está íntimamente ligado a la elección. P retende identificar criterios útiles para decidir cómo asignar recursos estableciendo comparaciones entre alter- n a t ivas que ofrezcan información discri- minatoria. Las dos características anteriores formuladas en forma de preguntas sirven para clasificar los estudios de evaluación económica sanita- ria en una matriz de seis celdas, tal y como se muestra en la tabla 9. ¿Se examinan tanto los costes como los beneficios de las alternati- vas? ¿Hay comparación entre dos o más alter- nativas? 37«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 La celdilla inferior izquierda corresponde a los estudios que evalúan la eficacia/efectiv i- dad, como los ensayos clínicos, que comparan los resultados o consecuencias de las alterna- t ivas pero no comparan los costes o efectos secundarios. La celdilla inferior central se re- fiere a los estudios llamados análisis de cos- tes. Éstos comparan tecnologías cuya efectivi- dad se considera semejante, sólo pre t e n d e n estimar el coste de las alternativas. La única de las seis celdillas que cumple las dos carac- terísticas de los estudios de evaluación eco- nómica es la inferior derecha. Al resto de los estudios se les denominan evaluaciones econó - micas parc i a l e s. Lo que no implica que estos estudios sean inútiles, ya que pueden repre- sentar estadios intermedios vitales para la compresión de los costes y resultados de los servicios y programas sanitarios. A continuación se describen cada uno de los cuatro tipos de estudios económicos completos: M I N I M I Z ACIÓN DE COSTES: Los re s u l t a d o s no se miden en ninguna unidad porque se parte de la asunción de que las intervencio- nes que se comparan producen aproximada- mente los mismos resultados. Se usa cuando, una vez identificado un beneficio común, las distintas opciones permiten alcanzar el mis- mo objetivo en el mismo grado, aunque previ- siblemente con costes diferentes, que son los que se trata de minimizar. El interés también puede estar en el estudio de la distribución de los costes155. ANÁLISIS DE COSTE-EFECTIVIDAD: Ha sido, desde los años setenta,el método más utiliza- do de evaluación económica en el campo de la salud. Las unidades en que se miden los re- sultados son unidades naturales, unidades de efecto sanitario como las unidades de presión arterial, la incidencia de enfermedad, los ca- sos evitados, la mortalidad o los años de vida g a n a d o s. El propósito de este tipo de análisis es comparar el coste de dos o más alternati- vas de intervención sanitaria que persiguen el mismo objetivo. Permite identificar el pro- cedimiento que presenta una relación coste- e f e c t ividad más beneficiosa para el logro de un objetivo específico en una determinada población o contexto de análisis, o identificar aquel cuya relación coste-efectividad es re l a- t ivamente alta o baja en comparación con o t ras alternativas de interve n c i ó n . Los costes se miden en unidades monetarias y los bene- ficios en unidades de efectiv i d a d1 5 6. La utili- dad de los análisis de coste-efectividad para la toma de decisiones sobre asignación de re- cursos y priorización ha generado un impor- tante debate y propuestas de estandariza- ción de los métodos de análisis, de forma que se disminu ya la heterogeneidad observa - da entre los estudios publicados y permita avanzar en la comparabilidad entre los estu- d i o s1 5 7 , 1 5 8 , 1 5 9 ,1 6 0 , 1 6 1. ANÁLISIS COSTE-UTILIDAD: Es una variedad del análisis de coste-efectividad en la que un componente importante de los re s u l t a d o s medidos es la calidad de vida. Los resultados se miden generalmente en Años de Vida Ajus- tados por Calidad (AVAC o, en inglés, Q A LY, Quality Adjusted Life Year), lo que exige dis- poner de instrumentos específicos de medida y de ajuste de medidas cuantitativas de salud por calidad de vida, a menudo complejos y de difícil interp re t a c i ó n . Al proveer un método estandarizado de medida y valoración de re- sultados permite comparar la utilidad relati- va de nu m e rosas intervenciones que compi- ten por los recursos disponibles. Es un tipo de estudio económico más amplio que el análisis c o s t e - e f e c t iv i d a d , ap ropiado cuando la cali- dad de vida es re l evante como resultado de 38 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 9 Clasificación de los estudios de evaluación económica (tomado de Drummond155) ¿Se examinan costes y consecuencias simultáneamente? ¿Se comparan dos NO SÍo más alternativas? Sólo consecuencias Sólo costes NO Descripción de Descripción de costes Descripción de costes y consecuencias consecuencias SÍ Evaluación de eficacia/ Análisis de costes Minimización de costes efectividad Análisis coste-efectividad Análisis coste-utilidad Análisis coste-beneficio las intervenciones comparadas, existen efec- tos de morbilidad o incapacidad relevantes o efectos múltiples que afectan de forma com- pleja a la calidad de vida. Introduce las pre- ferencias y valoraciones de estados de salud realizadas por indiv i d u o s, p rofesionales o la sociedad135,162. ANÁLISIS COSTE-BENEFICIO: Es el único tipo de evaluación económica en el que tanto los costes como los resultados se miden en uni- dades monetarias, de esta manera se facilita la comparación entre costes y beneficios. Este tipo de estudio viene a ser el método más c o m p re n s ivo de análisis económico y más c o n c l u yente para la decisión de hacer o no una interve n c i ó n , ya que va l o ra todos los efectos en términos económicos, aunque la valoración monetaria de los efectos sanitarios presenta importantes limitaciones. El objetivo es determinar si los beneficios exceden a los c o s t e s, utilizando el “ valor actualizado neto” ( VAN) como expresión de la diferencia entre beneficios y costes. Para la valoración mone- taria de la salud y de la vida humana se utili- zan el enfoque de capital humano y el de dis- ponibilidad a pagar. El primero se basa en la va l o ración económica de prevenir la mu e r t e de un sujeto de una determinada edad; el se- gundo valora la salud y la vida basándose en el dinero que los sujetos estarían dispuestos a pagar por una mejora de la salud. Es, quizás, la modalidad de análisis económico menos utilizada dadas las implicaciones éticas y la dificultad de atribuir valor económico a la vida humana157,158,163. La medición de los costes y resultados. I n i c i a l- mente, en todo análisis económico se deben estudiar cuáles van a ser los costes a conside- rar, fijos o variables, directos o indirectos, tan- gibles o intangi b l e s, p agados por los pacien- tes, la administración sanitaria o la industria. La adecuada identificación de los costes y re- sultados es el aspecto más importante que se debe considerar cuando se diseña un estudio de evaluación económica en sanidad15. La identificación, definición y recogida de da- tos re f e rentes a cada uno de los costes que formarán parte del análisis es una de las ta- reas más complejas y difíciles de realizar. Los factores que influyen en la inclusión de unos costes u otros son: la perspectiva adoptada para el análisis, proveedor, financiador, socie- dad; la adecuada definición del período de tiempo en el que los costes han de ser cuanti- ficados (marco temporal y horizonte de análi- sis); las unidades de intervención (coste por persona interve n i d a , costes medios, n e t o s, m a rginales); las diferencias en la estructura de costes de las alternativas comparadas, y la disponibilidad de información. Posteriormente hay que introducir otros fac- tores en la evaluación como164: • La actualización de los valores económicos en el tiempo (tasa de descuento o conver- sión de costes y beneficios a su valor actual según la pre f e rencia tempora l , ajustes se- gún la inflación, amortización de costes ini- ciales). • La va l o ración de la validez y robustez del estudio económico y de las asunciones rea- lizadas mediante un análisis de sensibilidad. • Las externalidades (son efectos sobre unida- des no relacionadas directamente con la in- tervención o actividad; por ejemplo, el efec- to positivo que produce una inmunización sobre las personas no vacunadas). • Los posibles efectos distributivos diferenciales de costes y beneficios en distintas poblacio- nes o contextos. • Las limitaciones presupuestarias. • Los costes intangibles. Después de medir los costes y los resultados en salud de cada tecnología se construyen in- d i c a d o res que permitan comparar entre las a l t e r n a t ivas evaluadas (valor actualizado n e t o, razón entre beneficios y costes, ra z ó n c o s t e / e f e c t iv i d a d ) . Se pueden utilizar medi- das sumarizadas como la razón coste/efectivi - dad, pero es más aconsejable presentar los re- sultados como razones incrementales o margina - l e s, c o m p a rando distintas TS alternativas o distintos niveles de intervención de una mis- ma T S1 6 4. El enfoque marginal expresa el cambio en la relación coste/efectividad que se produce al aumentar una unidad de resul- tado en cada TS. Por ejemplo, un día más de t ra b a j o, o una unidad más de una dro g a , o una unidad monetaria más de gasto en un programa de prevención. En contraste, el en- foque incremental analiza el cambio en la re- lación coste/efectividad pero siempre de una TS en comparación con otra . G e n e ra l m e n t e, se calcula la razón que divide el incremento de coste por el incremento de efectividad de varias TS frente a la considerada más efec- tiva165. La utilización de estos estudios en el áre a sanitaria es relativamente reciente y está al- canzando un gran desarrollo y difusión. L a s técnicas de análisis económico están mu y consolidadas, pero no tanto su aplicación en sanidad, ya que es un área donde resulta es- pecialmente difícil la va l o ración económica 39«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 de costes y beneficios. Además existen varia- dos problemas metodológicos sin re s o l ve r, como por ejemplo, la utilización de las tasas de descuento o la va l o ración económica de los años de vida ajustados por calidad130. Con respecto a su utilización para la elaboración de un informe de ETS es preciso indicar que el estudio del contexto local, que todo informe de ETS debe contener, conlleva siempre la re- alización de una valoración económica. Ésta, aunque no consista en un estudio de evalua- ción económica estándar, debe incluir un es- tudio de los costes y el impacto económico del procedimiento estudiado para lo que es necesario considerar la metodología descrita anteriormente. 7.5. El juicio de expertos La necesidad de adopción de decisiones sobre una TS pese a la ausencia de evidencias cien- tíficas de alta calidad justifica en ocasiones el uso de métodos de consenso basados en el juicio de expertos. En otros casos, el problema analizado o las preguntas más re l evantes a las que se pretende dar respuesta presentan numerosos componentes subjetivos, como la valoración de la calidad de vida, el interés so- c i a l , determinados aspectos éticos o posicio- nes políticas. En estos y otros casos puede ser relevante añadir a la síntesis de la evidencia la valoración subjetiva y la opinión de espe- cialistas experimentados o de representantes de las personas implicadas e intereses afecta- dos por el uso de la TS. Es deseable también obtener un cierto grado de consenso y acepta- ción entre los que van a ofrecer o utilizar esa TS, de forma que se facilite su diseminación e implantación15. Los procedimientos de juicio de expertos uti- lizan técnicas con grados diferentes de for- malización y estructura c i ó n , y emplean mé- todos cualitativos de investigación y de deci- s i ó n . Existe una enorme variedad de ap rox i- maciones metodológicas para la elabora c i ó n de productos de acuerdo y consenso. E s t o s métodos varían en el grado en el que los pa- neles de expertos adoptan normas formales estrictas y explícitas de interacción y comuni- cación para llegar al consenso; en el grado en el que cada recomendación se sustenta en la evidencia científica; en la diversidad o hetero- geneidad de los expertos representados en el panel, y en el nivel de estructuración explícita e integración en el informe de factores como la evaluación económica, la aceptabilidad, el valor de utilidad y las preferencias de los pa- cientes166. La búsqueda de respuestas a determinadas p reguntas planteadas ha sido abordada con distintos métodos que generan también dis- tintas líneas de productos: Conferencias de Consenso167; Método de Uso Apropiado, dise- ñado por la RAND Corp o ra t i o n1 0 , 1 6 8; Método D E L P H I1 6 9; Grupos Nominales, y otro s. E s t o s p rocedimientos suelen implicar la partici- pación de expertos en un proceso de valora- ción de problemas o situaciones clínicas con el apoyo de la literatura biomédica disponible y la elaboración de un documento consen- suado en el que se propone una pauta de de- cisión frente al problema planteado. A s í , e n los procesos de elaboración de Guías de Prác- tica Clínica se llega a un acuerdo sobre un conjunto de re c o m e n d a c i o n e s, d i s e ñ a d a s para ayudar a los profesionales y a los usua- rios en la selección de las mejores opciones diagnósticas y/o terapéuticas para el manejo de una condición clínica específica en cir- cunstancias concretas. El método RAND de uso apropiado constituye un medio de detección de acuerdos sobre las indicaciones de una TS determinada median- te el uso de paneles de expertos. El procedi- miento estándar consiste en la valoración de los riesgos y beneficios de cada una de las po- sibles indicaciones identificadas para una técnica médica o quirúrgica, por parte de un grupo de expertos de distintas especialidades relacionadas con la tecnología analizada. Los miembros del grupo revisan la literatura cien- tífica que se les proporciona y valoran indivi- dualmente, en función de ésta y de su propio j u i c i o, cada indicación, o t o rgando una pun- tuación. El grupo discute después las puntua- ciones alcanzadas por cada indicación y se v u e l ven a otorgar puntuaciones indiv i d u a l- mente. En el análisis final de los resultados se establece el grado de acuerdo o desacuerd o para la indicación en cada situación clínica y se clasifican las indicaciones como ap ro p i a- das, inciertas o inapropiadas28. En las Conferencias de Consenso se alcanza un acuerdo escrito en un proceso formalizado semejante a un juicio, en el que participan expertos y representantes de grupos implica- dos en la decisión clínica objeto de la pregun- ta. El modelo más difundido es el establecido por los Institutos Nacionales de la Salud de los EE.UU. a través de la Office for Medical Ap - plications of Research167,170. Al final de un largo proceso de preparación, un tribunal revisa la documentación elaborada para la confere n- cia y escucha a testigos y expertos, para des- pués deliberar y redactar un acuerdo basado en las pruebas y testimonios pre s e n t a d o s. Esta metodología es relativamente compleja y 40 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 consume considerables esfuerzos, tiempo y recursos. Se ha utilizado preferentemente en los EE.UU. y se ha difundido en algunos países e u ro p e o s, Canadá y Au s t ra l i a . Pe r m a n e c e n numerosas incertidumbres sobre aspectos de organización y contenidos que determinan la validez y utilidad del procedimiento; como los p ro m o t o re s, los patro c i n a d o re s, la rep re s e n- tatividad, el proceso de valoración de las evi- dencias o los criterios y requisitos para su realización. La principal debilidad de los pro c e d i m i e n t o s basados en el juicio de expertos es la incerti- d u m b re sobre su validez y rep ro d u c i b i l i d a d . Por otro lado, estos procedimientos hacen un uso desigual y no protocolizado de la ev i d e n- cia científica disponible. Son procesos en mu- chos casos de larga duración que consumen e l evados recursos y sus productos re q u i e re n una actualización continu a . Existen escasos t rabajos originales que hayan abordado las li- mitaciones de estos pro c e d i m i e n t o s. Q u e d a n por re s o l ver otros interrogantes sobre la ade- cuación de los sistemas de selección de par- t i c i p a n t e s, la composición de los paneles, l a idoneidad de los pro m o t o re s, f i n a n c i a d o res y o rg a n i z a d o re s, así como la perspectiva de eva- luación de estos procedimientos y sus pro d u c- t o s. En contrap a r t i d a , permiten obtener re c o- mendaciones consensuadas sobre pro b l e m a s importantes objeto de decisiones clínicas, o de o t ro tipo, que se han de tomar cuando no hay evidencias científicas disponibles1 7 1. Estos métodos permiten, a su vez, la implica- ción de profesionales sanitarios de prestigio y de representantes de otros estamentos invo- lucrados o afectados por el proceso de toma de decisiones (usuarios, p a c i e n t e s, A d m i n i s- tración, financiadores), lo que facilita la acep- tación del proceso de elaboración, la colabo- ración en la estrategia de difusión y la acepta- ción de las re c o m e n d a c i o n e s. Los re s u l t a d o s finales de estos métodos de consenso de- penderán en gran medida del rigor metodoló- gico, el grado de preparación,la transparencia de todo el procedimiento y el prestigio de la organización promotora. 8. Valoración de los efectos sociales, o r g a n i z a t i v os, psicológicos y éticos La cantidad de factores que pueden influir y la diversidad de parámetros que se pueden utilizar para medir este tipo de efectos son al- gunas de las múltiples dificultades que pre- senta su valoración e inclusión en un estudio de eva l u a c i ó n . Las expectativas acerca de la calidad de vida o la salud percibida, por ejem- p l o, pueden matizarse enormemente de tal m a n e ra que cada individuo considere va r i a- bles o factores diferentes a los demás. Sin em- bargo, muchas TS ocasionan efectos psicoló- gicos importantes en los pacientes, tienen un elevado impacto social o plantean problemas éticos relevantes. También su impacto organi- zativo puede influir en el uso y resultados fi- nales de la intervención sanitaria. Por ello, su inclusión en un informe de ETS es impor- tante y merece un apartado específico. Se ha avanzado algo en la identificación de este tipo de efectos y en el establecimiento de escalas de medida para valorarlos172,173,174,175, 176,177. Así, la realización de pruebas diagnós- ticas produce efectos psicológicos como el “etiquetado” (clasificar a una persona de en- ferma tiene consecuencias psicológi c a s ) , e l miedo a la enfermedad, la ansiedad por el contacto con los servicios sanitarios, la satis- facción con la atención recibida. Los anterio- res son aspectos que va l o ran los re s u l t a d o s. Algunas variables que miden el proceso tam- bién pueden ser relevantes psicológicamente, como las creencias y perc epciones sobre la salud o la sensación de control de la enferme- dad que tiene el paciente durante un tra t a- miento continu a d o. Se ha observa d o, p o r ejemplo, la influencia determinante del men- saje emitido por el médico en la acep t a c i ó n de un tratamiento y, por tanto, en la efectivi- dad de la práctica clínica176. La va l o ración de los efectos sociales i n c l u- ye aspectos como la equidad en el acceso a la T S2 8, los condicionantes de la toma de decisiones colectiva sobre inclusión de p restaciones o realización de interve n c i o- n e s, la asignación de va l o res económicos a los resultados clínicos, las necesidades e x p resadas o percibidas en la comu n i d a d y otro s1 7 8. A continuación se describen algunas de las variables que pueden medir los e f e c - tos de la introducción de una tecnología en una organización sanitaria1 5: • G rado de flexibil idad/vulnera b i l i d a d de la organización a los efectos de la i n t roducción de la TS sobre las limita- ciones pre s u p u e s t a r i a s, el manteni- miento genera l , los momentos críticos, la falta de personal entrenado en la nueva tecnología o la carga de trabajo. 41«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 • G rado de centra l i z a c i ó n / d e s c e n t ra l i z a c i ó n de la información, del desarrollo de los pro- cedimientos técnicos, de las decisiones clí- nicas y de las decisiones económicas o so- bre los recursos de la tecnología. • Nivel de diferenciación que ocasiona la tec- nología en la estructura de la organización (creación de un nuevo departamento) y en los niveles del personal (nuevos expertos). • Requerimientos de personal, de formación o de incentivos. • Satisfacción en el trabajo (medida median- te diversos aspectos como la seguridad, adaptación al medioambiente, buenas rela- ciones personales, efectividad y motivación con el trabajo). • Grado de efectividad de los canales de co- municación, destacando los canales de da- tos clínicos y administrativos. La dimensión ética en la ETS se relaciona con la evaluación socioeconómica, en el marco de un contexto de recursos limitados. El acceso e q u i t a t ivo a la provisión de servicios sanita- rios es un derecho de los ciudadanos. A la vez, el objetivo de los servicios de salud es maxi- mizar el impacto sobre la salud con los recur- sos que la sociedad establece para ello. Así, la búsqueda de la eficiencia se puede definir como un objetivo ético28. O t ro posible enfoque es la identificación de las implicaciones éticas de la utilización de una TS a través de la detección de los puntos de encuentro y acuerdo entre los difere n t e s grupos de personas implicadas, o e va l u a c i ó n interactiva, pero requiere habilidades específi- cas alejadas de las actividades fundamenta- les relacionadas con la ETS y más relaciona- das con las técnicas de márketing o la investi- gación cualitativa. Existen más enfoques que relacionan la ética con la ETS: la búsqueda de la ética en la buena práctica clínica; los in- c e n t ivos a los profesionales sanitarios como análisis de la ética y valor social de una orga- nización; las connotaciones éticas de los re- sultados de las intervenciones sanitarias; la falta de justificación ética de un consumo ex- cesivo de recursos, o el uso apropiado de las TS como planteamiento ético28. 9. Elaboración de las conclusiones y recomendaciones Las conclusiones y recomendaciones son los apartados más leídos de los informes, j u n t o con el re s u m e n . En las conclusiones deben destacarse aquellos contenidos del informe que tengan mayor relevancia y capacidad de influir en la toma de decisiones. La re a l i z a- ción de recomendaciones debe ser adecuada- mente va l o ra d a , en función de los objetivo s, contenidos y las necesidades del solicitante. Este apartado debe ser breve, p reciso y con- sistente con los datos y evidencias aportados. Se deben evitar las conclusiones o recomen- daciones obvias o poco relevantes, y las que se basen en asunciones o decisiones arbitra- rias realizadas durante el proceso de análisis y síntesis de la información. Los aspectos que deben ser reseñados habitualmente son15,45: • Valoración de la calidad de la información o b t e n i d a , así como de las incertidumbre s detectadas. • Valoración de los costes (tanto económicos como relativos a riesgos, complicaciones y efectos adversos) y beneficios del uso de la tecnología. En algunos casos, concluir si la aplicación de la TS es factible en el medio estudiado. • Valoración de las posibles implicaciones del informe para el Servicio Sanitario en el que se aplica la tecnología. • G rado en que se han logrado cumplir los objetivos propuestos. • Formulación de la respuesta o respuestas a las preguntas de evaluación u objetivos es- pecíficos. • Incertidumbres o lagunas de conocimiento que no han podido ser cubiertas con la in- formación obtenida. • Líneas de investigación que deberían desa- r rollarse para avanzar en el conocimiento del tema que se ha evaluado. • Implicaciones para el desarrollo o modifi- cación de regulaciones referidas a la tecno- logía evaluada. Para la elaboración de conclusiones sobre la consistencia de una relación causa-efecto en- tre una intervención y un resultado clínico se utilizan frecuentemente pruebas indirectas: unidades de resultado intermedias o surrogate end-points, relaciones establecidas a partir de tecnologías o intervenciones análogas u obte- nidas en poblaciones similare s. Aunque mu- chas veces las pruebas indirectas aportan co- nocimientos útiles, es necesario advertir y va- l o rar pormenorizadamente las limitaciones de su utilización. La calidad de las evidencias y de las recomen- daciones que surgen de ellas es un aspecto 42 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 que debe ser mencionado siempre en las con- clusiones y recomendaciones. Un informe de ETS debe informar del grado de evidencia que apoya cualquier conclusión o recomendación, estableciendo claramente el orden de pre- ferencia que se da a los diferentes resultados. En cualquier caso, un informe de ETS no sólo debe valorar en sus conclusiones los efectos establecidos a partir de datos válidos, s i n o que debe considerar todos los estudios con al- guna aportación importante sobre la tecnolo- gía a evaluar. En un gran número de casos, los estudios sobre las tecnologías sanitarias im- plantadas, no sólo sobre las que están intro- d u c i é n d o s e, no van a tener la validez sufi- ciente como para establecer conclusiones, por lo que el informe de ETS deberá basarse en los datos disponibles, aunque no sean de la calidad deseada. La clasificación y jerarquía de las evidencias científicas es un tema ampliamente abordado en la litera t u ra re c i e n t e. Se han pro p u e s t o mu chos criterios y métodos de clasificación, algunos de los cuales se han seleccionado en el anexo IV. Un aspecto que debe analizarse en las con- clusiones es la aplicabilidad de los resultados finales del informe. Se debe ofrecer una ayu- da a los lectores para identificar si las conclu- siones son aplicables a una población concre- t a , de tal manera que se describan las posi- bles variaciones de la validez o efectos si va- rían a su vez determinadas circ u n s t a n c i a s, tales como las características biológicas de los participantes o del factor de exposición, por ejemplo; las diferentes cepas de una bac- teria; determinados componentes cultura l e s que afecten a los resultados de la interve n- ción sanitaria; la adherencia al tratamiento, o el riesgo basal previo a la intervención31. Los f a c t o res enu m e rados pueden producir enor- mes variaciones, por lo que no se puede exigir que un informe de evaluación aborde todos esos posibles escenarios, p e ro sí se deben analizar las diferencias más importantes e in- cluir estas variaciones dentro de las posibles limitaciones de la evaluación realizada. Finalmente, es interesante que las conclusio- nes establezcan el grado de apoyo o confianza que merece la TS a juicio de los autores del informe. Una clasificación que puede ser útil para ese propósito es la elaborada por el Gru- po de Embarazo y Parto de la Colabora c i ó n C o ch rane (ver tabla 10), que clasifica las in- tervenciones sanitarias en dos grupos: aque- llas para las que hay información disponible como para extraer conclusiones firmes y aquellas para las que se necesita inve s t i g a- ción adicional. E n t re los erro res comunes en el pro c e s o de elaboración de conclusiones y recomenda- ciones está la confusión entre la calificación “No hay evidencia de efecto” y “Evidencia de ningún efecto”. El primer caso se re f i e re al 43«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 10 Clasificación de las intervenciones sanitarias según el grado de recomendación que se puede establecer para su uso basado en evidencias científicas (modificado de Enkin179, Mulrow31) 1. Intervenciones sanitarias (IS) sobre las que hay evidencia suficiente para establecer recomenda- ciones sólidas y aplicables a la práctica: 1.1. IS cuyos beneficios compensan a los efectos adversos o costes (por ejemplo, la continuidad del personal sanitario durante el parto). 1.2. IS que deben ser abandonadas según la evidencia disponible (por ejemplo, cesárea electiva ante una diabetes gestacional). 1.3. IS en las que hay equilibrio entre beneficios y efectos adversos conocidos (por ejemplo, anal- gesia epidural durante el parto frente a otras formas de alivio farmacológico). 2. IS para las cuales las evidencias disponibles son insuficientes si se desea proporcionar recomen- daciones sólidas y aplicables a la práctica, pero que deberían incluirse entre las prioridades de la investigación sanitaria: 2.1. IS que parecen pro m e t e d o ra s, p e ro que re q u i e ren una evaluación adicional (por ejemplo, apoyo al personal sanitario durante un embarazo de riesgo). 2.2. IS en las que no se han demostrado los efectos esperados, pero que merecen atención adi- cional (por ejemplo, suplemento férrico continuado durante el embarazo). 2.3. IS con evidencia razonable de que no son eficaces para la finalidad perseguida (por ejemplo, regulación dietética ante una diabetes gestacional). punto 2 de la clasificación anterior, y la pro- posición “Evidencia de ningún efecto” se refie- re al punto 1.2. Otra equivocación habitual es presentar conclusiones o establecer recomen- daciones que van más allá de los datos que contiene el informe. También deben evitarse afirmaciones del tipo de “Se necesita más in- ve s t i g a c i ó n ” . El informe de evaluación debe manifestar exactamente qué investigación se necesita y por qué, y cómo se puede mejorar la evaluación con datos o recursos adicio- nales. Las conclusiones y las recomendaciones de- ben responder a los objetivos y preguntas es- pecíficos planteados en el informe, sobre todo de la pregunta política, y a las funciones que tenga asignada la agencia en la regulación le- gal o normativa de la tecnología a eva l u a r. A su vez, deben ser útiles a los solicitantes y aplicables en el sistema sanitario implicado. 10. Revisión del documento provisional Se debe re s e r var un período de tiempo sufi- ciente para realizar una revisión externa y completa del texto antes de su publicación. La revisión por pares o peer review es una práctica asumida en la actualidad por toda la c o munidad científica y considerada actual- mente uno de los elementos clave que asegu- ran la calidad de una publicación1 8 0 , 1 8 1. L o s informes de ETS, aunque en ocasiones no uti- lizan de forma estricta ese control de calidad, deben incluir un proceso de revisión externa. El proyecto de evaluación debe prever quié- nes van a ser los revisores, además de los re- cursos materiales y del tiempo necesarios p a ra ello. Es interesante que en el grupo de revisores se encuentren tanto expertos en el tema y en la metodología de evaluación como posibles receptores del informe para que es- tos últimos puedan valorar la utilidad, clari- dad y relevancia del documento. Muy proba- blemente serán necesarias varias rev i s i o n e s con sus correspondientes correcciones e in- clusión de nuevos puntos en el informe, aun- que será necesario establecer un calendario f i r m e, que fije sobre todo la fecha final, ya que en caso contrario el proceso de rev i s i ó n puede prolongarse mucho en el tiempo. La última reunión entre los revisores y redac- t o res debe decidir los aspectos re l a c i o n a d o s con la edición y la estrategia de difusión. Esta ú l t i m a , debido a su re l eva n c i a , se discute a continuación en una sección específica. Ade- más, la edición va a requerir un tiempo adi- cional para que a través de una o varias prue- bas de imprenta se asegure la publicación sin errores y con la presentación deseada. 11. Difusión y aplicación de los resultados del informe Esta fase es fundamental para asegurar que un informe de ETS sea efectivo, consiga cam- biar la práctica clínica o influir en las decisio- nes de las autoridades relacionadas con las T S. No basta con elaborar informes basados en la mejor evidencia disponible, también es importante diseñar una estrategia que consi- ga la difusión y aplicación de sus conclusio- nes en la práctica diaria. Los informes de ETS deben basarse en la información científica más actualizada y de mayor calidad, pero esa información debe tener el impacto suficiente como para influir en los comportamientos y actitudes de los profesionales o los gestore s sanitarios. En esta fase del proceso de elaboración de in- formes de ETS los conceptos dissemination e implementation, que se podrían traducir como diseminación e implementación, pueden con- siderarse objetivos importantes en la búsque- da del mayor impacto posible del informe de ETS. El concepto dissemination se refiere a un conjunto de actividades muy amplias: la difu- sión del documento, la estrategia de búsque- da de los lectores clave, el diseño de activida- des encaminadas a la discusión e interpreta- ción correcta de las conclusiones del informe, e incluso la participación en procesos de for- mación y entrenamiento de los profesionales sanitarios que utilicen la TS que se evalúe. Es un concepto que pretende añadir un nu evo valor o componente a los términos difusión o divulgación. La diseminación se corresponde con una difusión más activa, en la que a tra- vés de intervenciones o actividades se pro- mueve, no sólo se difunde, una información o una recomendación. El concepto implementation se refiere a activi- dades que van más allá de la extensión o di- fusión de un documento, como la aplicación y evaluación en la práctica de las conclusiones y/o recomendaciones. Incluye intervenciones que reduzcan las barre ras al cambio, a c t iv i- dades para conseguir la asimilación y poste- rior aplicación de los resultados del informe, 44 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 el seguimiento y evaluación del uso de la tec- nología, la medición del impacto del informe y la va l o ración a largo plazo de los efectos que produce la TS sobre la organización sani- taria o la población182. La evaluación del impacto de los informes de ETS es una actividad que todavía está poco desarrollada. La mayoría de los estudios dise- ñados con ese objetivo analizan la difusión, comprensión y asimilación de la información resultante de la evaluación, pero no llegan a medir los cambios y el impacto que ésta pro- duce en la práctica clínica. Las limitaciones metodológicas de los ensayos de intervención comunitaria para atribuir cambios a una de- terminada intervención influyen en la falta de desarrollo de esta línea de eva l u a c i ó n . E l diseño de estudios de evaluación antes-des- pués es el diseño más apropiado dentro de los ensayos de intervención comunitaria182. La forma tradicional de comunicación entre los inve s t i g a d o res y los médicos clínicos es la revista científica, p e ro en mu chos casos no ha demostrado efectividad para influir en la práctica diaria de la medicina1 8 3. El análisis de los factores que influyen y cambian la práctica clínica, la política sanitaria o la acti- tud de los pacientes forma parte de las mate- rias de las ciencias del comportamiento, como la sociología y la psicología. D ive r s o s estudios han intentado diseñar modelos ex- p l i c a t ivos del proceso y los factores que in- f l u yen en la atención sanitaria, p e ro todos ellos han llegando a la conclusión común a todos ellos: la complejidad del tema de análi- s i s4 5 , 1 8 4. El éxito del proceso de transferencia de cono- cimientos de la evaluación e investigación a la práctica clínica precisa el desarrollo de una estrategia de difusión y aplicación de los re- sultados apoyada en actividades e incentivos o rg a n i z a t ivo s, que estimulen el cambio. E s t a estrategia debe ir dirigida no sólo a los profe- sionales sanitarios, sino también a los investi- g a d o re s, d i re c t ivos sanitarios, p ro f e s i o n a l e s de los medios de comunicación y ciudadanos. Además, es importante que se planifique y se haga explícita en las primeras fases de la ela- boración del informe de ETS, cuando se dise- ña el proyecto de evaluación. 45«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Anexo I. Formato y estructura de un informe de ETS El formato y estructura de los informes no ha sido consensuado entre las agencias u organi- zaciones que se dedican a la ETS. Lo que se pretende, en suma, es trasladar toda la infor- mación científica identificada a un texto comprensible y útil, de tal manera que cada tipo de usuario pueda apoyarse en la rigurosi- dad y fiabilidad del informe para tomar deci- siones. A continuación se propone un formato básico aplicable a los informes públicos; en el caso de los informes a demanda o internos no es posible proponer un formato homogéneo, dado que sus características básicas son la adaptabilidad y flexibilidad. — T Í T U L O. Debe ser preciso y describir con claridad los objetivos del informe. — RESUMEN. Un primer resumen en el idio- ma original y un segundo en inglés, que de- ben ser breve s. Es lo que se identifica como Summary o Executive Summary. Es aconsejable que se divida en secciones, relacionadas con la estructura del informe final, como: Objeti- vo s, Fuentes de información, Selección de la información, Métodos de análisis y síntesis de la información, R e s u l t a d o s, Conclusiones y Recomendaciones. — RESUMEN O ABSTRACT ESTRUCTURADO EN INGLÉS. Además del resumen descrito en el punto anterior, es necesario escribir tam- bién un resumen estructurado para su inclu- sión en el re gi s t ro de informes de la re d INAHTA, cuya dirección aparece en el anexo I I . En la tabla 11 se propone un abstract es- t r u c t u ra d o, que modifica el que utilizaba anteriormente la citada red y se asemeja a la propuesta que realizó un grupo de trabajo de INAHTA en 1997185,186. Esta asociación no tie- ne actualmente un formato establecido para esta sección. — I N T R O D U C C I Ó N . En esta sección se pre- senta el documento, indicando las ra z o n e s que motivaron el inicio del trabajo, profundi- zando en la información requerida, las lagu- nas de información que pretende cubrir y los posibles beneficios que puede suponer. I n d i- car también la entidad solicitante o financia- dora del informe, los posibles destinatarios de éste, algunos datos sobre la situación actual y evolución de la tecnología que describan ésta en su contexto internacional y local, y otro s antecedentes que sitúen al lector permitién- dole profundizar a través de las re f e re n c i a s ofrecidas. Algunos informes en lengua inglesa distin- guen entre introduction y background. En el pri- mer apartado incluyen los contenidos de una p re s e n t a c i ó n , y en el segundo describen los antecedentes y el marco de referencia. En al- gunos informes puede ser útil incluir algún otro apartado de entrada como prólogo, pre- sentación o prefacio. — OBJETIVOS O PREGUNTAS. Pueden situar- se tanto en la introducción como en un apar- tado específico. Dos cualidades esenciales son precisión y brevedad. Cada objetivo debe ini- ciarse con un verbo que describa la acción a realizar; por ejemplo, “Comparar la eficacia de las tecnologías A y B”. G e n e ralmente existe una cuestión de ámbito político o relacionada con la gestión sanitaria que motiva la realiza- ción del informe; es el objetivo general, que a su vez se desarrolla mediante uno o varios ob - jetivos específicos o preguntas científicas. — METODOLOGÍA. Se debe incluir una des- cripción de los métodos empleados en la rea- lización del informe, con la claridad y los de- talles suficientes como para que puedan re- producirse todos los pasos. Las fuentes de in- f o r m a c i ó n , la estra t e gia de búsqueda, l o s criterios de inclusión y exclusión de los estu- dios y la metodología utilizada para analizar y sintetizar la información son los aspectos más importantes que deben especificarse en esta sección del informe. — DESARROLLO DE LOS CONTENIDOS DE LA EVA L UAC I Ó N . Este apartado mu e s t ra el análisis realizado (juicio de expertos, técnica c u a n t i t a t iva) y sus re s u l t a d o s, así como la síntesis de los estudios considera d o s. Ta m- bién se incluye aquí la descripción de la tec- nología y enfermedad (ver tabla 12), el estu- dio de la validez y calidad de los datos de los 47«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 ANEXOS estudios seleccionados, la descripción de los estudios incluidos y excluidos, el estudio del contexto local, la valoración del impacto so- cial, organizativo, psicológico y ético de la TS, y finalmente, una discusión donde se anali- cen las limitaciones de la metodología emple- ada en la evaluación y se va l o re de manera integral el conjunto de los contenidos defini- dos en esta sección. — TABLAS Y/O GRÁFICOS. En la mayor parte de los informes son un elemento fundamen- tal de la síntesis de información. G e n e ra l- mente van a servir para describir los estudios incluidos y excluidos del análisis. A modo de esquema, los datos que se incluirán van a ser fundamentalmente: características de los pa- cientes re c ep t o res de la tecnología, tipo de tecnología, diseño del estudio, calidad de las evidencias y resultados de los estudios45. — C O N C L U S I O N E S . Los hallazgos del estu- dio evaluativo tienen una serie de implicacio- nes o pueden plantear nuevas preguntas. Éste es el apartado adecuado para explicitar estas cuestiones realizando un compendio de los resultados más importantes, i n c l u yendo las limitaciones y lagunas de conocimiento de- tectadas. Cada conclusión debe ser breve, pre- c i s a , re l evante y consistente con las ev i d e n- cias que el informe aporta. — R E C O M E N DAC I O N E S . No todos los infor- mes incluyen re c o m e n d a c i o n e s, aunque son importantes. De la misma forma que para las 48 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 11 Datos que se deben incluir en los abstracts estructurados en inglés 1. Title. Primero el título en inglés y luego el título en el idioma original entre paréntesis. 2. Author/s. Debe usarse el estándar de Vancouver187. 3. Organization. Por ejemplo, Agencia de Evaluación de Tecnologías Sanitarias. 4. Contact person. Dirección y nombre de la persona que la organización seleccione. 5. Date. Mes y año de publicación. 6. Language. Idioma o idiomas de publicación. 7. Abstract: Especificar si incluye otro resumen además del abstract estructurado INAHTA y el idio- ma o idiomas en que están escritos. 8. Publication type. Por ejemplo: informe, guía de práctica clínica. 9. Pages. Número de páginas total del informe. 10. References. Número de referencias que cita el documento. 11. ISBN. International Standard Book Number. 12. Te chnology type. Categoría de la técnica o intervención sanitaria que se evalúa: scre e n i n g , preventive, diagnostic, therapeutical, palliative, rehabilitating. 13. Subject index terms. Deben utilizarse las palabras clave que proporciona el Index Medicus en su thesaurus. Indicar primero los Major Descriptors marcándolos con asterisco y después los Minor Descriptors. Si la palabra no está incluida en el thesaurus del Index Medicus, poner “(Non MeSH)” después de esa palabra. Es interesante poner descriptores secundarios que maticen, separados con un guión. Ejemplo: *Aortic Aneurysm – epidemiology; *Stents; Blood Vessel Prothesis; Khar- kov Stent (Non MeSH). 14. Objectives. Objetivos generales y específicos. 15. Methods: Data sources: Datos utilizados y su origen. Criteria for study inclusion: Pautas utiliza- das para la inclusión y exclusión de estudios. Primary data collection: Especificar si se realizó un estudio con datos primarios ad hoc. Secondary data analysis: Especificar si se realizó un estudio basado en datos secundarios como los obtenidos en registros o historias clínicas. Literature re- view and integration of evidence: Bases de datos bibliográficas, expertos u otras fuentes de in- formación consultadas. Método de revisión o técnica de síntesis utilizada (revisión sistemática, meta-análisis, evaluación económica, análisis de decisión). 16. Results. Contenido del informe y resumen de los hallazgos más importantes. 17. Recommendations. 18. Peer review process: Especificar: Yes / No / Internal / External / Both. conclusiones, las recomendaciones deben ob- tenerse a partir de evidencias científicas y ba- sarse exclusivamente en los contenidos o re- sultados del informe15. — BIBLIOGRAFÍA. Lo ideal es que se transcri- ban cumpliendo las normas de Vancouver187. Las re f e rencias de la metodología utilizada para la elaboración del informe son también relevantes. Es importante que no se olvide in- c l u i r l a s. A s i m i s m o, la bibliografía puede p resentarse en tres apartados: los estudios incluidos en el análisis final, los excluidos y aquellos estudios que se han utilizado en la metodología o en el estudio general del tema a evaluar pero que no son objeto de análi- s i s1 8 8. 49«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 12 Descripción de la tecnología y de la enfermedad Es evidente que un informe de ETS debe describir el objeto de su evaluación,aunque esta información no siempre es necesaria en el mismo grado. Su extensión debe ser apropiada, de manera que aporte elementos esenciales para la comprensión del documento pero que no se extienda en aspectos dema- siado técnicos que no añadan valor a la información relacionada con la pregunta de evaluación. El tipo de información sobre la enfermedad o condición clínica que puede ser útil incluye los siguien- tes conceptos: fisiopatología, historia natural, datos epidemiológicos sobre morbilidad y mortalidad, incluyendo incidencia y prevalencia, estimaciones del impacto de la enfermedad en la población y ca- racterísticas demográficas de ésta. La información técnica sobre la TS se puede clasificar de la siguiente manera: • Características relevantes del mecanismo de funcionamiento de la TS, tanto físicas como biológicas o funcionales. Por ejemplo, en el caso de un fármaco se debe aportar información básica sobre sus características farmacocinéticas y su interacción con otros fármacos. En una TS diagnóstica se pre- cisa conocer datos sobre su validez, precisión, reproducibilidad y valores predictivos. • Cumplimiento de estándares o criterios de calidad establecidos. • Uso en la práctica diaria.Pueden incluirse aspectos como el tiempo necesario para realizar el proce- dimiento, riesgo que asumen los trabajadores y usuarios y nivel de entrenamiento necesario. • Estrategias de control de calidad y mantenimiento. Anexo II. Recopilación de fuentes de información útiles en ETS El presente anexo se configura como una ayuda para la localización de diversos tipos de infor- mación. En su elaboración no se ha pretendido alcanzar una gran exhaustividad, que podría dificultar su manejo y concreción, sino ofrecer un listado de las fuentes de información de ma- yor relevancia que sea de manejo fácil. Por otro lado, hay que reconocer la existencia de un cla- ro sesgo hacia la presencia de fuentes de origen español, especialmente en el apartado de las fuentes de información administrativa. Sin embargo, consideramos importante su inclusión ya que, en cualquier caso, permite orientar sobre el tipo de fuentes que pueden ser de utilidad en otros contextos. Al final del anexo se ha incluido un listado que recoge una selección de fuentes, excluyendo las guías de práctica clínica, que pueden ser exploradas como paso preliminar de la búsqueda de información y para localizar rápidamente revisiones ya existentes. Índice del anexo: 1. Selección de fuentes de información para la búsqueda preliminar .................... 2. Fuentes bibliográficas y documentales ... 2.1. Bases de datos de publicaciones e investigaciones originales ............... — Bases de datos generales ........... — Bases de datos específicas o te- máticas......................................... 2.2. Fuentes de información secunda- ria ...................................................... — Bases de datos ............................. — Publicaciones secundarias ........ — Guías de práctica clínica ........... — Literatura gris ............................. 2.3. Productores o distribuidores de ba- ses de datos ...................................... 3. Fuentes estadístico-administrativas ........ 3.1. En España ......................................... 4. Buscadores de información sanitaria en Internet ....................................................... 5. E s t ra t e gias prediseñadas de búsqueda bibliográfica ................................................ 1. SELECCIÓN DE FUENTES DE INFORMACIÓN PARA LA BÚSQUEDA PRELIMINAR Listado de fuentes de información útiles para la búsqueda de información inicial. Ésta se re a l i z a fundamentalmente cuando se diseña la eva l u a- ción. • Red INAHTA (http://www.inahta.org). • Base de datos de revisiones sistemáticas de la C o l ab o ración Coch rane ( h t t p : / / w w w. u p d a t e - software.com/ccweb/cochrane/cdsr.htm). • HSTAT (Health Services/Technology Assessment Text) (http://text.nlm.nih.gov/). • TRIP dat abase ( h t t p : / / w w w. g we n t . n h s. g ov. u k / trip/test-search.html). • S c H A R R - L o ck ’s Guide to the Evidence ( h t t p : / / w w w. s h e f. a c . u k / u n i / a c a d e m i c / R - Z/scharr/ir/scebm.htm). • IDEA Topics List ( h t t p : / / w w w. o h s u . e d u / b i c c - informatics/ebm/ebm_topics.htm). • M E D L I N E: Buscar fundamentalmente artículos de revisión o de síntesis. PubMed: (http://www. n c b i . n l m . n i h . g ov / P u b M e d / ) GratefulMed: (http://igm.nlm.nih.gov/) 2. FUENTES BIBLIOGRÁFICAS Y DOCUMENTALES 2.1. Bases de datos de publicaciones e investigaciones originales Bases de datos generales Medline: Es la principal base de datos de la Natio- nal Library of Medicine (NLM) de EE.UU., y abarca los campos de medicina, e n f e r m e r í a , o d o n t o l o g í a 50 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 50 50 50 50 51 51 51 52 52 52 53 53 53 54 54 51«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 y veterinaria. Contiene citas bibliográficas de más de 3.900 revistas biomédicas y más de 9 millones de registros desde 1966.LA NLM ofrece actualmen- te dos sistemas de acceso gratuito a Medline vía Internet: • PubMed. Internet (http://www.ncbi.nlm.nih.gov/ PubMed/). • GratefulMed. Internet (http://igm.nlm.nih.gov/). Accesible también en CD-ROM. Embase: Es la base de datos electrónica de Excerp- ta Médica. Comprende información farmacológica y biomédica. Producida por Elsevier Science, Ams- terdam. Accesible vía Internet (http://www. e l s ev i e r.nl/) y en CD-ROM. Uncover: Base de datos que recoge más de 17.000 revistas en inglés de contenido multidisciplinar, no e x c l u s ivamente biomédico. P roducido por CA R L Corporation (Colorado Alliance of Research Libra- ries). Accesible vía Internet (http://uncweb.carl.org). HSRProj: Base de datos de la NLM. Contiene citas de proyectos de investigación en curso acerca de Servicios Sanitarios, incluyendo Evaluación de Tec- nologías Sanitarias, así como el desarrollo y uso de guías de práctica clínica. Accesible en Internet vía GratefulMed (http:// igm.nlm.nih.gov/). L I L ACS ( L i t e rat u ra Latinoamericana y del Caribe en Ciencias de la Salud): R e f e rencias bibliográfi- cas desde 1982. Producida por BIREME. Se encuen- tra accesible en CD-ROM,el cual contiene, además, otras bases de datos bibliográficas con contenidos sociosanitarios y legislativos de Latinoamérica. Accesible vía Internet (http://www. b i re m e. b r / iahlil/homepage.htm). National Research Register (NRR): Registro electró- nico de proyectos de investigación y desarrollo, en curso o recién terminados, financiados por el Ser- vicio Nacional de Salud del Reino Unido (NHS). Contiene proyectos de investigación, ensayos clíni- cos y revisiones sistemáticas. Publicado por Upda- te Software Ltd. Accesible vía Internet (http://www.update-softwa- re.com/default.htm) o en CD-ROM. IME (Índice médico español): Contiene la produc- ción científica española en el área de biomedicina. CD-ROM distribuido por el Centro de Información y Documentación Científica (CINDOC). Accesible vía Internet (http://www. c i n d o c . c s i c . e s / principal.html) y en CD-ROM. Bases de datos específicas o temáticas Bases de datos de la NLM (National Library of Medi- cine): La NLM ofrece acceso a muchas bases de da- tos de contenidos más específicos, muchas de ellas son también accesibles a través de Gra t e f u l M e d . Brevemente, pueden destacarse las siguientes: • AIDSLINE: Citas bibliográficas sobre SIDA y ma- terias relacionadas. • AIDSTRIALS: Ensayos clínicos relacionados con SIDA. • CA N C E R L I T: Citas bibliográficas cuyo principal tema es el cáncer. • DIRLINE: D i rectorio de fuentes de información s o b re temas sanitarios, principalmente de EE.UU., pero también de algunas organizaciones internacionales. • H e a l t h S TAR: Citas bibliográficas sobre temas clínicos y de administración sanitaria. I n c i d e principalmente en la evaluación de resultados y la efectividad de los procedimientos. Actualmen- te está siendo incorporada a PubMed. • PDQ: Información actualizada mensualmente de tratamientos y ensayos clínicos sobre cáncer. • POPLINE: Citas bibliográficas acerca de políticas p o b l a c i o n a l e s, planificación familiar, a t e n c i ó n primaria y problemas específicos de los países en vías de desarrollo. Internet (http://www. n l m . n i h . g ov / p u b s / f a c t s h e- ets/online_databases.html). PsycINFO ( P s y ch o l o gical A b s t racts): Recoge la li- t e ra t u ra internacional en psicología y disciplinas relacionadas tales como medicina, p s i q u i a t r í a , e d u c a c i ó n , t rabajo social o ciencias sociales. P ro- ducida por la Asociación Americana de Psicología. Accesible vía Internet (http://www.apa.org/psycin- fo/contact.html) y en CD-ROM. ASSIA (Applied Social Sciences Index and A b s- t racts): Contiene resúmenes y re f e rencias biblio- gráficas de ciencias sociales aplicadas a dive r s o s temas como geriatría, abusos infantiles, d e s e m- pleo o reformas sanitarias. Un 40% de sus conteni- dos son del Reino Unido. Distribuida por Bow ke r- Saür Ltd. Accesible vía Internet (http://www.bowker-saur.co. u k / p roducts/catalog/a_and_i/assia_plus_c.htm) y en CD-ROM. C I NAHL ( C u mu l a t ive Index to Nursing and A l l i e d Health Literature): Recoge literatura e información sobre enfermería y otras profesiones sanitarias re- l a c i o n a d a s, como fisioterapia o terapia ocupacio- nal, desde 1982. Accesible vía Internet (http://www.CINAHL.com) y en CD-ROM. 2.2. Fuentes de información secundaria Bases de datos The Cochrane Library: Contiene las siguientes bases de datos: 52 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 • Base de datos de revisiones sistemáticas (CSRD). • Base de datos de resúmenes de revisiones de efectividad (DARE) (Accesible también vía CRD). • R e gi s t ro Coch rane de ensayos contro l a d o s (CCTR). • Base de datos sobre metodología de las revisio- nes (CRMD). Accesible vía Internet (http://www.update-softwa- re.com/ccweb/cochrane/cdsr.htm) y en CD-ROM. Red INAHTA (International Network of Agencies for Health Technology Assessment): Referencias de los informes de evaluación de tecnologías sanitarias, realizados por las agencias pertenecientes a la red I NA H TA . Pueden localizarse a través de Internet (http://www.inahta.org). ISTAHC Database (International Society of Techno- logy Assessment in Health Care): Recopilación del t rabajo de los miembros de ISTAHC desde 1992. Contiene resúmenes de congresos y de publicacio- nes periódicas. Accesible vía Internet (http://www. i s t a h c . o rg / l ive / viewdata). HSTAT (Health Services / Technology Assessment Text): Producida por la NLM. Proporciona acceso a documentos completos de diversos tipos, t a l e s como guías de práctica clínica y publicaciones de la AHCPR (Agency for Health Care Policy and Rese- arch), de los NIH (National Institutes of Health) y de los CDC (Centers for Disease Control and Pre- vention). Accesible vía Internet (http://text.nlm.nih.gov/). CRD (Centre for Reviews and Dissemination): De- pendiente del Servicio Nacional de Salud (NHS) británico. Produce las siguientes bases de datos: • DARE (Base de datos de resúmenes de revisiones de efectividad). Incluida también en The Cochra- ne Library. • NEED (NHS Economic Evaluation Database). Base de datos de resúmenes de estudios de eva- luación económica de las intervenciones sanita- rias. • H TA (Health Te chnology A s s e s s m e n t ) . Base de datos de informes de Evaluación de Tecnologías Sanitarias de la Red INAHTA. Accesible vía Internet (http://nhscrd . yo r k . a c . u k / welcome.html). TRIP database: Base de datos producida por T R I P ( Turning Research Into Pra c t i c e ) , grupo formado por profesionales sanitarios del Reino Unido. Per- mite explorar 18 bases de datos de materias rela- cionadas con la Medicina basada en la evidencia y acceder a los documentos contenidos en muchas de ellas. Accesible vía Internet (http://www. g we n t . n h s. g ov. u k / trip/test-search.html). P ro grama británico de Evaluación de Tecnologías Sani - tarias: Permite acceder a informes de ETS y proye c- tos de investigación financiados por el NHS y a las bases de datos de las divisiones re gionales del NHS. Accesible vía Internet (http://www. s o t o n . a c . u k / ~hta/). ScHARR-Lock’s Guide to the Evidence: Producida por la Sección de Fuentes de Información de la Escue- la de Salud e Investigación Sanitaria (School of Health and Related Research, ScHARR) de la Uni- versidad de Sheffield (UK). Es una guía de fuentes de evidencia impre s a s, o rdenada por descriptore s MeSH (Medical Subject Heading). Contiene princi- palmente litera t u ra gris académica u oficial del Reino Unido. Accesible vía Internet (http://www.shef.ac.uk/uni/ academic/R-Z/scharr/ir/scebm.html). IDEA Topic List (Internet Database of Evidence-Ba- sed Abstracts and Articles): Base de datos que re- coge estudios seleccionados. Sus contenidos están ordenados por términos MeSH. Accesible vía Internet (http://www. o h s u . e d u / b i c c - informatics/ebm/ebm_topics.htm). Publicaciones secundarias Son revistas que publican estudios basados en re- visiones de otros ya publicados. Recogen trabajos que han demostrado una adecuada calidad con arreglo a los criterios de la medicina basada en la evidencia.Entre las muchas existentes en la actua- lidad, pueden destacarse: • Evidence-based medicine journal ( h t t p : / / w w w. a c p o n l i n e. o rg / j o u r n a l s / e b m / e b m m e nu . h t m ) . • ACP journal club (http://www.acponline.org/). • Bandolier (http://www.jr2.ox.ac.uk/Bandolier). Guías de práctica clínica NGC (National Guideline Clearinghouse): Base de datos de guías de práctica clínica y documentos re- l a c i o n a d o s. P roducida por la A g e n cy for Health Care Policy and Research (AHCPR). Accesible vía Internet (http://www. g u i d e l i n e s. g ov / body_home_nf.asp?view=home). CPG Infobase: Base de datos de guías de práctica clínica producidas por la Asociación Médica de Ca- nadá (Canadian Medical Association). Accesible vía Internet (http://www.cma.ca/cpgs/). SIGN (Scottish Intercollegiate Guidelines Network): Guías de práctica clínica producidas por los cole- gios médicos de Escocia. Accesible vía Internet (http://pc47.cee. h w. a c . u k / sign/home.htm). Literatura gris SIGLE (System for Information on Grey Litera t u- re): Recoge litera t u ra gris producida en Euro p a . E s 53«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 una base de datos de contenido mu l t i d i s c i p l i n a r, no exclusivamente biomédico, con 364.000 re gi s- t ros ap rox i m a d a m e n t e. P roducida por EAGLE (Eu- ropean Association for Grey Litera t u re Exploita- t i o n ) . Accesible vía Internet (http://www. ko n b i b. n l / infolev/sigle/ea/home.htm) y en CD-ROM a través de SilverPlatter (http://www.silverplatter.com/). C o n fe rence Pa p e rs Index: Información de los pro- g ramas finales, l i b ros de resúmenes y actas pu- blicadas en las principales reuniones científicas de todo el mu n d o. Desde 1995 predominan los contenidos re l a t ivos a ciencias de la vida y del medio ambiente. P roducido por Cambridge Scien- tific A b s t ra c t s. Accesible vía Internet (http://www. c s a 1 . c o.uk/) y en CD-ROM. NTIS (National Te chnical Information Service): Base de datos producida por el Ministerio de Co- m e rcio de EE.UU. Es una importante fuente para localizar inve s t i g a c i o n e s, estudios e informes de múltiples campos científicos, p a t rocinados por el gobierno federal y desarrollados dentro o fuera de EE.UU. Accesible vía Internet (http://www. n t i s. g ov / index.html). TESEO: Contiene información sobre tesis doctora- les leídas en las Universidades españolas desde 1976. Accesible vía Internet (http://www. m e c . e s / teseo/). 2.3. Productores o distribuidores de bases de datos Se recogen aquí una serie de compañías que pro- ducen o distribuyen,entre otras, las bases de datos mencionadas en este anexo. Suelen ofrecer acceso a las bases de datos tanto on-line como a través de CD-ROM. The Dialog Corporation. Ofrece acceso a más de 700 bases de datos. (http://www.dialog.com). STN International. Ofrece acceso a más de 200 ba- ses de datos (http://www. f i z - k a r l s r u h e. d e / stn.html). SilverPlatter. Ofrece acceso a más de 250 bases de datos (http://www.silverplatter.com/). Ovid Technologies. Ofrece acceso a más de 80 bases de datos (http://www.ovid.com). 3. FUENTES ESTADÍSTICO- ADMINISTRATIVAS OMS/WHO ( O rganización Mundial de la Salud): O f rece acceso a múltiples estadísticas a nive l mundial y permite buscar en sus bases de datos de informes técnicos y otras publicaciones (http://www.who.org ). O P S / PAHO ( O rganización Panamericana de la Sa- lud): Organismo internacional de salud pública de- dicado a mejorar la salud y las condiciones de vida en A m é r i c a . O f rece acceso a interesantes docu- mentos, programas sanitarios e importante infor- mación técnica (http://www.paho.org/). FDA ( Food and Drug A d m i n i s t ration): Org a n i s m o que re gi s t ra y autoriza todos los productos ali- menticios y medicamentos en los EE.UU. ( h t t p : / / w w w. f d a . g ov / h o m e t e x t . h t m ) . OCDE ( O rganización para la Cooperación y el De- s a r rollo Económico): Ofrece información va l i o s a s o b re estadísticas y publicaciones clasificadas por temas, e n t re las que destaca por su utilidad p a ra el estudio del contexto la importante base de datos “OECD Health Data”, que presenta esta- dísticas que permiten comparar la situación sani- taria de 29 países (http://www. o e c d . o rg ) . CORDIS ( C o m munity Research and Deve l o p m e n t Information Service): Dependiente de la Comisión E u ro p e a . P ro p o rciona información sobre activ i d a- des de investigación y desarrollo realizadas en la Unión Europea (http://www.cordis.lu/). E U R O S TAT (Oficina de Estadística de la Unión Euro- pea): Dedicada a proporcionar un servicio de infor- mación estadística de alta calidad a la Unión Euro- p e a . Recoge datos de los Institutos Nacionales de Estadística de los Estados miembros (http:// europa.eu.int/en/comm/eurostat/eurostat.html). Health Atlases on the Internet: Colección de atlas y censos sobre información sanitaria. I n c l u ye una selección de mapas, tablas, gráficos e informes d e la página web de la OMS (http://members. x o o m . c o m /mgdigest/medgpy_atlases.html). 3.1. En España CNE ( C e n t ro Nacional de Epidemiología): Ofrece da- tos relacionados con enfermedades sometidas a vi- gilancia ep i d e m i o l ó gi c a , estadísticas sobre el cán- cer e indicadores de mortalidad y otros re c u r s o s ( h t t p : / / w w w. i s c i i i . e s / u n i d a d / s g e / c n e / c c n e. h t m l ) . MSC (Ministerio de Sanidad y Consumo): Ofre c e acceso a bases de datos como el Conjunto Mínimo Básico de Datos (CMBD) y a la información ofrecida mediante el uso de los Grupos Relacionados con el Diagnóstico (GRD),además de otra información va- liosa (http://www.msc.es). INE (Instituto Nacional de Estadística): Ofrece la posibilidad de consultar el banco de datos de se- ries estadísticas TEMPUS, además de poder cono- cer la información estadística nacional actualiza- da (http://www.ine.es). CIS (Centro de Investigaciones Sociológicas): Ofre- ce acceso a más de 1.200 encuestas y estudios de opinión pública y situación de la sociedad españo- la (http://www.cis.es/). 54 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 I n formación legislativa del BOE: Este servicio del Boletín Oficial del Estado de España ofrece acceso a la información de carácter jurídico-administra- t ivo en el ámbito nacional, a u t o n ó m i c o, de la Unión Euro p e a , Latinoamérica y otros países ( h t t p : / / w w w. b o e. e s / t a b l o n / o t ra s d i r. h t m ) . DOCUMED: Base de datos que contiene re s ú m e- nes seleccionados de trabajos publicados desde 1994 en más de 200 rev i s t a s. E l a b o rada por el Ins- tituto de Estudios Documentales e Históricos so- b re la Ciencia de la Universidad de Va l e n c i a ( h t t p : / / w w w. u v. e s / ~ d o c m e d / d o c u m e d / d o c u- m e d . h t m l ) 4. BUSCADORES DE INFORMACIÓN SANITARIA EN INTERNET Se incluyen una serie de buscadores de informa- ción sanitaria en Internet. También este listado po- dría haber sido de gran extensión pues el número de buscadores de información en Internet cre c e c o n t i nu a m e n t e. Se recogen aquí sólo algunos de los más conocidos y que se consideran de buena calidad. Medical Matrix. Permite acceso a recursos clínicos disponibles en Internet clasificados y comentados. Dirigido principalmente a médicos y trabajadores sanitarios de Estados Unidos (http://www.medma- trix.org/). Altavista. Uno de los grandes buscadores de Inter- n e t . Aunque no es específico de temas re l a c i o n a- dos con la salud, recoge un gran número de recur- sos sanitarios (http://www.altavista.digital.com/). Yahoo Health. Recursos sanitarios del que, proba- blemente, sea el buscador de Internet más popular (http://www.yahoo.com/health). OMNI ( O rganising Medical Netwo r ked Informa- tion). Recurso británico de fuentes biomédicas de alta calidad en Internet (http://www.omni.ac.uk). 5. ESTRATEGIAS PREDISEÑADAS DE BÚSQUEDA BIBLIOGRÁFICA Se denominan también filtros y se utilizan para optimizar los resultados de las búsquedas en bases de datos bibliográficas. E n t re las diversas institu- ciones que ofrecen estos filtros, pueden citarse las siguientes: IHS (Institute of Health Sciences). D ep e n d i e n t e de la Universidad de Oxford , Reino Unido (http://www.ihs.ox.ac.uk/library/filters.html). E B M . C e n t ro para la Medicina Basada en la Evi- dencia del NHS británico. Ubicado en Oxford ( h t t p : / / c e b m . j r 2 . ox . a c . u k / d o c s / s e a rch i n g . h t m l ) . CRD (Centre for Reviews and Dissemination). Ubi- cado en la Universidad de York (Reino Unido) (http://www.york.ac.uk/inst/crd/search.htm). Existen múltiples cuestionarios o tablas para el análisis crítico de publicaciones científi- c a s. Se han incluido en este documento los q u e, a nu e s t ro juicio, son más útiles y están más difundidos. El conjunto de cuestionarios más completo y coherente publicado hasta a h o ra ha sido la serie que la revista JAMA ha o f recido desde 19931 7 , 1 8 9 , 1 9 0. A d e m á s, se han incluido otras tablas de análisis con el pro p ó- sito de incrementar el rango de tipos de estu- dios que pro p o rciona la serie citada y una lis- ta de re f e rencias que permitan ampliar la lis- ta ofre c i d a . Las tablas 13 a 22 fueron publicadas como una serie en la revista JAMA y se componen de tres secciones: la primera analiza la vali- dez interna, la segunda los resultados y la ter- cera la validez externa. Sólo en caso de que se c o n c l u ya que los resultados del estudio tie- nen una validez interna suficiente tiene sen- tido responder al resto de las pre g u n t a s. E n cualquier caso, la decisión última sobre la va- lidez del estudio la tiene el lector, que no pue- de decidir la inclusión o no del estudio única- mente por las preguntas enunciadas en los esquemas, sino que debe adaptar esa decisión a las características de la investigación que se está re a l i z a n d o. El valor de un artículo va a depender del valor otorgado al resto de los ar- tículos identificados, o sea, que la decisión acerca de la inclusión de un artículo o no se realizará mediante una va l o ración de la im- portancia re l a t iva de éste en relación con la información disponible. Los esquemas presentados a continuación no pueden usarse como una lista de criterios exhaustiva para la valoración de artículos. La m ayoría de estos esquemas son listados de criterios mínimos que deben cumplir todos los artículos del mismo tipo, pero que en nin- gún caso pueden ser considerados una guía con la que se evita la lectura de cada artículo en su totalidad y el estudio metodológico ri- guroso que cada trabajo precise. Cada artículo es diferente y no es posible re- dactar un esquema rígido que sirva para la evaluación de todos los artículos de un deter- minado tipo; por ejemplo, p a ra los artículos sobre pruebas diagnósticas. El mayor benefi- cio de la utilización de cuestionarios es que se explicitan los criterios que se han utilizado para el análisis crítico de los artículos y que, por tanto, es posible que un lector reproduzca íntegramente y reinterprete la evaluación re- alizada va l o rando la importancia re l a t iva de cada artículo en relación con la información existente. Además de las tablas que se incluyen a conti- nuación, existen muchas propuestas de cues- tionarios para el análisis crítico de la literatu- ra científica, entre los que destacan: — O t ros cuestionarios para ensayos clíni- cos83,191,192,193,194,195. — Otros cuestionarios para estudios de eva- luación económica161,164. — R evisiones sistemáticas de ensayos clíni- cos controlados y aleatorizados196. — Meta-análisis197,198,199,200,201. — Estudios observacionales202,203,204,205,206. — Análisis de decisión que incorp o ran utili- dades138. — Análisis de subgrupos90. — Artículos que analizan la probabilidad de enfermar y el diagnóstico diferencial207. — Auditorías clínicas o estudios que valoran la calidad de la práctica clínica208. — L i b ros que ofrecen un compendio de es- quemas para la lectura crítica209,210,211. 55«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Anexo III. Esquemas para la interpretación de la evidencia científica 56 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 13 Artículos sobre intervenciones terapéuticas y/o preventivas* ¿Son válidos los resultados del estudio? Criterios primarios: — ¿Se ha realizado de forma aleatoria la asignación de los tratamientos a los pacientes? — Inclusión de todos los pacientes que entraron en el estudio en el análisis: ¿Se ha realizado un segui- miento completo de los pacientes? ¿Se ha mante- nido la asignación inicial de pacientes dura n t e todo el estudio? Criterios secundarios: — ¿Hubo enmascaramiento respecto al tratamiento, a los pacientes, los clínicos y los investigadores? — ¿Eran similares los grupos al inicio del estudio? — Aparte de la intervención experimental,¿se ha tra- tado de forma idéntica a los grupos de pacientes? ¿Cuáles han sido los resultados del estudio? — ¿Cuál ha sido la magnitud del efecto del tra t a- miento? — ¿Con qué precisión se ha estimado el efecto del mismo? ¿Son útiles los resultados en la práctica clínica? — ¿Son aplicables los resultados a nuestros pacien- tes? — ¿Se han considerado todos los posibles resultados clínicamente importantes? — ¿Compensan los beneficios del tra t a m i e n t o, l o s costes y riesgos del mismo? * Tomado de Guyatt212 y Guyatt213. Tabla 14 Artículos sobre pruebas diagnósticas* ¿Son válidos los resultados del estudio? Criterios primarios: — ¿Se ha comparado de forma independiente, ciega, con un patrón de referencia? — ¿La muestra de pacientes estudiados ha recogido todo el espectro de pacientes a los que se aplicará el test en la práctica clínica? Criterios secundarios: — ¿ H ay sesgo de verificación? Existe cuando el test estándar se realiza más en los casos que resulta- ron dudosos o positivos en el test a evaluar. — ¿Se ha descrito la técnica con el detalle suficiente como para permitir su reproducción? ¿Cuáles han sido los resultados del estudio? — ¿Se han presentado los cocientes de probabilidad, likelyhood ratios, o los datos sobre sensibilidad y es- pecificidad del test o los datos para su cálculo? ¿Son útiles los resultados en la práctica clínica? — ¿Es rep roducible el test, tanto en la re a l i z a c i ó n como en la interp re t a c i ó n , p a ra unos determina- dos pacientes? — ¿Son aplicables los resultados a nuestros pacien- tes? — ¿Modificará el test el manejo de los pacientes? — ¿ M e j o rarán los pacientes por la utilización del test? * Tomado de Jaeschke214 y Jaeschke215. Tabla 15 Artículos sobre efectos de intervenciones y/o exposiciones* ¿Son válidos los resultados del estudio? Criterios primarios: — ¿Se han utilizado grupos de comparación similares en cuanto a otros factores determinantes del efec- to diferentes a la exposición? — ¿Se han valorado de la misma forma en todos los grupos de comparación las exposiciones y los efec- tos? — ¿El seguimiento ha sido suficientemente largo y completo? Criterios secundarios: — ¿Precede la exposición al efecto? — ¿Existe gradiente dosis-respuesta? — Aparte de la intervención experimental, ¿se ha tra- tado de forma idéntica a los grupos de pacientes? ¿Cuáles han sido los resultados del estudio? — ¿Cuál es la fuerza de la asociación exposición-re- sultado? — ¿Qué precisión tiene la estimación del riesgo? ¿Son útiles los resultados en la práctica clínica? — ¿Son aplicables los resultados a nuestros pacien- tes? — ¿Cuál es la magnitud del riesgo? — ¿Se debe evitar la exposición? * Tomado de Levine203. Tabla 16 Artículos sobre pronósticos* ¿Son válidos los resultados del estudio? Criterios primarios: — ¿La mu e s t ra de pacientes está bien definida y es representativa de pacientes en un momento simi- lar del curso de la enfermedad? — ¿El seguimiento ha sido suficientemente largo y completo? Criterios secundarios: — ¿Los parámetros utilizados para medir los resulta- dos han sido objetivos y no sesgados? — ¿Se ha ajustado por todos los factores pronósticos importantes? ¿Cuáles han sido los resultados del estudio? — ¿Se ha especificado la probabilidad de que ocurran los eventos en períodos de tiempo determinados? — ¿Cuál es la precisión de las estimaciones de proba- bilidad? ¿Son útiles los resultados en la práctica clínica? — ¿Los pacientes del estudio son similares a los nuestros? — ¿Son útiles los resultados para decidir si dar un tratamiento? — ¿Son útiles los resultados para aconsejar o tra n- quilizar a los pacientes o a sus familiares? * Tomado de Laupacis204. 57«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 17 Artículos de revisión* ¿Son válidos los resultados de la revisión? Criterios primarios: — ¿Es suficientemente concreto y ajustado a nu e s- tros objetivos el tema de la revisión? — ¿Los criterios utilizados para la inclusión de estu- dios en la revisión fueron apropiados? Criterios secundarios: — ¿Es baja la probabilidad de que falte algún estudio relevante? — ¿Se ha evaluado la validez de los estudios inclui- dos? — ¿Es reproducible la evaluación realizada para la in- clusión y exclusión de estudios en la revisión? — ¿Existe suficiente homogeneidad entre los estu- dios como para sintetizarlos en una revisión? ¿Cuáles han sido los resultados del estudio? — ¿Cuáles son los resultados de la revisión en su conjunto? — ¿Hasta qué punto fueron precisos los resultados? ¿Son útiles los resultados en la práctica clínica? — ¿Son aplicables los resultados a nuestros pacien- tes? — ¿Se han considerado todos los resultados clínica- mente importantes? — ¿Compensan los beneficios previsibles, los costes y los riesgos? * Tomado de Oxman216. Tabla 18 Análisis de decisión clínica* ¿Son válidos los resultados del estudio? — ¿Se han incluido todos los resultados y estrategias importantes? — ¿Se ha utilizado un método adecuado para identi- ficar, seleccionar y combinar las evidencias y esta- blecer probabilidades? — ¿Se han obtenido las utilidades de forma adecuada y a partir de fuentes fiables? — ¿Se ha estimado el impacto de las posibles incerti- dumbres existentes? — ¿Se ha ajustado por todos los factores pronósticos importantes? ¿Cuáles han sido los resultados del estudio? — ¿ H ay una estra t e gia claramente superior a las otras? — ¿Cuál es el nivel de calidad de las evidencias de los estudios incluidos en análisis? — ¿Podría modificarse el resultado a causa de las in- certidumbres existentes? ¿Son útiles los resultados en la práctica clínica? — ¿Se ajustan las estimaciones de probabilidad a las características clínicas de nuestros pacientes? — ¿ Va l o rarían nu e s t ros pacientes las utilidades de forma similar? * Tomado de Richardson217 y Richardson218. Tabla 19 Guías de práctica clínica* ¿Son válidos los resultados de la revisión? Criterios primarios: — ¿Se han considerado todas las opciones y resulta- dos clínicos importantes? — ¿Existe un procedimiento adecuado que se haya utilizado para identificar, seleccionar y combinar las evidencias? Criterios secundarios: — ¿Se ha utilizado un procedimiento adecuado para considerar el valor relativo de los distintos pronós- ticos? — ¿La información que ofrece está actualizada? — ¿Ha sido valorada por expertos, peer review? — ¿Se ha comprobado que la aplicación de la guía en la práctica produzca beneficios? ¿Cuáles son sus recomendaciones? — ¿Las recomendaciones son aplicables y clínica- mente relevantes? — ¿Cuál es la fuerza de las recomendaciones? — ¿Cuál es el impacto de las incertidumbres de las evidencias en las que se basa la guía? ¿Son útiles los resultados en la práctica clínica? — ¿Las recomendaciones son aplicables a nu e s t ro s pacientes? — ¿El objetivo de la guía es consistente con sus obje- tivos? * Tomado de Hayward219 y Wilson220. Tabla 20 Artículos sobre calidad de vida relacionada con la salud* ¿Son válidos los resultados del estudio? Criterios primarios: — ¿Las variables incluidas miden aspectos conside- rados importantes por los pacientes? — ¿Los instrumentos utilizados miden la calidad de vida de forma válida, fiable y precisa? Criterios secundarios: — ¿Se incluyen todos los aspectos importantes rela- cionados con la calidad de vida? — En el caso de que existan estudios que hayan reali- zado una evaluación económica o hayan medido la relación calidad-cantidad de vida, ¿se han em- pleado en el artículo las medidas adecuadas? ¿Cuáles han sido los resultados? — ¿Cuál fue la magnitud del efecto sobre la calidad de vida? ¿Son útiles los resultados en la práctica clínica? — ¿Son útiles los resultados en el proceso de infor- mación a nuestros pacientes? — ¿Consigue el estudio una buena simulación de la práctica clínica real? — ¿Se ajustan las estimaciones de probabilidad a las características clínicas de nuestros pacientes? * Tomado de Guyatt221. 58 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 21 Ensayos clínicos aleatorios* 1. Asignación de tratamientos: — ¿La asignación fue aleatoria? — ¿Hubo enmascaramiento en la asignación? 2. ¿Los diferentes grupos fueron similares en cuanto a los más importantes factores pronósticos? 3. ¿Se especificaron los criterios de inclusión y ex- clusión establecidos? 4. ¿Hubo enmascaramiento para los investigadores? 5. ¿Hubo enmascaramiento para los médicos que atendieron a los pacientes participantes? 6. ¿Hubo enmascaramiento para los pacientes? 7. ¿Se pre s e n t a ron las medidas de resultado junto con sus medidas de dispersión? 8. ¿Se realizó un análisis por intención de tratar? * Tomado de Verhagen222. Tabla 22 Estudios de evaluación económica de la atención médica* ¿Son válidos los resultados del estudio? — ¿Se han considerado todas las estrategias clínicas relevantes? — ¿Se han considerado los costes y resultados desde los puntos de vista más importantes? — ¿Se han medido correctamente los costes y resul- tados? — ¿Se ha analizado el impacto de las incertidumbres que existen en los datos? — ¿Se ha considerado la situación clínica basal de la población en los datos incluidos en el análisis? ¿Cuáles han sido los resultados? — ¿Cuáles fueron los costes y resultados incrementa- les de cada una de las estrategias consideradas? — ¿Se han observado diferencias en los costes y re- sultados incrementales entre subgrupos? — ¿Cuál es el impacto de las incertidumbres de los datos incluidos? ¿Son útiles los resultados en la práctica clínica? — ¿Los beneficios compensan los costes y efectos ad- versos? — ¿La va l o ración de los resultados clínicos y de los costes es aplicable a nuestros pacientes? * Tomado de Drummond223 y O’Brien224. Anexo IV. Clasificaciones del grado de evidencia científica La ETS supone la formulación de recomenda- ciones basadas en la mejor evidencia científi- ca disponible y en el análisis del contexto. Las escalas de clasificación de la evidencia cientí- fica contribuyen a determinar la calidad y el rigor científico de la información disponible, a la vez que permiten establecer la fuerza de cada una de las recomendaciones del infor- me, tanto en el sentido de aconsejar la adop- ción de la tecnología como de que ésta se deje de utilizar si las evidencias indican la caren- cia o insuficiencia de datos positivos sobre su efectividad. 1. NIVELES DE CALIDAD DE LA EVIDENCIA CIENTÍFICA Las siguientes clasificaciones diferencian de forma jerárquica los distintos niveles de evi- dencia en función del rigor científico del dise - ño del estudio, aunque una clasificación ade- cuada de la importancia de los estudios debe- ría incluir también el análisis crítico de su ca - lidad (desarrollo, pérdidas de sujetos, calidad de las fuentes de datos y otros aspectos). A continuación se presentan las clasificaciones más aceptadas y difundidas. 59«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 23 Clasificación de la evidencia científica según el diseño del estudioa (tomado de US Preventive Task Force225) I. Evidencia obtenida a partir de al menos un ensayo aleatorizado y controlado diseñado de forma apropiada. II.1. Evidencia obtenida de ensayos controlados bien diseñados, sin randomización. II.2. Evidencia obtenida a partir de estudios de cohorte o caso-control bien diseñados, realizados pre- ferentemente en más de un centro o por un grupo de investigación. II.3. Evidencia obtenida a partir de múltiples series comparadas en el tiempo con o sin intervenciónb. III. Opiniones basadas en experiencias clínicas, estudios descriptivos o informes de comités de ex- pertos. a: De mayor (I) a menor (III) calidad. b: Este tipo de evidencia también incluye resultados muy llamativos en experimentos sin grupo control,como los deri- vados de la introducción de la penicilina en los años cuarenta. Tabla 24 Calidad de la evidencia según el diseño del estudio (modificado de Bertra m2 2 6 y Goodman5 6) • Ensayos aleatorios controlados de gran tamaño, revisiones sistemáticas o meta-análisis de ensayos aleatorios controlados. • Ensayos aleatorios controlados de pequeño tamaño. • Ensayos no aleatorios con controles coincidentes en el tiempo. • Ensayos no aleatorios con controles históricos. • Estudios observacionales de cohortes. • Estudios observacionales casos-controles. • Vigilancia epidemiológica, Estudios descriptivos, Información basada en registros. • Estudio de series de casos multicéntrico. • Estudio de series de casos unicéntrico. • Estudio de un caso o anécdota. Tabla 25 Clasificación de la evidencia científica (modificado de Jovell227) Nivel Tipo de diseño Condiciones de rigurosidad científica I Meta-análisis de ensayos controlados y aleatorizados No heterogeneidad, calidad de los es- tudios II Ensayo controlado y aleatorizado de muestra grande Evaluación del poder estadístico, mul- ticéntrico, calidad del estudio III Ensayo controlado y aleatorizado de muestra pequeña Evaluación del poder estadístico, cali- dad del estudio IV Ensayo prospectivo controlado no aleatorizado C o n t roles coincidentes en el tiempo, multicéntrico, calidad del estudio V Ensayo prospectivo controlado no aleatorizado C o n t roles históricos, calidad del estudio VI Estudios de cohortes M u l t i c é n t r i c o, ap a re a m i e n t o, c a l i d a d del estudio VII Estudios de casos y controles Multicéntrico, calidad del estudio VIII Series clínicas sin grupo control Multicéntrico Estudios descriptivos Juicio de expertos IX Anécdotas o casos únicos 60 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 2. RELACIÓN ENTRE LA CALIDAD DE LA EVIDENCIA CIENTÍFICA Y LA FUERZA DE LAS RECOMENDACIONES Las recomendaciones acerca de la adopción o no de una nueva tecnología sanitaria formu- ladas por las agencias de ETS deben surgir del análisis y síntesis de la evidencia disponible en la literatura médica, para lo cual puede ser útil presentar las evidencias clasificadas se- gún el rigor científico. En ese sentido, la tabla 26 establece la correspondencia entre el nivel de calidad científica y la fuerza de la re c o- mendación que surge de la ev i d e n c i a . Se ha seleccionado esa pro p u e s t a , aunque se han publicado otras interesantes228,229. Tabla 26 Relación entre los niveles de calidad de la evidencia científica y el grado de recomendaciones (modificado de Sackett230) Nivel de calidad I. Ensayos aleatorizados con una muestra gran- de y resultados bien definidos (y un riesgo bajo de error estadístico tipo α y β) II. E n s ayos aleatorizados con una mu e s t ra pe- queña (y un riesgo moderado o alto de error estadístico tipo α y β) III. Estudios no aleatorizados, cohortes concu- rrentes en el tiempo IV. Estudios no aleatorizados, cohortes históricas V. Estudios no controlados, series clínicas Grado de recomendacióna A Adecuada evidencia científica para recomen- dar la adopción de la tecnología E Adecuada evidencia para recomendar la no- adopción B Cierta evidencia científica para re c o m e n d a r la adopción de la tecnología D Cierta evidencia para recomendar la NO adopción C Insuficiente evidencia científica, por lo que la decisión de adoptar la tecnología debe basar- se en otros criterios C C a: El grado de recomendaciones se define en US Preventive Task Force225 y en Canadian Task Force231. 3. CLASIFICACIÓN DE LOS ESTUDIOS SOBRE EFICACIA DIAGNÓSTICA Tabla 27 Clasificación de los niveles de estudios sobre eficacia diagnóstica con las medidas de resultado más habituales (tomada de Fryback232) Nivel Medidas de resultado I. Eficacia Técnica — Resolución de pares de líneas — Cambio en la función de transferencia de modulación — Rango en la escala de grises — Cantidad de abigarramiento — Nitidez II. Eficacia en la Exactitud — Cantidad de diagnósticos normales o anormales en una serie de casosDiagnóstica — Exactitud diagnóstica (porcentaje de diagnósticos correc- tos en una serie de casos) — Sensibilidad y Especificidad en una situación clínica de- finida — Medidas del área de la curva ROC III. Eficacia Presumible Diagnóstica — Po rcentaje de casos en los que la imagen se juzgó útil para realizar el diagnóstico. — Cambios en la tendencia de la distribución de probabili- dades del diagnóstico diferencial — D i f e rencias subjetivas clínicas en las pro b a b i l i d a d e s diagnósticas antes y después de la prueba — Cociente de probabilidades estimado de forma empírica y subjetiva para una prueba positiva y negativa IV. Eficacia Terapéutica — Po rcentaje de veces en que la imagen se consideró útil para planificar el manejo de los enfermos en series de casos. — Porcentaje de veces en que procedimientos médicos (te- rapéuticos o diagnósticos) fueron evitados por la infor- mación suministrada por la imagen — Porcentaje de veces en que la terapia pre-prueba cambió tras la información de la imagen (inferido retrospectiva- mente de los informes clínicos) — Porcentaje de veces que cambiaron los clínicos su tera- pia después de obtener la información de la prueba. V. Eficacia en Resultados para — Po rcentaje de enfermos que mejora ron con la prueba diagnóstica en comparación con los que no la usaronlos Enfermos — Procedimientos médicos o morbilidad evitados tras la in- formación suministrada por la imagen — Cambios en AVACs (Años de Vida Ajustados por Calidad) — Coste por AVACs ahorrado por la información suminis- trada por la prueba diagnóstica VI. Eficacia Social — Análisis coste/beneficio, c o s t e / e f e c t ividad o coste/utili- dad realizado desde una perspectiva social. 61«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Tabla 28 Criterios de clasificación de estudios que evalúan pruebas diagnósticas por imagen (tomado de Flynn188) 62 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Grado Criterio fundamental I Estudios con resultados g e n e ra l i z ables a una am- plia variedad de enfermos y que no presentan defec- tos metodológicos signifi- cativos II Estudios con un espectro más estrecho de genera l i- zación, y con pocos defec- tos metodológicos que es- tán bien descritos (su im- pacto en los resultados puede ser evaluado) III Estudios con varios defec- tos metodológicos IV Estudios con múltiples de- fectos metodológicos Requisitos — ≥35 enfermos y ≥35 sujetos sin la enfermedad analizada (ya que tales números dan un intervalo de confianza del 95% cuyo límite inferior excluye 0,90 si el error estándar es de 1 ). — Pacientes escogidos de una muestra clínica representativa (no filtrados para incluir sólo casos graves) cuyos síntomas sean completamente descritos. — Los diagnósticos han de ser definidos por un estándar de referencia apropiado. — Los estudios han de ser de alta calidad técnica y evaluados independientemente del diagnóstico de referencia. — ≥35 enfermos con y sin patología. — Espectro más limitado de pacientes, presencia de sesgo de selección (por ejemplo: pacientes con patología más grave por estar ingresados en Centros Universitarios). — Libre de otros defectos metodológicos que promuevan in- teracción entre los resultados de la prueba y el diagnóstico de la enfermedad. — Estudios prospectivos. — Muestras pequeñas. — Información incompleta. — Estudios de exactitud diagnóstica restrospectivos — No existe un estándar de referencia fiable para el diagnós- tico. — Dependencia entre los resultados de la prueba estudiada y la determinación del diagnóstico final. — No se pudo determinar la fuente de la cohorte de pacien- tes o estaba obviamente influida por los resultados de la prueba (sesgo de verificación). — Opiniones no basadas en los datos. 1. Conde JL. Evaluación de Tecnologías Sanitarias: Racionalización frente a racionamiento. Revista de Admi - nistración Sanitaria. 1998; vol: 2, n.º 5: 139-147. 2. OCDE Health Data. A software package for the international comparision of health care systems. [archivo de or- denador] Version 1.5. París: OCDE, 1993. 3. Glover JA. The incidence of Tonsillectomy in School Children. Proc Roy Soc Med 1938; 31: 1219-36. 4. Wennberg JE, Gittelsohn A. Small area variations in health care delivery. Science 1973; 182: 1102-1108. 5. Chassin MR, Kosecoff J, Park ER, et al. Variations in the use of medical and surgical services by the Medi- care population. New Engl J Med. 1986; 314: 285-90. 6. Wennberg JE. Dealing with medical practice variations: a proposal for action. Health Affairs. 1984; 3: 6-32. 7. M c G lynn EA, N aylor CD, Anderson GM et al. Comparison of the ap p ropiateness of coronary angi o- g rap hy and coronary artery bypass graft surgery between Canada and New York State. JAMA 1994; 272: 9 3 4 - 9 4 0 . 8. Bernstein SJ, Kosecoff J, Gray D, Hampton JR, Brook RH. The appropriateness of the use of cardiovascular procedures. British versus US perspectives. Int J Technol Assess Health Care 1993; 9: 3-10. 9. US Congress, Office of Technology Assessment. Identifying health technologies that work.Searching for Eviden - ce. OTA-H-608. Washington DC: US Government Printing Office, 1994. 10. Brook RH, Chassin MR,Fink A, and cols. A method for the detailed assessment of the appropriateness of medical technologies. Int J of Technology Assessment in Health Care. 1986; 2: 52-63. 11. Relman AS. Assessment and accountability: the third revolution in medical care [editorial]. N Engl J Med 1988; 319: 1.220-2. 12. US Congress, Office of Technology Assessment, Assessing the efficacy and safety of medical technologies. Publi- cation n.º OTA-75. Washington DC: US Government Printing Office, 1978. 13. Granados A. La evaluación de las Tecnologías Médicas. Med Clin (Barc) 1995; 104: 581-588. 14. Ministerio de Sanidad y Consumo - Instituto de Salud Carlos III - Agencia de Evaluación de Te c n o l o g í a s Sanitarias (AETS). E valuación Epidemiológica de Te c n o l ogías de Salud. Madrid: AETS - Instituto de Salud Carlos III, 1 9 9 5 . 15. Liberati A, Sheldon TA, Banta HD. EUR-ASSESS Project Subgroup Report on Methodology. Methodological Guidance for the Conduct of Health Technology Assessment. Intl J of Technology Assesssment in Health Care. 1997; 13, 2; 186-219. 16. Banta HD, Luce B. Health Care Technology and its Assessment. An international perspective. New York: Oxford University Press, 1993. 17. Evidence-Based Medicine Working Gro u p. Evidence-based medicine. A new ap p ro a ch to teaching the practice of medicine. JAMA 1992; 268: 2.420-5. Edición española 1997. 18. Gol JM. Bienvenidos a la medicina basada en la evidencia. JAMA (edición española) 1997. 19. Cook DJ, Mulrow CD, Haynes RB. Systematic Reviews: Synthesis of Best Evidence for Clinical Decisions. Ann Intern Med 1997; 126: 376-380. 20. Thompson SG, Pocock SJ. Can Meta-Analyses Be Trusted?. Lancet 1991; 338 (8775): 1127-1130. 21. Alberta Heritage Foundation for Medical Research. Health Technology Assessment in Alberta (folleto divulga- tivo). Edmonton, Alberta, Canada, 1998. 22. Hailey D, Harstall C, Corabian P, Swist F. The Impact of rapid technology assessments. Proceedings of the 14th Annual Meeting of the International Society of Technology Assessment in Health Care; 1998, june 7-10; Otta- wa, Ontario, Canada. 23. Field MJ, Lorh KN, editores. Guidelines for clinical practice. From Development to Use. Institute of Medicine. Washington, DC: National Academy Press, 1992. 24. US Department of Health and Human Services, Agency for Health Care Policy and Research. Using Clinical Practice Guidelines to Evaluate Quality of Care (volume I). Publication n.º 95-0045.Rockville, MD: Executive Of- fice Center, 1995. 63«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 Referencias 25. US Department of Health and Human Services, Agency for Health Care Policy and Research. Using Clinical Practice Guidelines to Evaluate Quality of Care (volume II). Publication n.º 95-0046. Rockville, MD: Executive Office Center, 1995. 26. Audet A,Greenfield S, Field M.Medical practice guidelines current activities and future directions. Ann In - tern Med 1990; 113: 709-714. 27. Woolf SH,Battista RN, Anderson GM, Logan AG, Wang E,and the Canadian Task Force on the Periodic He- alth Examination. A report by the Canadian Task Force on the Periodic Health Examination. J Clin Epide - miol 1990; 43: 891-905. 28. L á z a ro P. E valuación de Tecnología Médica. Papeles de Gestión Sanitaria. M o n o g rafía n.º II-94. Va l e n c i a : M/C/Q Ediciones, Valencia, 1994. 29. AETS (Agencia de Evaluación de Tecnologías Sanitarias). Fichas técnicas de Evaluación de Tecnologías Sanita - rias. Consejo Interterritorial del Sistema Nacional de Salud. Madrid, octubre de 1998. 30. Stevens RG. Identifying new health care technologies in the United Kingdom. International Journal of Tech - nology Assessment in Health Care 1997; 13 (1): 59-67. 31. Manual de la Colaboración Cochrane (versión española de “Mulrow CD, Oxman AD (eds). The Cochrane Co - llaboration Handbook”) [actualización de Septiembre 1997]. Sabadell: Centro Cochrane Español; 1998. 32. Wennberg JE,Bunker JP, Barnes B. The need for assessing the outcome of common medical practices. An - nual Review of Public Health 1980; 1: 277-295. 33. Wennberg JE.What is outcomes research? En: Gelijns AC, ed. Modern methods of clinical investigation. Was- hington DC: National Academy Press, 1990, pp. 33-46. 34. Greenfield S. The state of outcomes research: are we on target? N Engl J Med 1989; 320: 1142-1143. 35. Echt DS, et al.Mortality and morbidity in patients receiving encainide, flecainide, or placebo. The Cardiac Arrhythmia Suppression Trial N. Eng J Med 1991; 324:781-788. 36. Miller FW, Leitman SF, Cronin ME et al. Controlled trial of plasma exchange and leukapheresis and der- matomyositis. N Engl J Med 1992; 326: 1380-1384. 37. Ruberman W, Weinblatt E, Goldberg JD, Frank CW, Shapiro S. Ventricular premature beats and mortality after myocardial infarction. N Engl J Med 1977; 297: 750-7. 38. The CAPS (Cardiac Arrhythmia Pilot Study) Investigators. Effects of encainide, flecainide, imipramine and moricizine on ventricular arrhythmia during the year after acute myocardial infarction: the CAPS. Am J Cardiol 1988; 61: 501-9. 39. Gotzsche PC, Liberati A,Torri V, Rosetti L.Beware surrogate endpoints. International Journal of Technology As - sessment in Health Care 1996; 12: 238-246. 40. Guallar E,Conde JL,de la Cal A,Martín-Moreno JM.Guía para la evaluación de proyectos de investigación en ciencias de la salud. Med Clin (Barc) 1997; 108: 460-471. 41. Friedman GD. Principios de epidemiología. México: Panamericana, 1975. 42. Hulley SB, Cummings SR, editores. Diseño de la investigación clínica. Un enfoque epidemiológico. Barce- lona: Doyma, 1993. 43. Bakke OM,Carné X,García-Alonso F. Ensayos clínicos con medicamentos: Fundamentos básicos, metodo- logía y práctica. Barcelona: Doyma, 1994. 44. Roca J. Cómo y para qué hacer un protocolo. Med Clin (Barc) 1996; 106: 257-262. 45. CRD (The National Health Service Centre for Reviews and Dissemination). Undertaking Systematics Reviews of Research on Effectiveness. CRD Guidelines for Those Carrying Out or Commissioning Reviews. York: University of York, 1996. 46. Faber RG. Information overload [carta]. BMJ 1993; 307: 383. 47. Mulrow CD. Rationale for systematic reviews. BMJ 1994; 309: 597-599. 48. Dickersin K,Scherer R,Lefebvre C. Identifying relevant studies for systematic reviews. British Medical Jour - nal 1994; 309: 1286-91. 49. Smith BJ, Darzins PJ, Quinn M, Heller RF. Modern methods of searching the medical literature. Med J Aust 1992; 157(9):603-11. 50. Pérez JR. Introducción a la Información y Documentación Científica. Madrid: Alhambra, 1987. 51. Gotzsche, P.C. Reference bias in reports of drug trials. BMJ 1987; 295: 654-6. 52. US Congress, Office of Technology Assessment. Tools for Evaluating Health Technologies: Five Background Pa - pers. Publication n.º BP-H-142. Washington DC: US Government Printing Office, 1995. 64 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 53. Torres I. La llamada literatura gris. Reflexiones sobre su naturaleza y desarrollo de instrumentos biblio- gráficos para identificación y localización. Boletín de la Asociación Andaluza de Bibliotecarios 1994, 34: 41-59. 54. Torres I. La llamada literatura gris. Reflexiones sobre su naturaleza y desarrollo de instrumentos biblio- gráficos para identificación y localización. Boletín de la Asociación Andaluza de Bibliotecarios 1994, 35: 9-26. 55. Martín W. Medicina Basada en la Evidencia: el papel de las bibliotecas médicas. Anuari SOCADI de docu - mentació i informació 1998, pp. 241-4. 56. Goodman C. Literature Searching and evidence interpretation for assessing health care practices. Estocolmo: The Swedish Council on Technology Assessment in Health Care. 1993. 57. McKibbon KA, Walker-Dilks CJ. Beyond ACP Journal Club: how to harness MEDLINE to solve clinical pro- blems [editorial]. ACP Journal Club 1994 mar-apr: A10-A12 (Ann Intern Med 120 suppl 2). 58. KA, Walker CJ. Beyond ACP Journal Club: how to harness MEDLINE for therapy problems [editorial]. ACP Journal Club 1994 jul-aug: A10 (Ann Intern Med 121 suppl 1). 59. McKibbon KA, Walker CJ. Beyond ACP Journal Club: how to harness MEDLINE for diagnosis problems [edi- torial]. ACP Journal Club 1994 sep-oct: A10 (Ann Intern Med 121 suppl 2). 60. McKibbon KA, Walker-Dilks CJ, Wilczynski NL et al. Beyond ACP Journal Club: how to harness MEDLINE for review articles [editorial]. ACP Journal Club 1996 may-jun: A12-13. 61. Walker-Dilks CJ, McKibbon KA and Haines RB. Beyond ACP Journal Club: how to harness MEDLINE for etiology problems [editorial]. ACP Journal Club 1994 nov-dec: A10-A11 (Ann Intern Med 121 suppl 3). 62. Walker-Dilks CJ, McKibbon KA and Haines RB. Beyond ACP Journal Club: how to harness MEDLINE for prognosis problems [editorial]. ACP Journal Club 1995 jul-aug: A12-A14 (Ann Intern Med 123 suppl 1). 63. Hewitt P, Chalmers TC. Using MEDLINE to Peruse the Literature. Controlled Clinical Trials 1985; 6: 75-83. 64. Greenhalgh T. How to read a paper. The Medline database. BMJ 1997; 315: 180-3. 65. Reference Manager [archivo de ordenador]. Windows version 8.5. Carlsbad: Research Information Systems Inc, 1997. 66. Pro-Cite [archivo de ordenador]. DOS version 2.1. Ann Arbor: Personal Bibliographic Software, 1993. 67. End-Note version 3.0. [archivo de ordenador]. Berkeley, California: Niles Software, (http://www.software- cientifico.com/endnote.htm) 1999. 68. Hersh W, Hickam DH,Haynes RB, McKibbon KA. Evaluation of SAPHIRE: an automated approach to inde- xing and retrieving medical literature. Proc Annu Symp Comput Appl Med Care 1991; 808-812. 69. Last JM. A Dictionary of Epidemiology. New York: Oxford University Press, 1995. 70. Laird NM,Mosteller F. Some statistical methods for combining experimental results. Int J Tech Assess in He - alth Care 1990; 6: 5-30. 71. Stone DH. Design a questionnaire. BMJ 1993; 307: 1264-6. 72. Hernández I, Porta M,Miralles M,García F, Bolúmar F. La cuantificación de la variabilidad en las observa- ciones clínicas. Med Clin (Barc) 1990; 95: 424-429. 73. Begg CB, Berlin JA . Publication bias and dissemination of clinical re s e a rch . J Natl Cancer Inst 1989; 81: 107-15. 74. Berlin JA,Begg CB, Louis TA.An assessment of publication bias using a sample of published clinical trials. J Am Stat Assoc 1989; 84: 381-92. 75. Hedges LV. Modelling publication selection effects in meta-analysis. Stat Sci 1992; 7: 246-55. 76. Iyengar S, Greenhouse JB. Selection models and the file drawer problem. Stat Sci 1988; 3: 109-35. 77. Easterbrook PJ, Berlin JA, Gopalan R, Matthews DR. Publication bias in clinical research. Lancet 1991; 337: 867-72. 78. Chalmers I. A register of controlled trials in perinatal medicine. WHO Chron 1986; 40: 61-65. 79. Dickersin K. Report from the panel on the Case for Registers of Clinical Trials at the Eighth Annual Mee- ting of the Society for Clinical Trials. Controlled Clin Trials 1988; 9: 76-81. 80. Dickersin K. Keeping posted.Why register clinical trials? - revisited.Controlled Clin Trials 1992; 13: 170-7. 81. Follmann D, Elliott P, Suh I, Cutler J. Variance imputation for overviews of clinical trials with continuous response. J Clin Epidemiol 1992; 45: 769-73. 82. Greenland S. Quantitative methods in the review of epidemiologic literature. Epidemiology Reviews 1987; 9: 1-30. 83. The Standards of Reporting Trials Group. A proposal for structured reporting of randomized controlled trials. JAMA 1994; 272: 1926-31. 65«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 84. Working Group on Recommendations for Reporting of Clinical Trials in the Biomedical Literature. Call for comments on a proposal to improve reporting of clinical trials in the biomedical literature. Ann Intern Med 1994; 121: 894-5. 85. ECRI. ECRI’s Methods of Healthcare Technology Assessment. ECRI Executive Briefings. Plymouth: ECRI 1996. 86. Sackett DL, Haynes RB, Tugwell P. Epidemiología Clínica. Una ciencia básica. Madrid: Díaz de Santos, 37. 87. Fleiss JL. Statistical methods for rates and proportions. Nueva York: John Wiley and Sons, 1981, pp: 212-225. 88. Jadad AR,Moore RA,Carroll D, et al.Assessing the quality of reports of randomized clinical trials: Is blin- ding necessary? Controlled Clin Trials 1996; 17: 1-12. 89. Detsky AS, Naylor CD, O’Rourke K, McGreer AJ, L’Abbe KA. Incorporating variations in the quality of indi- vidual randomized trials into meta-analysis. J Clin Epidemiol 1992; 45: 255-65. 90. Oxman AD, Guyatt GH. A consumer’s guide to subgroup analyses. Ann Intern Med 1992; 116: 78-84. 91. Yusuf S, Wittes J, Probstfield J, Herman AT. Analysis and Interpretation of Treatment Effects in Subgroups of Patients in Randomized Clinical Trials. JAMA 1991; 266: 93-8. 92. Bailar JC III. Pasive smoking, coronary heart disease, and meta-analysis. N Engl J Med 1999; 340: 958-9. 93. L’Abbé KA,Detsky AS, O’Rourke K.Meta-Analysis in Clinical Resarch. Annals of Internal Medicine 1987; 107: 224-233. 94. Antman EM, Lau J, Kupelnick B, Mosteller F, Chalmers TC. A comparison of results of meta-analyses of randomized control trials and recommendations of clinical experts. Treatments for myocardial infarc- tion. JAMA 1992; 268: 240-8. 95. Bailar JC III. The practice of meta-analysis. J Clin Epidemiol 1995; 48: 149-57. 96. Le Lorier J, Grégoire G, Benhaddad A, Lapierre J, Derderian F. Discrepancies between meta-analyses and subsequent large randomized, controlled trials. N Engl J Med 1997; 337: 536-42. 97. Petitti D. Meta-Analysis, Decision Analysis and Cost-Effectiveness Analysis: Methods for Quantitative Synthesis in Medicine. New York: Oxfork University Press, 1994. 98. Hillner BE, Smith TJ. Efficacy and cost effectiveness of adjuvant chemotherapy in women with node-ne - gative breast cancer: a decision-analysis model. New England Journal of Medicine 1991; 324: 160-168. 99. Pearson K.Report on Certain Enteric Fever Inoculation Statistics. British Medical Journal 1904; 2: 1243-1246. 100. Glass GV. Primary, Secondary and Meta-Analysis of Research. Educational Researcher 1976; 5: 3-8. 101. Laupacis A, Sackett DL, Roberts RS. An assessment of clinically useful measures of the consequences of treatment. N Engl J Med 1988; 318: 1728-33. 102. Cook RJ, Sackett DL. The number needed to treat: a clinically useful measure of treatment effect.Br Med J 1995; 310: 452-454. 103. Figueredo E,Canosa L.Limitaciones y falacias de la fórmula del “número de pacientes que será necesario tratar”. Med Clin (Barc) 1999; 112, 1: 36. 104. Jenicek M. Meta-análisis en medicina: reunión de experiencias. En: Jenicek M. Epidemiología: la lógica de la epidemiología moderna. Barcelona: Masson, 1996: pp. 285-317. 105. Pocock SJ et al. Meta-analysis of randomised trials comparing coronary angioplasty with bypass surgery. Lancet 1995; 346: 1184-89. 106. Walker AM, Martin-Moreno JM, Artalejo FR. Odd man out: a graphical approach to meta-analysis. Am J Public Health 1988; 78:961-6. 107. Williamson DF, Parker RA, Kendrick JS. The Box Plot: A simple visual method to interpret data. Ann Int Med 1989; 110: 916-21. 108. Galbraith RF. A note on graphical presentation of estimated odds ratios from several clinical trials. Stat Med 1988; 7: 889-94. 109. Woolf B. On estimating the relationship between blood group and disease. Ann Human Genet, 1955; 19: 251-3. 110. DerSimonian R, Laird N. Meta-analysis in clinical trials. Controlled Clinical Trials 1986; 7: 177-88. 111. Altman DG, Gardner MJ. Confidence intervals for research findings. Br J Obstet Gynaecol 1992; 99: 90-1. 112. Light RJ, Pillemer DB. Summing up. The science of reviewing reserch . Cambridge (MA): Harva rd Unive r s i t y Press, 1984. 113. Delgado M,Sillero M,Gálvez R.Metaanálisis en epidemiología (1.ª parte): características generales. Gaceta Sanitaria 1991; 5 (27): 265-72. 66 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 114. Delgado M, Sillero M, Gálvez R. Metaanálisis en epidemiología (2.ª parte): métodos cuantitativos. Gaceta Sanitaria 1992; 6 (28): 30-39. 115. Peto R,Pike MC, Armitage P, Breslow NE,Cox DR,Howard SV, Mantel N, McPherson K, Peto J, Smith PG. De- sign and analysis of randomized clinical trials requiring prolonged observations of each patient.II.Analy- sis and examples. Br J Cancer 1977; 35: 1-39. 116. Yusuf S, Peto R,Lewis J, Collins R,Sleight P. Beta blockade during and after myocardial infarction,an over- view of the randomized trials. Prog Cardiovas Dis 1985B; 27: 335-71. 117. Kleinbaum DG, Kupper LL, Morgenstern H. Epidemiology Research. California, Belmont: Lifetime Learning Publications, 1982. 118. Rothman KJ. Epidemiología Moderna. Madrid: Díaz de Santos, 1987. 119. Dales RE, Stark RM, Raman S. Computed tomography to stage lung cancer. Am Rev Resp Dis 1990; 141: 1096-1101. 120. Gilbert ES, Fry SA, Friggs LD, Volez GL,Cragle DL, Petersen GR.Methods for analyzing combined data from studies of workers exposed to low doses of radiation. Am J Epidemiol 1990; 131: 917-27. 121. Longnecker MP, Berlin JA, Orza MJ, Chalmers TC. A meta-analysis of alcohol consumption in relation to risk of breast cancer. JAMA 1988; 260: 652-6. 122. Sillero M, Delgado M, Rodríguez R,Bueno A, Gálvez R. Hormone Replacement therapy and breast cancer: A meta-analysis. Obstet Gynecol 1992; 79: 276-304. 123. Lau J, Antman EM, Jimenez-Silva J, Kupelnick B, Mosteller F, Chalmers TC. Cumulative meta-analysis of therapeutic trials for myocardial infarction. N Engl J Med 1992; 327: 248-54. 124. McIntosh M. The population risk as an explanatory variable in research synthesis of clinical trials. Har - vard Medical School: 1995 1-35. 125. Sowden AJ, Deeks JJ, Sheldon TA. Volume and outcome in coronary artery bypass surgery: true association or artefact? British Medical Journal 1995; 311: 151-155. 126. Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled clinical trials. JAMA 1995; 273: 408- 412. 127. Detsky AS, Naglie G, Krahn MD, Naimark D, Redelmeier DA. Primer on Medical Decision Analysis. Medical Decision Making 1997; 17 (2): 123-159. 128. Review Manager [archivo de ordenador]. Windows version 3.0.1. Oxford: Cochrane Collaboration,Update Software, 1997. 129. Egger M, Sterne JAC, Davey Smith G. Meta-analysis software. [en línea] eBMJ 1998 (http://www.bmj.com/ collections/ma.htm) 130. Haddix AC, Teutsch SM,Shaffer PA, Duñet DO. Prevention Effectiveness. A Guide to Decision Analysis and Eco - nomic Evaluation. Centers for Disease Control and Prevention. New York: Oxford University Press,1996. 131. Von Neumann J, Morgenstern O. Theory of Games and Economic Theory. New York Wiley, 1947. 132. Weinstein MC, Fineberg HV. Clinical Decision Analysis. Philadelphia, WB Saunders Company, 1980. 133. Sox H, Blatt MA, Higgings MC, Marton KI. Medical Decision Making. London: Butterwood & Co., 1988. 134. Goldman L.Aspectos cuantitativos del juicio clínico. En: Harrison.Principios de Medicina Interna, 14.ª edición en castellano. Fauci AS et al eds. Madrid: Mac Graw-Hill, 1998. 135. Torrance GW. Measurement of health state utilities for economic appraisal: a review. J Health Econ 1986; 5: 1-30. 136. Fryback DG, Dasbach EJ, Klein R, et al. The Beaver Dam health outcomes study: initial catalog of health- state quality factors. Medical Decision Making 1993; 13: 89-102. 137. Kaplan RM, Anderson JP. A general health policy model: update and applications. Health Services Research 1988; 23: 203-35. 138. Redelmeier DA, Detsky AS. A clinician’s guide to utility measurement. Primary Care 1995; 22: 271-8. 139. Froberg DG, Kane RL. Methodology for measuring health-state preferences -I. Measurement strategies. Journal of Clinical Epidemiology 1989; 42: 345-54. 140. Froberg DG, Kane RL. Methodology for measuring health-state preferences -II: Scaling methods. Journal of Clinical Epidemiology 1989; 42: 459-71. 141. Froberg DG, Kane RL.Methodology for measuring health-state preferences -III: Population and context is- sues. Journal of Clinical Epidemiology 1989; 42: 585-92. 67«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 142. Froberg DG, Kane RL. Methodology for measuring health-state preferences -IV: Progress and a research agenda. Journal of Clinical Epidemiology 1989; 42: 675-85. 143. Rué M. Las técnicas de ayuda a la decisión en Salud Pública. En: Martínez F, Antó JM, Castellanos PL, Gili M, Marset P, Navarro V. Salud Pública. Madrid: McGraw-Hill, 1997. 144. Doubilet P, Begg CB, Weinstein MC, Braun P, McNeil BJ. Probabilistic sensitivity analysis using Monte Carlo simulation: a practical approach. Med Decis Making 1985; 5: 157-177. 145. L l ewe l ly n - Thomas H, Sutherland HJ, Ti b s h i rani R, Ciampi A , Till JE, B oyd NF. Describing health states: methodologic issues in obtaining values for health states. Med Care 1984; 22: 543-552. 146. Read JL, Quinn RJ, Berwick DM, Fineberg HV, Weinstein MC. Preferences for health outcomes: comparison of assessment methods. Med Decis Making 1984; 4: 315-329. 147. Torrance GW, Thomas WH, Sackett DL. A utility maximization model for evaluation of health care pro- grams. Health Services Res 1972; 7: 118-133. 148. Pa u ker SG, K a s s i rer JP. The threshold ap p ro a ch to clinical decision making. N Engl J Med 1980; 302: 1109-17. 149. Beck JR, Pauker SG. The Markov process in medical prognosis. Medical Decision Making 1983; 3: 419-458. 150. Ransohoff DF, Gracie WA, Wolfenson LB, Neuhauser D. Prophylactic Cholecystectomy of Expectant Mana- gement for Silent Gallstones. Annals of Internal Medicine 1983; 99: 199-204. 151. DATA 3.5 [archivo de ordenador]. TreeAge Software,Inc. 1075 Main St.Williamstown,MA 01267 USA.Phone: 413-458-0104. Fax: 413-458-0105. Febraury 1998. 152. Hollenberg JP. SMLTREE [archivo de ordenador]. New York: Cornell University, 1987. 153. Pauker SG. DECISION MAKER [archivo de ordenador]. Boston: Division of Clinical Decision Making, New England Medical Center, 1998. 154. Eddy DM,Hasselblad V. FAST*PRO [archivo de ordenador].Durham: Center for Health Policy Research and Education, Duke University. 155. Drummond MF, Stoddart GL, Torrance GW. Métodos para la evaluación económica de los programas de atención de la salud. Madrid, Díaz de Santos, 1991. 156. Gold MR, Siegel JE, Russell LB, Wenstein MC (eds.) Cost-effectiveness in health and medicine. New York: Oxford University Press, 1996. 157. Warner KE, Luce BR. Cost-benefit and cost-effectiveness analysis in health care: principles, practice and potential. Ann Arbor: Health Administration Press, 1982. 158. Luce BR,Elixhauser A.Standards for socioeconomic evaluation of health care products and services. New York: Springer-Verlag, 1990. 159. Russell LB, Gold MR, Siegel JE, Daniels N, Weinstein MC. The role of cost-effectiveness analysis in health and medicine. JAMA 1996; 276:1172-1177. 160. Weinstein MC, Siegel JE, Gold MR,Kamlet MS, Russell LB. Recommedations of the panel on cost-effective- ness in health and medicine. JAMA 1996; 276: 1253-1258. 161. Siegel JE, Weinstein MC, Russell LB, Gold MR. Recommedations for reporting cost-effectiveness analyses. JAMA 1996; 276: 1339-1341. 162. Torrance GW, Feeny DH. Utilities and quality-adjusted life years. Int J Technology Assessment in Health Care 1989; 5: 559-575. 163. Gramlich EM. A guide to benefit-cost analysis, 2nd ed. New Jersey: Englewood Cliffs, Prentice-Hall, 1990. 164. Eisenberg JM. Clinical Economics. A Guide to the Economic Analysis of Clinical Practices. JAMA 1989; 262: 2879-86. 165. Rovira J. Glosario de términos y conceptos de uso frecuente en la evaluación económica de medicamentos y progra - mas sanitarios. Barcelona: SOIKOS SL. Química Farmacéutica Bayer, 1996. 166. Peiró S, Portella E.No todo es acuerdo en el consenso: limitaciones de los métodos de consenso en los ser- vicios de salud. Gac Sanit 1993; 7: 294-300. 167. Mullan F, Jacoby I. The Town Meeting for Technology. The maturation of Consensus Conferences. JAMA 1985; 254 (8): 1068-1072. 168. Ministerio de Sanidad y Consumo - Instituto de Salud Carlos III - Agencia de Evaluación de Tecnologías Sanitarias (AETS). Cirugía de la hipertrofia benigna de próstata. Estándares de uso apropiado. Madrid: AETS - Instituto de Salud Carlos III, 1996. 169. Dalkey NC. The Delphi method: an experimental study of group opinion.RM-5888-PR. Santa Monica, Ca- lifornia: Rand Corp, 1969. 68 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 170. Vinokur A,Burnstein E,Sechrest L, Wortman PM.Group decision making by experts: field study of panels evaluating medical technologies. J Personality S Psych 1985; 49 (1): 70-84. 171. Granados A.El proceso de evaluación de tecnologías médicas. La evidencia científica y la complejidad del contexto. JANO. 18-24 Octubre 1996; LI, n.º 1184: 1141-1143. 172. Guyatt GH,Mitchell A,Molloy DW, Capretta R,Horsman J, Griffith L.Measuring patient and relative satis- faction with level or aggressiveness of care and involvement in care decisions in the context of life threa- tening illness. J Clin Epidemiol 1995; 48: 1215-1224. 173. Levine RA, Shanaman RH. Translating clinical outcomes to patient value: an evidence-based treatment approach. Int J Periodontics Restorative Dent 1995; 15: 186-200. 174. O’Meara JJI, McNutt RA, Evans AT, Moore SW, Downs SM.A decision analysis of streptokinase plus hepa- rin as compared to heparin alone for deep-vein thrombosis. N Engl J Med 1994; 330: 1864-1869. 175. Kassirer JP. Incorporating patients preferences into medical decisions. N Engl J Med 1994; 330: 1895-1896. 176. Hux JE,Naylor CD. Communicating the benefits of chronic preventive therapy: does the format of efficacy data determine patients’ acceptance of treatment? Med Decis Making 1995; 15: 152-157. 177. Naylor CD, Llewellyn Thomas HA. Can there be a more patient-centred approach to determining clini- cally important effect sizes for randomized treatment trials? J Clin Epidemiol 1994; 47: 787-795. 178. Keeney RL. Decisions about life-threatening risks. N Engl J Med 1994; 331: 193-196. 179. Enkin M, Keirse MJNC, Renfrew MJ, Neilson JP. A Guide to Effective Care in Pregnancy and Childbirth. 2nd ed. Oxford: Oxford University Press, 1994. 180. Relman AS. Peer review in scientific journals-what good is it? West J Med 1990; 153: 520-522. 181. Feinstein AR.Construction,consent and condemnation in research on peer review [editorial]. J Clin Epide - miol 1991; 44: 339-341. 182. Granados A, Jonsson E. EURASSESS Subgroup on Dissemination and Evaluation of Impact. International Journal of Technology Assessment in Health Care 1997; 13 (2): 220-287. 183. Kanouse D, Kallich D, Kahan JP. Dissemination of effectiveness and outcomes research. Health Policy 1995; 34: 167-192. 184. Lomas J. Retailing research: increasing the role of evidence in clinical services for child birth. The Milbank Quarterly 1993; 71: 439-475. 185. Banta D, Granados A, Hailey D, Menon D, Parada A. Document I: Review of the current format of the INAHTA structured abstracts. INAHTA Work Group, October 1997. 186. Banta D, Granados A,Hailey D, Menon D, Parada A. Document II: New proposal of the INAHTA structured abs - tracts. INAHTA Work Group, October 1997. 187. International Committee of Medical Journal Editors. Uniform Requirements for Manuscripts Submitted to Biomedical Journals. N Engl J Med 1997; 336: 309-15. 188. Flynn K, Anderson D. Positron Emission Tomography. Boston: Management Decision and Research Center, Department of Veterans Affairs, 1996. 189. Oxman AD, Sackett DL, Guyatt GH,for the Evidence-Based Medicine Working Group. User’s guides to the medical literature, I: how to get started. JAMA. 1993; 270: 2093-2095. Ed. española 1997. 190. Guyatt GH, Rennie D. User’s guides to the medical literature. JAMA 1993; 270: 2096-7. Edición española 1997. 191. Chalmers TC, Smith H, Blackburn B, Silverman B, Schoeder B, Reitman D, Ambroz A.A method for asses- sing the quality of a randomized control trial. Controlled-Clin-Trials 1981, Vol. 2, p. 31-49. 192. Moher D, Jadad AR,Nichol G et al.Assessing the quality of randomised controlled trials: an annotated bi- bliography of scales and checklists. Controlled Clinical Trials 1995; 16: 62-73. 193. Moher D, Jadad AR, Tugwell P. Assessing the quality of Randomized Controlled Trials – current issues and future directions. International Journal of Technology Assessment in Health Care 1996; 12 (2): 195-208. 194. Sacristán JA, Soto J, Galende I. Evaluación crítica de ensayos clínicos. Med Clin (Barc)1993; 100: 780-787. 195. Jadad AR.Assessing the quality of RCTs: why, what, how and by whom? En: Jadad AR. Randomised Clinical Trials. A user’s guide. London, BMJ Publishing Group, 1998, p. 45-60. 196. Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomised control trials in health care from the Postdam Consultation on Meta-analysis. Journal of Clinical Epidemiology 1995; 48 (1): 167-171. 197. Muir Gray JA.Atención sanitaria basada en la evidencia.Cómo tomar decisiones en gestión y política sa- nitaria. Madrid: Churchill. Livingstone, 1997. 69«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 198. Jadad AR,McQuay HJ. Meta-analyses to evaluate analgesic interventions: a systematic qualitative review of their methodology. Journal of Clinical Epidemiology 1996; 49 (2): 235-243. 199. Lau J, Chalmers TC. The rational use of therapeutic drugs in the 21st century. Important lessons from cu- mulative meta-analyses of randomized control trials. International Journal of Technology Assessment in Health Care 1995; 11 (3): 509-522. 200. Moher D, Olkin I. M e t a - a n a lysis fo randomized controlled trials. A concern for standards; [comment]. Comment on: JAMA 1995; 274 (24): 1935-8. Comment on: JAMA 1995; 274 (24): 1942-8. JAMA 1995; 274 (24): 1962-4. 201. Nony P, Cucherat M,Haugh MC et al. Critical reading of the meta-analysis of clinical trials. Therapie 1995; 50 (4): 339-351. 202. Naylor CD, Guyatt GH, for the Evidence-Based Medicine Working Group. User’s guides to the medical lite- rature. X: how to use an article reporting variations in the outcomes of health services. JAMA 1996; 275: 554-558. 203. Levine M, Walter S, Hui Lee, Haines T, Holbrook A, Moyer V, for the Evidence-Based Medicine Working Group. User’s guides to the medical literature, IV: How to Use An Article About Harm. JAMA. 1994; 271: 1615-1619. Ed. española 1997. 204. Laupacis A , Wells G, Scott Rich a rdson W, Tu g well P, for the Evidence-Based Medicine Working Gro u p. User’s guides to the medical literature, V: How to Use an Article About Prognosis. JAMA. 1994; 272: 234- 237. Ed. española 1997. 205. Fleiss JL, G ross A J. M e t a - a n a lysis in ep i d e m i o l o g y, with special re f e rence to studies of the association b e t ween exposure to env i ronmental tobacco smoke and lung cancer: a critique. Journal of Clinical Epidemiology 1991; 44: 127-139. 206. McMaster Unive r s i t y, D epartment of Clinical Epidemiology and Biostatistics. H ow to read clinical journals, IV: to determine etiology or causation. Canadian Medical Association Journal 1981: 124: 985-990. 207. Richarson WS, Wilson MC, Guyatt GH, Cook DJ, Nishikawa J, for the Evidence-Based Medicine Working Group. User’s guides to the medical literature, XV. How to Use an Article About Disease Probability for Dif- ferential Diagnosis. JAMA 1999; 281 (13): 1214-19. 208. N aylor CD, G u yatt GH, for the Evidence-Based Medicine Working Gro u p. U s e r ’s guides to the medical literature. XI: how to use an article about a clinical utilization review. JAMA 1996; 275: 1.435-1439. 209. Sackett DL, Richardson WS, Rosenberg W, Haynes RB. Medicina Basada en la Evidencia. Cómo ejercer y enseñar la MBE. Madrid, Churchill Livingstone España, 1997. 210. Salmi LR. Lecture Critique et Rédaction Médicale Scientifique.Comment lire,rédiger et publier une étude clinique ou épidémiologique. Paris, Elsevier, 1998. 211. Crombie IK. The Pocket Guide to Critical Appraisal. London, BMJ Publishing Group, 1996. 212. Guyatt GH, Sackett DL, Cook DJ, for the Evidence-Based Medicine Working Group. User’s guides to the medical literature, II: How to Use an Article About Therapy or Prevention.A.Are the results of the study valid?. JAMA. 1993; 270: 2598-2601. Edición española 1997. 213. Guyatt GH, Sackett DL, Cook DJ, for the Evidence-Based Medicine Working Group. User’s guides to the medical literature, II: How to Use an Article About Therapy or Prevention. B. What Were the Results and Will They Help Me in Caring for My Patients?. JAMA. 1994; 271: 59-63. Edición española 1997. 214. Jaeschke R, Guyatt GH, Sakett DL, for the Evidence-Based Medicine Working Group. User’s guides to the medical literature, III: How to Use an Article About a Diagnostic Test. A. Are the Results of the Study Valid?. JAMA. 1994; 271: 389-391. Ed. española 1997. 215. Jaeschke R, Guyatt GH, Sakett DL, for the Evidence-Based Medicine Working Group. User’s guides to the medical literature, III: How to Use an Article About a Diagnostic Test. B. What Are the Results and Will They Help Me in Caring for My Patients. JAMA. 1994; 271: 703-707. Ed. española 1997. 216. Oxman AD, Sackett DL, Guyatt GH, for the Evidence-Based Medicine Working Group. User’s guides to the medical literature, VI: How to Use an Overview. JAMA. 1994; 272: 1367-1371. Ed. española 1997. 217. Richardson WS, Detsky AS, for the Evidence-Based Medicine Working Group. User’s guides to the medical literature, VII: How to Use an article on clinical decision analysis. A: are the results of the study valid?. JAMA 1995; 273: 1292-1295. Ed. española 1997. 218. Richardson WS, Detsky AS, for the Evidence-Based Medicine Working Group. User’s guides to the medical literature, VII: How to Use an article on clinical decision analysis. B: What Are the Results and Will They Help Me in Caring for My Patients?. JAMA 1995; 273: 1610-1613. Ed. española 1997. 219. Hayward RSA, Wilson MC, Tunis SR,Bass EB, Guyatt GH,for the Evidence-Based Medicine Working Group. User’s guides to the medical literature, VIII: How to Use Clinical Practice Guidelines. A. Are the recom- mendations valid?. JAMA. 1995; 274: 570-574. Edición española 1997. 70 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 220. Wilson MC, Hayward RSA, Tunis SR, Bass EB, Guyatt G, for the Evidence-Based Medicine Working Group. User’s guides to the medical literature. VIII: how to use clinical practice guidelines, B: what are the re- commendations and will they help you in caring for your patients? JAMA 1995; 274: 1630-1632. 221. Guyatt GH, Naylor CD, Juniper E,Heyland DK, Jaeschke R,Cook DJ, for the Evidence-Based Medicine Wor- king Group. User’s guides to the Medical Literature. XII: how to use articles about health-related quality of life. JAMA 1997; 277: 1232-1236. 222. Verhagen AP, de Vet HCW, de Bie RA, Kessels AGH, Boers M, Bouter LM, Knipschild PG. The Delphi List: A Criteria List for Quality Assessment of Randomized Clinical Trials for Conducting Systematic Reviews De- veloped by Delphi Consensus. J Clin Epidemiol 1998; 51 (12): 1235-1241. 223. Drummond MF, Richarson WF, O’Brien BJ, Levine M,Heyland D, for the Evidence-Based Medicine Working Group. User’s Guides to the Medical Literature. XIII: How to use an Article on Economic Analysis of Clini- cal Practice. A. Are the Results of the Study Valid? JAMA 1997; 277: 1552-1557. 224. O’Brien BJ, Heyland D, Richardson WS, Levine M, Drummond MF, for the Evidence-Based Medicine Wor- king Group. User’s Guides to the Medical Literature. XIII. How to use an Article on Economic Analysis of Clinical Practice. B. What Are the Results and Will They Help Me in Caring for My Patients?. JAMA 1997; 277: 1802-1806. 225. US Preventive Task Force. Guide to clinical preventive services: an assessment of the effectiveness of 169 interven - tions. Baltimore: Williams and Wilkins, 1989. 226. Bertram DA,Flynn K,Alligood E. Endovascular Placed Grafts for Infrarrenal Abdominal Aortic Aneurysms: A Sys - tematic Review of Published Studies of Effectiveness. Boston, Health Services Research & Development Servi- ce, Veteran Affairs Medical Center. Technology Assessment Program, Report n.º 9. 1998. 227. Jovell AJ, Navarro-Rubio MD. Evaluación de la evidencia científica. Med Clin (Barc) 1995: 105: 740-743. 228. Guyatt GH,Sackett DL,Sinclair JC, Hayward RSA, Cook DJ, Cook RJ, for the Evidence-Based Medicine Wor- king Group. User’s guides to the medical literature, IX: A method for grading health care recommenda- tions. JAMA 1995; 274: 1800-1804. Edición española 1997. 229. Laupacis A, Feeny D, Detsky AS, Tugwell PX. How attractive does a new technology have to be to warrant adoption and utilization? Tentative guidelines for using clinical and economic evaluations. Can Med Assoc J 1992; 146 (4): 473-81. 230. Sackett DL. Rules of evidence and clinical recommendations on the use of antithrombotic agents. Chest 1989; 95 (Supl): 2-3. 231. Canadian Task Force on the Periodic Health Examination. The periodic health examination. Can Med As - soc J 1979; 121: 1193-254. 232. Fryback DG, Thornbury JR. The efficacy of diagnostic imaging. Medical Decision Making. 1991; 11: 88-94. 71«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999