Evaluación de sitios web con información sobre medicamentos

Abstract

Aims

To identify websites with information on medicines and assess, using experts, their adherence to codes of conduct and recommendations by the WHO.

Design

Cross-sectional study based on an ad hoc designed questionnaire (performed independently by 2 reviewers). The websites were identified by the Delphi technique (35 experts).

Setting

Websites with information on medicines.

Participants

A total of 35 websites selected by the Delphi technique. An acceptable level of stability was achieved in the third round (interquartile variability; <0.05).

Main measurements

Responsibility, transparency and honesty, authorship of the information, content review policy, privacy and data protection policies, updated information and accessibility. A descriptive analysis of compliance was carried out and the kappa coefficient was estimated to evaluate the agreement between assessors (Fleiss's Criteria).

Results

The National Prescribing Service Limited (NPS), PubMed, British Medical Journal, New England Journal of Medicine, Journal of American Medical Association, The Lancet, Fisterra and National Institute for Health and Clinical Excellence stood out with an overall high fulfilment of the questionnaire. The updated information dimension was the lowest evaluation for the different websites.

Conclusions

The quality of the web sites evaluated varied widely. Although there are several websites, which are detailed in the article, with high overall scores.

Introducción

Con el uso de internet, los pacientes y el personal sanitario pueden tener acceso a un gran volumen de conocimiento biomédico, a través de la información actualizada y los diversos materiales de formación continuada. El desarrollo profesional permite a los sanitarios resolver los problemas usando la evidencia basada en el conocimiento científico, a través de un proceso de reflexión, logrando el traslado del conocimiento a la práctica¹.

Internet se ha convertido en un instrumento fundamental de la transmisión del conocimiento. Sin embargo, para lograr un adecuado desarrollo de las potencialidades de internet en el ámbito sanitario, es necesario que haya confianza en los sitios web que se consultan.

La medición de la calidad de los recursos en la web con información biomédica (revistas electrónicas, guías de práctica clínica, sitios web especializados, etc.) es un tema controvertido. Algunos autores² manifiestan que cualquier medición es subjetiva, pues depende del tipo de información que se requiera en cada momento y de las características y los prejuicios particulares de quien la consume. No obstante, algunos autores sostienen que no todos los profesionales tienen el tiempo, la disposición y la inclinación para utilizar apropiadamente los recursos disponibles ni comprobar la actualidad y la validez de la información³, por lo que sin la medición de la calidad es imposible hacer un buen uso de internet como fuente de conocimientos.

Lo cierto es que la medición de la calidad de las páginas web con información biomédica sigue siendo un tema de gran relevancia, lo cual justifica que en los últimos años se hayan desarrollado múltiples instrumentos y escalas para su medición4, 5, 6. Lo que se busca es promover los sitios web que en ausencia de conflicto de intereses generan mejor información y más facilidades de ordenación de la información seleccionada.

Entre los estudios de la información sobre medicamentos disponible en internet, se identifican dos enfoques. Por una parte, están lo que abordan los aspectos de contenido, centrándose en medicamentos específicos. Se destaca un estudio sobre «sildenafil»⁷ que evalúa cinco dimensiones de calidad de contenido: indicación, dosis, contraindicaciones, interacciones y efectos adversos, y cuatro criterios sobre cuestiones formales de calidad, relacionadas con la autoría y la actualización de la información. Otro estudio de los mismos autores⁸ aborda el análisis de la información de St. John's Wort (hierba de San Juan), un medicamento natural ampliamente utilizado en Estados Unidos y en el centro de Europa.

Otros estudios han desarrollado ampliamente los criterios formales de calidad. Hatfield et al⁹ analizan 4 sitios web con información de medicamentos. El mismo año, otro estudio descriptivo¹⁰ analizaba 12 sitios web con 16 criterios formales de calidad agrupados en cuatro dimensiones: autoridad, autoría, responsabilidad/objetividad y actualización.

En un estudio previo¹¹ se evaluaron 19 sitios web destinados a proporcionar información para la realización de seguimiento farmacoterapéutico, a través de cuatro códigos de conducta (estándares éticos) más usados (el código e-Europe 2002 de Criterios de calidad para páginas web sanitarias, el código de la American Medical Association, el código del Health Summit Working Group y el e-Health Code of Ethics de la Internet Health Coalition).

Este estudio pretende ampliar el ámbito del estudio, identificando y evaluando los sitios web de información sobre medicamentos en general. Se identifican los sitios web con información de medicamentos según un grupo de expertos (a través de la técnica Delphi) y se evalúa la calidad según códigos de conducta, incluyendo la guía de la Organización Mundial de la Salud¹² para la información sobre medicamentos en internet. La guía reúne una serie de recomendaciones sobre cómo obtener información fiable, independiente y comparable sobre productos medicinales en internet¹³ y es el único instrumento específicamente dedicado a este tema.

Método

Tipo de estudio y periodo de realización

Estudio descriptivo de la evaluación de los sitios web de información sobre medicamentos. La recogida de datos se efectuó entre octubre y diciembre de 2006.

Selección de los sitios web

Para seleccionar los sitios web con información de medicamentos, se adoptó una metodología de consenso: la técnica Delphi. Los participantes fueron encuestados a través de medios electrónicos con cuestionarios sucesivos en tres rondas. Cada cuestionario se formuló a partir del análisis de las respuestas dadas en la ronda precedente. Aunque no se comunicaron directamente entre ellos, cada participante influyó sobre la información emitida por los demás, de tal forma que se llegó a un listado consensuado «virtualmente». El procedimiento de selección de expertos y el contenido de los cuestionarios se describen a continuación.

Para la selección de los expertos, se determinaron siete grupos profesionales de interés: docencia e investigación; farmacia comunitaria; farmacia hospitalaria; farmacia de atención primaria; Centros de información de medicamentos (CIM); industria farmacéutica, y sociedades científicas. Con la ayuda de informantes clave se identificaron, entre 2 y 5 profesionales dentro de cada grupo, quienes cumplían con los siguientes criterios: poseer un nivel de conocimientos reconocido sobre las fuentes de información de medicamentos y considerarse competente en el uso de las tecnologías de la información, especialmente internet.

Confirmaron su participación en el proyecto 25 expertos y expertas españoles. Posteriormente fueron encuestados a través de medios electrónicos en tres rondas consecutivas. En la primera ronda se les preguntó sobre los sitios web recomendados y una valoración de 1 a 5, agrupados según seis tipos de recursos web¹⁴: revistas, bases de datos, boletines de información de medicamentos, agencias de medicamentos, información para pacientes y otras fuentes de información. En la segunda y la tercera ronda se incluía un campo para indicar el grado de recomendación para cada página web e información adicional con algunas medidas de tendencia central y dispersión de las respuestas del grupo en la ronda anterior. En la ronda 2 se informó del número de expertos que recomendaban cada página y la puntuación de la recomendación total en la primera ronda. Para la ronda 3 se incluyó además la recomendación media de cada página en la segunda ronda.

Las respuestas de los expertos se han analizado con el nivel de estabilidad¹⁵, que supone que no haya variación significativa de las opiniones de los expertos en rondas sucesivas, independientemente del grado de convergencia alcanzado. Se ha utilizado la técnica de variación del intervalo intercuartílico relativo, que se calcula a partir de:

$$\mathrm{RIR}=(Q_3-Q_1)/Q_2$$

donde RIR es el intervalo intercuartílico relativo; Q₃ es el tercer cuartil o percentil 75; Q₂, el segundo cuartil o mediana, y Q₁, el primer cuartil o percentil 25.

$$\mathrm{\Delta }\mathrm{RIR}=({\mathrm{RIR}}_k-{\mathrm{RIR}}_{k-1})$$

donde ΔRIR es la variación del intervalo intercuartílico relativo; k, la ronda actual, y k−1, la ronda anterior.

Evaluación de sitios web seleccionados

Para este estudio se diseñó un cuestionario que incluye todos los aspectos a los que hacen referencia los cuatro códigos de conducta de más prestigio a partir de un estudio previo¹¹: el código de la American Medical Association [AMA] (2000), el e-Health Code of Ethics de la Internet Health Coalition (2002), el código del Health Summit Working Group [Summit] (1997), el código e-Europe 2002: Criterios de calidad para páginas web sanitarias y además, y las recomendaciones de la guía de la OMS para buscar información fiable sobre medicamentos en internet¹².

Las dimensiones de calidad consideradas fueron: responsabilidad, transparencia y honestidad; autoría de la información; política editorial; protección de datos personales y privacidad; actualización de la información, y accesibilidad. También se ha evaluado, dentro de la dimensión «Responsabilidad, transparencia y honestidad», si los sitios web presentaban sellos de calidad (HON Code, WMA, W3C DobleU, WMC, entre otros). Para la valoración de los ítems relacionados con autoría y actualización, se revisaron los documentos que brindaban información sobre el medicamento clozapina, quedando a juicio de los evaluadores la selección de un documento específico. Los ítems incluidos en cada dimensión y el cuestionario diseñado se describen en el anexo disponible en internet.

Cada sitio web fue evaluado separadamente con los mismos instrumentos por dos evaluadores distintos, con la intención de soslayar las limitaciones que conlleva evaluar un medio dinámico con tantas alternativas de entrada y de navegación como es un sitio web. Los evaluadores recibieron una sesión de formación que incluía una revisión teórica del tema de evaluación de sitios web con información biomédica y la evaluación conjunta de un sitio web dirigido a pacientes.

Para el análisis de los datos, se calculó entonces el porcentaje de cumplimiento para cada dimensión del siguiente modo:

$$\%\mathit{Cump}=\frac{{\sum }_{j=1}^m{\sum }_{i=1}^n\mathit{Xij}}{P_{\mathrm{m}\acute{\mathrm{a}}\mathrm{x}}\times n\times m}\times 100$$

donde X es la puntuación del ítem; i es el ítem del criterio; n, el número total de ítems; j, el evaluador; m, el número total de evaluadores, y P_máx, el valor máximo posible.

Si el cumplimiento se encontraba por debajo del percentil 33, entre el percentil 33 y el 66, o por encima del percentil 66, se categorizó en cumplimiento bajo, medio y alto.

Por este motivo se evaluó la concordancia que hubo entre los dos evaluadores en las dimensiones de calidad según códigos de conducta. Se consideraron los criterios de Fleiss para valorar el índice kappa: κ<0,001, pobre; κ 0,01–0,2, ligera; κ 0,21–0,4, considerable; κ 0,41–0,6 moderada; κ 0,61–0,8, substancial y κ 0,81–1, casi perfecta.

Resultados

Selección de páginas web con información de medicamentos

En la primera ronda, la tasa de respuesta fue del 100% (25 profesionales). Los expertos identificaron 178 sitios web con información de medicamentos, de los que se seleccionaron 45 que habían sido recomendados por tres o más expertos. En la segunda y la tercera ronda, dos expertos abandonaron el estudio y la tasa de respuesta bajó al 92%. En la tercera ronda se alcanzó un nivel de estabilidad aceptable para detener el proceso (variación del intervalo intercuartílico<0,05). Se elaboró una lista de 35 sitios web, agrupándolos por el tipo de recurso (tabla 1).

Tabla 1.

Listado de 35 sitios web más recomendadas por los expertos

URL	Descripción
Agencias
http://www.emea.europa.eu/	Agencia Europea de Medicamentos
http://www.fda.gov	Food and Drug Administration (FDA)
http://www.fda.gov/cder/	Center for Drug Evaluation and Research (CDER)
http://www.nps.org.au/site.php?page=1&content=/resources/content/healthpro_home.htm	National Prescribing Service Limited (RADAR) del Australia National Prescribing Service Ltd (NPS)
Bases de datos
http://itsnt14.its.uiowa.edu/	Base de datos IDIS/Web de la University of Iowa
http://pfarmals.portalfarma.com/default.asp	BOT (Base de datos de medicamentos del Consejo General de Colegios Oficiales de Farmacéuticos)
https://sinaem4.agemed.es/consaem/fichasTecnicas.do?metodo=detalleForm	Fichas técnicas de especialidades farmacéuticas (Base de datos de la Agencia del Española del Medicamento)
http://www.emartindale.com/	Martindale
http://www.micromedex.com/	Micromedex (Thomson Healthcare Evidence)
http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?DB=pubmed	PubMed, Biblioteca Nacional de Medicina de Estados Unidos e Institutos Nacionales de Salud
http://www.rxlist.com	Base de datos The Internet Drug Index
http://www.tripdatabase.com	Base de datos TRIP
http://www.update-software.com/clibplus/clibpluslogon.htm	Cochrane Library Plus
Boletines de medicamentos
http://www.cfnavarra.es/WebGN/SOU/publicac/BJ/inicio.htm	Boletín de información terapéutica de Navarra
http://dtb.bmj.com/	Drugs and Therapeutics Bulletin (DTB) del grupo editorial BMJ
http://www.easp.es/web/cadime/index.asp?idSub=303&idSec=303&idCab=303	Boletín del Centro Andaluz de Documentación e Información de Medicamentos (CADIME)
http://www.icf.uab.es/informacion/boletines/bg/asp/bg_e.asp	Butlletí Groc (Boletín Amarillo)
http://www.medletter.com	The Medical Letter
http://www.npc.co.uk/merec_index.htm	Publicaciones MeReC del National Prescribing Centre (NPC) del Sistema Nacional de Salud Británico (NHS)
http://www9.euskadi.net/sanidad/cevime/infac_c.htm	El Boletín INFAC del Centro Vasco de Información de Medicamentos
CEVIME-MIEZ
http://www.prescrire.org/	Revista francesa publicada por la asociación sin ánimo de lucro «Mejor Prescribir» (AMP)
http://www.ukmi.nhs.uk/Med_info/default.asp	UK Medicines Information. Servicio de información sobre medicamentos del Sistema Nacional de Salud Británico (NHS)
Revistas
http://bmj.bmjjournals.com	British Medical Journal
http://content.nejm.org/	The New England Journal of Medicine
http://jama.ama-assn.org	The Journal of the American Medical Association
http://www.jr2.ox.ac.uk/bandolier/	Bandolier. Revista independiente sobre asistencia sanitaria basada en la evidencia
http://www.theannals.com	The Annals of Pharmacotherapy
http://www.thelancet.com	The Lancet
Otros
http://www.druginfozone.nhs.uk/home/default.aspx	National electronic Library for Medicines (NeLM) del Servicio Británico de Salud (NHS). Antes conocida como DrugInfoZone
http://www.elrincondesisifo.es/	Web farmacoterapéutica elaborada por Carlos Fernández Oropesa
http://www.fisterra.com	Portal de información y recursos prácticos para profesionales sanitarios
http://www.keele.ac.uk/depts/mm/MTRAC/	Midlands Therapeutics Review and Advisory Committee (MTRAC). Comité independiente de profesionales sanitarios de la Universidad de Keele (Reino Unido)
http://www.medscape.com/druginfo	Sistema de información sobre medicamentos de Medscape, filial de WebMD Health Professional Network.
http://www.nice.org.uk/	National Institute for Health and Clinical Excellence (Reino Unido)
http://www.worstpills.org/	Public Citizen's Health Research Group (Estados Unidos)

Evaluación de sitios web seleccionados

Los resultados generales y por dimensión de la evaluación de la calidad según códigos de conducta se presentan en la a través de la representación gráfica de cumplimiento y agrupados por tipo de recurso y en orden decreciente de calificación general.

Esquema general del estudio. Selección de sitios web sobre medicamentos mediante el consenso de expertos usando la técnica Delphi y evaluación de acuerdo con códigos de conducta.

Los sitios web con un cumplimiento general alto fueron: en el apartado de agencias, el National Prescribing Service Limited (NPS) de Australia; en el de bases de datos, PubMed; en el de revistas destacaron British Medical Journal, New England Journal of Medicine, Journal of American Medical Association y The Lancet, y finalmente, en el apartado de otros, destacaron Fisterra y National Institute for Health and Clinical Excellence. La mayoría de los sitios web de boletines de medicamentos evaluados presentaron un cumplimiento medio: Prescrire, El Boletín INFAC del Centro Vasco de Información de Medicamentos CEVIME-MIEZ, Drug and Therapeutics Bulletin (DTB), UK Medicines Information, Boletín del Centro Andaluz de Documentación e Información de Medicamentos (CADIME) y Boletín de información terapéutica de Navarra.

La dimensión con menos sitios web con cumplimiento alto fue la de actualización de la información, pues sólo se encontraron 5 sitios web con la mayor valoración entre los 35 evaluados. También destaca la autoría como la dimensión con mayor número con cumplimiento bajo (16 sitios web). Las demás dimensiones aparentemente concordaron con la valoración general de los sitios web.

Análisis de la concordancia entre evaluadores

En general, se observó un nivel de concordancia «considerable» según los criterios de Fleiss para todas las dimensiones de calidad (Cumplimiento general, 0,39; responsabilidad, 0,402; política editorial, 0,38; protección de datos, 0,38; autoría, 0,38; actualización, 0,36), excepto para «accesibilidad», donde el nivel de concordancia fue «ligero» (0,17).

Discusión

El listado de sitios web con información de medicamentos obtenido en este estudio y la evaluación de su calidad pueden ser de gran utilidad para que los profesionales sanitarios y los ciudadanos puedan acceder más fácilmente a esta información relevante. La evidencia sobre la calidad de los sitios web aumentaría la confianza en la información que se obtiene y minimizaría la exposición a información no contrastada o falsa, con lo que se promovería la autonomía del usuario⁶.

La aplicación de la técnica Delphi a través de medios electrónicos es uno de los aportes metodológicos de este estudio (internet, correo electrónico); aunque ya ha sido validada en diversos trabajos que requerían el consenso de expertos15, 16, 17, no existen muchas publicaciones que la hayan utilizado.

La evaluación de calidad de sitios web es un campo complejo por diversas razones. En primer lugar, como sucede con ciertos atributos psicológicos, la calidad no puede ser medida directamente como el peso o la longitud; la calidad es un constructo²¹, y definir un constructo no es lo mismo que medirlo. Por ello, la definición operativa del constructo de calidad en este estudio está basada en el prestigio y el consenso de las organizaciones que han elaborado los códigos de conducta más importantes, como la Comisión Europea y la Asociación Americana de Medicina.

Por otra parte, internet es un medio con una dinámica muy activa, los sitios web generalmente tienen múltiples páginas y existen muchas formas de navegar (con combinaciones de posibilidades de circulación dentro de un sitio web prácticamente imposibles de calcular), por lo que puede afectar a la subjetividad del usuario al momento de catalogar un sitio web como de calidad o de mala calidad, etc. Estas limitaciones se podrían traducir en falta de concordancia entre evaluadores. Como estrategia para intentar controlar este hecho, se decidió utilizar a dos evaluadores distintos y entender la falta de concordancia como un indicador de falta de claridad en el sitio web.

Dado el dinamismo de internet, los resultados de este estudio tendrían una validez temporal, y el listado de sitios web podría variar con el paso del tiempo. No obstante, la selección realizada por el grupo de expertos y algunos aspectos de su calidad coinciden en gran medida con informes de recursos previos y actuales18, 19, 20, 21, si bien la metodología utilizada en algunos de ellos no es comparable¹⁸.

Es de destacar que la actualización de la información es el aspecto con más necesidad de mejora en los sitios web evaluados. Eso coincide con otros estudios22, 23, 24, que encuentran que la mayor deficiencia y causa de la mala calidad de los sitios web es la actualización de su información. Este estudio coincide en los resultados con el de Formigós et al²⁵ efectuado en sitios web con información para 14 medicamentos. Si bien utiliza una metodología diferente, las conclusiones son similares en tanto que la calidad de los sitios web sobre medicamentos dista aún de la excelencia.

A la vista de la incertidumbre sobre la calidad de la información sanitaria disponible en internet⁵, los profesionales necesitan acceder a estos sitios con más seguridad. La evidencia sobre la calidad de los sitios web puede aumentar la confianza en la información que se obtiene y minimizar la exposición a información no contrastada o falsa²⁶.

Lo conocido sobre el tema

• •Internet se ha convertido en un instrumento fundamental de la transmisión del conocimiento. Sin embargo, para lograr un adecuado desarrollo de sus potencialidades en el ámbito sanitario, es necesario que haya confianza en los sitios web que se consultan.
• •La medición de la calidad de las páginas web con información biomédica sigue siendo un tema de gran relevancia, lo cual justifica que en los últimos años se hayan desarrollado múltiples instrumentos y escalas para su medición.

Qué aporta este estudio

• •Se ha efectuado una evaluación exhaustiva de los sitios web incorporando no sólo la adecuación a los códigos de conducta, sino también las recomendaciones de la Organización Mundial de la Salud para información fiable sobre medicamentos en internet.
• •El listado de sitios web con información de medicamentos obtenido en este estudio y la evaluación de su calidad pueden ser de gran utilidad para que los profesionales sanitarios y los ciudadanos puedan acceder más fácilmente a esta información relevante.
• •La evidencia sobre la calidad de los sitios web aumentaría la confianza en la información que se obtiene y minimizaría la exposición a información no contrastada o falsa.