Sr. Editor:
Gran parte de la investigación biomédica y la realizada en atención primaria, en general, es de tipo observacional y con frecuencia exploran diversos aspectos en pacientes, profesionales e instituciones mediante el uso de cuestionarios y encuestas1. La investigación en servicios de salud y políticas sanitarias encuentran como denominador común unas bajas tasas de respuesta para este tipo de cuestionarios según algunas revisiones sistemáticas2. Históricamente, los factores que más se relacionaban con una buena tasa de respuesta (total de respuestas obtenidas de los cuestionarios finalmente enviados) eran que existiesen incentivos económicos, que se aportasen sobres de respuesta de papel con franqueo pagado y que los cuestionarios fuesen de corta duración1.
Internet ha supuesto un incremento en el número de estos cuestionarios y encuestas, tanto por sus envíos mediantes correos electrónicos en formas de buzoneo masivo, como por encuestas online directamente cumplimentables por los usuarios. Algunas de estas encuestas llegan desde las sociedades científicas, la industria farmacéutica o la propia institución sanitaria. Se podría decir que Internet tendría el potencial de disminuir el tiempo y los costes invertidos en la realización de este tipo de cuestionarios3.
Los editores de las revistas médicas y de tecnologías de la información más en particular, se encuentra cada vez más en la diatriba de decidir sobre la aceptación de artículos relacionados con encuestas donde no se puede determinar claramente la población de estudio. En esos artículos, los principales riesgos de sesgos que podríamos encontrar son el sesgo de no respuesta o de autoselección (efecto del voluntario) y el de la falta de representatividad de la población de Internet4.
Algunas revistas rechazan de forma sistemáticas aquellas encuestas con bajas tasas de respuesta, sin embargo, algunas ideas y encuestas podrían ser muy útiles en la generación de hipótesis. Cada muestra sesgada de una población puede ser una muestra no sesgada de otra población. Y es solo una cuestión de definir para qué población de estudio se están asumiendo las conclusiones que se deriven de los diferentes estudios4. Así, por ejemplo, una encuesta respondida en una muestra de lectores de noticias de un determinado periódico puede no ser representativa del universo de lectores de noticias, que a su vez no es representativo del universo de lectores ni de la población general. Sin embargo, esa muestra sí sería representativa de la población de sus lectores y los resultados podrían ayudar en la generación de hipótesis para esta población.
El hecho de que las encuestas virtuales y sus resultados se incorporen al cuerpo de conocimiento de investigación general, así como su metodología dependerá de la posibilidad de verter inferencia en las conclusiones a partir de muestras de conveniencia. Es ampliamente sabido que no pueden extraerse grandes conclusiones de un muestreo por conveniencia. Existen de hecho propuestas metodológicas basadas en propensity scores siguiendo el modelo de Rubin5 para ajustar las de los resultados de esos articulos.
Estos conceptos con frecuencias son olvidados a la hora de informar de resultados de investigación procedentes de cuestionarios y encuestas. Esto ilustra la importancia de describir de forma detallada y cuidadosa cómo y dónde son llevadas a cabo las diferentes encuestas y cuestionarios. Existen iniciativas similares para informar de resultados de investigación mucho mas conocidas para otros diseños como son CONSORT (ensayos clínicos), STROBE (observacionales) o PRISMA (revisiones sistemáticas) entre otros. Sin embargo, en el STROBE, que sería la aplicable en este diseño, no recoge la especificidad de los detalles a incluir en metodología y los resultados propios de las encuestas.
El objetivo del presente trabajo es adaptar al castellano la directriz de publicación CHERRIES4 para mejorar la descripción de resultados de investigación procedentes de encuestas y cuestionarios de entornos web.
El diseño de investigación que se asocia a este tipo de cuestionarios observacional de tipo transversal. Sin embargo, cuando las encuestas y los cuestionarios se utilicen para la medición de variables resultado principal donde queramos explorar un cambio y cuando estas variables formen parte de otros diseños como los ensayos clínicos, la aceptabilidad de los nuevos cuestionarios decae. En estos casos, la fiabilidad, la validez (lógica, de contenido, de criterio y de constructo) y, sobre todo, la sensibilidad al cambio serán aspectos especialmente importantes que tendrán que verificarse en el caso de usar un cuestionario no validado previamente.
El checklist CHERRIES en castellano
Para aclarar la terminología en relación con la tasa de respuesta, los editores de Journal of Medical Internet Research proponen usar otros términos menos ambiguos: la tasa de visualizaciones, la tasa de participación y la tasa de completado como las 3 medidas a calcular a la hora de informar sobre el grado de participación en un cuestionario. Terminológicamente, en castellano tasa requeriría la existencia del tiempo en el denominador, pero a veces se acepta la traducción para determinadas situaciones, como por ejemplo la tasa de desempleo, donde realmente se habla de proporciones sin la existencia del tiempo en el denominador. En la tabla 1 recogemos los principales términos y elementos de la directriz.
Tabla 1.
Adaptación al castellano de la iniciativa CHERRIESa: elementos a valorar en encuestas online y recomendación para publicaciones que incluyan este tipo de cuestionarios
| Diseño | Describa el diseño de la encuesta | Describa la población objeto de estudio, el marco muestral. ¿Es la muestra una muestra por conveniencia? |
| Aspectos éticos y legales | ||
| Aprobación CEIC | Mencione si el estudio ha sido aprobado por un Comité de Ética. | |
| Consentimiento informado | Describa el proceso de consentimiento informado. ¿Cómo se les informó sobre la duración de la encuesta, sobre qué datos se almacenarían y por cuanto tiempo y sobre quiénes son los promotores y el objetivo del estudio? | |
| Protección de Datos | Describa los mecanismos que se usaron para proteger accesos no autorizados en el caso de que se almacenase algún dato personal. | |
| Desarrollo y pretest | Desarrollo y pilotaje | Describa como se desarrolló la encuesta, incluyendo información sobre si se ha testado la usabilidad y la funcionalidad previa a su difusión. |
| Proceso de reclutamiento y descripción de la muestra que tiene acceso a la encuesta | ||
| Encuesta abierta vs encuesta cerrada | Una “encuesta abierta” es una encuesta disponible para cualquier visitante del sitio web frente a la “encuesta cerrada”, donde sólo está disponible para la muestra que el investigador decida (protegida por contraseña). | |
| Modo de contacto | Indicar si se ha producido o no contacto inicial con los potenciales participantes a través de internet u otro medio. | |
| Publicidad de la encuesta | ¿Cómo se ha publicitado la encuesta? Ejemplos: prensa escrita (periódicos, revistas) o virtual (listas de correos – Si es así, consigne cuales), o anuncios tipo banner (indicar donde se colocaron y su aspecto). Es importante describir el lenguaje usado en los anuncios pues podría influenciar. | |
| Administración de la encuesta | ||
| Web/E-mail | Describa el tipo de e-encuesta utilizado (encuesta en sitio web o enviada por email). Si es tipo email, describa si las respuestas se introducían manualmente en una base de datos o existe un método de captura automático. | |
| Contexto | Describa el Sitio Web (en el caso de listas de correo / grupos de noticias) en el cual se publicó la encuesta. Describa sobre que versaba el sitio web, quién lo visita y que buscan normalmente los usuarios al acceder a este sitio. Discuta hasta qué punto el contenido de la web podría preseleccionar la muestra o influenciar los resultados. Por ejemplo, en una encuesta sobre vacunas esto podría modificarse si se tratase de una web perteneciente a la administración pública. | |
| Voluntariedad/Obligatoriedad | Puntualice si era obligatorio o no realizar la encuesta para acceder a la web, o era voluntaria. | |
| Incentivos | Enumere que tipos de incentivos se ofrecían para su cumplimentación (económicos, premios o descuentos). | |
| Tiempo y fecha | Describa el marco temporal en el que se llevó a cabo la recogida de datos. | |
| Aleatorización del cuestionario | Especifique si se aleatorizan o alternan los elementos de la encuesta para prevenir sesgos. | |
| Adaptación en tiempo real | Uso de cuestionarios adaptados (enumere si determinados ítems del cuestionario se muestran de forma condicional en función del resultados ya recogidos en secciones previas) para reducir la complejidad y el número de preguntas. | |
| Número de ítems | ¿Cuál es el número de ítems por página? Es un factor importante relacionado con la tasa de completado. | |
| Número de pantallas o páginas | ¿En cuántas páginas/pantallas se distribuyó el cuestionario? El número de páginas es un factor importante relacionado con la tasa de completado | |
| Comprobación test completos | ¿Es técnicamente posible verificar la consistencia y el cumplimentado de todos los campos antes de enviar la encuesta? Si esto fue realizado, describa como (JavaScript normalmente). Si la verificación se ha realizado después del momento del envío, especifíquelo. Todos los elementos de la encuesta deberían disponer de una opción de no-respuesta como “no aplica” o “prefiero no especificarlo” y la selección de respuesta única debería prevalecer sobre la opción de selección múltiple. | |
| Posibilidad de revision | Especifique si los Usuarios tenían la posibilidad de cambiar sus respuestas (por ejemplo usando un botón de volver atrás o de “revisión” o mostrando un resumen al final y preguntando sobre si está bien recogido o no) | |
| Tasa de respuesta | ||
| Número de usuarios únicos | Si ofrece número de visualizaciones o tasa de participación, defina como se decide cual es el usuario único o visitante único. Existen varias técnicas posibles basadas en dirección IP, cookies o ambos. | |
| Tasa de visualización (ratio de visualizaciones de la encuesta/número de usuarios únicos) | Total de usuarios únicos que visitan la primera página de la encuesta, dividido por el número de usuarios únicos que visitan la web (esto es distinto del número de visualizaciones de la web). No es raro tener tasa de visualizaciones menores del 0.1% si la encuesta es voluntaria. | |
| Tasa de participación (Ratio of usuarios únicos que aceptan participar/número de visitantes de la primera página de la encuesta) | Total de personas únicas que cumplimentaron la primera página de la encuesta (o aceptaron participar marcando en un checkbox) dividido del número de usuarios que visitó la primera página de la encuesta. Este término con frecuencia se llama también tasa de reclutamiento. | |
| Tasa de finalización (Ratio número de usuarios que finalizan la encuesta/número de usuarios que aceptaron participar) | Total de personas que enviaron la última página del cuestionario dividido sobre el total de aquellos que aceptaron participar. Esto es relevante si el consentimiento informado está en una página separada o la encuesta se desarrolla en diferentes páginas. Esta es una medida importante del nivel de abandono de la encuesta. Tenga en cuenta que “Completar el cuestionario” puede significar tener elementos del cuestionario en blanco. Esta no es una medida de como completo están los cuestionarios. Si necesita una medida para eso use la tasa de completado. | |
| Prevención de entradas repetidas por el mismo usuario | ||
| Uso de cookies | Indique si se utilizaron cookies para asignar identificadores únicos a los visitantes dentro de cada cliente en el ordenador. Si eso fue así, mencione la página en la que se establecía y se leía la cookie así como por cuanto tiempo permanece válida en el equipo del usuario. | |
| Comprobación IP |
Indique si se realizaba comprobación por IP para detector posibles entradas duplicadas del mismo usuario. Si esto es así, mencione el periodo de tiempo en el cuál no se permitía la reentrada desde la misma dirección IP (24 horas, 48 horas). Indique si se impide la duplicidad a partir de la IP antes de completar el cuestionario (tiempo real) o durante el depurado y previo al análisis. Si la duplicidad de IP se permite pero se elimina previa al análisis, indique que entrada es la que se quedaba para el análisis (la primera, la más reciente...) | |
| Análisis del archivo .log | Señale que otras técnica utiliza (si hay) para analizar el archivo .log para la identificación de entradas múltiples. | |
| Registro | En cuestionarios “cerrados” el usuario tiene que registrarse y esto ayuda a prevenir las entradas duplicadas a partir del mismo usuario. Describa si utilizaba este método como se realizaba. Por ejemplo, “la encuesta nunca se volvía a mostrar si ya existía una completada”, o se almacenaban todas junto a un usuario que posteriormente se eliminaba. Si es la última opción, especifique cual de las entradas se quedaba para el análisis. | |
| Análisis | ||
| Manejo de cuestionarios incompletos | Especifique si se analizaron todos los cuestionarios o sólo los que estaban completos en su totalidad. Para usuarios que no avanzaron por todo el cuestionario y se terminaron precozmente, señale si se incluyeron también en el análisis | |
| Manejo de cuestionarios con marcas de tiempo atípicas | Algunos investigadores miden el tiempo que las personas necesitan para completar un cuestionario y excluyen cuestionarios que se enviaron en un período de tiempo muy corto. Si usa esta técnica, especifique el margen de tiempo para el punto de corte de cuales se aceptaban como válidos y como se determina ese punto de corte. | |
| Correcciones estadísticas | Señale si se han utilizado herramientas estadísticas para ajustar la no representatividad de la muestra (por ejemplo peso de ítems o propensity scores). Señale cuales. | |
CEIC: Comité Ético de Investigación Clínica; IP: Internet Protocol.
Fuente: Adaptado de Eysenbach G4.
Bibliografía
- 1.Kellerman S.E., Herold J. Physician response to surveys. A review of the literature. Am J Prev Med. 2001;20:61–67. doi: 10.1016/s0749-3797(00)00258-0. [DOI] [PubMed] [Google Scholar]
- 2.VanGeest J.B., Johnson T.P., Welch V.L. Methodologies for improving response rates in surveys of physicians: A systematic review. Eval Heal Prof. 2007;30:303–321. doi: 10.1177/0163278707307899. [DOI] [PubMed] [Google Scholar]
- 3.Ritter P., Lorig K., Laurent D., Matthews K. Internet versus mailed questionnaires: A randomized comparison. J Med Internet Res. 2004;6:1–10. doi: 10.2196/jmir.6.3.e29. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 4.Eysenbach G. Improving the quality of web surveys: The Checklist for Reporting Results of Internet E-Surveys (CHERRIES) J Med Internet Res. 2004;6:1–6. doi: 10.2196/jmir.6.3.e34. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 5.Rosenbaum P.R., Rubin D.B. The Central Role of the Propensity Score in Observational Studies for Causal Effects. Biometrika. 1983;70:41. [Google Scholar]