Criterios de autoridad en la ciencia contemporánea (y II): la estadística

La naturaleza es ordenada, pero no porque así lo sea en realidad, sino porque desde una perspectiva humana no se puede comprender lo caótico. Aprehendemos un universo que contiene leyes universales, ciclos, tendencias inamovibles… Si no fuera así, si no tuviéramos la capacidad de reducir la naturaleza a un conjunto limitado y predecible de acontecimientos, nos sería imposible soñar con poseer, acaparar, y utilizarla. Necesitamos, pues, orden en la información que nos llega del exterior, aunque eso no implica obligatoriamente que esa naturaleza, que está en relación con nosotros, siga única y exclusivamente esas leyes, ciclos y tendencias inamovibles que nosotros hemos descubierto. Todo lo que tiene de caótico la naturaleza, bien lo despreciamos casi de modo automático, inconsciente, bien aceptamos nuestra incapacidad, aunque con la esperanza de que algún día podremos llegar a ordenar y comprender esos datos embarullados.

La ciencia moderna, a través del empirismo y el método científico, produce cantidades ingentes de datos que pueden ser estandarizados, transformados en números y encerrados dentro de una tabla de filas y columnas. Estos datos matemáticos son filtrados a través de fórmulas matemáticas estadísticas, las cuales ofrecen unos resultados que pueden ser interpretados por los científicos. Con el advenimiento de los superordenadores, se pueden aplicar sofisticados algoritmos matemáticos a tablas cada vez más extensas y complejas de datos. Muchas veces el público solo tiene acceso al resultado final de esos estudios, sin poder acceder a ese algoritmo responsable de tal resultado.

La estadística, pues, se ha convertido en un elemento clave de poder dentro de las disciplinas científicas: quien posee los medios y el conocimiento necesario, puede ordenar datos masivos e ilegibles. Y según sea el método de ordenamiento de datos empleado, así se obtendrá un resultado u otro. Eso se observa, sobre todo, en los ensayos clínicos con medicamentos novedosos, en los que una gran compañía farmacéutica puede haber invertido importantes fortunas. Los métodos estadísticos de los ensayos clínicos que tienen obligación de publicar antes de que ese fármaco pueda ser utilizado por el gran público (Ensayos clínicos de fase I, II y, sobre todo, III) generalmente están trufados de irregularidades, excepciones mal explicadas o, directamente, mentiras estadísticas. Es por ello que, desde las instituciones que velan por la seguridad de los medicamentos, se exige, entre otras cosas, que el método estadístico que se vaya a emplear esté definido antes de iniciar el ensayo clínico. Simplemente porque, si yo pudiera elegir el método estadístico, una vez que he recopilado mis datos, no tendría problema alguno en probar decenas o cientos de posibilidades hasta dar con la que mejor se adapte a la hipótesis que quiero comprobar. Pero, hecha la ley, hecha la trampa: porque, mucho antes de que un ensayo clínico se haya puesto en marcha, los expertos estadistas ya han pronosticado a priori qué resultados van a obtenerse y, en base a esos pronósticos, se pueden diseñar métodos estadísticos que beneficien al novedoso medicamento.

Un ejemplo de esta manipulación estadística ad hoc se puede observar en el artículo publicado por la prestigiosa revista médica New England Journal of Medicine en octubre de 2017: Romosozumab versus Alendronate and Fracture Risk in Women with Osteoporosis. En este ensayo clínico, patrocinado por la empresa farmacéutica Amgen se comparan los resultados en términos de disminución de riesgo de fractura (vertebral y no vertebral) en pacientes con alto riesgo de fractura osteoporótica. Se compara el gold-standard, que es el alendronato, con una nueva farmacopea fabricada y comercializada por Amgen, denominada romosozumab.

 

nejmoa1708322_f2

Como se observa en la figura de arriba, nos ofrecen los resultados de disminución de riesgo de fractura vertebral a los 12 y 24 meses en términos de riesgo relativo (el romosozumab disminuye el riesgo relativo de sufrir una nueva fractura vertebral en un 48%) y, aunque no nos ofrecen el valor del riesgo absoluto, que es el que realmente interesa al médico y al científico, se puede extraer fácilmente de la gráfica y de los datos incluidos en el artículo: 5,7%. El resultado es significativamente estadístico (p<0,05).

También nos ofrecen una disminución de fracturas “clínicas”, un burdo composite que mezcla resultados de fracturas vertebrales clínicas (esto es, las que duelen), con fracturas no vertebrales (cadera, hombro, muñeca…). Aunque sigue siendo significativamente estadístico, no podemos calcular ni el riesgo relativo, ni el absoluto, pues los datos se ofrecen en relación al hazard ratio, una razón de impacto que está relacionada con el tiempo, y a partir de la cual no se puede calcular el riesgo absoluto.

No es azar esta composición de resultados. Si nos ofrecen unos datos muy transparentes en relación a la reducción del riesgo de fractura vertebral, es porque, a priori, sabían que estos resultados iban a ser buenos (no en vano el romosozumab se comporta como otra medicación antiosteoporótica, la teriparatida, cuya literatura muestra un importante descenso de las fracturas vertebrales). En el caso de las fracturas no vertebrales, se podía suponer que la reducción iba a ser similar a la del alendronato. Pero había que ocultar esa información. Primero, oscureciendo toda la posibilidad de intervención estadística de interés, impidiendo todo cálculo del riesgo absoluto o Número de Pacientes Necesario a Tratar (en inglés, NNT). Segundo, confundiendo a los lectores con el composite de fracturas “clínicas”: se mejoran así los resultados de las fracturas no vertebrales a costa de la disminución estadísticamente significativa de las fracturas vertebrales.

 

Captura

Podríamos ir a los suplementos del artículo para encontrar información más detallada respecto a las diferencias entre el alendronato y romosozumab. Pero no. Como se puede observar en la figura anterior, los datos se publican fragmentados en tres epígrafes. El primero, disminución de las fracturas en los primeros 12 meses. Nos ofrecen 10 ítems diferentes, bien claros y establecidos. Sin embargo, los resultados a los 24 meses se dividen en un supuesto “análisis a los 24 meses”, y un turbio “análisis primario”. Se podrían haber ofrecido los datos a 2 años, tal como se muestran en los primeros 12 meses. Posiblemente la razón de esta segregación se debía a que existían dudas sobre los resultados a 24 meses con el romosozumab, y se decidió alterar a priori el método estadístico para cubrirse las espaldas en caso de fracaso. No fue así, y el romosozumab logró resultados tímidamente mejores que el alendronato, incluso a 24 meses.

El ordenamiento  de los datos es tan indispensable para la comprensión de la naturaleza desde el punto de vista científico, que las estadísticas poseen cierto componente de criterio de autoridad: si un resultado demuestra su validez y consistencia desde la estadística, entonces se considera verdadero. Si el romosozumab demuestra que es estadísticamente superior al alendronato en la reducción de fracturas osteoporóticas, entonces hay que creerlo. Y la propaganda farmacéutica de Amgen nos querrá convencer de las bondades del romosozumab, medicación que la FDA ha tenido bajo sospecha por graves eventos cerebrovasculares.

Sin embargo, una lectura sosegada de este artículo delata una verdad: que solo se van a beneficiar del romosozumab 1 de 18 pacientes, y nada más que en disminución de fracturas vertebrales. En cuestión de fracturas más graves, como la de cadera, alendronato y romosozumab son casi equivalentes. El tratamiento anual de alendronato cuesta en EEUU 90$. El de romosozumab, 21.900$. Evitar una fractura vertebral con romosozumab, respecto al alendronato, saldría al erario público casi 400.000$. Pero eso no se dice en el artículo. Y no hay en él ningún dato que nos oriente hacia este cálculo.

Toda estadística implica una manipulación. Por ello, resulta peligrosa esa tendencia contemporánea a elevar a esta ciencia matemática al trono de las autoridades sagradas. Si se aceptan la limitaciones de la estadística, la existencia de datos-clave que no pueden ser descritos matemáticamente (y son excluidos de la estadística) y que los algoritmos matemáticos que se utilizan han sido diseñados por personas humanas con sesgos, deseos, necesidades y ambiciones, entonces la lectura de estos datos supondrá un útil formidable a la hora de tomar las decisiones más acertadas en el día a día

 

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s