Chocolate, Premios
Nobel y páginas porno: bienvenidos al mundo de las regresiones insólitas.
Álter eco.
Por Sebastián Campanario
| Para LA NACION
Domingo 25 de mayo de 2014
Aquella panzada hogareña de huevos de chocolate en las
últimas Pascuas, que trajo tanta culpa y problemas estomacales, tal vez no haya
sido en vano y dentro de unos años genere un premio Nobel dentro de la familia:
un reciente estudio estableció una muy alta correlación entre consumo de
chocolate per cápita y ganadores del galardón de la Academia Sueca en distintos
países. ¿Suena a vínculo absurdo? Atiendan a estos otros: los estados con más
votos para Barack Obama son aquellos en los que sus ciudadanos más visitan
páginas pornográficas en Internet, y existe una relación muy estrecha entre la
tasa de homicidios y la difusión del uso del Windows Explorer. En 1980, David
Hendry halló una correlación elevada (del 0,998) entre la lluvia acumulada y la
inflación en Inglaterra, con lo cual concluyó que los aumentos de precios
podían explicarse sobre la base de la cantidad de agua que caía del cielo.
Hendry escribió su estudio en broma, para ilustrar el
fenómeno de las "correlaciones espurias". Pero el vínculo entre el
chocolate y los Nobel tuvo una pretensión más seria: el trabajo "Consumo
de chocolate, función cognitiva y premios Nobel" fue publicado en el New
England Journal of Medicine y su autor, Franz Messerli, argumenta que el cacao
mejora el rendimiento cognitivo de las personas y, por lo tanto, en poblaciones
con alta ingesta per cápita de este alimento habrá más chances de incubar
futuros Nobel.
Desde la relación entre legalización del aborto y la baja en
la tasa de criminalidad en los EE.UU. que en su momento llevó a la fama a
Steven Leavitt, el autor de Freakonomics (y
que se demostró falsa en estudios posteriores) hasta la correlación entre
ciclo económico y características de las conejitas de PlayBoy (descubierta por
Thomas Pettijohn), la economía y las ciencias sociales en general comenzaron a
transitar en los últimos años por una cornisa muy delgada que separa al trabajo
académico relevante del ridículo. A tal punto que el padre de la economía del
comportamiento, la rama que toma enseñanzas de la psicología, el Nobel Daniel
Kahneman (¿habrá comido mucho chocolate de chico?) llamó recientemente, en un
mail a colegas, a evitar un "choque de trenes" en las ciencias
sociales por los abusos, errores y casos de fraude que se están detentando en
papers de campos de moda.
A los incentivos tradicionales en las universidades se les
sumaron en forma más reciente el rédito del estrellato mediático, los libros
para consumo masivo, las charlas TED y otros esquemas de premios y castigos que
encumbraron a los estudios empíricos, basados en datos y con conclusiones
contraintuitivas. La situación está preocupando a algunos estudiosos que piden
elevar los estándares de publicación para que las ciencias sociales no terminen
cayendo en el desprestigio absoluto.
Hace casi 20 años, el físico Alan Sokal le dio un golpe de
gracia a la teoría posmoderna con un caballo de Troya intelectual: consiguió
que la hasta ese entonces renombrada revista especializada Social Text le
publicara un paper titulado "Hacia una transformación hermenéutica de la
gravedad cuántica", un escrito hermético, repleto de jerga de moda, pero
cuyo contenido real estaba lleno de barbaridades. Dos décadas después, el
psicólogo Joseph Simmons se propuso un objetivo similar: basado en datos reales
y en estándares metodológicos que serían aceptados por cualquier journal
afamado, llegó a la conclusión ridícula de que "escuchar la canción de los
Beatles «Cuando tenga 64» vuelve a la gente más joven". "El proceso
de armado de los experimentos y análisis de las conclusiones es hoy
prácticamente una caja negra que permite presentar cualquier resultado como
significativo", dijeron Simmons y sus colegas.
Simmons es parte de un movimiento reformista que aboga por
una mejora en los estándares para publicar estudios. Cada año se editan
1.400.000 papers, y en algunos casos se detectan experimentos y datos
directamente inventados. Desde el año 2010, la iniciativa del Retraction Watch
viene catalogando los errores admitidos por publicaciones, que van desde
niveles de plagio elevados (considerando lo fácil que es hoy detectar estos
casos) hasta revisiones hechas por "árbitros fantasma": es común que
se les pida a quienes envían la investigación que sugieran colegas para que
hagan la revisión, y hay quienes sacan casillas de mail apócrifas y se
autocalifican.
Pero más allá de los casos de fraude directo, lo que más
preocupa a Simmons y otros profesores son aquellas conclusiones académicas que
recorren todo el camino de "forma legal", esto es, respetando los
códigos y las limitaciones de la metodología oficial, pero que estuvieron
sujetas a lo que Simmons llama p-hacking, ("hackeo de p"), en
referencia al término que se usa para medir el grado de significancia
estadística (la probabilidad de que algo detectado en una muestra no esté
ocurriendo por azar). Como dice el refrán al respecto: "Si uno tortura a
los números lo suficiente, la naturaleza eventualmente confesará".
Margen de error aceptado
En ciencias sociales, para que un paper llegue a publicarse
se suele exigir un margen de error menor al 0,05: si se replicara el
experimento en cuestión 100 veces, en 95 de los casos deberían obtenerse los
mismos resultados. Pero en estadística hay varias herramientas para manipular
los datos y lograr un "p" menor a 0,05. Brain Nocek, un psicólogo que
investiga en la Universidad de Virginia, analizó centenares de estudios
publicados y halló una concentración inusualmente elevada de "p"
apenas por debajo de 0,05, lo cual es indicativo de que el "hackeo"
estadístico es más común de lo que se cree.
Nocek lanzó su "proyecto de reproducibilidad",
basado en una idea de Roger Bacon en el siglo Xlll: para que las conclusiones
de un estudio sean fuertes, el experimento o muestra que le dio origen debe ser
repetible. Tomando al azar distintos trabajos contemporáneos en ciencias
sociales, Nocek halló que varios no cumplen con este criterio básico.
Para Simmons hay varias medidas que se podrían tomar para
evitar plagios y manipulaciones. Los investigadores podrían ser obligados a
argumentar mejor por qué se utilizó determinado tamaño de muestra o a
transparentar toda la "alquimia" estadística que se haya utilizado,
entre otros requisitos.
Mientras continúe este estado de situación, el "choque
de trenes" al que alude Kahneman será un riesgo permanente para la
academia. Entre tanto, el reinado de los estudios empíricos ya es objeto de
burla y las revistas humorísticas acostumbran tomarse en chiste esto de
"de acuerdo con un estudio?", como certificación de seriedad.
EnThe Onion, la publicación de humor más exitosa del mundo,
esta línea es recurrente y semanas atrás titularon, por ejemplo: "Un
estudio relaciona al consumo de carne y de azúcar con la muerte a edad más
temprana entre aquellos que eligen vivir felices". Y para certificar la
credibilidad de Álter Eco, se informa que todas las conclusiones mencionadas en
esta columna tienen un "p" de 0,049 periódico.
