Aniversario Perú , noticias Domingo, 13 julio 2014

¿Realmente Nate Silver se equivocó en sus predicciones?

Aniversario Perú

soy Biólogo, PhD. Hobbies: investigador en usos de las TIC, periodismo de datos, nerd, etc.

2014-07-13_Nate_Silver

Nate Silver había hecho sofisticados análisis estadísticos Bayesianos para estimar que Brasil ganaría la Copa del Mundo con una probabilidad del 45% (probabilidad posterior). Sin embargo, la goleada 7-1 que le hizo Alemania a Brasil fue la estocada final a las predicciones futbolísticas hechas por Nate Silver y su web 538. Esto causo revuelo en los medios y muchos titulares resumen una sola idea:

«Nate Silver, el gurú estadístico, se equivocó».

Pero, es cierto que se haya equivocado? En este post argumento que en realidad no sabemos si su predicción fue acertada o equivocada.

Las estadísticas bayesianas

En un post anterior expliqué que la estadística bayesiana no es nada nueva y ya la conocemos desde hace 300 años. Si bien su fundamento, el teorema Bayesiano, es fácil de entender, lo novedoso es el uso de computadoras potentes para poder analizar muchos datos y tratar de predecir el resultado de la Copa del Mundo.

Las estadísticas bayesianas están en todos lados:

  • el filtro de SPAM de tu cuenta de correo usa estadísticas bayesianas para decidir si el email que dice «penis enlargement free» debe ir al SPAM o no.
  • cuando conoces una persona y comienzas una relación amorosa, estás aplicando estadísticas bayesianas todo el tiempo. Si es amable y prodiga cariño, aumentará la probabilidad posterior de que sea escogida como pareja definitiva («hace puntos»). Pero si no aporta en la relación, hace problema y solo te hace pasar malos ratos (su probabilidad posterior disminuirá a tal nivel que decidirás terminar la relación).

Qué implica el tener cierta probabilidad de un evento?

Digamos que tenemos una moneda cualquiera, que no haya sido trucada. Entonces sabemos que si tiramos la moneda al aire habrá 50% de probabilidades que caiga sello.

  1. Hacemos un ensayo de tirar la moneda al aire y cae cara. Sería sensato decir que la probabilidad de 50% de caer sello está errada? No, ya que tenemos muy pocos intentos (muy poca muestra estadística).
  2. Hacemos otro ensayo y vuelve a caer cara. Tenemos 2 ensayos y 2 caras (pero la probabilidad es 50% y la moneda no está trucada). Nuestra predicción está errada? Tenemos muy pocos ensayos para saberlo. Y cuántos ensayos son necesarios para evaluar si la probabilidad 50% es acertada?

Para intentar responder esto hice una simulación en la computadora. Y estos son los datos graficados (luego de 34 intentos obtuve 17 sellos)


La línea gris punteada son los resultados esperados y los puntos azules son los resultados observados producto de tirar monedas al aire y contar el número de sellos.

Nate Silver dijo que Brasil ganaba el mundial con 45% de probabilidad

En su caso solo ha habido 1 ensayo el cual ha tenido como resultado que Brasil no ha ganado la Copa. Decir que Nate Silver se equivocó es equivalente a decir que luego de 1 ensayo con nuestra moneda la probabilidad de 50% de caer sello es equivocada.

Para averiguar si la predicción de 45% es acertada necesitaríamos hacer muchos ensayos, necesitaríamos de muchas copas del mundo con los mismos equipos, los mismos jugadores. Digamos que si hubieran 100 Copas del Mundo y Brasil sale ganador un total de 45 veces, entonces podríamos decir que Nate Silver estuvo acertado. Hacer este tipo de ensayos es fácil con una moneda pero imposible con la Copa del Mundo.

Por lo tanto nunca sabremos si Nate Silver acertó o se equivocó.

A manera de diversión he corrido varias simulaciones con el ejemplo de la moneda para averiguar cuántos ensayos se requieren para obtener la probabilidad posterior teórica de 50%. Este es un gráfico interactivo y puedes variar el número de muestra escogiéndolo desde la equina superior izquierda. El mejor resultado será la curva más angosta que caiga más cercana al 50% teórico.

Se podría hacer una simulación parecida para estimar la cantidad de ensayos requeridos para estimar la probabilidad supuestamente teórica que Brasil ganaba el mundial (45%). El resultado debe ser similar: 1 solo ensayo es insuficiente para decir si la estimación del 45% fue acertada o errada.

Entonces, por qué lo hizo

A Nate Silver se le atribuye la fama de tener don de mando sobre las matemáticas y que estas gustosas le revelan el futuro. Su actual empleador es ESPN, una de las web más importantes sobre deportes. Por lo que creo que no le fue posible negarse a hacer estas predicciones.
Quizá hubiera sido extraño que Nate Silver diga «paso» y no haya hecho ninguna de sus predicciones, ya que para eso fue contratado.

Aniversario Perú

soy Biólogo, PhD. Hobbies: investigador en usos de las TIC, periodismo de datos, nerd, etc.
Secured By miniOrange