La estadística para detectar las palabras clave de un relato

Eduardo Altmann (Instituto Max Planck para la Física de Sistemas Complejos) y sus colegas  Giampaolo Cristadoro y Mirko Degli Esposti (Universidad de Bolonia) han estudiado con la ayuda de métodos estadísticos cómo las letras y las palabras se correlacionan con la trama de un libro.

Alicia Martín, “Poliglotas“, 2003.

Según sus investigaciones, lo que hace que una palabra sea clave dentro un texto no es el hecho de que aparezca con mucha frecuencia, sino que aparezca en abundancia en determinados lugares del texto.

Estos científicos han estudiado matemáticamente las propiedades semánticas de los textos, traduciendo para ello diez libros -como la edición de inglesa de Guerra y Paz de León Tolstoi- escritos en inglés a diversos códigos.

Por ejemplo, uno de los experimentos realizados ha sido el de trasladar las letras de un texto a una secuencia binaria, reemplazando las vocales por 1 y las consonantes por 0.  Usando otras funciones matemáticas, han examinado diferentes niveles del texto -vocales, letras, palabras completas, etc.- traducidas a diferentes códigos. De este modo, han podido identificar patrones repetitivos dentro del texto visto como un todo.

Los científicos han comprobado -entre otros muchos aspectos- que la frecuencia de aparición de determinadas palabras no tiene necesariamente que ver con su importancia en el texto -por ejemplo, los artículos no transmiten información relevante-; es necesario ver en que lugar se encuentran. Además, este análisis estadístico -que intenta estudiar la relevancia de determinadas palabras en el argumento de un relato-  no depende del idioma del escrito: lo importante es la propia historia y no las normas específicas del lenguaje.

Estos resultados podrían utilizarse en el futuro para mejorar los motores de búsqueda en Internet, y también podrían ayudar a analizar los textos en búsqueda de posibles plagios.

Visto en las Noticias del Max Planck Institute for the Physics of Complex Systems

Más información:

  • Eduardo G. Altmann, Giampaolo Cristadoro and Mirko Degli Esposti, On the origin of long-range correlations in texts, PNAS 2012 109 (29) 11582-11587; doi:10.1073/pnas.1117723109 [abstract y pdf completo]
  • Eduardo G Altmann, Janet B Pierrehumbert and Adilson E Motter, Beyond Word Frequency: Bursts, Lulls, and Scaling in the Temporal Distributions of Words, PLoS ONE (2009) vol 4, Issue 11, doi: 10.1371/journal.pone.0007678 [abstract]
  • Decodificando con ayuda de la estadística, Matematicalia, Noticias, 18 de agosto de 2009
  • La huella literaria, Matematicalia, Noticias, 10 de diciembre de 2009

1 Response to “La estadística para detectar las palabras clave de un relato”


  1. 1 Marta MS 26/07/2016 a las 08:10

    Reblogueó esto en Martams's Blogy comentado:

    #HaceCuatroAños La estadística para detectar las palabras clave de un relato.

    Me gusta


Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s




UPV/EHU
UPV/EHU
UPV/EHU
Premio a la Mejor Entrada de marzo del Carnaval de Física 2014: El lago elgygytgyn (por Marta Macho)
Premio Mejor Post en la VII Edición del Carnaval de Humanidades..Gracias a Marta Macho
Premio a la Mejor Entrada de la Edición 4.1231 del Carnaval de Matemáticas.

Egutegia | Calendario

julio 2012
L M X J V S D
« Jun   Ago »
 1
2345678
9101112131415
16171819202122
23242526272829
3031  

Artxiboak | Archivo

Estatistika | Estadística

  • 2,520,968 sarrerak | visitas

RSS Noticias UPV/EHU

  • Ha ocurrido un error; probablemente el feed está caído. Inténtalo de nuevo más tarde.

RSS UPV/EHU Albisteak

  • Ha ocurrido un error; probablemente el feed está caído. Inténtalo de nuevo más tarde.

RSS Eventos UPV/EHU

  • Ha ocurrido un error; probablemente el feed está caído. Inténtalo de nuevo más tarde.

RSS UPV/EHU Ekitaldiak

  • Ha ocurrido un error; probablemente el feed está caído. Inténtalo de nuevo más tarde.

A %d blogueros les gusta esto: