Semi-automatic generation of a corpus of Wikipedia articles on science and technology

Abstract

 

 

 

 

A pesar de la gran cantidad de contenido cientí­fico y tecnológico disponible en la World Wide Web, su mayorí­a se encuentra encerrado tras sistemas de pago, como las revistas académicas, o es casi invisible, como los repositorios institucionales. Wikipedia puede actuar como un agente de transferencia, proporcionando una estructura organizada y accesible conteniendo tanto contenidos como enlaces a las fuentes originales. En Wikipedia las categorí­as se han cread colaborativamente y por lo tanto son más una folksonomí­a que una verdadera taxonomí­a. Consecuentemente, las categorí­as no son una herramienta válida para identificar la organización de los contenidos. En este artí­culo se describe un método semi-automático, basado en paseos aleatorios, para determinar un subconjunto de páginas con contenido cientí­fico y tecnológico de la Wikipedia española. Usando la taxonomí­a Unesco, se determina la estructura subyacente del grafo del corpus y se detectan grupos de páginas fuertemente enlazadas, estableciendo las relaciones entre las áreas de conocimiento. Finalmente, se presenta la distribución de artí­culos de Wikipedia de acuerdo con la taxonomí­a Unesco y el mapa resultante de contenido cientí­fico y tecnológico.

Abstract

Despite the huge amount of scientific and technological content available on the World Wide Web, most of it is closed behind paywalls, as with academic journals, or almost invisible, as with institutional repositories. Wikipedia can act as a chain-transfer agent, providing people with an accessible, organized structure containing both understandable content and links to original sources. In, categories are collaboratively created and thus become a folksonomy rather than a true taxonomy. Consequently, categories are not a reliable tool to identify topics´ organization. In this paper we describe a semi-automatic method, based on random walks, for determining a subset of pages containing scientific and technological content in the Spanish Wikipedia. Using the Unesco taxonomy, we determined the underlying graph structure of our corpus and detected clusters of pages strongly linked, establishing relationships between knowledge domains. Finally, we present the distribution of Wikipedia articles according to the Unesco taxonomy and the resulting map of scientific and technological content.