Benchmarking Semantic Web technology

UniversidadPolit´ecnicadeMadrid Facultad de Inform´atica Doctoral Thesis Benchmarking Semantic Web technology Author: Raul´ Garc´ıa Castro Advisor: Prof. Dr. Asunci´on G´omez P´erez July 2008iiiii A los padres A mi abuela Mar´ıaivAgradecimientos La elaboraci´on de esta tesis a lo largo de los ultimos´ anos˜ me ha costado muchosudor,perotodaslasl´agrimashanbrotadoenlaescrituradeestap´agina. Lo primero ha sido muy f´acil comparado con lo segundo. Esta tesis est´a dedicada a Tom´as, mi padre, quien me ha hecho ser como soy, pensar como pienso y luchar como lucho. Me he esforzado en ella, aun´ sabiendo que ´el no podr´a ver los resultados, pero intentando que se sintiera orgulloso de ellos y de m´ı mismo. Adem´as, tengo que agradecer a D´acil y a toda mi familia (a todas mis fa- milias), a los que vienen y a los que se van, toda la comprensi´on, el carino˜ y el apoyo mostrado no s´olo durante estos anos,˜ sino durante toda mi vida. No obstante, sacar adelante una tesis no es un trabajo solitario. Antes que a nadie debo nombrar a Asun, por todo lo que me ha ensenado,˜ a Charo, por haber convertido mis textos ilegibles en textos ilegibles en correcto ingl´es, y a Holger, por toda su ayuda y buenos consejos. Tambi´en quiero mencionar a toda la gente del grupo, ya que sin ellos no se aguantar´ıan ni las cosas buenas ni las malas del d´ıa a d´ıa, y a todos aquellos con los que he trabajado en estos ultimos´ anos.˜ Finalmente, quiero dar gracias a toda la gente que me ha ayudado, ya sea en mayor o menor medida, en las actividades de benchmarking realizadas en esta tesis: la gente con la que he trabajado en el grupo: Stefano, Jesus,´ Silvia y Mois´es; todos aquellos que participaron en el RDF(S) Interoperability Bench- marking: Olivier Corby, York Sure, Moritz Weiten y Markus Zondler; y los que participaron en el OWL Interoperability Benchmarking: Stamatia Dasiopoulou, Danica Damljanovic, Michael Erdmann, Christian Fillies, Roman Korf, Diana Maynard, York Sure, Jan Wielemaker, y Philipp Zaltenbach. Sin su esfuerzo esto no habr´ıa sido posible. Madrid, mayo de 2008 vviAbstract Semantic Web technologies need to interchange ontologies for further use. Due to the heterogeneity in the knowledge representation formalisms of the differentexistingtechnologies,interoperabilityisaproblemintheSemanticWeb and the limits of the interoperability of current technologies are yet unknown. AmassiveimprovementoftheinteroperabilityofcurrentSemanticWebtech- nologies,orofanyothercharacteristicofthesetechnologies,requirescontinuous evaluations that should be defined and conducted in consensus, using generic, reusable, freely-available, and affordable tools and methods. This thesis presents the following contributions to the field of benchmarking within Semantic Web technologies: It proposes a benchmarking methodology for Semantic Web technologies. It defines the UPM Framework for Benchmarking Interoperability, an evaluation infrastructure that includes all the resources (experiment def- initions, benchmark suites and tools) needed for benchmarking the in- teroperability of Semantic Web technologies using RDF(S) and OWL as interchange languages. It describes two interoperability benchmarking activities carried out over Semantic Web technologies and provides detailed interoperability results ofthetoolsthatparticipatedinthem;theRDF(S)InteroperabilityBench- marking that contemplates interoperability using RDF(S) as the inter- change language, and the OWL Interoperability Benchmarking that con- templates interoperability using OWL as the interchange language. viiviiiResumen Las diferentes tecnolog´ıas de la Web Sem´antica necesitan intercambiar on- tolog´ıas para su posterior utilizaci´on. La Web Sem´antica, por otro lado, tiene que hacer frente al problema de la interoperabilidad, que est´a causado, en gran medida, por la heterogeneidad de los formalismos de representaci´on de conoci- miento de las distintas tecnolog´ıas existentes, siendo la interoperabilidad en la Web Sem´antica un problema cuyos l´ımites hoy se desconocen. Una mejora masiva de la interoperabilidad de las tecnolog´ıas actuales de la WebSem´antica,odecualquierotracaracter´ısticadedichastecnolog´ıas,requiere evaluaciones continuas, que sean definidas y realizadas en consenso, utilizando herramientasym´etodosqueseangen´ericos,reutilizables,publicos´ yecon´omicos. Esta tesis presenta las siguientes contribuciones al campo de benchmarking en las tecnolog´ıas de la Web Sem´antica: Proponeunametodolog´ıade benchmarking paralastecnolog´ıasdelaWeb Sem´antica. Define el UPM Framework for Benchmarking Interoperability, una infra- estructura de evaluaci´on que incluye todos los recursos (definiciones de experimentos, conjuntos de pruebas y herramientas) necesarios para ha- cer benchmarking de la interoperabilidad de las tecnolog´ıas de la Web Sem´antica utilizando RDF(S) y OWL como lenguajes de intercambio. Describe dos actividades de benchmarking de las tecnolog´ıas de la Web Sem´antica y ofrece los resultados detallados de las herramientas que par- ticiparon en las mismas; el RDF(S) Interoperability Benchmarking, que contemplalainteroperabilidadutilizandoRDF(S)comolenguajedeinter- cambio, y el OWL Interoperability Benchmarking, que tambi´en contempla la interoperabilidad pero utiliza OWL como lenguaje de intercambio. ixx