Tony Benn
Wikipedia
* **Notation3 (N3)**
Obecnie najpolularniejsza metoda serializacji danych RDF, po definicji przestrzeni nazw (@prefix) nie trzeba używać pełnych URI. Dokument przedstawia po kolei trójki RDF bez dodatkowych tagów.
Przykład:
@prefix dc:
dc:title "Tony Benn";
dc:publisher "Wikipedia".
[[http://www.w3.org/DesignIssues/Notation3.html]]
[[http://en.wikipedia.org/wiki/Notation_3]]
* **Turtle**
Uproszczona wersja (pozdbiór) notacji N3.
[[http://www.w3.org/TeamSubmission/turtle/]]
[[http://en.wikipedia.org/wiki/Turtle_(syntax)]]
* **RDFa**
Standard pozwalający na dołączanie dancyh RDF do zwykłych stron XHTML. Każdemu elementowu HTML możemy przypisać dane RDF w ten sposób opisując wyrażeniami sieci semantycznej zwykłą treść strony.
The trouble with Bob
Alice
...
...
[[http://www.w3.org/TR/xhtml-rdfa-primer/]]
[[http://www.w3.org/TR/rdfa-syntax/]]
[[http://en.wikipedia.org/wiki/RDFa]]
===== SPARQL =====
Jest to język zapytań RDF.
[[http://en.wikipedia.org/wiki/SPARQL]]
[[http://www.w3.org/TR/rdf-sparql-query/]]
===== Dostępne bazy wiedzy =====
==== Wikipedia ====
[[http://www.wikipedia.org/]]
[[http://download.wikipedia.org/]]
Wikipedia jset olbrzymią bazą wiedzy. Może być wykorzystana do testowania systemów analizy tekstu. Artykuły zawierają duże fragmenty ciągłego tekstu o łatwej do przewidzenia tematyce i co ważne są pisane względnie poprawnym, współcześnie używanym językiem.
Bardzo szybko można bydować bazę wiedzy wykrozystująć szablony używane w [[http://en.wikipedia.org/wiki/Wikipedia:Infobox_templates|Infoboksach]]. Informacje zawarte w tej części są uporządkowane w formie tabeli klucz -> wartość i dotyczą okręślonego typu obiektu (np. miasto, polityk, roślina).
Wykorzystująć linki pomiędzy wersjami językowymi można uzyskać nazwy pojęć w wielu językach (te linki znajdują się w osobnej tabeli 'langlinks', więc nie trzeba analizować treści artykułów).
Przekierowania mogą być wykorzystane do budowy bazy równoznacznych nazw pojęć (także znajdują sie w osobnej tabeli 'redirects').
[[http://en.wikipedia.org/wiki/Wikipedia:Categorical_index|Kategorie]] porządkują pojęcia w zbiory dotyczące określonego tematu. Niestety panuję tu duża dowolność i wiele pojęć nie jest przypisanych do odpowiedniej kategorii. Kategorie są opisane w tabeli 'category'.
Kolejnym elementem są linki zewnętrzne, są opisane w osobnej tabeli 'externallinks'. Zazwyczaj trafnie powiązują strony internetowe z danym pojęciem, dodatkowo część posiada tytuł, który opisuje zewnętrzną stronę.
Wikipedii nie ma sensu analizować pobierając strony poszczególnych haseł, należy ściągnąć zrzuty bazy danych i załadować na lokalny serwer. Dane haseł (wraz z treścią) są dostępne w postaci pliku xml, pozostałe dane jako tabele MySQL. Problemem może być rozmiar danych, dla angielskiej wersji XML ma 21GB, a niektóre tabele SQL ponad 200 000 000 wierszy.
==== WikiProject Geographical coordinates ====
[[http://en.wikipedia.org/wiki/Wikipedia:WikiProject_Geographical_coordinates]]
Projekt przyporządkowywania współrzędnych geograficznych do artykułów wikipedii.
Dla wszystkich artykułów musi być wykorzystywany szablon [[http://en.wikipedia.org/wiki/Template:Coord|{{coord}}]].
Dzięki temu można przeparsować artykuły z wikipedii w celu wydobycia współrzednych, możliwe są 2 metody:
* przegląd treści wszystkich artykułów w poszukiwaniu tagu `coord` (pliki *wiki-latest-pages-articles.xml), nie powinno się stosować - nie wszystkie współrzędne są wprost określone za pomocą `coord`, dużo danych jest w infoboxach w innej postaci.
* lub lepsza metoda polegająca na przeglądzie tabeli `externallinks`, jest to możliwe ponieważ wszystkie współrzędne linkują w to samo miejsce 'http://stable.toolserver.org/geohack/geohack.php' (plik [[http://www.mediawiki.org/wiki/Externallinks_table|*wiki-latest-externallinks.sql]])
** [[http://de.wikipedia.org/wiki/Wikipedia:WikiProjekt_Georeferenzierung/Wikipedia-World/en|Wikipedia-World]] **
Isnieje (istniał) projekt na wiki tools, który parsuje artykuły w poszukiwaniu współrzędnych i tworzy gotowe do pobrania tabele SQL. Niestety ostatnia aktualizacja to 5 sierpnia 2008.
==== DBpedia ====
[[http://www.dbpedia.org/]]
DBpedia jest bazą wiedzy RDF (zawiera ponad 275 milionów trójek). Dane są tworzone na podstawie wikipedii (14 wersji językowych, także Polska). Opisuje ponad 2.5 miliona haseł (213,000 persons, 328,000 places, 57,000 music albums, 36,000 films, 20,000 companies).
** Dane **
DBpedia wykorzystuje kilka zbiorów RDF, lista wg przestrzeni nazw:
* "dbpedia:" - nazwy zasobów (hasła).
* "dbpprop:" - dane z infoboxów, są to zupełnie nie powiązane ze sobą trójki zawierające informacje przepisane wprost z infoboxów, wg. zasady klucz -> wartość (plik infobox_*.nt)
* "dbpedia-owl:" - przetworzone dane z infoboxów, wszystkie predykaty tworzą uporządkowaną ontologie OWL, aktualnie ilość danych jest znacznie mniejsza w stosunku do "dbpprop:" (plik infobox-mappingbased-loose.nt, types-mappingbased.nt)
* "foaf:" - [[http://xmlns.com/foaf/spec/]] (m.in. plik persondata_*.nt)
* "skos:" - [[http://www.w3.org/TR/2009/CR-skos-reference-20090317/skos.html]] - powiązania z kategorami wikipedii (skos:subject, plik articlecategories_*.nt, skoscategories_*.nt)
* "geo:" - [[http://www.w3.org/2003/01/geo/]], współrzędne geograficzne (plik: geo_*.nt)
* "georss:" - [[http://www.georss.org/georss/point]], współrzędne geograficzne (plik: geo_*.nt)
* "xsd:" - XML Shema
* "rdf:" - wykorzystywany rdf:type - powiązania zasobów z ontologią dbpedia-owl (plik: types-mappingbased.nt)
* "rdfs:" - wykorzystywane predykaty: rdfs:comment, rdfs:label
* "owl:" - wykorzystywane predykaty: owl:sameAs - linki do innych baz
Dla "rdf:", "rdfs:", "owl:" podałem tylko predykaty używane do opisu "haseł", opis ontologi wykorzystuje pełny RDFS / OWL-DL.
DBpedia linkuje do kilku innych baz wiedzy, szczegóły na [[http://wiki.dbpedia.org/Interlinking]]
** Ontologia **
* [[http://wiki.dbpedia.org/Ontology|strona na wiki.dbpedia.org]]
* Opis ontologi: [[http://downloads.dbpedia.org/3.2/en/dbpedia-ontology.owl]]
* Graf klas: [[http://www4.wiwiss.fu-berlin.de/dbpedia/dev/ontology.htm]]
* Ontologie można przeglądać za pomocą interfejsu HTML, np.: [[http://dbpedia.org/ontology/Place|klasa "Place"]], [[http://dbpedia.org/ontology/elevation|właściwość "elevation"]].
** Przykładowe hasło **
[[http://dbpedia.org/page/Berlin]]
** Dostęp do danych **
[[http://wiki.dbpedia.org/Architecture?v=1411]]
Dostępny jest interfejs SPARQL ([[http://dbpedia.org/sparql]]), SNORQL - interfejs do SPARQL w html ([[http://dbpedia.org/snorql/]]).
Zasoby mogą być prezentowane jako: [[http://dbpedia.org/page/Berlin|html]], [[http://dbpedia.org/data/Berlin.n3|n3]], [[http://dbpedia.org/data/Berlin.rdf|rdf/xml]].
Można także pobrać pełny dump bazy (format N3): [[http://wiki.dbpedia.org/Downloads32]].
** System parsujący dane z wikipedii **
Dokumentacja i link do kodu poprzez SVN: [[http://wiki.dbpedia.org/Documentation]], całość napisana w PHP, można pobrać pełny kod w tar.gz.
Kod jest bardzo czytelny i jego fragmenty mogą być podstawą do pisania własnego parsera wiki, np. wspomnianego wydobywania współrzędnych geo - w kodzie jest m.in. klasa "GeoExtractor".
==== Freebase ====
[[http://www.freebase.com/]]
[[http://www.freebase.com/view/freebase/faq]]
Freebase jest otwartą bazą wiedzy tworzoną przez użytkowników (ale część danych pochodzi także z innych zaimportowanych źródeł).
Freebase prezentuje trochę inne podejście niż pozostałe bazy wiedzy. Jest pełnym systemem prezentacji i edycji danych a dostęp Linked Data jest tylko kolejną możliwością przeglądania bazy, udostępnioną znacznie później niż inne interfejsy.
Baza zawiera bardzo uporządkowane dane w ściśle określonych kategoriach, dla każdego hasła są wybrane odpowiednie zestawy właściwości, pojedyncze właściwości mogą odpowiadać predykatom RDF (np. zestaw "Location" zawiera informacje o lokalizacji geograficznej).
** Przykładowe hasło **
[[http://www.freebase.com/view/en/berlin]]
** Dostęp do danych **
[[http://download.freebase.com/datadumps/|Download]] - pliki nie są w formacie RDF.
A full dump of Freebase assertions in a simple utf8 text format. This is a complete "low level" dump of data which is suitable for post processing into RDF or XML datasets. The format of the link export is a series of lines, one assertion per line. The lines are tab separated quadruples,
./configure
make
Następnie można uruchomić automatyczny skrypt testujący:
make check
Instalacja wymaga uprawnień root i zostanie wykonana po poleceniu:
make install
System nie sprawiał żadnych problemów podczas któregokolwiek etapu.
* [[http://www.oracle.com/global/pl/tgb/produkty_oracle/database.html|Oracle 11g]]
===== Benchmark =====
* [[http://www4.wiwiss.fu-berlin.de/benchmarks-200801/]] - bardzo dobry test wydajności systemów RDF
* [[http://www4.wiwiss.fu-berlin.de/bizer/BerlinSPARQLBenchmark/]] - nowa, jeszcze lepsza wersja testu, wszystko dokładnie omówione
Podczas własnych testów zauważyłem, że ważna jest odpowiednia ilość pamięci (minimum 2GB), OpenLink Virtuoso podczas działania skryptu testującego zajmował około 1GB. Wszystkie środowiska uzyskują odpowiednią wydajność wtedy gdy dane są przechowywane w pamięci RAM. Przechowywanie danych RDF w bazie MySQL znacznie zmniejsza wydajność, a w niektórych prostych systemach wyłącza wnioskowanie.
===== Przykłady użycia =====
Przykłady opierają się na dbpedii.
* Obiekty połorzone w pobliżu Krakowa:
SELECT ?subject ?label ?lat ?long WHERE {
geo:lat ?myLat .
geo:long ?myLong .
?subject geo:lat ?lat.
?subject geo:long ?long.
?subject rdfs:label ?label.
FILTER(xsd:float(?lat) - xsd:float(?myLat) <= 0.05 &&
xsd:float(?myLat) - xsd:float(?lat) <= 0.05 &&
xsd:float(?long) - xsd:float(?myLong) <= 0.05 &&
xsd:float(?myLong) - xsd:float(?long) <= 0.05 &&
(lang(?label) = "en" || lang(?label) = "pl")).
}
[[http://dbpedia.org/snorql/?query=SELECT+%3Fsubject+%3Flabel+%3Flat+%3Flong+WHERE+{%0D%0A%3Chttp%3A%2F%2Fdbpedia.org%2Fresource%2FKrak%25C3%25B3w%3E+geo%3Alat+%3FmyLat+.%0D%0A%3Chttp%3A%2F%2Fdbpedia.org%2Fresource%2FKrak%25C3%25B3w%3E+geo%3Along+%3FmyLong+.%0D%0A%3Fsubject+geo%3Alat+%3Flat.%0D%0A%3Fsubject+geo%3Along+%3Flong.%0D%0A%3Fsubject+rdfs%3Alabel+%3Flabel.%0D%0AFILTER(xsd%3Afloat(%3Flat)+-+xsd%3Afloat(%3FmyLat)+%3C%3D+0.05+%26%26%0D%0Axsd%3Afloat(%3FmyLat)+-+xsd%3Afloat(%3Flat)+%3C%3D+0.05+%26%26%0D%0Axsd%3Afloat(%3Flong)+-+xsd%3Afloat(%3FmyLong)+%3C%3D+0.05+%26%26%0D%0Axsd%3Afloat(%3FmyLong)+-+xsd%3Afloat(%3Flong)+%3C%3D+0.05+%26%26%0D%0A(lang(%3Flabel)+%3D+%22en%22+||+lang(%3Flabel)+%3D+%22pl%22)).%0D%0A}%0D%0A|wynik]]
* Uniwersytety w Krakowie:
SELECT ?subject ?label ?lat ?long
WHERE {
?subject rdfs:label ?label.
?subject dbpprop:city .
?subject rdf:type .
FILTER (
(lang(?label) = "en" || lang(?label) = "pl")
).
OPTIONAL {
?subject geo:lat ?lat.
?subject geo:long ?long.
}
}
[[http://dbpedia.org/snorql/?query=SELECT+%3Fsubject+%3Flabel+%3Flat+%3Flong+%0D%0AWHERE+{%0D%0A+++++%3Fsubject+rdfs%3Alabel+%3Flabel.%0D%0A+++++%3Fsubject+dbpprop%3Acity+%3Chttp%3A%2F%2Fdbpedia.org%2Fresource%2FKrak%25C3%25B3w%3E.%0D%0A%09%3Fsubject+rdf%3Atype+%3Chttp%3A%2F%2Fdbpedia.org%2Fontology%2FUniversity%3E.%0D%0A%09+FILTER+(%0D%0A%09(lang(%3Flabel)+%3D+%22en%22+||+lang(%3Flabel)+%3D+%22pl%22)%0D%0A%09).%0D%0A%09OPTIONAL+{%0D%0A++++%3Fsubject+geo%3Alat+%3Flat.%0D%0A%09%3Fsubject+geo%3Along+%3Flong.%0D%0A%09}%0D%0A}%0D%0A|wynik]]
* Obiekty powiązane z Krakowem:
SELECT ?subject ?label ?lat ?long ?type
WHERE {
?subject rdfs:label ?label.
?subject dbpprop:city .
?subject rdf:type ?type.
FILTER (
(lang(?label) = "en" || lang(?label) = "pl")
).
OPTIONAL {
?subject geo:lat ?lat.
?subject geo:long ?long.
}
}
[[http://dbpedia.org/snorql/?query=SELECT+%3Fsubject+%3Flabel+%3Flat+%3Flong+%3Ftype%0D%0AWHERE+{%0D%0A+++++%3Fsubject+rdfs%3Alabel+%3Flabel.%0D%0A+++++%3Fsubject+dbpprop%3Acity+%3Chttp%3A%2F%2Fdbpedia.org%2Fresource%2FKrak%25C3%25B3w%3E.%0D%0A%09%3Fsubject+rdf%3Atype+%3Ftype.%0D%0A%09+FILTER+(%0D%0A%09(lang(%3Flabel)+%3D+%22en%22+||+lang(%3Flabel)+%3D+%22pl%22)%0D%0A%09).%0D%0A%09OPTIONAL+{%0D%0A++++%3Fsubject+geo%3Alat+%3Flat.%0D%0A%09%3Fsubject+geo%3Along+%3Flong.%0D%0A%09}%0D%0A}%0D%0A|wynik]]
* Polscy piłkarze:
SELECT DISTINCT ?name ?type
WHERE {
?subject ?func .
?func rdfs:label ?type.
?subject foaf:name ?name .
?subject rdf:type .
}
[[http://dbpedia.org/snorql/?query=SELECT+DISTINCT+%3Fname+%3Ftype%0D%0AWHERE+{%0D%0A++++%3Fsubject+%3Ffunc+%3Chttp%3A%2F%2Fdbpedia.org%2Fresource%2FPoland%3E.%0D%0A%09%3Ffunc+rdfs%3Alabel+%3Ftype.%0D%0A++++%3Fsubject+foaf%3Aname+%3Fname+.%0D%0A++++%3Fsubject+rdf%3Atype+%3Chttp%3A%2F%2Fdbpedia.org%2Fontology%2FFootballPlayer%3E.%0D%0A}%0D%0A|wynik]]
* Osoby powiązane z Berlinem:
SELECT ?name ?type ?ffa ?fff
WHERE {
?subject ?func .
?func rdfs:label ?type.
?subject foaf:name ?name .
?subject rdf:type .
?subject rdf:type ?ffa.
?ffa rdfs:label ?fff.
}
[[http://dbpedia.org/snorql/?query=SELECT+%3Fname+%3Ftype+%3Fffa+%3Ffff%0D%0AWHERE+{%0D%0A++++%3Fsubject+%3Ffunc+%3Chttp%3A%2F%2Fdbpedia.org%2Fresource%2FBerlin%3E.%0D%0A%09%3Ffunc+rdfs%3Alabel+%3Ftype.%0D%0A++++%3Fsubject+foaf%3Aname+%3Fname+.%0D%0A++++%3Fsubject+rdf%3Atype+%3Chttp%3A%2F%2Fdbpedia.org%2Fontology%2FPerson%3E.%0D%0A%09%3Fsubject+rdf%3Atype+%3Fffa.%0D%0A%09%3Fffa+rdfs%3Alabel+%3Ffff.%0D%0A}%0D%0A|wynik]]
====== Prezentacja ======
====== Materiały ======
Czyli zestaw, z którym trzeba się zapoznać:
===== Na początek =====
* [[http://www.amazon.ca/Semantic-Web-Working-Ontologist-Effective/dp/0123735564|D.Allemang, J.Hendler - "Semantic Web for the Working Ontologist"]] - książka, dobra na początek, wyjaśnia idee semweb oraz dosyć wyczerpująco omawia RDF, RDFS i OWL, bardzo dużo przykładów
* [[http://en.wikipedia.org/wiki/Semantic_Web|Semantic Web]], [[http://en.wikipedia.org/wiki/Ontology_(computer_science)|Ontology]], [[http://pl.wikipedia.org/wiki/Resource_Description_Framework|RDF]], [[http://pl.wikipedia.org/wiki/OWL|OWL]] - kilka haseł na wiki
* [[https://ai.ia.agh.edu.pl/wiki/pl:miw:miw08_hml_rules|miw08_hml_rules] - inny projekt z miw, m.in. informacje o RDF, OWL
===== Specyfikacje =====
* [[http://www.w3.org/RDF/|Resource Description Framework (RDF)]] - strony w3c o RDF
* [[http://www.w3.org/TR/rdf-syntax-grammar/|RDF/XML Syntax Specification]] - specyfikacja RDF
* [[http://www.geocities.com/pan_andrew/ResourceDescriptionFramework.htm|Struktura Opisu Zasobów (RDF)]] - polskie tłumaczenie specyfikacji RDF
* [[http://www.w3.org/2004/OWL/|Web Ontology Language (OWL)]] - strony w3c o OWL
* [[http://www.w3.org/TR/owl-features/|OWL Overview]]
* [[http://www.w3.org/TR/owl-guide/|OWL Guide]]
* [[http://www.w3.org/TR/owl-ref/|OWL Reference]]
* [[http://www.w3.org/TR/owl-semantics/|OWL Semantics and Abstract Syntax]]
* [[http://www.rax.pl/tlumaczenia/OWL-Web-Ontology-Language-Overview/index.htm|OWL Język Ontologii Sieciowej]] - polskie tłumaczenie
* [[pl:miw:2009:miw09_semweb_rdfstore:|02-Shimizu.pdf]] - strona 14, logiczna reprezentacja predykatów OWL
* [[pl:miw:2009:miw09_semweb_rdfstore:|icde_2008_inf_engine.pdf]] - prezentacja z Oracle na temat RDFS/OWL
* [[http://tools.ietf.org/html/rfc3986|Uniform Resource Identifier (URI): Generic Syntax]] - przed czytaniem o RDF trzeba wiedzieć co to jest URI, w RDF używane są URI niehierarchiczne
* [[http://pl.wikipedia.org/wiki/Uniform_Resource_Identifier|URI]] - w zasadzie wystarczy przeczytać na pl wiki
===== Narzędzia =====
* [[http://semanticweb.org/wiki/Category:RDF_store|RDF store]] - lista narzędzi na wiki semanticweb.org (nie wszystko aktualne - 5.2009)
* [[http://esw.w3.org/topic/LargeTripleStores|LargeTripleStores]] - lista RDFStores z opisem wydajności różnych silników, już trochę nieaktualne, ale warto przeglądnąć
* [[http://esw.w3.org/topic/SemanticWebTools|SemanticWebTools]] - lista narzędzi związanych z RDF
* [[http://www.w3.org/TR/rdf-sparql-query/|SPARQL]] - specyfikacja SPARQL na w3.org
* [[http://en.wikipedia.org/wiki/SPARQL|SPARQL]] - SPARQL na wikipedii