4.10.2007 1

Semantično iskanje sliks standardom MPEG-7

Sergej Rinc

FERI, Maribor, 4.10.2007

4.10.2007 2

1. Problem in cilji diplomske naloge

2. Semantika v računalništvu

3. Standard MPEG-7

4. Rešitev problema

5. Uporaba MPEG-7 v prihodnosti

Vsebina predstavitve

4.10.2007 3

Obravnavani problem

• Kopičenje digitalnih fotografij

• Album povprečno 50 fotografij (Apple ’07)

• Iskanje z vsakim albumom težje

• Cilj: ustrezno označiti slike z uporabo standarda, implementirati spletni iskalnik

• MPEG-7 za opis večpredstavnostnih vsebin

4.10.2007 4

Semantika

• Razmah od leta 2001 (Scientific American, Tim Berners-Lee idr.)

• Določiti, dodati pomen podatkov, da jih „razumejo” tudi naprave

• Ontologija: predstavitev znanja o domeni skupaj s pravili

• Pomembne so inverzne relacije

4.10.2007 5

Standard MPEG-7 (2002-2007)

4.10.2007 6

Multimedijske deskripcijske sheme

Vir

slik

e:

Intr

od

uct

ion

to

MP

EG

-7,

Wile

y,

20

02

4.10.2007 7

Semantične relacije

• Normativne(+ inverzne)

• Caliph – opisMPEG-7

• Objekti opisaniposamezno

• Graf relacijmed objekti

4.10.2007 8

• takoj po prenosu v računalnik (mobilni uporabniki so navajeni na prenos v brezplačna gostovanja za slike)

• kasneje lahko težava s priklicem(EXIF ne pomaga vselej)

• s kratko prakso album (50slik) označimo v 1 h

• XML brez omejitev

Kdaj označiti slike

4.10.2007 9

Iskalnik

• preišči tekstne označitve

• preišči po polnem besedilu

• preišči po semantičnih objektih in/ali relacijah

• v rezultatih prikaži predogledne sličice

• na zahtevo prenesi original

• „Don’t be Evil” (Google ’01)

4.10.2007 10

Demonstracija

4.10.2007 11

MPEG-A PPMAF, JPSearch

• MPEG-A Photo Player MAF (Multimedia Application Format), objavljen 6.6.2007

1. MPEG-4 (zapis albuma)2. JPEG-1 (slike)3. MPEG-7 (binarna oblika + okrnjena shema)

• JPSearch, standard v pripravi1. Določa metapodatke, shrambo.2. Predpisuje sistem iskanja/urejanja.3. Tretji del standardizira tudi format iskanja …

Vir slike: Fraunhofer Institute, 2007

4.10.2007 12

Podpora vsem standardom …

… ni smiselna, uporabimo, kar je ustrezno.Opisi MPEG-7 bodo zelo dolgo v uporabi.

4.10.2007 13

Povzetek

1. Problem semantičnega iskanja slik je …rešljiv s semantičnim označevanjem.

2. Standard MPEG-7 postaja uporaben (CBIR, CBVR, semantika, MPEG in XML).

3. Omogočimo iskanje, zbiranje in povzetke večpredstavnostnih vsebin.

4. Kmalu foto pregledovalniki (toda PPMAF je za semantično označevanje omejen)

4.10.2007 14

Vprašanja

• (štirinajsti ekran - 2 x 7 - in da ni trinajsti)