Upload
vuongxuyen
View
218
Download
0
Embed Size (px)
Citation preview
2015-06-04
1
Analiza obrazu
SEGMENTACJA OBRAZU
UWAGI WSTĘPNE Schemat naturalnego przetwarzania obrazu.
Akwizycja obrazu
narząd wzroku
Wstępne
przetwarzanie
obrazu
Analiza
obrazu
Podejmowanie
decyzji
Pamięć
Reszta
organizmu
człowieka
Świat zewnętrzny
Ludzki mózg
Działanie
Segmentacja
SEGMENTACJA OBRAZU
UWAGI WSTĘPNE
Segmentacja obrazu.
Proces segmentacji obrazu jest
czynnością spinającą poziom
wstępnego przetwarzania obrazu
z programami analizy
poszczególnych obiektów.
SEGMENTACJA OBRAZU
WSTĘP
Segmentacja
Segmentacja jest techniką przetwarzania obrazu,
umożliwiającą wydzielenie obszarów obrazu spełniających
pewne kryteria jednorodności. Takimi kryteriami mogą być np.
kolor obszaru, poziom jasności, faktura.
Proces segmentacji polega na podziale obrazu (uprzednio
przefiltrowanego) na fragmenty odpowiadające poszczególnym
widocznym na obrazie obiektom. Towarzyszy temu zwykle
opisana dalej indeksacja obiektów (labelling), czyli przypisanie
do wszystkich pikseli tych obiektów identyfikatorów (etykiet),
wskazujących, do którego obiektu który piksel można przypisać.
Liczba rekordów w bazie IEEE Xplore
dotycząca segmentacji obrazów
2015-06-04
2
Segmentacja najczęściej służy do wydzielenia
obiektu od tła – bez względu na szczegóły obiektu Przykład rozpoznawanej sceny
a) zdjęcie satelitarne: z wyekstrahowanymi budynkami, b) układ budynków
Wykreowana wektorowa mapa Inny przykład zadania segmentacji
Obrazy przed i po segmentacji Dalsze
przykłady
segmentacji
2015-06-04
3
Przykłady segmentacji dla
obrazów medycznych
Przykłady segmentacji dla
obrazów medycznych
Przykłady segmentacji dla
obrazów medycznych
Przykłady segmentacji dla
obrazów medycznych
W najprostszym ujęciu segmentacja jest techniką
służącą do lokalizacji i wydzielania poszczególnych
obiektów występujących na złożonym obrazie
Korzystne jest jeśli przy segmentacji możliwe jest wydzielenie części obrazu
zawierających wizerunek rozważanych obiektów przy minimalnym tylko udziale
elementów tła
2015-06-04
4
Przykład segmentacji obrazów
preparatów histologicznych Wśród obiektów wydzielonych w wyniku segmentacji
trzeba czasem przeprowadzić selekcję ze względu na kształt
Segmentacja obrazu często związana jest z wydzieleniem na obrazie
tak zwanych regionów zainteresowania (ROI)
Inny przykład ROI
Taksonomia metod wyznaczania
progu segmentacji obrazu
Najprostszy sposób segmentacji polega na
zastosowaniu podziału pikseli obrazu
na zbiór należący do badanego obiektu oraz
na zbiór należący do tła
w zależności od tego, czy ich jasność jest
większa czy mniejsza od założonego progu T.
2015-06-04
5
nu
mb
er o
f p
ixel
s
levels of image intensity T
background
object
Zasada segmentacji przez progowanie Przykładowy obraz medyczny dla którego wykonano
binaryzację ze zmieniającym się progiem
Inny przykład efektów
progowania adaptacyjnego
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Segmentacja przez progowanie
Tl Tu
Przykład segmentacji z podwójnym progiem.
Ustalenie górnego i dolnego progu w celu wyizolowania koloru skóry Barta.
Przykład segmentacji za pomocą binaryzacji z pojedynczym progiem.
T
Wyniki segmentacji przykładowych obrazów
pokazują, że najlepsze wyniki uzyskuje się
przy bardzo różnych wartościach progu
(podany pod odpowiednimi obrazami)
2015-06-04
6
W przypadku obrazów medycznych prosta segmentacja przez progowanie
zwykle prowadzi do powstania nadmiernej liczby pseudo-segmentów,
które jednak można uporządkować poprzez ich sklejanie
Ciekawe możliwości w zakresie
doboru progu segmentacji dają
histogramy wielorozdzielcze
Najskuteczniejszym sposobem wyboru
optymalnej wartości progu do segmentacji jest
użycie kryterium -entropii
Załóżmy, że histogram obrazu ma postać: p1, p2, ..., pn gdzie n jest liczbą poziomów
szarości, a pi oznacza prawdopodobieństwo występowania poziomu szarości i .
Rozbijmy ten histogram na dwa podzbiory punktów należących odpowiednio do
badanego obiektu oraz do tła. Kryterium podziału jest związane z progiem t .
Wtedy można zdefiniować -entropię odpowiednio dla obiektu i dla tła:
Podział (segmentacja) obrazu będzie
optymalna, jeśli dla danego progu t*
osiągnięte będzie maksimum
sumarycznej -entropii:
Potem trzeba wykonać jeszcze kilka
kosmetycznych zabiegów
i segmentacja jest gotowa.
Schemat blokowy kompleksowego algorytmu
segmentacji obrazu medycznego
Przykład segmentacji obrazu medycznego
obraz mammograficzny z widocznym rakiem
2015-06-04
7
Przykład segmentacji obrazu medycznego
(komórka Purkinjego) Przykład segmentacji obrazu w przestrzeni barw
(wydobywanie znaków drogowych z obrazu drogi)
Wydobycie obiektów
zainteresowania z trudnego obrazu
Najbardziej znanymi metodami segmentacji obiektów
i wydzielania ich konturów są algorytmy:
Canny Sobela Prewitta Laplacian
Obiekt wydzielony w następstwie segmentacji może być
potem poddany szczegółowym analizom bez utrudnień
wynikających z konieczności uwzględniania innych obiektów
Często się zdarza, że niedobrze dobrana metoda segmentacji
wydziela nadmiernie dużo rzekomych obiektów
2015-06-04
8
Do ustalenia lokalizacji obiektu w obrębie
obrazu można użyć funkcji podobieństwa
Wyszukiwany
obiekt
Funkcja podobieństwa
z wyraźnym
maksimum w miejscu
lokalizacji obiektu
Dobrze przeprowadzona segmentacja pozwala na
wydobycie z obrazu jego istotnej dla rozważań części
(tu zmiany nowotworowej w obrazie
mammograficznym)
Segmentacja
powinna być
poprzedzona
filtracją obrazu.
Wydobywanie
konturów
z zaszumionych
obrazów jest
utrudnione,
a wyniki są mniej
dokładne
Zadania segmentacji mogą się cechować
różnym stopniem złożoności
Wyszukiwanie na obrazie komórki poprzez
rozpoznawanie przynależności pikseli
do trzech klas: tło, wnętrze i brzeg
Problem segmentacji nadmiarowej
2015-06-04
9
Problem rozdzielenia stykających się obiektów Lokalizowanie komórek
Porównanie miejsca radiacji obliczonego za pomocą największego
wpisanego okręgu (zaznaczone kolorem niebieskim), za pomocą środka
geometrycznego (zielonym) oraz za pomocą przecięcia osi głównych
(czerwonym).
Lokalizowanie komórek
Porównanie miejsca radiacji obliczonego za pomocą największego
wpisanego okręgu (zaznaczone kolorem niebieskim), za pomocą środka
geometrycznego (zielonym) oraz za pomocą przecięcia osi głównych
(czerwonym).
Lokalizowanie komórek
Porównanie miejsca radiacji obliczonego za pomocą największego
wpisanego okręgu (zaznaczone kolorem niebieskim), za pomocą środka
geometrycznego (zielonym) oraz za pomocą przecięcia osi głównych
(czerwonym).
Wyjątkowo wyrafinowany przykład segmentacji – wydobycie z obrazu mózgu
wyłącznie dróg połączeń nerwowych
http://www.biomed.ee.ethz.ch/research/bioimaging/brain/diffusion_fiber_tracking
Segmentacja obrazu może mieć różne zastosowania.
Pokazany na następnym slajdzie przykład dotyczy
użycia segmentacji do ujawnienia wewnętrznej
struktury kości (beleczkowania trabecula).
Na wyodrębnionym obrazie beleczkowania
ujawniona zostaje linia, która przecina najmniejszą
liczbę najcieńszych beleczek.
Jest to linia najbardziej prawdopodobnego złamania.
2015-06-04
10
Metoda prognozowania linii złamania
Wyniki prognozowania linii złamania
Inny przykład medyczny:
wydobywanie naczyń krwionośnych
na obrazie dna oka
Segmentacja połączona z
interpretacją fragmentów obrazu
Przykład segmentacji wraz z klasyfikacją
Przykład segmentacji wraz z klasyfikacją
2015-06-04
11
Przykład segmentacji wraz z klasyfikacją Obiekty wydobyte w wyniku segmentacji stają się
lepiej widoczne i łatwiejsze do interpretacji
Obraz tomograficzny przekroju klatki piersiowej
z uwidocznionym przekrojem serca
Po wydobyciu w wyniku segmentacji
wyłącznie naczyń krwionośnych serca
ich analiza i obserwacja nieprawidłowości
staje się znacznie łatwiejsza
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Techniki Segmentacji
Wyróżniamy następujące techniki segmentacji:
- segmentacja przez podział obszaru (region – splitting)
- segmentacja przez rozrost obszaru (region - growing)
- segmentacja metodą wykrywania krawędzi (contour based)
(stosowany jest operator gradientu)
- segmentacja oparta na statystyce opisującej wnętrze regionów
(texture based)
Generalnie segmentacja obrazu
wykonywana przez człowieka
(wynik na rysunku środkowym)
jest zorientowana na wydzielenie
rozpoznanych wcześniej obiektów,
podczas gdy segmentacja automatyczna
(po prawej) koncentruje się na lokalnych
właściwościach fragmentów obrazu
Czasem prowadzi to dekompozycji
obrazu na ogromną liczbę
do niczego nieprzydatnych segmentów
Problem nadsegmentacji
2015-06-04
12
Wyznaczanie konturów na podstawie
histogramów kierunkowych Zamiana
obrazu
na graf
Przy segmentacji obrazu ważne jest,
żeby tworzone metody były niewrażliwe
na kontury nieistotnych szczegółów obiektów
W następstwie wyznaczania konturów nie
powinno dochodzić do zlewania się obiektów
Kolejny przykład obiektów, które podlegają sklejeniu
przy prostej segmentacji oraz mogą zostać rozdzielone
gdy się zastosuje wcześniej procedurę
wydobywania konturów (Sobela)
2015-06-04
13
Segmentacja mikroskopowego
obrazu wnętrza komórki
Segmentacja na podstawie kolory skóry jest ważnym
elementem w systemach rozpoznawania twarzy
Skuteczność segmentacji zależy w dużym stopniu od przyjętego modelu barw. Na kolejnych
fotografiach pokazane są segmentacje uzyskane w przestrzeniach RGB, HSV, TSL, HIS, YCrCb
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Segmentacja przez podział obszaru
Segmentacja przez podział obrazu (region splitting, clustering), zwana też iteracyjną
(rekursywną), polega na stopniowym podziale dużych obszarów obrazu na mniejsze,
w których piksele mają odpowiednią własność (kolor, jasność, teksturę), jednakową
lub bardzo zbliżoną w granicach wydzielonego obszaru a jednocześnie znacznie
różniącą się od własności pikseli w innych obszarach.
W metodzie tej wartość jasności każdego elementu obrazu porównywana jest
z wartością progową, po czym element jest przydzielony do jednej z dwóch kategorii
o wartości progowej przekroczonej lub nie przekroczonej. Wyboru wartości progowej
dokonuje się przeważnie na podstawie histogramu.
Problemy pojawiające się przy tej metodzie to wybór progu dyskryminacji (gdy krzywa
rzeczywistego histogramu jest wielogarbna, a wierzchołki są trudne do wyróżnienia)
oraz powstawanie „fałszywych obiektów” (izolowanych punktów o wartości 1 gdy
dookoła są wyłącznie punkty tła).
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Segmentacja przez podział obszaru
Algorytm segmentacji rekursywnej wygląda następująco:
1. Rozważyć cały obraz jako jeden obszar i policzyć dla niego histogram, biorąc pod
uwagę odpowiednią cechę (np. odcienie, jasność, nasycenie)
2. Znaleźć najwyższy szczyt histogramu i wyznaczyć progi z jego obu stron. Dokonać
segmentacji na dwa regiony.
3. Wygładzić zbinaryzowany obraz, aby został tylko pojedynczo-połączony podregion.
4. Powtarzać kroki 1-3 dopóki nie da się utworzyć kolejnych podregionów, tzn. żaden
histogram nie posiada znaczących szczytów.
Region 2
Region 2
Region 1
Liczba
pikseli
Wartość cechy
Segmentacja nieprawidłowa. Źle
dobrany próg dyskryminacji.
Obraz po poprawnej segmentacji:
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Segmentacja przez podział obszaru
Obiekty podlegające segmentacji.
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Segmentacja przez rozrost obszaru
W metodzie rozrostu obszaru poszukuje się grup elementów o zbliżonej jasności.
Najprostsza postać tej metody to rozpoczęcie od jednego elementu i sprawdzenie
czy elementy sąsiednie mają podobną jasność. Jeśli tak, są one grupowane w obszar.
Wykonujemy tu tylko zlepianie (merging).
2015-06-04
14
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Segmentacja przez rozrost obszaru
Ogólnie segmentacja przez rozrost bazuje na technice dzielenia i zlepiania
obrazu (split and merge), której algorytm przebiega następująco:
1. Ustalić test jednolitości. Kryteriami mogą być jasność, kolor itp.
2. Podzielić obraz na obszary o takich samych rozmiarach.
3. Zastosować test jednolitości dla każdego regionu.
4. Jeśli obszar jest jednolity należy zlepić go z jego ewentualnym sąsiadem (sąsiadami).
Jeśli obszar nie spełnia kryterium jednolitości dokonać ponownego podziału.
5. Proces kontynuować, aż wszystkie obszary zdadzą test jednolitości.
I
Cały obraz.
I1
I4
I2
I3
Pierwszy podział.
I1 I2
I3
I41 I42
I43 I44
Drugi podział.
I1 I2
I3
I41 I42
I43
Zlepienie (Merge). Drzewo obrazu (picture tree).
Efekt segmentacji obrazu
powierzchni skały uzyskany metodą
drzewa czwórkowego
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Wyznaczanie kryterium jednolitości
Obszar jest jednolity, gdy dla ustalonego progu T jest spełniony poniższy warunek :
TSnmLRnm
|),(max,
Ustalając próg T ustala się więc także prawdopodobieństwo tego, że do wydzielonego
obszaru włączone będą obiekty nie należące do niego. Jeśli obszar obiektu jest
jednolity, to wartość średnia S jest optymalnym oszacowaniem wartości jasności tego
obszaru. W takim przypadku odchylenie wartości elementu od średniej S będzie
zależało jedynie od zakłóceń.
I e dzn
z
x
2
2
2
22
Prawdopodobieństwo, że jasność elementu
L(m,n) różni się od jego średniej S o więcej
niż pewna wielkość x wyraża się wzorem jak
pokazano po lewej stronie, w którym
- odchylenie standardowe zakłóceń
SR
L m nm n R
1
# ,
( , )
gdzie,
L(m,n) - elementu obrazu
#R - wielkość (liczba pikseli) obszaru R.
T - próg
S to średnia jasność obszaru:
Elementem segmentacji obrazu jest także selekcja,
pozwalająca odróżnić rzeczywiste interesujące elementy od
elementów podobnych do nich, ale nie niosących
wymaganych informacji
Obraz oryginalny ze
wskazaniem podejrzanej
struktury
Obraz po segmentacji
wydobywającej wszystkie
regiony podobne do
podejrzanej struktury
Obraz z wyodrębnieniem
samej podejrzanej struktury
(rak sutka)
W zastosowaniach medycznych dosyć wygodną metodą segmentacji
jest analiza profili densytometrycznych wzdłuż wybranych linii
(np. promieni wychodzących z pewnego ustalonego punktu)
Wyodrębnione zwapnienia
(zielona obwódka)
w pobliżu ścian naczynia
krwionośnego
(niebieska obwódka)
Segmentacja wododziałowa
Zalewanie z minimów
Zalewanie z markerów
2015-06-04
15
Przykład segmentacji za pomocą
działów wodnych
Segmentacja zmiany na obrazie mammograficznym
za pomocą losowych pól Markowa
Oryginalny obraz Obraz gradientu Obraz z zaznaczona zmianą
Rekonstrukcja wybranych
elementów obrazu
Rekonstrukcja obrazu pozwala na
otrzymanie z pierwotnego obrazu
niektórych, zawartych w nim struktur
wskazywanych przez lokalizację znaczników
(markerów).
W rezultacie otrzymuje się obraz będący
pewnym podzbiorem pierwotnego obrazu
W kolejnych krokach rekonstrukcji następuje rozrost
obszarów wokół znaczników,
realizowany poprzez operacje dylatacji.
W celu uniemożliwienia rozrostu obszaru poza
granice pożądanych struktur
po każdej operacji dylatacji obrazu wyznaczana
jest wspólna cześć otrzymanego w jej efekcie
wyniku z oryginalną wersją obrazu,
usuwająca fragmenty wykraczające poza strukturę.
Pierwotny obraz oraz lokalizacja markerów
Początkowa oraz końcowa faza rekonstrukcji
2015-06-04
16
Segmentacja metodą wykrywania krawędzi
Wykrywanie krawędzi jest metodą segmentacji polegającą na poszukiwaniu granic
między obszarami, które niebezpośrednio definiują obiekt. Metoda ta rozpoczyna się
od znalezienia tych pikseli, które mogą należeć do krawędzi. Punkty te są następnie
zlepiane do pojedynczych segmentów linii, a te z kolei są łączone i tworzą granicę
obiektu.
Znajdowanie punktów nagłych zmian, co może oznaczać krawędź, odbywa się z
zastosowaniem omawianych już gradientów Sobela, Prewitta itp.
Piksele te reprezentują lokalne nieciągłości występowania pewnych cech, jak
jasność, kolor, tekstura itp.
Po wykryciu krawędzi dokonuje się progowania wybierając najgłębszą dolinę na
histogramie, a w przypadku bardzo zakłóconych obrazów jako próg można przyjąć
10-20 % wartości szczytu.
Przykładowa technika segmentacji metodą wykrywania krawędzi
Obszar z brakującymi krawędziami.
Przykładowa prosta metoda łączenia krawędzi zaproponowana przez Forsena.
Etap 1 Etap 3 Etap 2
Na początku łączymy linią prostą dwa punkty końcowe A i B. Następnie szukamy
najbardziej oddalonego punktu (C) od odcinka AB. Jeśli separacja tego punktu od
odcinka AB jest wyraźna, to tworzymy odcinki AC i BC, a odrzucamy odcinek AB.
Procedura jest kontynuowana, aż zostanie uznane, że segmenty utworzonej linii
łamanej dobrze reprezentują wszystkie posiadane punkty konturu.
Segmentacja oparta na krawędziach zmusza do
decyzji, które krawędzie należy brać pod uwagę (na
przykład oparte na wartości laplasjanu lub gradientu)
Obraz medyczny (a) oraz
krawędzie ustalone na nim
różnymi metodami:
metodą ważoną (b),
metodą laplasjanu (c),
metodą wartości gradientu
(d) i metodą kierunku
gradientu (e).
Obraz z wykrytymi krawędziami
(gradient Sobela)
Budowa linii granicznej z użyciem
algorytmu LW (Living Wires)
Niekorzystne (u góry) i korzystne (u dołu) warianty
metody LW używanej do segmentacji obrazu
2015-06-04
17
Automatyczna segmentacja wątroby
http://suzukilab.uchicago.edu/research.htm
Wykrycie konturów
obiektów na obrazie
medycznym jest często
kluczem do prawidłowej
diagnozy.
Mało czytelny obraz
mammograficzny (u góry)
staje się łatwiejszy do
interpretacji, gdy algorytm
wydzielania konturów
zaznaczy widoczne na nim
obiekty (na zdjęciu są to
mikro-zwapnienia będące
najwcześniejszym
symptomem raka).
Segmentacja obrazu płuc
http://www-radiology.uchicago.edu/krl/ct.htm
Znajdowanie konturów spoidła
wielkiego na obrazie przekroju
mózgu metodą „rozciągania węża”
Tą samą metodą wydobywa się
kontury wnętrza komór serca
Segmentacja połączona z indeksacją
2015-06-04
18
Segmentacja obrazu ułatwia wnioskowanie na jego
temat. Pokazano porównanie konturów tego samego
narządu (prostata) u dwóch pacjentów
Dosyć popularną metodą segmentacji jest metoda
oparta na koncepcji działów wodnych
Przekrój obrazu (po gradientowaniu) wzdłuż jednej ustalonej linii
Nieostrożne stosowanie tej metody prowadzi zwykle do wydzielenia
nadmiernej liczby segmentów
nadmiernie
posegmentowany
obraz
(2907 zlewisk)
Zmniejszanie nadmiernej segmentacji poprzez
progowanie obrazu gradientowego
Czasem zachodzi
potrzeba
wydobywania
z całego obrazu
bardzo
specyficznych
elementów,
będących
przedmiotem
analizy
To jest obraz zapisu
z autobusowego
tachografu.
Przedmiotem analizy
ma być wyłącznie ta
linia
Efekt segmentacji opartej na fakcie, że interesująca
linia położona jest w określonej odległości
od centrum obrazu
2015-06-04
19
Punkty będące przedmiotem analizy
wydobyte z obrazu
Algorytm segmentacji elementów
obrazu metodą działów wodnych
Segmentacja obrazu na podstawie barwy obszarów
(preparat geologiczny)
Segmentacja obrazu na podstawie barwy obszarów
(preparat geologiczny)
Brain/Non-brain Separation:
original image filtered image skull-stripped brain image
Przykład nieudanej segmentacji
obrazu medycznego
Trzy wyodrębnione klasy nie mają prawidłowej identyfikacji anatomicznej
2015-06-04
20
Przykład poprawnej segmentacji
obrazu medycznego
Cztery wyodrębnione klasy mają prawidłową identyfikację anatomiczną
Wynik segmentacji uzyskanej metodą
nie nadzorowanego grupowania (z lewej) oraz
opartej na modelowaniu obszarów (po prawej)
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Segmentacja przez rozrost (Regiony atomowe)
Inną procedurą segmentacji przez rozrost jest procedura, która scala najpierw tak zwane regiony atomowe, badając wartość średnią określonego atrybutu w stosunku do określonego zakresu progowania.
Zastosowany w tym etapie próg T może być inny, mniej szczegółowo wyznaczany niż przy ekstrakcji regionów atomowych.
Następne scalenia są oparte na względnych własnościach atrybutu dwóch sąsiednich obszarów.
Jeśli jeden obszar w dużym stopniu otacza inny, to są one także scalane (likwidacja słabych granic).
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Segmentacja przez rozrost (Regiony atomowe)
2
21 },{
PPMIN
D
3C
D
Niech R1 i R2 będą dwoma sąsiadującymi obszarami o obwodach P1 i P2 i każdy z nich
powstał ze zlepienia mniejszych podobszarów, które mogą różnić się jasnością.
Niech C oznacza długość wspólnej krawędzi i niech D reprezentuje tę część C, dla której
różnica jasności Yi wzdłuż krawędzi jest istotnie mniejsza od wybranego współczynnika 1.
Regony R1i R2 zostaną zlepione jeśli spełniona jest nierówność przy 2=1/2
Drugi warunek mówi, że regiony styczne zostaną zlepione gdy dla 3=3/4
W pierwszym etapie piksele o podobnej jasności oraz te, które łączą się ze sobą
czterema krawędziami są grupowane w regiony atomowe.
Następnie stosowana jest metoda omówiona poniżej w celu zlikwidowania „słabych”
granic.
Odmienną grupę problemów rodzi segmentacja
oparta na statystyce
Technika ta stosowana jest w przypadku gdy obszary jednorodne wypełnione
są pewnym stałym wzorcem (teksturą).
Pojedyncze obszary znacznie różniące się od siebie stanowią jeden obszar.
W procesie tym określa się pewne statystyczne własności obszarów i
przeprowadza się segmentację o nie opartą.
Segmentacja trójwymiarowa
Nowoczesne techniki obrazowania medycznego dostarczają
często informacji o kształcie badanego narządu w wielu
przekrojach, tworzących sekwencję.
Przy próbie rekonstrukcji trójwymiarowego obiektu (na
przykład przestrzennego obrazu narządu) dochodzi do
konieczności segmentacji przeprowadzanej w sposób
powiązany na kilku kolejnych przekrojach.
Przy stosowaniu tej techniki zaczyna się zwykle od
wyznaczenia konturu na jednym przekroju, a następnie
przenosi się ten kontur na sąsiednie przekroje stosując
kryterium bliskości położenia konturu pierwotnego i konturów
na kolejnych przekrojach.
2015-06-04
21
Sposób przenoszenia punktów z przekroju na
przekrój podczas rekonstrukcji obrazu 3D
z serii obrazów 2D
Metoda przenoszenia konturu
z przekroju na przekrój może wiązać
się z ryzykiem pomyłek
Przykład pary sąsiednich przekrojów, z których jeden ma już
zaznaczony obrys interesującego obiektu (płuca)
Sekwencja
przekrojów
z zaznaczonym
badanym
elementem
Sekwencja przekrojowych
obrazów medycznych (stawu
kolanowego) z konturem
wydzielonej struktury
anatomicznej (kości udowej)
i uzyskana na tej podstawie
trójwymiarowa rekonstrukcja
tej struktury
Inny przykład:
rekonstrukcja
przestrzenna płuc
2015-06-04
22
Sporym problemem przy
segmentacji jest zawsze rozdzielanie
obiektów, które powinny być
rozpatrywane oddzielnie, ale których
obrazy stykają się ze sobą
Krok 1. Czyszczenie brzegów. Krok 2. Zamknięcie i wypełnienie
otworów.
Krok 3. Erozja warunkowa i
powstanie obrazu znaczników dla
każdego erodowanego obiektu.
Krok 4. Wykonanie jednej operacji
dylatacji dla Każdego
zerodowanego obiektu..
Krok 5. Operacja SKIZ aż do stanu
ustalonego, po każdej dylatacji
obraz mnożony logicznie z
obrazem wejściowym.
Krok 6. Obcięcie gałęzi i
przemnożenie logiczne obrazu po
obcięciu z obrazem oryginalnym.
Usunięcie „fiordów”.
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Segmentacja obiektów stykających się
Obraz wejściowy.
wyrzucenie pikseli o indeksie takim
samym jak piksel przy krawędzi indeksacja Zapełnienie dylatacja erozja negacja i indeksacja
Finalny obraz zawiera obiekty rozseparowane i posegmentowane
SEGMENTACJA OBRAZU
TECHNIKI SEGMENTACJI Uwaga: opisane metody trzeba stosować
z umiarem, bo automatyczna segmentacja
obiektów stykających się bywa
czasem wadliwa!
Błędnie wyznaczone
granice obiektów
Dzieleni obiektów,
które powinny
pozostać integralne
Etykietowanie obiektów
Indeksacja polega na przeglądaniu zbinaryzowanego obrazu linia
po linii, aż do napotkania punktu obiektu wartości 1.
Po napotkaniu takiego punktu (piksela), oznaczonego dalej jako X,
nadaje mu się etykietę analizując wartości pikseli A, B, C, D,
stanowiących tę część jego otoczenia, która była już wcześniej
analizowana .
Indeksacja obiektów (labelling)
A B C
D X Gdy A = B = C = D = 0 to X=L+1 (to znaczy, że nowy
punkt należy do nowego, wcześniej nieznanego obiektu)
0 0 0
L L
L L L
L L
0 L L
0 L
0 0 L
0 L
0 L L
L L
L 0 L
0 L
Przykłady sytuacji, w których wykrywa się, że kolejny punkt należy do obiektu,
który już miał przypisaną etykietę.
2015-06-04
23
Indeksacja obiektów (labelling)
Gdy w otoczeniu badanego punktu X pojawią się punkty należące do dwóch różnych obiektów
o indeksach L1 i L2, to znaczy, że należy utożsamić z jednym obiektem dwa regiony wcześniej
rozważane jako dwa różne obiekty. W takim przypadku przyjmowana jest zasada, że punktowi X
przypisuje się mniejszy z wchodzących w grę indeksów (na rysunku założono, że L1 < L2).
L1 0 L2
L1 L1
L1 0 L2
0 L1
Przykład etykietowania obrazów w wyniku którego doszło do błędnego podziału obiektów
Błędny podział obiektu na fragmenty w trakcie
wstępnej indeksacji. Obszary różniące się odcieniem
szarości otrzymały różne etykiety
A(i) B(i) C(i) C(i+1)
D(i) X(i) X(i+1)
Do eliminacji takich błędów w indeksacji stosowana jest tzw.
tablica sklejeń
0 0 0 0 .... .... .... 0 0 0 0 0
255 254 253 252 .... .... .... 5 4 3 2 1
Zawartość tablicy sklejeń przed znalezieniem jakiegokolwiek obiektu.
0 0 0 0 .... .... .... 0 0 0 0 1
255 254 253 252 .... .... .... 5 4 3 2 1
Przypisanie pierwszego wolnego miejsca dla nowego obiektu.
0 0 0 0 .... .... .... 0 0 3 2 1
255 254 253 252 .... .... .... 5 4 3 2 1
Zgodne etykietowanie, nic się nie zmienia (znaleziono trzy obiekty).
0 0 0 0 .... .... .... 0 4 1 2 1
255 254 253 252 .... .... .... 5 4 3 2 1
Aby zapobiec kolizji (wystąpienie w sąsiedztwie piksela L1=1 i L2=3)
większemu z kolidujących indeksów przypisuje się etykietę mniejszego.
Wykryto, że
„obiekty” 1 i 3
są tym samym
obiektem!
Tablica sklejeń: przykład zastosowania
Ten sam obraz po zastosowaniu
tablicy sklejeń zostaje poprawnie
podzielony, co widać po
prawidłowym etykietowaniu
Obraz po błędnym
etykietowaniu podczas
pierwszego przebiegu
algorytmu
Inny przykład obiektu podczas
etykietowania (stułbia) Przykład segmentacji bardziej
skomplikowanego obrazu
2015-06-04
24
Przykład segmentacji bardziej
skomplikowanego obrazu Przykład segmentacji obrazu CT:
a) obraz źródłowy,
b) wynik
modyfikacji
wartości okna
i poziomu,
c) wynik
segmentacji
(4 klasy)
W segmentacji obrazów medycznych
pożądane jest, by poszczególne klasy pikseli
odpowiadały tkankom rozróżnialnym w
badaniu danego typu i zostały wyodrębnione
w sposób automatyczny.
Często segmentacja jest połączona z (w miarę
możliwości automatyczną) identyfikacją
poszczególnych klas pikseli i przypisywaniem
im etykiet znaczących w kontekście
rozwiązywanego problemu (np. nazw tkanek).
Przykład zastosowania segmentacji obrazu:
a) źródłowy obraz MRI,
b) wynik separacji tkanek mózgu
Segmentacja wydzielająca na obrazie przekroju czaszki
osobno substancję białą, osobno korę mózgową i osobno
struktury nie należące do mózgowia
Czasem celem segmentacji jest wydobycie
jakiegoś konkretnego szczegółu na obrazie.
Obraz MNR podlegający segmentacji Obraz po segmentacji wydobywającej oczy
2015-06-04
25
Dla polepszenia jakości segmentacji można czasem
użyć dwóch (lub więcej) dopasowanych obrazów
źródłowych, na których wykonuje się niezależną
binaryzację, a wyniki poddaje się operacji AND.
a) Wynik segmentacji obrazu MRI T1,
b) Wynik segmentacji obrazu MRI PD,
c) wynik logicznej operacji AND między dopasowanymi obrazami a) i b)
Jako podstawy do segmentacji obrazu można
też użyć histogramu dwuwymiarowego
SEGMENTACJA OBRAZU
TECHNIKA INDEKSACJI OBRAZU
Zastosowanie w medycynie.
Labbeling w MATLAB 6.
obraz=imread(‘wej.bmp');
X=bwlabel(obraz,4);
map=[0 0 0;jet(3)];
figure, imshow(X+1,map,'notruesize')
Zastosowanie segmentacji
i indeksacji obrazu