Digitální zpracování obrazu (PV131)

Digitální zpracování obrazu (PV131)

http://www.fi.muni.cz/lom/ (List of Courses)

Michal Kozubek

místnost C413

tel.: 541 512 467

e-mail: [email protected]

Předpoklady• Odborná angličtina (VB001) – NUTNÉ

– Porozumění obsahu odborného anglického textu

• Základy matematiky (MB005 MB101) – NUTNÉ– Základní algebraické struktury

• pologrupy, grupy, okruhy, tělesa, neutrální prvek, inverzní prvek• komutativita a asociativita operací, distributivní zákon

• Lineární algebra a geometrie I (MB003 MB102) – NUTNÉ– Matice

• operace s maticemi, lineární závislost řádků, hodnost, determinant– Vektorové prostory

• lineární závislost a nezávislost, báze, dimenze, skalární součin– Soustavy lineárních rovnic

• řešení soustav lineárních rovnic

Předpoklady - pokračování• Matematická analýza I (MB000 MB103) – NUTNÉ

– Diferenciální počet funkcí jedné proměnné• průběh funkce, limita, spojitost, derivace, n-tá derivace

– Integrální počet funkcí jedné proměnné• primitivní funkce, intergrál neurčitý i určitý (Riemannův)• praktický výpočet neurčitých i určitých integrálů (per partes, substituce,

Leibnitz-Newtonova formule, vlastnosti sudých a lichých funkcí, zejména pak výpočty s trigonometrickými a exponenciálními funkcemi)

• Matematická analýza II (MB001 MB104) – VHODNÉ– Diferenciální počet funkcí více proměnných

• parciální derivace, extrémy funkce více proměnných– Integrální počet funkcí více proměnných

• Riemannův integrál dvojný a trojný• praktický výpočet dvojných a trojných integrálů (možnost záměny pořadí

integrace, převod na problém výpočtu jednoduchého integrálu)– Nekonečné řady

• posloupnosti a řady, konvergence řad

Literatura• Šonka, Hlaváč: Počítačové vidění, Grada, 1993

• Šonka, Hlaváč, Boyle: Image Processing, Analysis & Machine Vision, Chapman & Hall, 1993, 1999

• Pratt: Digital Image Processing, Wiley, 1991, 2001

• nakopírované materiály (knihkupectví Mareček)

• elektronické materiály na domovské stránce PV131

• jiné elektronické materiály na Internetu

Požadavky• Zápočet

– účast na cvičeních (6 dvouhodinových cvičení co 14 dnů)– výpočet a odevzdání domácích úkolů zadaných cvičícím

• Zkouška– zápočet– písemka (lze získat i více než 100% díky domácím úkolům)

• A: 100% a více (200-225 bodů)• B: 90% - 100% (180-199 bodů)• C: 80% - 90% (160-179 bodů)• D: 70% - 80% (140-159 bodů)• E: 60% - 70% (120-139 bodů)• F: 0% - 60% ( 0-119 bodů)

• Kolokvium– zápočet– písemka na alespoň 60%

Image: Basic Definitions • Picture

– representation made on a surface (as by painting, drawing or photography)

• Image– the optical counterpart of an object produced by an optical device

(as a lens or mirror) or an electronic device

Continuous image: Basic definitions• Two-dimensional (2D) continuous color image

(dvoudimenzionální spojitý barevný obraz)– intensity function I (x,y,)– x [xmin, xmax] R

– y [ymin, ymax] R

– [min, max] R

– I [Imin, Imax] R

Continuous image: Basic definitions• Three-dimensional (3D) continuous color image

(trojdimenzionální spojitý barevný obraz)– intensity function I (x,y,z,)– x [xmin, xmax] R


– z [zmin, zmax] R

– [min, max] R


Continuous image: Basic definitions• Time-varying continuous color image

(časově-proměnlivý spojitý barevný obraz)– intensity function I (x,y,,t) or I (x,y,z,,t)– x [xmin, xmax] R


– z [zmin, zmax] R

– [min, max] R

– t [tmin, tmax] R


Continuous image: Basic definitions• Static image (statický obraz)

– image does not change with time– I (x,y,z,,t0) = I (x,y,z,,t0+t) t > 0

• Monochrome image (monochromatický obraz)– image in which just one wavelength 0 is present

– I (x,y,z,,t) = 0 0

– produced by monochrome light– obtained artificially using laser

Discrete image: Basic definitions• Discrete color image (diskrétní barevný obraz)

– discrete array of sampled intensity and color values– intensity function I (x,y,) or I (x,y,z,)– x {x1, … , xnx}, xi = xmin+(i-1)*x, xi R, x R

– y {y1, … , yny}, yi = ymin+(i-1)*y, yi R, y R

– z {z1, … , znz}, zi = zmin+(i-1)*z, zi R, z R

– [min, max] R


Digital image: Basic definitions• Digital color image (digitální barevný obraz)

– image converted from analogue to digital representation– intensity function I (x,y,) or I (x,y,z,)– x {x1, … , xnx}, xi = xmin+(i-1)*x, xi R, x R

– y {y1, … , yny}, yi = ymin+(i-1)*y, yi R, y R

– z {z1, … , znz}, zi = zmin+(i-1)*z, zi R, z R

– {1, … , n}, i R

– I {I1, … , InI}, Ii = Imin+(i-1)*I, Ii R, I R

Digital image: Basic definitions• Grey-scale image (šedotónní obraz)

– digital image that does not have variable– also called monochrome image– may or may not be produced by monochrome light

• Binary image (binární obraz)– digital image with just two intensity values– I {0,1}

• Black-and-white image (černobílý obraz)– grey-scale or binary– ambiguos definition avoid using this term!

Digital image: Basic definitions• 2D image

– 2D digital image I (x,y,) or I (x,y)

• 3D image– 3D digital image I (x,y,z,) or I (x,y,z)

• Pixel– picture element in 2D image– corresponds to specific planar coordinates [x0,y0]

• Voxel– volume element in 3D image– corresponds to specific spatial coordinates [x0,y0,z0]

Image sampling (vzorkování obrazu)• Dirac delta function

(x), (x,y) or(x,y,z)

• 1D

01

dx)x(

)x(fd)x()(f

• 2D (x,y) = (x) • (y)

• 3D (x,y,z) = (x) • (y) •(z)

0

x

x

1

0

x,y

x

1 y

Image sampling (vzorkování obrazu)• Sampling function S(x,y) for 2D images

– composed of an infinite array of Dirac delta functions that are arranged in a grid of spacing (x, y):

– sampling function S(x) for 1D signal and S(x,y,z) for 3D image is defined in a similar way

0

S x,y

x

1

y

xy

kj

ykyxjxyxS ),(),(

Image sampling (vzorkování obrazu)• Sampling of a continuous image using the sampling function

– the sampled image FSampled is obtained from the input continuous image FContinuous by multiplying FContinuous with the sampling function

– the sampled image Fsampled can be written in 2D as:

k

Continuousj

Sampled ykyxjxykxjFyxF ),(),(),(

),(),(),( yxSyxFyxF ContinuousSampled

kj

ykyxjxyxS ),(),(

k

Continuousj

Sampled ykyxjxyxFyxF ),(),(),(

Image sampling (vzorkování obrazu)• Sampling of a continuous image using the sampling function

– thus, during the sampling process, the magnitude of the Dirac pulses in the sampling array is actually modified (replaced) by the values of Fcontinuous at the corresponding points (coordinates)

0

F x,ysampled

x

1

y

xy

Image sampling (vzorkování obrazu)• Sampling with averaging (vzorkování pomocí průměrování)

– sometimes it is advantageous to take not just one value of Fcontinuous for one Dirac pulse, but to take an average value of Fcontinuous computed from a certain neighbourhood

– the average value of a continuous function is computed using integration followed by division by the neighbourhood size

– for 1D and 2D this can be written as:

j

Continuous

x

xSampled xjxdaaxjF

xxF )()(1)(

2/

2/

),( yxFSampled

kContinuous

y

y

x

xjykyxjxdbdabykaxjF

yx),(),(1 2/

2/

2/

2/

Image sampling (vzorkování obrazu)• Sampling versus Sampling with averaging

– sampling with averaging is useful in the case of continuous functions with important local extremes (that we want to take into account)

– 1D example:

0 x

1

0

F xsampled

xx 2 x-2 x - x

1

0

F xsampled_average

xx 2 x-2 x - x

1

Image acquisition (pořizování obrazu)• Electronic devices (elektronická zařízení)

– Visible light• 0D: photo-multiplier tube (PMT)• 1D: line-scan camera• 2D: camera + digitizer (frame-grabber)• 2D: photograph + scanner

– Other types of electromagnetic radiation• 2D: infra-red (IR) camera (infra-červená kamera)• 2D: ultra-violet (UV) camera (ultra-fialová kamera)• 2D: X-ray detector (x-paprsky = Röntgenovo záření)• 2D: nuclear magnetic resonance (NMR)

– Particle radiation• 2D: electron detector (detektor elektronů)

– Sound waves• 2D: ultra-sound detector

+

++

_

_

Zdroj: Kozubek M., Kozubek S.: „Ozonová díra – Ohrožení pro lidstvo?“, CCB, 1993Web: http://www.fi.muni.cz/~kozubek/abstracts/ozon.shtml

Zdroj: Berkeley National Laboratory Web PagesWeb: http://www.lbl.gov/MicroWorlds/ALSTool/EMSpec/EMSpec2.html

Image acquisition (pořizování obrazu)Sources of visible, UV and IR light

Sunlight Laser (Helium-Neon, 633nm)

Zdroj: Pratt W.K.: „Digital Image Processing“, Wiley, 2001Web: http://knihovna.muni.cz/katalogy.html

Zdroj: Murphy D.B.: „Fundamentals of light microscopy and electronic imaging“, Wiley, 2001Web: http://knihovna.muni.cz/katalogy.html

Zdroj: Murphy D.B.: „Fundamentals of light microscopy and electronic imaging“, Wiley, 2001Web: http://knihovna.muni.cz/katalogy.html

Mercury = Rtuť (Hg)Xenon = Xenon (Xe)Tungsten = Wolfram (W)Halogen = Halogen (W+Br+Xe/Kr)

Image acquisition (pořizování obrazu)• Optical devices (optická zařízení)

(used for the manipulation with visible, UV and IR light)– lens (čočka)– mirror (zrcadlo)– filter (filtr, propouští vybrané vlnové délky)– dichroic mirror (dichroické zrcadlo, vybrané vlnové délky odráží,

ostatní vlnové délky propouští)– beam-splitter (dělič svazku, dělí světlo podle vlnové délky,

většinou jde o dichroické zrcadlo)– polarizer (polarizátor, propouští pouze tu část světla, která má

příslušnou polarizaci)– objective (objektiv, propracovaná a vyvážená soustava čoček)– microscope (mikroskop, opt. soustava pro pozorování malých objektů)– telescope (teleskop, opt. soustava pro pozorování vzdálených objektů)

Multi-dimensional image acquisitionInformation type Variables Image type Detector/Scanning Typical application

0D single value 0D / 0D single measurement1D x 1D grey-scale 0D / 1D

1D / 0Dflow cytometry

material inspection2D x, y 2D grey-scale 0D / 2D

1D / 1D2D / 0D

scanning microscopynot used

all cameras3D x, y, z 3D grey-scale 0D / 3D

1D / 2D2D / 1D


microscopy4D x, y, z, 3D color 0D / 4D

1D / 3D2D / 2D


microscopy4D x, y, z, t time series of

3D grey-scale0D / 4D1D / 3D2D / 2D


microscopy5D x, y, z, , t time series of

3D color0D / 5D1D / 4D2D / 3D


microscopy

Digital image properties• Image size (rozměry obrazu)

– Number of pixels (voxels) Nx - width, Ny - height, (Nz - depth)

– Number of wavelengths N

– Number of time points Nt

• Bit depth (bitová hloubka)– Number of bits per pixel per wavelength (8 bit, 12 bit, 16 bit)– = log2(NI)– Number of bits per pixel total (8 bit, 24 bit, 32 bit)– = log2(NI) • N

Example: Influence of bit depth on the resulting image for N=1

NI=16, BitDepth=4 NI=8, BitDepth=3

NI=4, BitDepth=2 NI=2, BitDepth=1Zdroj: Jähne B.: „Digital Image Processing“, Springer, 2002Web: http://knihovna.muni.cz/katalogy.html

Digital image properties• Image pixel size (velikost obrazového pixelu)

– image pixel size = camera pixel size / magnification – image voxel size = image pixel size * z-step

• Sampling frequency (vzorkovací frekvence)– number of pixels per unit length [pixels/meter] ( [pixels/mm] )– sampling frequency in x(y,z) = 1 pixel / image voxel size in x(y,z)– isotropic image = image with equal sampling frequency in all axes– anisotropic image = not isotropic image

Example: Influence of sampling frequency (pixel size) on the image

3 x 4 pixels 12 x 16 pixels

48 x 64 pixels 192 x 256 pixelsZdroj: Jähne B.: „Digital Image Processing“, Springer, 2002Web: http://knihovna.muni.cz/katalogy.html

Digital image properties• Image content description (popis obsahu obrazu)

– what objects were imaged– when the image was captured– where the image was captured– what camera mode was used– which software was used– which image processing steps were applied– who captured the image– etc.

Image storage (ukládání obrazu)• Internal memory (RAM)

– Matrix representation: multi-dimensional array of pixels (voxels)– Vector representation: list of objects with their attributes

• External memory– Matrix representation:

• 2D images: image header + image data(different formats: TIFF, Targa, BMP, …)

• >2D images: usually sequence of 2D images(no format)

– Vector representation:• image header + list of objects

(different formats: CDR, WMF, HPGL, …)

Image storage (ukládání obrazu)• Example: BMP header

typedef struct tagBITMAPINFOHEADER{ DWORD biSize; LONG biWidth; LONG biHeight; WORD biPlanes; WORD biBitCount DWORD biCompression; DWORD biSizeImage; LONG biXPelsPerMeter; LONG biYPelsPerMeter; DWORD biClrUsed; DWORD biClrImportant; } BITMAPINFOHEADER;

Documents

Digitální zpracování obrazu (PV131)