Modernā fotogrammetrija un realitātes telpiskā modelēšana

Ints Lukss

Jūrmala, 18.03.2016

Fotogrammetrijas attīstība

• Tehnoloģiju attīstība pēdējā desmitgadē: – Augstas izšķirtspējas un kompaktas digitālās fotokameras – Jauni algoritmi attēlu korelācijas noteikšanai – Jaudīgi standarta datori un grafiskie procesori – Vieglāki un kompaktāki sensori telpiskais piesaistei un

orientacijai: GPS, mikroelektromehāniskie sensori MEMS (žiroskopi, akselerometri, kompasi utt.)

– Bezpilota lidaparāti (DRON-i) ar automatizētu vadību

• Ieguvumi: – Paplašinātas digitālās fotogrammetrijas pielietošanas iespējas

dažādās nozarēs – Zemu izmaksu fotogrammetrija, kas pieejama neprofesionāļiem – DRON-u un citu mehānisku transporta līdzekļu izmantošana

datu savākšanas procesā – Reālās pasaules telpiskās modelēšanas iespējas

Modernās fotogrammetrijas iezīmes

• Datu iegūšana – Dažādas izmantojamās digitālās kameras: kompaktkameras,

bezspoguļkameras, spoguļkameras, videokameras, iebūvētās kameras – Dažādas attēlu uzņemšanas metodes: no zemes stacionāri, no zemes

transporta līdzekļiem, no pārlidojumiem, no aplidojumiem; šo metožu dažādas kombinācijas

– Mazāki sagatavošanās darbi un ātrāka lauka darbu veikšana – Automatizēta uzņemšanas plānošana un veikšana

• Datu apstrāde – Pilnīgi automatizēta datu apstrāde ar specializētu darbavietas

programmatūru (Pix4Dmapper, Agisoft PhotoScan, Bentley Context Capture) vai mākoņdatošanas pakalpojumiem (Hexagon Geospatial M.App Chest un GeoApp.UAS)

– Nav nepieciešama (bet ir iespējama) iepriekšēja kameras kalibrēšana

• Rezultāti – Ortofoto karte, 3D punktu mākonis, digitāls reljefa modelis (DTM), 3D

režģa modelis

Salīdzinājums ar lāzerskenēšanu Salīdzinot ar 3D skanēšanu, datu iegūšanai ir nepieciešama vienkārša fotokamera salīdzinot ar dārgu speciālo iekārtu. Tas dod vairākas būtiskas priekšrocības: • Lauka darbus ar fotokameru var veikt operators, kas nav eksperts, pat

sarežģītos un grūti kontrolējamos apstākļos: bez tripoda, neievērojot stingru attālumu diapazona kontroli, nelabvēlīgos laika apstākļos, …

• Pretēji vairumam 3D skaneru fotokamera dod augstas izšķirtspējas krāsu informāciju, kuru var attēlot uz rekonstruētās ģeometrijas, izveidojot reālistisku fototeksturētu 3D modeli.

• Tā kā datu iegūšana nav saistīta ar kādas speciālas ierīces izmantošanu noteiktos apstākļos, ir daudz plašākas datu iegūšanas iespējas: fotografēšana no rokas, no zemes transporta līdzekļiem, droniem un gaisa kuģiem.

• Atšķirībā no 3D skaneriem, var nodrošināt objektu rekonstrukciju plašā mērogu (izšķirtspējas) diapazonā – no dažiem centimetriem līdz kilometriem.

Bet ir arī apstākļi, kuros lāzerskenēšanai ir neapšaubāmas priekšrocības (apskatīsim tālāk).

Darba plūsma 1. Attēlu uzņemšanas plānošana

– Balstās uz attēlu apstrādes metožu nosacījumiem – Lidojumu plānošanu var veikt ar programmatūru (piem. Pix4Dcapture), kuru pašu

vai kuras rezultātus var izmantot lidojuma automātiskai vadīšanai – Citiem uzņemšanas veidiem jāvadās no rekomendācijām (būs tālāk)

2. Attēlu uzņemšana

3. Attēlu automātiska apstrāde – Tiek veikta (aero)triangulācija, attēlu orientācija, piesaiste atbalsta punktiem,

sakrītošu punktu detektēšana, virmas punktu noteikšana un 3D modeļa ģenerēšana

4. Interaktīva realitātes telpiskā modeļa analīze un pielietošana – Koordināšu, attālumu, virsmas un tilpumu mērīšana – Šķēlumu profilu noteikšana – Virsmas reljefa modeļa ģenerēšana – 3D objektu rekonstrukcija – Ainavu vizualizācija un plānošana – utt.

Attēlu uzņemšanas plānošana • Kardināli ietekmē attēlu apstrādes darbietilpību, rezultāta kvalitāti un

pilnīgumu

• Mērķis: nodrošināt pēc iespējas lielāku kopējo punktu (keypoint) skaitu attēlos, pēc kuriem apstrādē notiek kameras kalibrēšana, tās pozīcijas un orientācijas noteikšana

• Atšķirībā no tradicionālās fotogrammetrijas tiek izmantots daudz lielāks kopējo punktu skaits (> 1000) katram attēlu pārim (salīdzinot ar dažiem līdz dažiem desmitiem punktu tradicionālajā fotogrammetrijā)

• Lielais punktu skaits nodrošina iespējas apstrādes laikā novērtēt daudz vairāk nezināmo parametru nekā tradicionālajā fotogrammetrijā, tai skaitā veikt kameras automātisku kalibrāciju

>1000 sakrītoši punkti 75% pārklājums

Prasības attēliem

• Sakrītošo punktu skaits ir atkarīgs no: – Attēlu savstarpējā pārklājuma

lieluma

– Attēlu izmēra (izšķirtspējas)

– Attēlu vizuālā satura

• 10-12 Mpikseļu attēlu pāriem rekomendējams 75% pārklājums

• Lielāku pārklājumu vajag: – Ja ir mazs attēla izmērs

(izšķirspēja)

– Ja ir nabadzīgs vizuālais saturs (smiltāji, ūdens, sniegs)

• Labi attēli: – Krūmāji, akmeņaini lauki, arumi

– Ēkas, apbūve

– >10 Mpikseļi

– Apstrādē iegūst >10 000 sakrītošus punktus

• Slikti attēli: – Smiltis, sniegs, migla

– Izplūduši, izfokusēti

– Pārgaismoti, mazgaismoti (labāk)

– <3 Mpikseļi

– Apstrādē Iegūst mazāk kā 100 sakrītošus punktus

Sakritību atrašana attēlos

• Sakritības labi atrodamas attēlos:

– Ar daudz detaļām

– Ar lielu pārklājumu

• Grūti atrodamas sakritības attēlos:

– Ar maz detaļām

– Ar kokiem no neliela augstuma

– Ar būtiski atšķirīgiem uzņemšanas leņkiem pret virsmu

– Ar mazu pārklājumu

• Sakritības nav atrodamas attēlos:

– Ar atstarojošām virsmām, piemēram, ūdens

– Ar daudziem kustošiem objektiem

• Ja 40% attēla laukuma ir labi atrodamas sakritības, tas ir derīgs apstrādei

• Ieteicams RAW attēla formāts bez korekcijām

Lidojuma (uzņemšanas) plāni • Vertikāls skats (Nadir)

– Optimāls platībām un virsmām

– Rezultāts: ortofoto, digitālais reljefa modelis

– Prasības: • 75% frontālais pārklājums

• 60% sāniskais pārklājums

• Pēc iespējas regulārs režģis un konstants augstums

• Slīps skats (Oblique)

– Optimāls ēkām, atsevišķiem objektiem

– Rezultāts: punktu mākonis, 3D modelis

– Prasības: • Viens attēls ik pa 5-10˚

• Vairāk attēlu uz ēkas stūriem

• Jaukts skats

Interesējošā platība

Attēla platums

Attēla augstums

Sāniskais pārklājums

Frontālais pārklājums

Augstums 2

Augstums 1

Daži praktiski ieteikumi • Attēlu uzņemšanas laikā jāizslēdz kameras automātiskie ekspozīcijas un krāsu

korekcijas režīmi. • Ieteicams lietot optiku ar pastāvīgu fokusa attālumu, lai nebūtu problēmas ar

autokalibrēšanu. • Veicot uzņemšanu tikai vertikālajā skatā, kameras autokalibrācija var

nenokompensēt radiālos sagrozījumus (radial distortion). Kamera ir vai nu jākalibrē atsevišķi, vai arī projektā jāietver kāda objekta aplidošana.

• Vienā projektā lietojot dažāda fokusa attāluma optiku ("zivs aci", standarta objektīvu, teleobjektīvu), jācenšas, lai pārejai starp divām fotogrupām (fokusiem) nebūtu ar lielāku atšķirību kā 5 reizes (pikseļi uz platības vienību dabā), citādi netiks atrasti kopīgie punkti attēlos. Lai šo prasību ievērotu, jāvariē attālumi līdz virsmai/objektam vai lidojuma augstumi.

• Uzņemot objektus ar 360˚ aplidojumu/apiešanu, tas jādara pie maksimāli augstas saules vai apmākušā dienā, jo ir problemātiski rekonstruēt pret sauli uzņemtās virmas. Problēmas var radīt arī ēnu pārvietošanās uzņemšanas laikā.

• Ja gala produktam ir nepieciešama precīza piesaiste pie koordinātu sistēmas (piem. LKS-92), tad katram projektam ieteicams izmantot 6 kontrolpunktus – 4 aerotriangulācijas vajadzībām un 2 fotogrammetrijas projekta rezultāta precizitātes novērtēšanai.

Attēlu automātiskas apstrādes programmatūra –

Bentley ContextCapture • ContextCapture analizē statisku objektu attēlus, kas ir uzņemti no vairākiem

skatu punktiem, un automātiski detektē pikseļus, kuri atbilst vienam un tam pašam fiziskam punktam. No daudzām šādām atbilstībām nosaka attēlu relatīvo orientāciju un fotografēto objektu 3D formu.

• Šī tehnoloģija ir balstīta uz 25 cilvēkgadu pētījumiem, kas veikti divos Eiropā pazīstamos Francijas pētniecības institūtos: École des Ponts ParisTech and Centre Scientifique et Technique du Bâtiment.

• Pētījumu rezultāti realizējas programmatūrā Smart3DCapture, kuru izstrādāta kompānijā Acute3D (dibinātāji Jean-Philippe Pons un Renaud Keriven). Tā iegūst Francijas 2011.gada inovācijas balvu.

• 2015.gadā Acute3D iegādājas kompānija Bentley Systems un tā klūst par daļu no šīs kompānijas realitātes modelēšanas risinājumiem.

ContextCapture rezultātu formāti

3D vektordatu formāti: • Atvērtais OSGB formāts –

SketchFab u.c. • MicroStation Connect

Editon - *.3MX • AutoDesk - *.FBX • Collada *.DAE – 3DMax,

Blender u.c. • Google Earth KML • Universālais *.OBJ

(Microstation V8i)

Rastra formāti: • Ortofoto - GeoTIFF • Rastra virsmas modeļi-

GeoTiff

ContextCapture straumētais formāts *.3MX

Formāts satur vektoru 3D virsmas trijstūru režģī (Mesh) ar tekstūrām: • Tas ir ekstremāli kompakts (salīdzinot ar LIDAR LAS vai AutoDesk DWG trijstūru režģa

formātiem) • Sastāv no daudziem maziem failiem un viena «galvas» faila, datu glabāšana ir failu

sistēmā • Dati tiek straumēti, nevis lādēti operatīvajā RAM atmiņā – tādējādi praktiski var

glabāt un attēlot veselas pilsētas teritoriju ar visaugstāko detalizāciju • Pēc vajadzības fragmentus var pārkonvertēt uz DGN V8 3D vai DWG (ar Microstation

V10), bet tad būtiski pazemināsies veiktspēja darbā ar tiem

Pilotprojekts • Mērķis: novērtēt ContentCapture pielietojamību kadastra datu

aktualizācijai

• Interesējošā platība: 0,5 ha apbūves zeme lauku apvidū

• Attēlu uzņemšana: 28.10.2015

Lidojuma plāns • Vertikāls skats, augstums ~50m virs zemes

• Slīps skats, augstums ~40m virs zemes

• Slīps skats, augstums ~20m virs zemes

Darbu izpildes rādītāji Kamera: DJI 300X (Phantom 3), 12 Mpix, 3.6 mm (20 mm ekviv.), f/1:2.8, 94˚, 4K video

• 3 lidojumi ~15 min. katrs

• Uzņemti 527 attēli, izmantoti 304

• Kopējais patērētais laiks objektā – 1,5 stundas

| WWW.BENTLEY.COM

Datu apstrādes rādītāji Dators: I7-4770 16GB RAM; videokarte: NVIDIA GFORCE GTX 650 Ti

• Modelis I: 50 attēlu minimālais komplekts – vertikāls skats, izejas RAW attēlu faili 893 MB (100mx270m): – Pirmā aerotriangulācija , default parametri, izmanto tikai drona fotogrāfiju GPS

pozīcijas: 10 min.

– 3D Mesh virsma - *.3mx formāta ģenerēšana priekš MicroStation, rezultāta izmērs 51 mb: 33 min.

• Modelis II: 304 attēlu komplekts – vertikālais skats un aplidojums divi loki, izejas RAW attēlu faili 2702 MB (100mx270m): – Pirmā aerotriangulācija, default parametri, izmanto tikai drona fotogrāfiju GPS

pozīcijas: 1 stunda 5 min.

– Otrā aerotriangulācija – uzstādīti 3 atbalsta punkti, katru piesaista 4 ainām: 56 min.

– 3D režga (Mesh) virsma - *.3mx formāta ģenerēšana priekš MicroStation, darbs jādala 8 blokos, rezultāta izmērs 130 Mb: 7 stundas

– LAS faila ģenerēšana – katrs 5. punkts, rezultāta izmērs 189 Mb, darbs jādala 20 blokos (tiles): 4 stundas 30 min.

Acute3D Viewer • Acute3D Viewer dod iespēju ērti pārskatīt 3D režģa (Mesh)

realitātes modeļus, kas izveidoti ar Bentley Context Capture, jebkurā mērogā un veikt tajos precīzus mērījumus. Tajā var vienkārši ieslēgt un izslēgt fototekstūras, triangulētās virsmas un punktu mākoņus, lai labāk saprastu modelī atspoguļoto realitāti.

• Acute3D Viewer nāk līdzi Bentley ContextCapture, kā arī kā bezmaksas programmatūra ir lejuplādējama no Bentley Store un http://www.acute3d.com/s3c-viewer/.

• Piejamās versijas ir: – Acute3D Viewer for Windows 64-bit (version 4.0)

– Acute3D Viewer for Windows 32-bit (version 4.0)

– Acute3D Viewer for MacOS 64-bit (version 3.2.0)

• Atveramie failu formāti: *.3mx, *.osgb, *.obj, *.ply. *.fbx

• Ir pieejama tīmekļa versija: Acute3D Web Viewer

Acute3D Viewer - pārlūkošana

3D modelis 3D modelis ar tekstūru

Tīkla režģis (Mesh) Punktu mākonis

Acute3D Viewer – mērīšana

Tilpums

Platība

Attālums

Koordinātas

ContextCapture modelis MicroStation • Bentley ContextCapture (Acute3D

SmartCapture) modeli Bentley Connection saimes programmatūra, tai skaitā MicroStation, var atvērt gan kā pamata, gan kā references failu

MicroStation vizulizācijas iespējas • Fototekstūra ar režģa tīklu

MicroStation vizulizācijas iespējas • Izkrāsots pēc augstuma

Savietošana ar kadastra karti

• 2D un 3D salīdzināšanas grūtības

~20

m

Robežlīnijas Z koordinātas korekcija

• Manuāli var veikt ar pielipšanas (Snap) funkciju, kas strādā arī attiecībā uz tīkla režģi

• Automātiski 2D lineārus objektus var projicēt uz 3D virsmām ar Bentley Descartes

• Ar rīku "Stencil 2D Elements on 3D Geometry"

Pseido 3D kadastra karte

Modelis I – vertikāls skats, 50 ainas, tikai kameras GPS piesaiste

• Nobīdes: xy=~1,5m; z=~1,9m

Modelis I - raksturojums

• Ļoti ātri iegūstams

• Neprecīzas vertikālas detaļas un izkropļota aina zem jumta pārkarēm un karnīzēm

• Pietiekoši precīzi ir rekonstruēts reljefs

• Noderīgs attālumu, platību un kubatūras mērījumiem

• Piesaistot atbalsta punktiem uz zemes, noderīgs arī objektu digitizēšanai vertikalajā projekcijā, kā arī ēku pamatu kontūru zīmēšanai

Modelis II - vertikālais skats un aplidojums divi loki, 304 ainas

• Ievērojami lielāks apstrādes ainu apstrādes laiks

• Labi izstrādātas detaļas arī vertikālā plaknē, izņemot tieši zem jumta pārkares (būtu nepieciešams vēl viens loks apm. 2m no zemes)

• Precīzi rekonstruēts reljefs

• Laba sakrišana ar kadastra karti

Modeļu kopējās problēmas

• Neatbilstoša ūdens virsmas rekonstrukcija

• Problemātiska koku rekonstrukcija

• Nenopļautā platībā nav iespējams rekonstruēt reljefu

• Rezultāts ir būtiski atkarīgs no apgaismojuma apstākļiem

Šeit lāzerskenēšanai ir priekšrocības

Mērīšana uz modeļa

2.71

7.66

13.51 8.07 1.13 7.81 1.53

8.36

1.82 3.51 3.98 2.16 2.88 1.46

Kļūdaini BKU dati

Digitizēšana uz modeļa

• Digitizēšana ar nolūku operatīvi sagatavot datus kadastra aktualizācijai

• Zīmēšana trijās dimensijās dod iespēju vektorizēt detaļas, kas nav redzamas virsskatā, piemēram, būves pamatu kontūru

• Iespējams vektorizēt visu būves apjomu

• Arī 2D kadastra aktualizācija ir veicama caur 3D zīmēšanu ar rezultāta eksportu uz 2D

ContextCapture – rīks 3D kadastram

33 | WWW.BENTLEY.COM

Cits izmantošanas piemērs – šķēlumu profili no punktu mākoņa

Secinājumi no pilotprojekta • Gatavojot attēlu uzņemšanu, noteikti jāvadās no sākumā dotajām

plānošanas rekomendācijām.

• Nepieciešamais attēlu daudzums konkrētajā projektā būtu 120-150, pārāk daudz attēlu prasa ilgu apstrādi un var izraisīt pat programmas avāriju.

• Datu apstrādei ir nepieciešams dators ar pietiekošu veiktspēju, operatīvo atmiņu un grafisko procesoru. Apstrādes rezultātu tālākai izmantošanai noder jau esošās darba stacijas.

• Modeļa precīzai piesaistei noteikti ir nepieciešama uzmērītu atbalsta punktu izmantošana (x, y, z).

• Modeļa pielietošanai mērījumu veikšanai ZKU un BKU vajadzībām ļoti ērts ir pārlūks Acute3D Viewer. Objektu mērīšanas precizitāte uz konkrētā modeļa ir 5 cm robežās.

• Pilvērtīga modeļa datu izmantošana ir iespējama tikai ar 3D konstruēšanas rīkiem un tas nav vienkārši (prasa atbilstošas iemaņas un rīkus).

• Konkrēta objekta apsekošana ar šo metodi pie līdzīga laika patēriņa objektā ļauj iegūt nesalīdzināmi vairāk informācijas.

Tehnoloģijas pielietošanas jomas • Kadastra datu aktualizācija (ZKU, BKU) • Topogrāfiskās uzmērīšanas datu savākšana un papildināšana • Inženierkomunikāciju apsekošana un uzmērīšana • Būvniecības uzraudzība un jaunbūvju 3D izpilduzmērīšana • Vides un kultūrvēsturisko objektu 3D modelēšana • Pilsētu un apdzīvotu vietu 3D modeļu izstrāde pilsētplānošanas ,

pārvaldības un avārijas dienestu vajadzībām • Tehnoloģisko un ražošanas objektu 3D modelēšana • Objektu (tiltu, mastu, skursteņu utt.) tehniskās stāvokļa novērtēšana • Platību un tilpuma noteikšana, tai skaitā beramām kravām un

karjeriem • Situācijas fiksēšana katastrofu, nelaimes gadījumu un noziegumu

vietās • Fotoreālistisku 3D apvidus ainu publicēšana interneta portālos ar

interaktīvas aplūkošanas iespējām • Citi pielietojumi, kur nepieciešama realitātes telpiskā modelēšana

Tas arī ir viss ...