Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Freespace,  Ground  Plane  Es4ma4on  and  IPM  

Final  Project  Presenta4on  Bug  Busters  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Agenda  •  Task  Descrip4on  •  Our  Approach  – Dense  Depth  Image  – Ground  Plane  Es4ma4on  – Digital  Eleva4on  Map  –  Free  Space  Es4ma4on  –  Inverse  Perspec4ve  Mapping  

•  Possible  Improvements  

15/07/14   Bug  Busters  –  Final  Project  Presenta4on   2  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Task  Descrip4on  •  Find  the  Ground  Plane  

•  Perform  a  Free  Space    Es4ma4on  

•  Project  the  Free  Space  into  Bird’s  Eye  View  (Inverse  Perspec4ve  Mapping)  

15/07/14   Bug  Busters  –  Final  Project  Proposal   3  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Dense  Depth  Image  

•  1st  approach:  Disparity  image  from  Assignm.  4  

•  Results  were  lacking  informa4on  in  road  plane  

15/07/14   Bug  Busters  –  Final  Project  Proposal   4  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Dense  Depth  Image  

•  Improvement  by  using  ELAS  algorithm  

•  Op4mized  for  smooth  ground  plane    

15/07/14   Bug  Busters  –  Final  Project  Proposal   5  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Ground  Plane  Es4ma4on  •  Only  data  from  lower  image  half  is  used  to  reduce  influence  from  sky  ar4facts  

•  Point  cloud  and  prior  knowledge  are  fed  into  RANSAC  framework  

•  Extrinsic  calibra4on  of  camera  posi4on  to  1.65  m  above  ground  level  

15/07/14   Bug  Busters  –  Final  Project  Proposal   6  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Ground  Plane  Es4ma4on  •  4  plane  parameters:  𝑎𝑥+𝑏𝑦+𝑐𝑧+𝑑=0  

•  Extended  Normal  vector:     𝑛 =(█■𝑎@𝑏@𝑐@𝑑 )  

•  Distance  calcula4on:    𝐷= 𝑃 ↑𝑇 ∙   𝑛   

15/07/14   Bug  Busters  –  Final  Project  Proposal   7  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Digital  Eleva4on  Map  (DEM)  •  DEM  is  a  2.5-­‐dimensional  grid  where  intensi4es  represent  highest  points  in  n-­‐direc4on  at  (x,z)  

•  Transforma4on  to  polar  coordinates:  

𝑟=  √𝑥²+𝑧²   

𝜑=atan(𝑧/𝑥 )  

•  Region  growing  algorithm  to  create  denser  representa4on  of  eleva4on  data  

15/07/14   Bug  Busters  –  Final  Project  Proposal   8  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Digital  Eleva4on  Map  (DEM)  

15/07/14   Bug  Busters  –  Final  Project  Proposal   9  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Free  Space  Es4ma4on  •  Free  Space  is  es4mated  in  dense  DEM  image  

•  Propagated  from  front  to  back  un4l  an  obstacle  is  reached  

•  Missing  data  is  stepped  over  (within  limits)  

•  Contour  finding:  Only  the  contour  with  the  largest  area  is  kept,  others  are  false  posi4ves  

15/07/14   Bug  Busters  –  Final  Project  Proposal   10  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Free  Space  Es4ma4on  

15/07/14   Bug  Busters  –  Final  Project  Proposal   11  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Inverse  Perspec4ve  Mapping  •  Backtransforma4on  of  Free  Space  into  Cartesian  coordinates  

𝑥=𝑟sin 𝜑   

𝑧=𝑟cos𝜑   

•  Overlay  with  pixel  intensity  DEM  image  to  create  Bird’s  Eye  View  of  situa4on  (IPM)  

15/07/14   Bug  Busters  –  Final  Project  Proposal   12  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Inverse  Perspec4ve  Mapping  

15/07/14   Bug  Busters  –  Final  Project  Proposal   13  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Backprojec4on  •  Projec4ve  transforma4on  of  polar  Free  Space  

•  Δα = const. for  every  pixel  row  

•  Δr increases  with  α

•  𝑟= tan(90°−  𝛼) ∗ℎ  

15/07/14   Bug  Busters  –  Final  Project  Proposal   14  

∞

Δα

α

Δr

Image  plane  (KITTI  image)  

pixel  rows  

h

r Ground  plane  (DEM  image)  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Backprojec4on  

15/07/14   Bug  Busters  –  Final  Project  Proposal   15  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Possible  Improvements  •  Further  tuning  of  parameters  for  becer  Ground  Plane  Es4ma4on  

•  Incorporate  models  for  sloping  roads    (B-­‐Splines)  

15/07/14   Bug  Busters  –  Final  Project  Proposal   16  

Applied  Computer  Vision  for  Robo4cs  –  SS  2014  

Thank  you  for  your  acen4on!  

Bug  Busters