Inverse Perspective Projection of Convex Quadrilaterals

Joo-Haeng LeeETRI

ACDDE 2011VR and Multimedia WorkshopSession VRM-2 Paper ID116

111년 8월 28일 일요일

Assume that you have a hand-held projector which can accept an rectangular source image of arbitrary aspect ratio. Which of the following convex quadrilaterals is projectable from this projector?

Joo-Haeng Lee (joohaeng at etri.re.kr)

Quiz #1

Assume that you have a hand-held projector which can accept an rectangular source image of arbitrary aspect ratio. Which of the following convex quadrilaterals is projectable from this projector?

(a) Rhombus (b) Parallelogram

(c) Trapezoid___ (d)IsoscelesTrapezoid

Quiz #1

(a) (b)

(c) (d)

Quiz #2

Outline• Motivation

- Investigation of a geometric projection property as a theoretic aspect of RSAR (Robotic Spatial AR)

• Main Contribution

- (1) Analytic solution to the inverse perspective projection of a convex quadrilateral

- (2) Geometric interpretation

• Experimental Results + Answer to the Quiz #2

• Discussion

AR, SAR & RSAR• AR

- Augmented Reality

• SAR

- Spatial Augmented Reality

- Augmented Reality

• SAR

- Spatial Augmented Reality

• RSAR

- Robotic Spatial Augmented Reality

Examples of AR• World Lens

Examples of SAR• SixthSense (2009, MIT)

Examples of RSAR• LuminAR (2010; MIT)

FRC: RSAR System in ETRI

FRC: Kinematic Features• 5 Motors: (tilt + pan) x 2 + (center pan)

- Redundancy in Pan Rotation

1011년 8월 28일 일요일

FRC: Micro Projectors

• Microvision SHOWWX

- Laser-based

- No need to control focus

- 10~15 lumen

• Optoma PK-301

- Manual focusing required

- 20~50 lumen

1111년 8월 28일 일요일

FRC: Applications

! ! ! !

1211년 8월 28일 일요일

Control Issues in RSAR• Kinematic Control

- Inverse Kinematics, Redundancy in DOF

• Inverse Projection

- Approximation vs. Analytic Solution

- Image Pre-Warping

• High-Order Control

- Constraints Handling; Collaborative RSAR

1311년 8월 28일 일요일

Inverse Projection

• End Effector (= Goal)

- position, area, shape, intensity, precision, ...

• Parameters

- Internal

- External: Pose Estimation

• High-order Control

- Soft and Hard Collision Avoidance

- Image Pre-Warping

1411년 8월 28일 일요일

• End Effector: a projected mid-point

Position Control

1511년 8월 28일 일요일

• End Effector: a portion of area

Area Control

1611년 8월 28일 일요일

• End Effector: a certain shape of convex quadrilateral at a certain position

Shape Control

1711년 8월 28일 일요일

Problem Definition

• Geometric Projectability of a Convex Quad

- Given an arbitrary convex quadrilateral, find external and internal parameters of a projector to project this quad from an imaginary rectangle of an unknown aspect ratio.

- Which type of named convex quadrilateral can be projected from a rectangle?

- Why a certain quad is not projectable?

- How to modify a such quadrilateral to be projectable?

1811년 8월 28일 일요일

Solution Outline: Analytic Inverse Projection of Convex Quadrilateral

1911년 8월 28일 일요일

1. Get a diagonal parameterization of a convex quad.

1911년 8월 28일 일요일

2. Find values of length-related coefficients from inverse line projection for each diagonal.

1911년 8월 28일 일요일

3. Check if these coefficients satisfy the basic conditions to solve the solution equations.

1911년 8월 28일 일요일

3. Check if these coefficients satisfy the basic conditions to solve the solution equations.

4. Solve the analytic equations to get the projector parameters

1911년 8월 28일 일요일

Solution Outline: Geometric Inverse Projection of Convex Quadrilateral

1. Get a diagonal parameterization of a convex quad

2. Find two solution spheres from inverse line projection for each diagonal

3. Find an intersection circle of above two spheres

4. Find a point as center-of-projection where two line projections have the same field-of-view

2011년 8월 28일 일요일

Line: Configuration

v0v2 m

2111년 8월 28일 일요일

Line: Configuration• External Param:

- center-of-projection:

- projection direction:

pms − p

v0v2 m

2111년 8월 28일 일요일

• Internal Param

- filed-of-view:

pms − p

v0v2 m

2111년 8월 28일 일요일

• Internal Param

- filed-of-view:

• Imaginary Source Line

pms − p

v0v2 m

2111년 8월 28일 일요일

• Internal Param

- filed-of-view:

• Imaginary Source Line

• Projected Line Image

- Projected mid-point:

pms − p

v0v2 m

2111년 8월 28일 일요일

Line: Inverse Projection• Input

- A projected line with a projected mid-point

• Output

- Ext param:

• center-of-projection:

- Int param:

• filed-of-view:

p = (d,θ )

v0v2 m

2211년 8월 28일 일요일

Line: Analytic Solution• Ext Param:

• Int Param:

• Coefficients:

cosθ =dl2 − l02 l0l2

tanψ =l2 − l0l0 + l2

=1βtanθ

α and β

v0v2 m

2311년 8월 28일 일요일

Line: Coefficients• Coefficients defined by the given configuration:

α =l2 − l02l0l2

l0 + l2l2 − l0

γ =αβ =l0 + l22l0l2

v0v2 m

2411년 8월 28일 일요일

• Observation in 2D

Line: Geometric Meaning

pc#d ,θ&=d #cosθ ,sinθ&=1αcosθ #cosθ ,sinθ&

cl0l2 v0v2 m l0l2 v0v2 m

2511년 8월 28일 일요일

• Solution Space in 2D

cl0l2 v0v2 m

2611년 8월 28일 일요일

A circle of radius 1

2α with the center at

⎝⎜⎞

⎠⎟

cl0l2 v0v2 m

2611년 8월 28일 일요일

A sphere S of radius 1

2α with the center at

l2− l

#v0−m&

2711년 8월 28일 일요일

Quad: Configuration

2811년 8월 28일 일요일

Quad: Configuration

• Ext Params

- center of projection

• Int Params

- filed-of-view

• Source Quad

- rectangle (cf) aspect ratio

• Projected Quad

- convex quadrilateral

• Length-related coefficients:28

2811년 8월 28일 일요일

Quad: Configuration

• Ext Params

- center of projection

• Int Params

- filed-of-view

• Source Quad

- rectangle (cf) aspect ratio

• Projected Quad

- convex quadrilateral

• Length-related coefficients:28

α i ,βi and γ i for each diagonal

2811년 8월 28일 일요일

Quad: Diagonal Parameterization

• Transformation of a quad to a canonical form which is defined with simple shape parameters related to diagonals:

(d2 , ρ, t1, t 2 )

2911년 8월 28일 일요일

Quad: Configuration

• 1st diagonal

- Ext Params

• cop:

- Int Params

• filed-of-view:

- Source

• a line segment

- Projected Line

• the 1st diagonal

- Coefficient:30

α0 and β0

p0 = (d0 ,θ0 )

3011년 8월 28일 일요일

Quad: Configuration

• 2nd diagonal

- Ext Params

• cop:

- Int Params

• filed-of-view:

- Source

• a line segment

- Projected Line

• the 2nd diagonal

- Coefficient:31

α1 and β1

p1 = (d1,θ1)

3111년 8월 28일 일요일

Quad: Inverse Projection

3211년 8월 28일 일요일

• Input

- a convex quadrilateral

3211년 8월 28일 일요일

• Input

• Output

3211년 8월 28일 일요일

• Input

• Output

- Ext param

• center-of-projection (cop)

3211년 8월 28일 일요일

• Input

• Output

- Ext param

- Int param

• filed-of-view (fov)m

3211년 8월 28일 일요일

• Input

• Output

- Ext param

- Int param

• filed-of-view (fov)

• Constraints

3211년 8월 28일 일요일

• Input

• Output

- Ext param

- Int param

• Constraints

- same cop:

d0 = d1

3211년 8월 28일 일요일

• Input

• Output

- Ext param

- Int param

• Constraints

- same cop:

- same fov:

ψ 0 =ψ 1

d0 = d1

3211년 8월 28일 일요일

Quad: Analytic Solution

3311년 8월 28일 일요일

• Constraint 1: cop

d0 =cosθ0α0

=cosθ1α1

3311년 8월 28일 일요일

• Constraint 2: fov

d0 =cosθ0α0

=cosθ1α1

tanψ 0 =tanθ0β0

=tanθ1β1

= tanψ 1

3311년 8월 28일 일요일

• 2 Eqs and 2 Unknowns

d0 =cosθ0α0

=cosθ1α1

tanψ 0 =tanθ0β0

=tanθ1β1

= tanψ 1

3311년 8월 28일 일요일

• 2 Eqs and 2 Unknowns

- Existence of solution?

- Geometric meaning?

d0 =cosθ0α0

=cosθ1α1

tanψ 0 =tanθ0β0

=tanθ1β1

= tanψ 1

cosθ0 = ±C 2 −1

A B 2 −1

A =α1α0

B =β1β0

C =γ 1γ 0

Coefficients

Equation

3411년 8월 28일 일요일

A2 ≥1, B 2 ≤1,C 2 ≤1OR

A2 ≤1, B 2 ≥1,C 2 ≥1

cosθ0 = ±C 2 −1

A B 2 −1

A =α1α0

B =β1β0

C =γ 1γ 0

Coefficients

EquationCoefficientConditions

3511년 8월 28일 일요일

Quad: Geometric MeaningSteps

1. Get a diagonal parameterization of a convex quad

2. Find two solution spheres from inverse line projection for each diagonal

3. Find an intersection circle of above two spheres

4. Find a point as center-of-projection where two line projections have the same field-of-view

3611년 8월 28일 일요일

Quad: Geometric MeaningStep 1. Get a diagonal parameterization of a convex quad

3711년 8월 28일 일요일

Quad: Geometric MeaningStep 2. Find two solution spheres for each diagonal

3811년 8월 28일 일요일

Step 3. Find an intersection of two solution spheres

Quad: Geometric Meaning

copconstraint

3911년 8월 28일 일요일

copconstraint

3911년 8월 28일 일요일

copconstraint

4011년 8월 28일 일요일

Step 4. Find a center-of-projection where two line projections have the same field-of-view:

pcHf,yL

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

yif and y

fov constraint

4111년 8월 28일 일요일

Step 4. Find a center-of-projection where two line projections have the same field-of-view:

pcHf,yL

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

yif and y

ψ 0 =ψ 1

fov constraint

4211년 8월 28일 일요일

pcHf,yL

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

yif and y

Different field-of-views:

ψ 0 ≠ ψ 1

fov constraintis not satisfied!

4311년 8월 28일 일요일

Type of Quads

4411년 8월 28일 일요일

TypesDiag Param

Projectability Remarks

square always

rectangle always

rhombus never no int. param

parallelogram never no int. param

kite conditionally remark 1

iso. trapezoid always

trapezoid never no ext. param

quad conditionally remark 2

(d2 , ρ, t1, t 2 )

(1, ρ, 0.5, 0.5)

(1, π / 2, 0.5, 0.5)

(d2 , π / 2, 0.5, 0.5)

(d2 , ρ, 0.5, 0.5)

(d2 , π / 2, t1, 0.5)

(1, π / 2, t1, t1)

(d2 , π / 2, t1, t1)

(d2 , ρ, t1, t 2 )

4511년 8월 28일 일요일

pcHf,yL

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

yif and y

4611년 8월 28일 일요일

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

yif and y

4711년 8월 28일 일요일

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

yif and y

Isosceles Trapezoid

4811년 8월 28일 일요일

v3pcHf,yL

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

yif and y

General Quad

4911년 8월 28일 일요일

(a) (b)

(c) (d)

Quiz #2

5011년 8월 28일 일요일

(a) (b)

(c) (d)

Quiz #2

(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)

(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)

Diagonal Parameters: (d2 , ρ, t1, t 2 )

5111년 8월 28일 일요일

(a) (b)

(c) (d)

Quiz #2

Diagonal Parameters:

(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)

(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)

Solution Coefficients: !A2 , B 2 ,C 2 '(d2 , ρ, t1, t 2 )

(0.3, 1.5, 0.4) (12.0, 0.11, 1.33)

(12.0, 0.11, 1.33)

(3.1, 0.3, 0.8)

5211년 8월 28일 일요일

(a) (b)

(c) (d)

Quiz #2

(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)

(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)

Solution Coefficients:

A2 ≥1, B 2 ≤1,C 2 ≤1OR

A2 ≤1, B 2 ≥1,C 2 ≥1 !A2 , B 2 ,C 2 '(d2 , ρ, t1, t 2 )

(0.3, 1.5, 0.4) (12.0, 0.11, 1.33)

(12.0, 0.11, 1.33)

(3.1, 0.3, 0.8)

5311년 8월 28일 일요일

(a) (b)

(c) (d)

Quiz #2

(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)

(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)

Solution Coefficients:

A2 ≥1, B 2 ≤1,C 2 ≤1OR

A2 ≤1, B 2 ≥1,C 2 ≥1 !A2 , B 2 ,C 2 '(d2 , ρ, t1, t 2 )

(0.3, 1.5, 0.4) (12.0, 0.11, 1.33)

(12.0, 0.11, 1.33)

(3.1, 0.3, 0.8)

Projectable

5411년 8월 28일 일요일

Summary

• Geometric Projectability of a Convex Quad

- Given an arbitrary convex quadrilateral, we can find projector parameters analytically with a geometric interpretation.

• Future Works

- How to modify an un-projectable quad to be projectable? Note that a projectable bounding quad is important in RSAR application

- Can it be applied to a triangle or other polygons?

- Comparison with PnP (perspective-n-point) problem in computer vision

5511년 8월 28일 일요일

Contact:

Joo-Haneg Lee

joohaeng at gmail dot com

5611년 8월 28일 일요일

Thank You!

5711년 8월 28일 일요일

Inverse Perspective Projection of Convex Quadrilaterals

Technology

Convex Optimisation for Inverse Kinematics · Introduction The inverse kinematics (IK) problem plays an important role in robotics, computer games, graphics, and vision, as ... by

The Convex Geometry of Linear Inverse ProblemsThe Convex Geometry of Linear Inverse Problems Venkat Chandrasekaranm, Benjamin Rechtw, Pablo A. Parrilom, and Alan S. Willskym ∗ m

Quadrilaterals [autosaved]

MATHS PROJECT Quadrilaterals MATHS PROJECT Quadrilaterals Geometry EOC

Quadrilaterals Final

8.6 – Identify Special Quadrilaterals. Quadrilaterals

Inverse Rendering of Lambertian Surfaces Using Subspace ...minhdo.ece.illinois.edu/publications/InverseRendering.pdf · rendering of a Lambertian convex object with distant light

39 An Efﬁcient Hybrid Algorithm for the Separable Convex ......Separable Convex Quadratic Knapsack Problem 39:3 Here sk ≥ 0 is the stepsize, αkI is an approximation to the inverse

Understanding quadrilaterals

Unit 6 Quadrilaterals. Lesson 6.1 Properties of Quadrilaterals

5.1 Quadrilaterals

Convex relaxations for certain inverse problems on graphs

A Proximal Decomposition Method for Solving Convex Variational Inverse Problems

1 On Solving SAR Imaging Inverse Problems Using Non-Convex

Geometry Quadrilaterals -1- NJCTLcontent.njctl.org/courses/math/geometry-2015-16/quadrilaterals/... · 08.04.2015 · Geometry – Quadrilaterals -1- NJCTL.org Name_ Date _

Non-smooth Non-convex Bregman Minimization: Uni cation … · Non-smooth Non-convex Bregman Minimization: Uni cation and ... ing many linear and non-linear inverse problems in

Convex formulations of inverse modeling problems on

Chapter 8 Quadrilaterals. Section 8-1 Quadrilaterals

Other Quadrilaterals

The Convex Geometry of Linear Inverse Problemsbrecht/papers/2010-crpw_inverse... · The Convex Geometry of Linear Inverse Problems Venkat Chandrasekaranm, Benjamin Rechtw, Pablo A