Introduction to

Computer Vision 3D Vision3D Vision

Lecture 4Calibration

Spring 2006

Zhang Aiwu

Introduction to

Computer Vision Lecture OutlineLecture Outline

Calibration: Find the intrinsic and extrinsic parameters Problem and assumptions Projection matrix approach Tsai’s approach

Projection Matrix Approach (…after-class reading) Estimating the projection matrix M Computing the camera parameters from M Discussion

Tsai’s approach Estimating the intrinsic parameters Estimating the extrinsic parameters

Comparison and Summary Any difference?

Introduction to

Computer Vision Problem and AssumptionsProblem and Assumptions Given one or more images of a calibration pattern, Estimate

The intrinsic parameters The extrinsic parameters, or BOTH

Issues: Accuracy of Calibration How to design and measure the calibration pattern

Distribution of the control points to assure stability of solution – not coplanar

Construction tolerance one or two order of magnitude smaller than the desired accuracy of calibration

e.g. 0.01 mm tolerance versus 0.1mm desired accuracy How to extract the image correspondences

Corner detection? Line fitting?

Algorithms for camera calibration given both 3D-2D pairs

Alternative approach: 3D from un-calibrated camera

Introduction to

Computer Vision Camera ModelCamera Model

Coordinate Systems Frame coordinates (xim, yim) pixels Image coordinates (x,y) in mm Camera coordinates (X,Y,Z) World coordinates (Xw,Yw,Zw)

Camera Parameters Intrinsic Parameters (of the camera and the frame grabber): link the

frame coordinates of an image point with its corresponding camera coordinates

Extrinsic parameters: define the location and orientation of the camera coordinate system with respect to the world coordinate system

Zw

Xw

Yw

Y

X

Zx

yO

Pw

P

p

xim

yim

(xim,yim)

Pose / Camera

Object / World

Image frame

Frame Grabber

Introduction to

Computer VisionLinear Version of Perspective ProjectionLinear Version of Perspective Projection

World to Camera Camera: P = (X,Y,Z)T

World: Pw = (Xw,Yw,Zw)T

Transform: R, T

Camera to Image Camera: P = (X,Y,Z)T

Image: p = (x,y)T

Not linear equations

Image to Frame Neglecting distortion Frame (xim, yim)T

World to Frame (Xw,Yw,Zw)T -> (xim, yim)T

Effective focal lengths fx = f/sx, fy=f/sy

zT

yT

xT

zwww

ywww

xwww

T

T

T

TZrYrXr

TZrYrXr

TZrYrXr

w

w

w

w

PR

PR

PR

TRPP

3

2

1

333231

232221

131211

yyim

xxim

soyy

soxx

)(

)(

) ,(),(Z

Yf

Z

Xfyx

zwww

ywwwyyim

zwww

xwwwxxim

TZrYrXr

TZrYrXrfoy

TZrYrXr

TZrYrXrfox

333231

232221

333231

131211

Introduction to

Computer Vision Linear Matrix Equation of perspective projection

Linear Matrix Equation of perspective projection

Projective Space Add fourth coordinate

Pw = (Xw,Yw,Zw, 1)T

Frame p= （ u,v,1)

3x4 Matrix Eext

Only extrinsic parameters World to camera

3x3 Matrix Eint

Only intrinsic parameters Camera to frame

Simple Matrix Product! Projective Matrix M= MintMext

(Xw,Yw,Zw)T -> (u, v)T

Linear Transform from projective space to projective plane M defined up to a scale factor – 11 independent entries

Introduction to

Computer Vision Projection Matrix MProjection Matrix M

World – Frame Transform Drop “im” and “w” N pairs (ui,vi) <-> (Xwi,Ywi,Zwi) Linear equations of m

3x4 Projection Matrix M

Introduction to

Computer Vision

Introduction to

Computer Vision

R is an orthogonal unit matrix

Step 2: Computing camera parametersStep 2: Computing camera parameters

Introduction to

Computer VisionStep 2: Computing camera parametersStep 2: Computing camera parameters

Introduction to

Computer Vision

Matrix method: simpler, and more general; sometime projection matrix is sufficient so no need for parameter decompostion

parameter decompostion is not accurate

Discuss Discuss

Introduction to

Computer Vision

齐次坐标表示 齐次坐标是计算机视觉和计算机图形学中的一个十分有用的工具，利用它可以完美地表达许多重要的几何变换。

基本概念

齐次坐标含有冗余信息：笛卡尔 n 维空间中的一点可以用齐次（ n+1)空间中的一条直线表示。因而，对于一个笛卡尔空间的物理坐标点，在齐次坐标系中不存在唯一的表示。

Introduction to

Computer Vision

例如，三维空间中的物体点 的齐次坐标是一个 41维矢量（ kx,ky,kz,k),这里 k 是一个非零的任意常数。

Tzyx ),,(

为了将一个用 n1 维矢量表示的点从齐次坐标表示变换

到 n-1维的物理坐标，需要将全部分量除以第 n 个元素，

然后消去第 n 个分量，这样就形成一个新的 n-1维矢量。

同样，将 21 物理矢量维数增加一个比例系数，同时将物

体的图像点坐标乘以这个非零系数，这样也可以用齐次坐

标来表示一个图像点。

Introduction to

Computer Vision

设 和 分别是图像点 和物体点 在齐次坐标系中的表示，即：

x

ix ix x

w

wz

wy

wx

z

y

x

i

i

i

i

i

i

ii xx

w

wz

wy

wx

z

y

x

xx

Introduction to

Computer Vision Tsai’s approch

1.带有透镜径向一阶畸变的小孔摄像机模型

这是对小孔摄像机模型的一个修正 , 它考虑了沿径向的畸变 , 如图所示 . 下面讨论该摄像机模型的定义

O

Oi

x

X

Y

y P(Xu,Yu)L1

P(Xd, Yd)

POZ(0, 0, z)

L2

z

Ow

zw

yw

xwP(x, y, z)或P(xw, yw, zw)

Introduction to

Computer Vision

设 是三维世界坐标系中物体点的三维坐标。 是同一点 P 在摄象机坐标系（定义如图）中的三维坐标，摄象机的坐标系定义为：中心在 O 点（光学中心）， z 轴与光轴重合。（ X,Y) 中心在 Oi 点

（光轴 z 与图像平面的交点）平行于 x,y 轴的图像坐标系，有效焦距 f 是图像平面和光学中心的距离。（ Xu,Yu) 是在理想摄像机小孔模型下 P 点的图像坐标，

（ Xd,Yd) 是由透镜变形引起的偏移（ Xu,Yu) 的实际

图像坐标。

),,( www zyx

),,( zyx

Introduction to

Computer Vision

这里应注意的是图像在计算机中的坐标（ Xf,Yf) 的

单位是像素数，所以需要将物体点的三维坐标 变

换到图像平面坐标，变换的步骤为

),,( www zyx

（ 1 ）三维空间刚体位置变换从 到 ),,( www zyx ),,( zyx

TR

w

w

w

z

y

x

z

y

x（ 2.32 ）

式中 R 为 33 正交矩阵； T 为 31 的平移矢量。

Introduction to

Computer Vision

（ 2 ）假设 z≥f, 那么根据式（ 2.4），小孔摄像

机模型下的理想投影变换为

z

yfy

z

xfx

u

u

（ 2.33 ）

Introduction to

Computer Vision

（ 3 ）用一个二级阶多项式近似径向的透镜畸变

12

12

)1(

)1(

krYYY

krXXX

ud

ud （ 2.34 ）

式中： ； k 为畸变系数。222uu YXr

Introduction to

Computer Vision

（ 4 ）实际图像坐标到计算机图像（帧存）坐标变换

cyf

cxf

YYNY

XXNX

式中： ——计算机图像中心坐标（即图中 Oi 点的

帧存坐标；

——图像平面上单位距离上的像素点数。

),( cc YX

),( yx NN

（ 2.35 ）

Introduction to

Computer Vision

2.需要标定的参数 （ 1 ）外部参数上图中物体点从世界坐标系至摄像机三维坐标系（参见式 (2.32))的平移 T 和旋转变换矩阵 R 中的参数称为外部参数，外部参数有 6 个，它们是相应于 R 的用欧拉角表示的侧倾角 、俯仰角 、旋转角 ，及相应于平移矢量T 的三个分量 。于是，旋转矩阵 R 可以表示为 的函数。

zyx TTT ,, 、、

coscossincossin

sincoscossinsincossinsinsinsincossin

sinsincossincoscossinsinsincoscoscos

sR

（ 2.35 ）

Introduction to

Computer Vision

（ 1 ）内部参数f ：有效焦距，即图像平面到投影中心距离；k ：透镜畸变系数；

Nx ： x 方向的比例系数（由于摄像机的扫描和时序误差

使得 Nx 不能预先得知。

Ny ： y 方向的比例系数（对于 CCD摄像机而言， Ny 是

预先确定的； 图像平面原点的计算机图像坐标。 ),( cc YX

Introduction to

Computer Vision

（ a ）有效焦距 及 方向上的比例系数f YX , 要在计算机图像坐标（帧存中的行列值）和实际坐标间进行相互转换，显然需要知道帧存中行和列两个方向上相邻像素点间（相对于实际图像坐标）的距离，但是因为焦距 同时在 X 和 Y 方向上放缩图像，可设 Ny 为 1 ，而 Nx

此时就代表了图像的纵横比（直观上说，如果以光轴垂直于一平面来拍摄该平面上一个正方形，并使正方形的边垂直或平行于图像（ X,Y) 方向，则正方形两相邻垂直边以像素数计的长宽之比就是 Nx ），而此时计算的焦距 将是实际焦距与 y 方向比例系数的乘积。 由上述可见 三个参数不是相互独立的，可以先给定， Ny=1，来计算 和 Nx 。

f

f

yx NNf 、、f

Introduction to

Computer Vision

（ b ）图像中心点 ),( cc YX

在二维形状分析中可以选取图像帧存中心作为图像原点；而对三维视觉来说，景物的实际中心和图像帧存中心并不重合。 造成实际中心和帧存中心点不重合有以下几个原因：CCD面阵安装并未以透镜的光轴为中心，尤其是透镜可以被转动和拆卸的摄像机，这一点更不能保证。即使 CCD面阵安装合适，图像采集数字化窗口的中心不一定与光学中心重合。

Introduction to

Computer Vision

3 比例系数与图像中心点计算

目前的大部分标定算法都需要事先给出比例系数 和图像中心点 参数，下面讨论这些参数的计算方法。

),( yx NN

),( cc YX

（ 1 ）比例系数 对 CCD面阵摄像机而言， Y 方向的比例系数（即 CCD面阵上相邻两行感光电荷的距离 ) 由硬件厂商给出 , 而 X 方向的比例系数受时序及采样的影响 , 将是不确定的 . 我们可以设法测量 X 、 Y 方向比例系数之比。最简便的方法就是垂直拍摄一个圆环，然后计算水平方向和垂直方向上的直径比 ，这种直接的方法简便而有足够的精度。

yx NN /

Introduction to

Computer Vision

（ 2 ）图像中心点

图像中心点是光轴穿过图像平面的点。对于不需要精确中心点位置的系统，通常假设图像帧存中心点即为图像中心点，对要求精确摄像机模型的三维计算机视觉系统，有必要给出具有较高精度的图像中心点的位置。

利用激光束照射摄像机的透镜系统，根据激光束的反射情况调节激光束使其精确地通过光学中心，此时图像中激光束的像（一个光点）表示出了图像中心，这是一种最为精确的直接计算图像中心点的方法。

Introduction to

Computer Vision

下面再介绍一中适用的计算图像中心点的方法——变焦距

法

当一个摄像机系统的有效焦距变化时，视场将有一个比例扩缩

变化，在这个过程中，只有一个图像点，即视场中心是保持不变的。

假设小孔摄像机的焦距变化时，小孔沿光轴运动，则视场扩缩中心就

是光轴与图像平面的交点，也就是图像的中心点。根据这个原理用两

个不同焦距的镜头分别拍摄同一图像，然后计算扩缩中心就可以求得

图像中心点 。),( cc YX

Introduction to

Computer Vision

假设焦距从 f 变化到 f1, 由式（ 2.33） ~式（ 2.34）可得

fcf

cf

cf

cf zYY

YY

Y

Y

rkzf

krzf

X

X

XX

XX

1

)1(

)1(2

2

（ 2.37 ）

于是 ffffffcffc YXYXXXYYYX )()( （ 2.38 ）

式中 ——为在有效焦距下 某特征点的坐标；),( ff YX f

),( ff YX ——同一特征在有效焦距 下的坐标；f

fz ——扩缩比例，当其为零时无扩缩。

Introduction to

Computer Vision

图像中心点

根据式（ 2.38），利用最小二乘法可以解出图像中心点。

图 2.5中直线的交点（最小二乘意义下）即为图像中心点。由图可以直观地看出这种方法的有效性

Introduction to

Computer VisionComputing Camera Parameters

我们知道，在摄像机标定中所需标定的外部参数 6个和内部参数 6 个，共 12个参数。如此多的参数想在一个方程组或一次优化搜索中得到全部的解是不容易的，即使可以这样计算，也是非常费时的。 目前一些标定方法普遍采样两步法或多步法来计算参数，即利用成像几何中某些内在的性质或关系先求一部分参数，然后利用已求得的参数再来求解其它参数。其中应用最为广泛的是两步法。即第一次先求解外部参数，然后再计算内部参数。基于 RAC约束的方法就属于两步法。 基于 RAC的两步标定法的第一步是利用最小二乘法求解超定线性方程，给出外部参数；第二步求解内部参数，如果摄像机无透镜畸变，可由一个超定线性方程解出。如果存在一个以二次多项式近似的径向畸变，则可用一个三变量的优化搜索求解。

Introduction to

Computer Vision

1.径向排列约束 (RAC) 由图 2.4可知，矢量 L1 和矢量 L2 有相同的方向，其中 Oi 是图像中心， Pd 是图像平面上畸变后的像点， 是物体点。 是 P 点在摄像机坐标系中的位置坐标。 是位于（ 0,0,z）的点，这样 RAC可表示为 方向（ L1 ） = 方向（ L2 ） 有成像模型可知，径向透镜畸变不改变 L1 的方向，因此无透镜畸变都不影响以上等式。有效焦距的变化也不影响的这个等式，因为有效焦距的变化只会影响 L1 的长度而不影响其方向。这就意味着由 RAC导出的任何关系式均与有效焦距和透镜畸变系数无关，下面推导 RAC条件下个参数应满足的关系。

),,( zyxP

),,( zyxozP

Introduction to

Computer Vision

设

987

654

321

rrr

rrr

rrr

R

z

y

x

T

T

T

T （ 2.39 ）

则由式（ 2.32）得到

zwww

ywww

xwww

Tzryrxrz

Tzryrxry

Tzryrxrx

987

654

321

（ 2.40 ）

式中 是 P 点在世界坐标系中的坐标，（ x,y,z) 是 P 点在摄像机坐标系中的坐标。

),,( www zyx

Introduction to

Computer Vision

RAC条件就意味着

ywww

xwww

d

d

Tzryrxr

Tzryrxr

Y

X

y

x

654

321

将上式移项，整理可得

yddwdwdwxddwdwdw TXrXzrXyrXxTYrYzrYyrYx 654321

（ 2.41 ）

Introduction to

Computer Vision

将上式同时除以 , 得yT

dy

dwy

dwy

dwy

xd

ydw

ydw

ydw X

T

rXz

T

rXy

T

rXx

T

TY

T

rYz

T

rYy

T

rYx 654321

将式 (2.41)表示为矢量形式

d

y

y

y

yx

y

y

y

dwdwdwddwdwdw X

Tr

Tr

Tr

TT

Tr

Tr

Tr

XzXyXxYYzYyYx

/

/

/

/

/

/

/

][

6

5

4

3

2

1

其中，行矢量

][ dwdwdwddwdwdw XzXyXxYYzYyYx 是已知的，而列矢量 是待求参数。

Tyyyyxyyy TrTrTrTTTrTrTr ]///////[ 654321

（ 2.42 ）

Introduction to

Computer Vision

对于每一个物体点 ，已知其 、 、 、 、 就可以写出（ 2.42）。直观地说，选取合适的 7 个点（使系数阵满秩）就可以解出矢量中的 7 个分量。这里用同一平面上的空间点来作标定。这种标定模板较易设计。不失一般性，可选取世界坐标系，并使 ，这样式（ 2.42）中关于 和 二项的系数均恒为零，于是式（ 2.42）可表示为

iP dwYx dwYy dwYz dX dY

0wz

yTr /3 yTr /6

d

y

y

yx

y

y

dwdwddwdw X

Tr

Tr

TT

Tr

Tr

XyXxYYyYx

/

/

/

/

/

][

5

4

2

1

（ 2.43 ）

Introduction to

Computer Vision

求解空间刚体变换的困难之一是其 33 旋转矩阵 R有 9 个参数，但是其正交性规定了 R 仅有 3 个自由度，即仅 3 个变量是独立的。计算出的 必须满足正交性。若按照式（ 2.42）解出 6 个变量，则未必能满足正交性。由式（ 2.43）可解出 、 、 、 共 4 个独立变量。而正交阵加上一个比例 ( )也正好有 4 个独立变量 , 故式 (2.43)可以唯一地确定 ( 当方程数大于 4 时 ) 旋转阵 R 和平移分量 、 。

91 ~ rr

61 ~ rr

1r 2r 4r 5ryT/1

xT yT

上面利用 RAC 方法将外部参数分离出来，这样可以用求解线性方程的方法求解外部参数。下面给出相应的算法。

Introduction to

Computer Vision

2 、 RAC 两步法标定的计算过程

第一步： （ a ）拍摄一幅含有若干共面特征点的标定体图像。然后确定 N 个特征点的图像坐标，图像坐标 ， 。并设这些点相应的世界坐标为 。

),(ii ff YX Ni ,,2,1

),(ii ww yx

根据式（ 2.35 ），计算

ycfd

xcfd

NYYY

NXXX

ii

ii

/)(

/)( （ 2.44 ）

Introduction to

Computer Vision

（ b ）利用式（ 2.43 ）对每个点 ，可列出一个方程，联立这 N 个方程

iP

iiiiiiiiii d

y

y

yx

y

y

dwdwddwdw X

Tr

Tr

TT

Tr

Tr

XyXxYYyYx

/

/

/

/

/

][

5

4

2

1

（ 2.45 ）

式中 ，利用最小二乘法求解这个超定方程组（N≻5 ），可得如下变量：

Ni ,,2,1

yyyxxyy TrrTrrTTTTrrTrr ///// 55442211

Introduction to

Computer Vision

（ c ）利用 R 的正交性计算 和 ，略去详细数学，得到yT 91 ~ rr

2

5

2

4

2

2

2

1

22451

2/122451

22

)(2

])(4[

rrrrS

rrrr

rrrrSST

r

rry

（ 2.46 ）

Introduction to

Computer Vision

求得 后，需要确定它的符号。由成像几何关系可知， 与 应有相同的符号， 与 应有相同的符号，可以利用这一关系来确定 的符号，即在求得 后，任选一特征点 ，首先假设 为正，计算：

yT

dXx dY y

yT

yTyT

kP

yww

xww

yxx

y

y

y

y

Tyrxry

Tyrxrx

TTT

Trr

Trr

Trr

Trr

54

21

55

44

22

11

Introduction to

Computer Vision

若此时 与 ， 与 同号，则 符号就为正，否则 为负。利用正交性和右手系特性（相应于世界坐标为右手系）可计算 R

x dX y dY yT

yT

987

2/125

2454

2/122

2121

)1(

)1(

rrr

rrSrr

rrrr

R （ 2.47 ）

式中 ， , 可由矩阵中的前两行的叉乘得到。

]sgn[ 5241 rrrrS 987 ,, rrr

Introduction to

Computer Vision

R 的另一解为

987

2/125

2454

2/122

2121

)1(

)1(

rrr

rrSrr

rrrr

R （ 2.48 ）

具体选取哪一个 R ，可由试探法确定，即先任选一个，向下计算，若依此 R 值第二步计算出的 f⋖0 ，则放弃这个；若 f⋗0 ，就是选取正确。以上已经解出旋转矩阵 R和 T 矩阵中的 Tx 和 Ty ，下面计算有效焦距 f 与平移分量Tz 和透镜畸变系数 k 。

Introduction to

Computer Vision

对每个特征点 计算iP

Zwwi

ywwi

Tyrxrx

Tyrxry

ii

ii

84

54（ 2.49 ）

iwiwi yrxrw 87 设 ，若不计透镜畸变，则有

i

iu

z

y

f

Y

（ 2.50 ）

Introduction to

Computer Vision

考虑 ，则式（ 2.50 ）可展开为

将式（ 2.52 ）用矩阵形式表示

xii Twz

iuzui wYTYfy

（ 2.52 ）

而 ，则有Ycfu NYYY /)(

Y

icf

y

zcfi N

wYY

N

TYYfy )()(

（ 2.51 ）

yicfz

Ycfi NwYYT

fNYYy /)(]][/)([ （ 2.53 ）

Introduction to

Computer Vision

假设 k=0 ，解此超定方程（ ）可分别求出有效焦距 f 、和平移矢量 T 的 分量，然后再用这些值作初始试探，利用优化算法求解下列非线性方程组。

Ni ,,2,1 Tz

zww

xww

zww

yww

Tyrxr

TyrxrfkrX

Tyrxr

TyrxrfkrY

ii

ii

ii

ii

77

212

77

542

)1(

)1(

（ 2.54 ）

可解得到 的精确值。kTz、、f

这种方法简洁、快速、准确，避免了非线性的优化搜索，并且使 RAC 两步标定法的标定过程都可以通过求解线性方程组来实现，适用于需要快速标定摄像机的场合。

Introduction to

Computer Vision Estimating the Image CenterEstimating the Image Center

Vanishing points: Due to perspective, all parallel lines in 3D space appear to meet in

a point on the image - the vanishing point, which is the common intersection of all the image lines

Introduction to

Computer Vision Estimating the Image CenterEstimating the Image Center

Vanishing points: Due to perspective, all parallel lines in 3D space appear to meet in

a point on the image - the vanishing point, which is the common intersection of all the image lines

VP1

Introduction to

Computer Vision Estimating the Image CenterEstimating the Image Center

Vanishing points: Due to perspective, all parallel lines in 3D space appear to meet in a point

on the image - the vanishing point, which is the common intersection of all the image lines

Important property:

Vector OV (from the center of projection to the vanishing point) is parallel to the parallel lines

O

VP1

Y

X

Z

Introduction to

Computer Vision Estimating the Image CenterEstimating the Image Center

Vanishing points: Due to perspective, all parallel lines in 3D space appear to meet in

a point on the image - the vanishing point, which is the common intersection of all the image lines

VP1

VP2

Introduction to

Computer Vision Estimating the Image CenterEstimating the Image Center

Orthocenter Theorem: Input: three mutually

orthogonal sets of parallel lines in an image

T: a triangle on the image plane defined by the three vanishing points

Image center = orthocenter of triangle T

Orthocenter of a triangle is the common intersection of the three altitudes VP1

VP2

VP3

Introduction to

Computer Vision Estimating the Image CenterEstimating the Image Center

Orthocenter Theorem: Input: three mutually

orthogonal sets of parallel lines in an image

T: a triangle on the image plane defined by the three vanishing points

Image center = orthocenter of triangle T

Orthocenter of a triangle is the common intersection of the three altitudes

VP1

VP2

VP3

Introduction to

Computer Vision Estimating the Image CenterEstimating the Image Center

Orthocenter Theorem: Input: three mutually

orthogonal sets of parallel lines in an image

T: a triangle on the image plane defined by the three vanishing points

Image center = orthocenter of triangle T

Orthocenter of a triangle is the common intersection of the three altitudes

Orthocenter Theorem: WHY?

VP1

VP2

VP3

h3

h1

h1

(ox,oy)

Introduction to

Computer Vision Estimating the Image CenterEstimating the Image Center

Assumptions: Known aspect ratio Without lens distortions

Questions: Can we solve both

aspect ratio and the image center?

How about with lens distortions?

VP1

VP2

VP3

h3

h1

h1

(ox,oy) ?

Advantages:

only need to see vanishing

points

(e.g., architecture, table, …)

Disadvantages:

not that accurate

need rectahedral object(s)

in scene

Introduction to

Computer Vision Multi-plane calibrationMulti-plane calibration

Use several images of planar target held at unknown orientations [Zhang 99] Compute plane homographies

Solve for K-TK-1 from Hk’s 1plane if only f unknown 2 planes if (f,uc,vc) unknown 3+ planes for full K

Code available from Zhang and OpenCV

Introduction to

Computer Vision Guidelines for CalibrationGuidelines for Calibration

Pick up a well-known technique or a few Design and construct calibration patterns (with known 3D) Make sure what parameters you want to find for your camera Run algorithms on ideal simulated data

You can either use the data of the real calibration pattern or using computer generated data

Define a virtual camera with known intrinsic and extrinsic parameters Generate 2D points from the 3D data using the virtual camera Run algorithms on the 2D-3D data set

Add noises in the simulated data to test the robustness Run algorithms on the real data (images of calibration target) If successful, you are all set Otherwise:

Check how you select the distribution of control points Check the accuracy in 3D and 2D localization Check the robustness of your algorithms again Develop your own algorithms NEW METHODS?

Introduction to

Computer Vision BibliographyBibliography G. Stein. Accurate internal camera calibration using rotation, with analysis of sources of

error. In Fifth International Conference on Computer Vision (ICCV'95), pages 230--236,

Cambridge, Massachusetts, June 1995.

G. Stein. Lens distortion calibration using point correspondences. In IEEE Computer Society Conference on Computer Vision and Pattern

Recognition (CVPR'97), pages 602--608, San Juan, Puerto Rico, June 1997.

R. Y. Tsai. A versatile camera calibration technique for high-accuracy 3D machine vision

metrology using off-the-shelf TV cameras and lenses. IEEE Journal of Robotics and Automation, RA-3(4):323--344, August 1987.

Z. Zhang. Flexible camera calibration by viewing a plane from unknown orientations. In Seventh International Conference on Computer Vision (ICCV'99), pages 666--

687, Kerkyra, Greece, September 1999.

Introduction to

Computer Vision NextNext

3D reconstruction using two cameras

Stereo Vision

Homework #2 online, Due March 8 before class