Digital and ComputationalPhotography

Av: Piraachanna Kugathasan

What is computational photography

• Digital photography:

– Simply replaces traditional sensors and recording by 

digital technology

– Involves only simple image processing

• Computational photography

– More elaborate image manipulation, more 

computation

– New types of media (panorama, 3D, etc.)

– Camera design that take computation into account

Computational photography

• Computational illumination

• Computational optics

• Computational processing

• Computational sensors

Computational illumination• Controlling photographic illumination in a structured fashion, 

then processing the captured images, to create new images

• ‐Flash/no‐flash imaging 

• ‐Multi‐flash imaging 

• ‐Different exposures imaging 

• ‐Image‐based Relighting 

Computational optics

• Capture of optically coded images, followed by computational decoding to produce new images

• ‐ Coded aperture imaging

• ‐ Coded exposure imaging

• ‐light field photography

• ‐Catadioptric imaging

• ‐Wavefront coding

• ‐ Compressive imaging

Computational processing

• Processing of non‐optically coded images to produce new images

• ‐ Panorama mosaicing

• ‐Matte extraction

• ‐ Digital photomontage

• ‐ High dynamic range imaging

• ‐ All‐focus imaging 

Computational sensors

• Detectors that combine sensing and processing, typically in hardware.

• ‐ Artificial retinas

• ‐ High dynamic range sensors

• ‐ Retinex sensors

Tone mapping

A simple example of global tone mapping filter

Defocus Matting

Super‐resolution

• Get a sharp high resolution image from low resolution

The A‐Cam

The A‐Cam is a collection of three video cameras that share a single center of projection by using a tree of beam splitters

Results from the A‐Cam

a)pinhole image of the A‐Cam, (b) background focused image, (c) foreground focused image, (d) automatically computed trimap, (e) the alpha matte at the A‐Cam resolution, (f) the super‐resolution alpha matte, and (g) super‐resolution alpha premultiplied foreground image composited with a new background.

Revolution 1: The invention of optical instruments

Computational ImagingTwo revolutions

Imaging without optics

Imaging with optics

Revolution 2: Electronic Recording

Electronic recording enables

• Electronic transmission (television)

• Multidimensional imaging (tomography)

• Feature extraction/enhancement

• Computational improvement of image metrics– Enhanced resolution

– Extended depth of field

– Imaging of spectra, coherence and polarization features

– ….

History of traditional and digital photo

• http://www.digicamhistory.com/

First production camera

1839. Daguerrotype

Instant photography

First TV

Transmission of moving images• 1884 ‐ Paul Nipkow– Using rotating disk with raster spiral– But amplification problems

Color TV

• First broadcast in 1951, CBS

Computer Graphics

• Computers to create image

• Sketchpad, 1961, Ivan Sutherland’s MIT PhD thesis

First digital camera

• 1975, Steve Sasson, Kodak• Uses ccd from Fairchild semiconductor, A/D from Motorola, .01 megapixels, 23 second exposure, recorded on digital cassette

Paint program

• Dick Shoup: SuperPaint [1972‐73]– 8 bits– http://www.rgshoup.com/prof/SuperPaint/• Alvy Ray Smith (Pixar co‐founder): Paint  [1975‐77] – 8 bits then 24 bits– http://www.alvyray.com/Awards/AwardsMain.htm– http://www.alvyray.com/Bio/BioMain.htm• Tom Porter: Paint

Photoshop

• Thomas Knoll and John Knoll began development in 1987

• Version 1.0 on Mac: 1990• http://en.wikipedia.org/wiki/Photoshop#Development• http://www.storyphoto.com/multimedia/multimedia_photoshop.html

Internet photo browsing• (Web browser that can display photos)• Mosaics, NCSA, Urbana Champaign, 1992

Camera advice

Equipment• Do get an SLR, compacts are way too limited• Don't worry about brand• Don't worry about the body, get the cheapest one• Worry about lenses– Zooms are convenient but quality can be a problem• avoid the basic zoom, but the one above is usually great• Maximum aperture matters (the smaller the number, the better)– Get a prime in the 35‐85mm range (cheap, high quality, wide aperture)50mm f/1.8 (both Canon & Nikon)

• Get a tripod• Get an external flash if you want to take “event” pictures– And orient towards ceiling– Good flash photography is very difficult

• Count 4k for camera+standard zoom+50mm

Brands• Nikon

– most used, cheap, great body, good images

• Canon

– user friendly, good images

• Olympus

– Good system, but smaller sensor

• Konica‐Minolta

– Just announced they stop photography!

• Pentax

– Good entry camera

• Sigma

– Intriguing sensor (Foveon)

• Fuji

– One‐trick pony (the sensor)

– Nikon body

• Sony

– Very silent, good images, lot of functions

Shooting 

• Use aperture priority, work on depth of field

• Change your viewpoint

• Don't center things

• Learn to adjust ISO

• Shoot raw

• Check your histogram

Editing (Photoshop)

• Crop to improve composition

• Manage contrast using curve and adjustment layers

• Sharpen a bit

• Convert to black and white with gradient map

Refs

• Wikipedia

• http://projects.csail.mit.edu/photo/

• http://en.wikipedia.org/wiki/Computational_photography#Computational_optics

• http://www.digicamhistory.com/

• Google.com ☺