22
1 CS597D: Geometric Analysis of 3D Models CS597D: Geometric Analysis of 3D Models Thomas Funkhouser Princeton University CS597D, Fall 2003 Thomas Funkhouser Princeton University CS597D, Fall 2003 Introduction Call me Ishmael. Some years ago -- never mind how long precisely -- having little or no money in my purse, and nothing particular to interest me on shore, I thought I would sail about a little and see the watery part of the world. It is a way I have of driving off the spleen, and regulating the circulation. Whenever I find myself growing grim about the mouth; whenever it is a damp, drizzly November in my soul; whenever I find myself involuntarily pausing before coffin warehouses, and bringing up the rear of every funeral I meet; and especially whenever my hypos get such an upper hand of me, … 2D Images Text Audio What about 3D data? Image courtesy of www.dreamhorse.com

CS597D: Geometric Analysis of 3D Models · 1 CS597D: Geometric Analysis of 3D Models Thomas Funkhouser Princeton University CS597D, Fall 2003 Thomas Funkhouser Princeton University

Embed Size (px)

Citation preview

11

CS597D:Geometric Analysis

of 3D Models

CS597D:Geometric Analysis

of 3D Models

Thomas Funkhouser

Princeton University

CS597D, Fall 2003

Thomas Funkhouser

Princeton University

CS597D, Fall 2003

Introduction

���������������������� ��������������������������� ������������

Call me Ishmael. Some years ago --never mind how long precisely --having little or no money in my purse, and nothing particular to interest me on shore, I thought I would sail about a little and see the watery part of the world. It is a way I have of driving off the spleen, and regulating the circulation. Whenever I find myself growing grim about the mouth; whenever it is a damp, drizzly November in my soul; whenever I find myself involuntarily pausing before coffin warehouses, and bringing up the rear of every funeral I meet; and especially whenever my hypos get such an upper hand of me, …

2D Images

Text

Audio

What about 3D data?

Image courtesy ofwww.dreamhorse.com

22

Introduction

�������� ���������������������������������

Someday 3D models will be as common as images are today

Someday 3D models will be as common as images are today

Cheap Scanners World Wide Web3D CafeCyberware

Fast Graphics CardsATI

Images courtesy ofCyberware, ATI, & 3Dcafe

Motivation

������������� ������ ����������������� ��������� ���������

Future research will ask:“How do we find 3D data?” Future research will ask:

“How do we find 3D data?”

Utah VW Bug Utah Teapot Stanford Bunny

Images courtesy ofStanford & Utah

Previous research has asked:“How do we acquire 3D data?”Previous research has asked:“How do we acquire 3D data?”

33

Introduction

���������������������������������������������� ���������� ������������������

Images courtesy ofDe Espona & Utah

Utah VW Bug

Analysis algorithms also are needed to create “useful” 3D models from “raw” 3D data

Analysis algorithms also are needed to create “useful” 3D models from “raw” 3D data

Introduction

�� ������������������������� � ��������� ����������� ����� ������������������������

ObjectRecognition

ObjectRetrieval

ObjectClassification

ObjectSynthesis

MatchingObject

SimilarObjects

MatchingClass

NovelObjects

ShapeIndex

ShapeDescriptor

ShapeAnalysis

IndexConstruction

ShapeAnalysis

Clustering &Learning

ClassSpecification

Databaseof

3D Models

GeometricQuery

44

Introduction

������� ��������������� �!

2D Image3D Model

Images courtesy ofGeorgia Tech and

www.dreamhorse.com

Lecture Outline

"��������

#������

$���������

%�� ����������

& '����

& %�� ����(

& �� ����

������

55

Shape Analysis Problems

)*����� +

& ,������������

& -���������

& '�������

& ���� �����

& .������

& ����������

& %�� ��������

& %� �����

& ��������

Shape Analysis Problems

)*����� +

Ø ,������������

& -���������

& '�������

& ���� �����

& .������

& ��������

& ����������

& %�� ��������

& %� �����

“How can we find significant geometric features robustly?”“How can we find significant geometric features robustly?”

Images courtesy of Bill Regli,

Drexel University

66

Shape Analysis Problems

)*����� +

& ,������������

Ø -���������

& '�������

& ���� �����

& .������

& ��������

& ����������

& %�� ��������

& %� �����

“How can we decompose a 3D model into its parts?”“How can we decompose a 3D model into its parts?”

Images courtesy of Ayellet Tal, Technion &

Princeton University

Shape Analysis Problems

)*����� +

& ,������������

& -���������

Ø '�������

& ���� �����

& .������

& ��������

& ����������

& %�� ��������

& %� �����

“How can we decompose a 3D model into its parts?”“How can we decompose a 3D model into its parts?”

Images courtesy of Ayellet Tal, Technion &

Princeton University

Handle

Cup

77

Shape Analysis Problems

)*����� +

& ,������������

& -���������

& '�������

Ø ���� �����

& .������

& ��������

& ����������

& %�� ��������

& %� �����

“How can we align features of 3D models?”“How can we align features of 3D models?”

Images courtesy of Emil Praun

Shape Analysis Problems

)*����� +

& ,������������

& -���������

& '�������

& ���� �����

Ø .������

& ��������

& ����������

& %�� ��������

& %� �����

“How can we compute a measure of geometric similarity?”“How can we compute a measure of geometric similarity?”

Image courtesy of Ilya Vakser, GRAMM

88

Shape Analysis Problems

)*����� +

& ,������������

& -���������

& '�������

& ���� �����

& .������

Ø ��������

& ����������

& %�� ��������

& %� �����

“How can we find 3D models best matching a query?”“How can we find 3D models best matching a query?”

1)

2)

3)

4)

Query

Ranked Matches

Shape Analysis Problems

)*����� +

& ,������������

& -���������

& '�������

& ���� �����

& .������

& ��������

Ø ����������

& %�� ��������

& %� �����

“How can we find a given 3D model in a large database?”“How can we find a given 3D model in a large database?”

Images courtesy of Florida State Univ.

99

Shape Analysis Problems

)*����� +

& ,������������

& -���������

& '�������

& ���� �����

& .������

& ��������

& ����������

Ø %�� ��������

& %� �����

“How can we determine the class of a 3D model?”“How can we determine the class of a 3D model?”

Images courtesy of Darpa E3D Project

Query

Classes

Shape Analysis Problems

)*����� +

& ,������������

& -���������

& '�������

& ���� �����

& .������

& ��������

& ����������

& %�� ��������

Ø %� �����

“How can we learn classes of 3D models automatically?”“How can we learn classes of 3D models automatically?”

Images courtesy of Viewpoint

1010

Lecture Outline

"��������

#������

$���������

%�� ����������

& '����

& %�� ����(

& �� ����

������

Shape Analysis Applications

)*����� +

& /����������

& $�������

& .����������%$�

& %���� ��

& .������

& #����������

& .�����������

& .�������

& ,���� ��

& $�

1111

Shape Analysis Applications

)*����� +

Ø /����������

& $�������

& .����������%$�

& %���� ��

& .������

& #����������

& .�����������

& .�������

& ,���� ��

& $�

vp41620.wrl

Shape Analysis Applications

)*����� +

& /����������

Ø $�������

& .����������%$�

& %���� ��

& .������

& #����������

& .�����������

& .�������

& ,���� ��

& $�

Image courtesy of Ayellet Tal, Technion &

Princeton University

1212

Shape Analysis Applications

)*����� +

& /����������

Ø $�������

& .����������%$�

& %���� ��

& .������

& #����������

& .�����������

& .�������

& ,���� ��

& $�

Movie courtesy of Ayellet Tal, Technion &

Princeton University

Shape Analysis Applications

)*����� +

& /����������

& $�������

Ø .����������%$�

& %���� ��

& .������

& #����������

& .�����������

& .�������

& ,���� ��

& $�

Images courtesy of Bill Regli,

Drexel University

1313

Shape Analysis Applications

)*����� +

& /����������

& $�������

& .����������%$�

Ø %���� ��

& .������

& #����������

& .�����������

& .�������

& ,���� ��

& $�

Morphine

Shape Analysis Applications

)*����� +

& /����������

& $�������

& .����������%$�

& %���� ��

Ø .������

& #����������

& .�����������

& .�������

& ,���� ��

& $�

Images courtesy of Darpa E3D Project

1414

Shape Analysis Applications

)*����� +

& /����������

& $�������

& .����������%$�

& %���� ��

& .������

Ø #����������

& .�����������

& .�������

& ,���� ��

& $�

Images courtesy of Delson & Freiss

Shape Analysis Applications

)*����� +

& /����������

& $�������

& .����������%$�

& %���� ��

& .������

& #����������

Ø .�����������

& .�������

& ,���� ��

& $�

Image courtesy of Ilya Vakser, GRAMM

1515

Shape Analysis Applications

)*����� +

& /����������

& $�������

& .����������%$�

& %���� ��

& .������

& #����������

& .�����������

Ø .�������

& ,���� ��

& $�

Image courtesy of Polina Golland, MIT

Hippocampus-amygdala study in schizophrenia

Shape Analysis Applications

)*����� +

& /����������

& $�������

& .����������%$�

& %���� ��

& .������

& #����������

& .�����������

& .�������

Ø ,���� ��

& $�

Images courtesy of Boeing

1616

Shape Analysis Applications

)*����� +

& /����������

& $�������

& .����������%$�

& %���� ��

& .������

& #����������

& .�����������

& .�������

& ,���� ��

Ø $�

Images courtesy of Stanford University

Lecture Outline

"��������

#������

$���������

%�� ����������

& '����

& %�� ����(

& �� ����

������

1717

Lectures

0���� +

& .���� �12345

& $��������� �16345

-���(�� +

& #���� ��

& -���

& 7�

Coursework

"����� +

& #�� ��������

& '������ � ���

�������� +

& 0������ �����8�� �19:����( �����5

& #���� �����( ������������� ����� ������

& $�������1 5������������� �

1818

Course Projects

-���������� +

& ;�������� ������

& ;�����������

& %������������

& < �������

& ����������

& ;�������������

& ;���%-�����������

Course Projects

-���������� +

Ø ;�������� ������

& ;�����������

& %������������

& < �������

& ����������

& ;�������������

& ;���%-����������� Reflective symmetry descriptors

Images courtesy of Misha Kazhdan

1919

Course Projects

-���������� +

& ;�������� ������

Ø ;�����������

& %������������

& < �������

& ����������

& ;�������������

& ;���%-�����������

Images courtesy of Katz & Tal

Hierarchical Mesh Decomposition using Fuzzy Clustering and Cuts

[Katz & Tal, 2003]

Course Projects

-���������� +

& ;�������� ������

& ;�����������

Ø %������������

& < �������

& ����������

& ;�������������

& ;���%-�����������

Harmonic Descriptor

Spin Image

Shape Context

Images courtesy of Kazhdan, Johnson, & Belongie

2020

Course Projects

-���������� +

& ;�������� ������

& ;�����������

& %������������

Ø < �������

& ����������

& ;�������������

& ;���%-�����������

Reflective symmetry descriptor

Mesh simplification

Images courtesy of Hoppe & Kazhdan

Course Projects

-���������� +

& ;�������� ������

& ;�����������

& %������������

& < �������

Ø ����������

& ;�������������

& ;���%-�����������

Text

Shape

Appearance

2121

Course Projects

-���������� +

& ;�������� ������

& ;�����������

& %������������

& < �������

& ����������

Ø ;�������������

& ;���%-�����������

Modeling by Example

Course Projects

-���������� +

& ;�������� ������

& ;�����������

& %������������

& < �������

& ����������

& ;�������������

Ø ;���%-�����������

Mechanical CAD1

Paleontology

Chemistry

MolecularBiology

Ilya Vakser (GRAMM)

National Design Repository

2222

Resources

���� �

& #�������� �������������(

& #�������������(

& %$������� �

& %$0�����.�"� ���

& ������ ���

-������

& ������

& ����� �������

#����

Wrap Up

-��� =�������� +

& -���������������� ���� ������

& -������(�����������8�������