MASKS © 2004 Invitation to 3D vision

MASKS © 2004

Část 1Část 1 Přehled a úvodPřehled a úvod

MASKS © 2004

Rekonstrukce z obrázků – Základní problém

Vstup: Odpovídající “rysy” v několika perspektivních obrázcích.Výstup: Pozice kamery, kalibrace, reprezentace scény.

MASKS © 2004

Aplikace – Autonomní dálniční vozidla

MASKS © 2004

Aplikace – Bezposádkové letecké prostředky (UAVs)

Courtesy of Berkeley Robotics Lab

Rate: 10Hz; Accuracy: 5cm, 4o

MASKS © 2004 Invitation to 3D vision

Aplikace – Real-Time virtuální vkládání objektů

UCLA Vision Lab

MASKS © 2004 Invitation to 3D vision

Aplikace – Real-Time Sportovní pokrytí

Princeton Video Image, Inc.

First-down line and virtual advertising

MASKS © 2004 Invitation to 3D vision

Aplikace – Modelování a vykreslování na základě obrázků

Image courtesy of Paul Debevec

MASKS © 2004 Invitation to 3D vision

Část 2Část 2

Geometrie obrázkuGeometrie obrázku

MASKS © 2004 Invitation to 3D vision

Geometrické modely kamer• Model Pinhole kamery

Přehled značení

Skutečné parametry kamery• Z metrických k obrázkovým souřadnicím

3-D Euklidovský prostor & pohyb pevných objektů• Souřadnice a souřadnicové rámce• Pohyb pevných objektů a homogenní souřadnice

Přehled

MASKS © 2004 Invitation to 3D vision

3-D Eiklidovský prostor- Kartézský souřadnicový systém

Standardní bázové vektory:

Souřadnice bodu v prostoru:

MASKS © 2004 Invitation to 3D vision

3-D Euklidovský prostor- Vektory

“Volný” vektor je definován pomocí dvojice bodů:

Souřadnice vektoru:

MASKS © 2004 Invitation to 3D vision

3-D Euklidovský prostor– Skalární a vektorový součin

Skalární součin dvou vektorů:

Vektorový součin dvou vektorů:

MASKS © 2004 Invitation to 3D vision

Rotace

Matice rotace:

Maticový zápis rotace:

MASKS © 2004 Invitation to 3D vision

Rotace a posunutí

Maticový zápis:

Maticový zápis rychlostí:

MASKS © 2004 Invitation to 3D vision

RIGID-BODY MOTION – Homogenní souřadnice

3-D souřadnice jsou dány vztahem:

Homogenní souřadnice:

Homogenní souřadnice/rychlost jsou tedy popsány:

MASKS © 2004 Invitation to 3D vision

IMAGE FORMATION – Perspektivní zobrazení

Image courtesy of C. Taylor

“The Scholar of Athens,” Raphael, 1518

MASKS © 2004 Invitation to 3D vision

Tvorba obrazu– Model Pinhole kamery

Pinhole

Čelnípinhole

MASKS © 2004 Invitation to 3D vision

Tvorba obrazu– Pinhole Camera Model

2-D souřadnice

Homogenní souřadnice

MASKS © 2004 Invitation to 3D vision

pixelovésouřadnice

Lineární transformace

Parametry kamery– Pixelové souřadnice

prostorovésouřadnice

MASKS © 2004 Invitation to 3D vision

Parametry kamery– Kalibrační matice a model kamery

Pinhole camera Pixelové souřadnice

Kalibrační matice(skutečné parametry)

Matice projekce

Model kamery

MASKS © 2004 Invitation to 3D vision

Homogenní souřadnice prostorového bodu

Homogenní souřadnice jeho 2-D obrazu

IMAGE FORMATION – Obraz bodu

Zobrazení prostorového bodu do roviny obrazu:

MASKS © 2004 Invitation to 3D vision

Homogenní reprezentace prostorové úsečky

Tvorba obrazu– Obraz úsečky

Homogenní reprezentace jejího 2-D obrazu

Projekce prostorové úsečky do roviny obrázku

MASKS © 2004 Invitation to 3D vision

. . .

Souhrn značení– Více obrazů

Invitation to 3D vision

Část 3

Geometrie dvou pohledů

MASKS © 2004 Invitation to 3D vision

Obecné zadání

Jsou dány dva obrazy scény,úkolem je určit vzájemnou polohu kamer a prostorovou strukturu scény

MASKS © 2004 Invitation to 3D vision

Model Pinhole kamery

• 3D body

• Obrazové body

• Perspektivní projekce

• Pohyb pevných objektů

• Pohyb pevných objektů a perspektivní projekce

MASKS © 2004 Invitation to 3D vision

Pohyb pevných objektů – Dva obrazy

MASKS © 2004 Invitation to 3D vision

3D Struktura and rozpoznání pohybu

neznáméMěřené hodnoty

Euklidovksá transformace

Hledáme takovou rotaci, posunutí a hloubku takové aby chyba projekce byla minimální

Dva obrazy ~ 200 bodů6 neznámých – Pohyb 3 Rotace, 3 Posunutí - Struktura 200x3 souřadnic - (-) universální váha

Obtížný optimalizační problém

MASKS © 2004 Invitation to 3D vision

Epipolární geometrie

• Algebraická eliminace hloubky [Longuet-Higgins ’81]:

Obrazovákorespondence

• Essentiální matice

MASKS © 2004 Invitation to 3D vision

Epipolární geometrie

Obrazovákorespondence

• Epipolar lines

• Epipoles

MASKS © 2004 Invitation to 3D vision

Charakterizace esentiální matice

Theorem 1a (Essential Matrix Characterization)A non-zero matrix is an essential matrix iff its SVD: satisfies: with and

and

• Essentiální matice speciální 3x3 matrix

MASKS © 2004 Invitation to 3D vision

Odhadnutí essentiální matice

• Odhad essentiální matice

• Dekompozice essentiální matice na

• Prostor všech essentiálních matic je 5 dimensionální• 3 stupně volnosti– rotace• 2 stupně volnosti – posunutí (až na váhu)

• Je dáno n odpovídajících si bodů:

•Hledáme rotaci and posunutí takové, že epipolární chyba je minimální

MASKS © 2004 Invitation to 3D vision

Určení relativní polohy z essentiální matice

Essentiální matice

Theorem 1a (Určení polohy) Existují dvě relativní polohy ,kde aodpovídající nenulové essentiální matici.

MASKS © 2004 Invitation to 3D vision

Odhad essentiální matice

• Označme

• Dosazením

• Dosazením všech bodů získáme

MASKS © 2004 Invitation to 3D vision

Odhad essentiální matice

Řešení • Vlastní vektpor odpovídající nejmenšímu vlastnímu číslu• když degenerovaná configurace

Theorem 2a (Project to Essential Manifold)If the SVD of a matrix is given by then the essential matrix which minimizes the Frobenius distance is given bywith

Projekce do essentiálního prostoruProjekce do essentiálního prostoru

MASKS © 2004 Invitation to 3D vision

Lineární algoritmus pro dva obrazy

• Řešení lieárního LLSE problému:

• bodový lineární algoritmus

Následovaný projekcí

E is 5 diml. sub. mnfld. in SVD:

• Projekce do essentiálního prosotru:

• Určení neznámé polohy:

MASKS © 2004 Invitation to 3D vision

• Existují právě dvě dvojice odpovídající každé essentiální matici .

• Posunutí je nenulové

• Body jsou v obecné poloze - degenerovaný stav– komplanární body - kvadratická plocha• Lineární 8-bodový algoritmus• Nonlineární 5-bodový algoritmus přináší až 10 řešení

Rekonstrukce polohy

MASKS © 2004 Invitation to 3D vision

3D rozpoznání struktury

• odstranění jedné váhy

• Řešení soustavy

Pokud je konfigurace nekritická, může být euklidovská struktura bodů a pohyb kamery rekonstruována až na univerzální konstantu

MASKS © 2004 Invitation to 3D vision

Příklad – Dva obrazy

Přiřazení odpovídajících si bodů

MASKS © 2004 Invitation to 3D vision

Příklad – epipolární geometrie

Pozice kamerya umístění bodů v prostoru

MASKS © 2004 Invitation to 3D vision

Epipolární geometrie – Rovinná úloha

Lineární zobrazení určující vztah mezi dvěma odpovídajícími body

Obrazovákorespondence

• Rovina v souřadnicovém rámci první kamery

MASKS © 2004 Invitation to 3D vision

Rozložení H

Algebraická eliminace hloubky může být odhadnuta lineárně Úprava matice Rozložení H na 4 řešení

MASKS © 2004 Invitation to 3D vision

Závěr

Více informací naleznete v anglickém jazyce na adrese:

http://vision.ucla.edu/MASKS/