Světelné poleJan Kučera

Co je světelné poleKlasický obraz Světelné pole

𝐸 (𝑥 , 𝑦 ) 𝐿(𝑥 , 𝑦 , sm ě r )

Co je světelné poleParametry klasického obrazu

předmětová rovina

objektiv

obrazová rovina 𝑥 𝐸 (𝑥 )⇢𝐸(𝑥 , 𝑦 )𝐸 (𝑥 )

𝑥

𝑦

Co je světelné poleParametry světelného pole

předmětová rovina

objektiv

obrazová rovina 𝑥

𝑥

𝐿 (𝑥 ,𝑢 )⇢ 𝐿(𝑥 , 𝑦 ,𝑢 ,𝑣 )𝐿 (𝑥 ,𝑢 )

𝑢

𝑢

Co je světelné poleJak z něj získat klasický obraz

předmětová rovina

objektiv

obrazová rovina 𝑥

𝑢 𝑥

𝑢

𝐸𝐹 (𝑥 , 𝑦 )= 1𝐹 2∬𝐿𝐹 (𝑥 , 𝑦 ,𝑢 ,𝑣 ) ⅆ𝑢ⅆ 𝑣

𝐹

Co se světelným polemPosun zobrazovací roviny

obrazová rovina𝑥

𝑢 𝑥

𝑢

snímací rovina

Co se světelným polemPosun zobrazovací roviny

snímací rovina 𝑥

𝑢 𝑥

𝑢

obrazová rovina

zkosení + projekce

Co se světelným polemPosun zobrazovací roviny

𝑥 ′

𝑢

𝐹 ′

objektiv

𝑥

obrazová rovina𝐹

snímací rovina

𝑢

𝑥 ′𝑥′−𝑢

(𝑥 ′−𝑢 ) 𝐹𝐹 ′

𝛼=𝐹 ′𝐹

𝐿𝐹 ′ (𝑥 ′ , 𝑦 ′ ,𝑢 ,𝑣 )=𝐿𝐹 (𝑢+𝑥′−𝑢𝛼 ,𝑣+

𝑦 ′−𝑣𝛼 ,𝑢 ,𝑣 )

𝐸𝛼⋅𝐹 (𝑥′ , 𝑦 ′ )= 1𝛼2𝐹 2∬𝐿𝐹 (𝑢(1− 1𝛼 )+ 𝑥

′

𝛼 ,𝑣 (1− 1𝛼 )+ 𝑦′

𝛼 ,𝑢 ,𝑣)ⅆ𝑢ⅆ 𝑣

Co se světelným polemVolba zobrazovací roviny

• změna hloubky ostrosti

• posun perspektivy • 3D

Frekvenční doména světelného poleVztah mezi obrazem a světelným polem

𝑥

𝑢

𝑘𝑥

𝑘𝑢

Frekvenční doména světelného poleFourier Slice Theorem

ℱ 1∘ℐ12=𝒮1

2∘ℱ 2

𝐺 (𝑥 , 𝑦 ) 𝔊 (𝑢 ,𝑣 )

𝑔𝜃 (𝑥 ′ ) 𝔤𝜃 (𝑢 ′ )

ℐ12∘ℛ𝜃 𝒮1

2∘ℛ𝜃

ℱ 2

ℱ 1

𝑂 (𝑛2log𝑛)

𝑂 (𝑛 log𝑛)

𝑂 (𝑛2) 𝑂 (𝑛)

Frekvenční doména světelného poleGeneralized Fourier Slice Theorem

ℱ𝑀∘ℐ𝑀𝑁 ∘ℬ=𝒮𝑀

𝑁 ∘ ℬ−𝑇

|ℬ−𝑇|∘ℱ𝑁

𝐺𝑁 𝔊𝑁

𝐺𝑀 𝔊𝑀

ℐ𝑀𝑁 ∘ℬ 𝒮𝑀

𝑁 ∘ ℬ−𝑇

|ℬ−𝑇|

ℱ 𝑁

ℱ𝑀

𝑂 (𝑛𝑁 log𝑛)

𝑂 (𝑛𝑀 log𝑛)

𝑂 (𝑛𝑁) 𝑂 (𝑛𝑀)

Frekvenční doména světelného poleFourier Slice Photograph Theorem

𝒫𝛼 [𝐿𝐹 ] (𝑥′ , 𝑦 ′ )= 1𝛼2𝐹 2∬𝐿𝐹 (𝑢(1− 1𝛼 )+ 𝑥

′

𝛼 ,𝑣 (1− 1𝛼 )+ 𝑦′

𝛼 ,𝑢 ,𝑣)ⅆ𝑢ⅆ 𝑣

𝔓𝛼=1𝐹 2 𝒮2

4∘ℬ𝛼−𝑇

Fourier Photographic Imaging Operator

Photographic Imaging Operator

𝒫𝛼=ℱ− 2∘𝔓𝛼∘ℱ 4

A photograph is the inverse 2D Fourier transformof a dilated 2D slice in the 4D Fourier transform of the light field.

Frekvenční doména světelného poleFiltered Light Field Imaging Theorem

𝒫𝛼∘𝒞h4=𝒞𝑃𝛼 [h ]

2 ∘𝒫𝛼

4D jádro𝐿𝐹 𝐿𝐹

𝐸𝛼⋅𝐹 𝐸𝛼⋅ 𝐹

𝒫𝛼

𝐶h4

𝐶𝑃𝛼 [h ]

2

𝒫𝛼

2D jádro𝒫𝛼

Jak světelné pole zaznamenatOptické prostředky

𝑥

𝑢předmětová rovina

objektiv

obrazová rovina 𝑥

𝑢

snímací rovina

Jak světelné pole zaznamenatOptické prostředky

Jak světelné pole zaznamenatParametry mikročoček• velikost

𝑥

𝑢𝑥

𝑢

• ohnisková vzdálenost

𝑓 /2 .8 𝑓 / 4 𝑓 /8

mikročočky

Jak světelné pole zaznamenatParametry mikročoček

• vzdálenost od snímací roviny

Jak světelné pole zaznamenatInterpretace dat

𝑣

𝑢

𝑥

𝑦

Jak světelné pole zaznamenatInterpretace dat

𝑥

𝑦

𝑣

𝑢

Jak světelné pole zaznamenatInterpretace dat

𝑥

𝑢

𝑣

𝑦

Plenoptické fotoaparátyraytrix ∞

Uvedení: 2011Rozlišení pole: 5 MegaraysRozlišení obrazu: 1 MegapixelFPS: 15

http://www.raytrix.de/

• snímání videa• výměnné objektivy• ruční nastavení• externí napájení• SDK• různé mikročočky € 3 000

Plenoptické fotoaparátyRuční konstrukce

Plenoptické fotoaparátyLytro

Uvedení: 2012Rozlišení pole: 11 MegaraysRozlišení obrazu: 1 MegapixelFPS: —

http://www.lytro.com/

• bez možnosti videa• pevný objektiv (8× optický zoom, f/2.0)• expozice (1/16 – 1/250), ISO (75 – 3200) a clona automaticky• zatím minimální SW podpora• s překvapením $ 399

Plenoptické fotoaparátyLytro — co asi víte (hardware)

objektiv

sensor s mikročočkami

engine

Plenoptické fotoaparátyLytro — co možná nevíte (hardware)

Zoran‘s Camera On A Chip 6p32-bit RISCMarvell Avastar 88W8787 SoC

dotykový1,5“ LCD128×128

2100 mAhLi-Ion

Plenoptické fotoaparátyLytro — co možná nevíte (hardware)

Rozlišení sensoru: 3280×3280 = 10,7 Mpx @ 12 bitRozlišení obrazu: 1080×1080 = 1,1 MpxPočet mikročoček: 328×393,6 = 129 100Rozlišení mikročoček: 10 px Otočení: -0,006 radVzdálenost od sensoru: 25 μm Rozestup: 13,89 μm

• RTC• orientace• akcelerometr• teploměry

Bayer CFA

Plenoptické fotoaparátyLytro — co asi víte (software)

Plenoptické fotoaparátyLytro — co možná nevíte (software)

Lytro.lytrolib

cameras

images

thumbs

kalibrační soubory z fotoaparátů (970  MB)raw soubory (a 16 MB) a soubory pro sdílení (~1 MB)náhledy pro aplikaci (128×128 čb a 300×300 v barvě)

library.dbSQLite databáze importovaných souborůSoubory rozděleny do balíčků:

typ verze velikost název data8 4 4 32 velikost

Další zdroje

NG REN 2006. Digital Light Field Photography. Disertační práce, Stanford University.CHAI, J. TONG, X., CHAN, S.-C., AND SHUM, H.-Y. 2000. Plenoptic sampling. In SIGGRAPH 00.ADELSON, E. H., AND BERGEN, J. R. 1991. The plenoptic function and the elements of early vision. In Computational Models of Visual Processing, edited by Michael S. Landy and J. Anthodny Movshon. Cambridge, Mass.: MIT Press.ISAKSEN, A., MCMILLAN, L., AND GORTLER, S. J. 2000. Dynamically reparameterized light fields. In SIGGRAPH 2000.