Post on 22-Feb-2016
description
transcript
Světelné poleJan Kučera
Co je světelné poleKlasický obraz Světelné pole
𝐸 (𝑥 , 𝑦 ) 𝐿(𝑥 , 𝑦 , sm ě r )
Co je světelné poleParametry klasického obrazu
předmětová rovina
objektiv
obrazová rovina 𝑥 𝐸 (𝑥 )⇢𝐸(𝑥 , 𝑦 )𝐸 (𝑥 )
𝑥
𝑦
Co je světelné poleParametry světelného pole
předmětová rovina
objektiv
obrazová rovina 𝑥
𝑥
𝐿 (𝑥 ,𝑢 )⇢ 𝐿(𝑥 , 𝑦 ,𝑢 ,𝑣 )𝐿 (𝑥 ,𝑢 )
𝑢
𝑢
Co je světelné poleJak z něj získat klasický obraz
předmětová rovina
objektiv
obrazová rovina 𝑥
𝑢 𝑥
𝑢
𝐸𝐹 (𝑥 , 𝑦 )= 1𝐹 2∬𝐿𝐹 (𝑥 , 𝑦 ,𝑢 ,𝑣 ) ⅆ𝑢ⅆ 𝑣
𝐹
Co se světelným polemPosun zobrazovací roviny
obrazová rovina𝑥
𝑢 𝑥
𝑢
snímací rovina
Co se světelným polemPosun zobrazovací roviny
snímací rovina 𝑥
𝑢 𝑥
𝑢
obrazová rovina
zkosení + projekce
Co se světelným polemPosun zobrazovací roviny
𝑥 ′
𝑢
𝐹 ′
objektiv
𝑥
obrazová rovina𝐹
snímací rovina
𝑢
𝑥 ′𝑥′−𝑢
(𝑥 ′−𝑢 ) 𝐹𝐹 ′
𝛼=𝐹 ′𝐹
𝐿𝐹 ′ (𝑥 ′ , 𝑦 ′ ,𝑢 ,𝑣 )=𝐿𝐹 (𝑢+𝑥′−𝑢𝛼 ,𝑣+
𝑦 ′−𝑣𝛼 ,𝑢 ,𝑣 )
𝐸𝛼⋅𝐹 (𝑥′ , 𝑦 ′ )= 1𝛼2𝐹 2∬𝐿𝐹 (𝑢(1− 1𝛼 )+ 𝑥
′
𝛼 ,𝑣 (1− 1𝛼 )+ 𝑦′
𝛼 ,𝑢 ,𝑣)ⅆ𝑢ⅆ 𝑣
Co se světelným polemVolba zobrazovací roviny
• změna hloubky ostrosti
• posun perspektivy • 3D
Frekvenční doména světelného poleVztah mezi obrazem a světelným polem
𝑥
𝑢
𝑘𝑥
𝑘𝑢
Frekvenční doména světelného poleFourier Slice Theorem
ℱ 1∘ℐ12=𝒮1
2∘ℱ 2
𝐺 (𝑥 , 𝑦 ) 𝔊 (𝑢 ,𝑣 )
𝑔𝜃 (𝑥 ′ ) 𝔤𝜃 (𝑢 ′ )
ℐ12∘ℛ𝜃 𝒮1
2∘ℛ𝜃
ℱ 2
ℱ 1
𝑂 (𝑛2log𝑛)
𝑂 (𝑛 log𝑛)
𝑂 (𝑛2) 𝑂 (𝑛)
Frekvenční doména světelného poleGeneralized Fourier Slice Theorem
ℱ𝑀∘ℐ𝑀𝑁 ∘ℬ=𝒮𝑀
𝑁 ∘ ℬ−𝑇
|ℬ−𝑇|∘ℱ𝑁
𝐺𝑁 𝔊𝑁
𝐺𝑀 𝔊𝑀
ℐ𝑀𝑁 ∘ℬ 𝒮𝑀
𝑁 ∘ ℬ−𝑇
|ℬ−𝑇|
ℱ 𝑁
ℱ𝑀
𝑂 (𝑛𝑁 log𝑛)
𝑂 (𝑛𝑀 log𝑛)
𝑂 (𝑛𝑁) 𝑂 (𝑛𝑀)
Frekvenční doména světelného poleFourier Slice Photograph Theorem
𝒫𝛼 [𝐿𝐹 ] (𝑥′ , 𝑦 ′ )= 1𝛼2𝐹 2∬𝐿𝐹 (𝑢(1− 1𝛼 )+ 𝑥
′
𝛼 ,𝑣 (1− 1𝛼 )+ 𝑦′
𝛼 ,𝑢 ,𝑣)ⅆ𝑢ⅆ 𝑣
𝔓𝛼=1𝐹 2 𝒮2
4∘ℬ𝛼−𝑇
Fourier Photographic Imaging Operator
Photographic Imaging Operator
𝒫𝛼=ℱ− 2∘𝔓𝛼∘ℱ 4
A photograph is the inverse 2D Fourier transformof a dilated 2D slice in the 4D Fourier transform of the light field.
Frekvenční doména světelného poleFiltered Light Field Imaging Theorem
𝒫𝛼∘𝒞h4=𝒞𝑃𝛼 [h ]
2 ∘𝒫𝛼
4D jádro𝐿𝐹 𝐿𝐹
𝐸𝛼⋅𝐹 𝐸𝛼⋅ 𝐹
𝒫𝛼
𝐶h4
𝐶𝑃𝛼 [h ]
2
𝒫𝛼
2D jádro𝒫𝛼
Jak světelné pole zaznamenatOptické prostředky
𝑥
𝑢předmětová rovina
objektiv
obrazová rovina 𝑥
𝑢
snímací rovina
Jak světelné pole zaznamenatOptické prostředky
Jak světelné pole zaznamenatParametry mikročoček• velikost
𝑥
𝑢𝑥
𝑢
• ohnisková vzdálenost
𝑓 /2 .8 𝑓 / 4 𝑓 /8
mikročočky
Jak světelné pole zaznamenatParametry mikročoček
• vzdálenost od snímací roviny
Jak světelné pole zaznamenatInterpretace dat
𝑣
𝑢
𝑥
𝑦
Jak světelné pole zaznamenatInterpretace dat
𝑥
𝑦
𝑣
𝑢
Jak světelné pole zaznamenatInterpretace dat
𝑥
𝑢
𝑣
𝑦
Plenoptické fotoaparátyraytrix ∞
Uvedení: 2011Rozlišení pole: 5 MegaraysRozlišení obrazu: 1 MegapixelFPS: 15
http://www.raytrix.de/
• snímání videa• výměnné objektivy• ruční nastavení• externí napájení• SDK• různé mikročočky € 3 000
Plenoptické fotoaparátyRuční konstrukce
Plenoptické fotoaparátyLytro
Uvedení: 2012Rozlišení pole: 11 MegaraysRozlišení obrazu: 1 MegapixelFPS: —
http://www.lytro.com/
• bez možnosti videa• pevný objektiv (8× optický zoom, f/2.0)• expozice (1/16 – 1/250), ISO (75 – 3200) a clona automaticky• zatím minimální SW podpora• s překvapením $ 399
Plenoptické fotoaparátyLytro — co asi víte (hardware)
objektiv
sensor s mikročočkami
engine
Plenoptické fotoaparátyLytro — co možná nevíte (hardware)
Zoran‘s Camera On A Chip 6p32-bit RISCMarvell Avastar 88W8787 SoC
dotykový1,5“ LCD128×128
2100 mAhLi-Ion
Plenoptické fotoaparátyLytro — co možná nevíte (hardware)
Rozlišení sensoru: 3280×3280 = 10,7 Mpx @ 12 bitRozlišení obrazu: 1080×1080 = 1,1 MpxPočet mikročoček: 328×393,6 = 129 100Rozlišení mikročoček: 10 px Otočení: -0,006 radVzdálenost od sensoru: 25 μm Rozestup: 13,89 μm
• RTC• orientace• akcelerometr• teploměry
Bayer CFA
Plenoptické fotoaparátyLytro — co asi víte (software)
Plenoptické fotoaparátyLytro — co možná nevíte (software)
Lytro.lytrolib
cameras
images
thumbs
kalibrační soubory z fotoaparátů (970 MB)raw soubory (a 16 MB) a soubory pro sdílení (~1 MB)náhledy pro aplikaci (128×128 čb a 300×300 v barvě)
library.dbSQLite databáze importovaných souborůSoubory rozděleny do balíčků:
typ verze velikost název data8 4 4 32 velikost
Další zdroje
NG REN 2006. Digital Light Field Photography. Disertační práce, Stanford University.CHAI, J. TONG, X., CHAN, S.-C., AND SHUM, H.-Y. 2000. Plenoptic sampling. In SIGGRAPH 00.ADELSON, E. H., AND BERGEN, J. R. 1991. The plenoptic function and the elements of early vision. In Computational Models of Visual Processing, edited by Michael S. Landy and J. Anthodny Movshon. Cambridge, Mass.: MIT Press.ISAKSEN, A., MCMILLAN, L., AND GORTLER, S. J. 2000. Dynamically reparameterized light fields. In SIGGRAPH 2000.