Coarse(Apporximated) Geometry 기반 Multi-view Relighting.
Main novelty
- shadow refinement subnetwork
- illumination buffers.
- MVS Geometry proxy를 기반으로 한 end-to-end outdoor relighting network.
- (novel RGB Shadow imge based) learning based shadow refinement solution to remove and resynthesize shadows.
- "A Training procedure that uses realistic synthetic scenes to flexibly generate multiple lighting conditions. Critically, we create a stereo-based proxy for each training scene which, together with the ground truth geometry, enables supervised learning for shadow refinement"
Set of images captured from multiple viewpoints.
reference view - with specified sun direction vector and scalar cloudiness level.
- one image from a multi-view dataset
- a set of corresponding image-space buffers
Output
new image with the lgihting altered
Procedure
- Approximate scene geometry ( off-the-shelf stereo)
- (with corresponding input) compute image-space buffer which produces normal maps, specular reflection direction etc + shadow masks
- Novelty on shadow removal & shadow manipulation.
요약하자면, 하고자 하는 main role은 stereo vision기반 geometry로 relighting이 가능하도록 하는 것 . 다만 이 과정에서
- inaccurate geometry 만을 기반으로 학습할 경우 output shadow maskt에 error가 포함된 경우가 많음
- perfectly accurate shadow mask로만 학습된 경우 real photo로 generalization이 되지 않음.
>> 이런 문제를 해결하기 위해 setero vision을 이용새 3D proxy approximation → inaccuarte한 shadow mask를 refine할 수 있는 subnetwork 를 학습시키는 두 단계로 나눔.
Introductions
Multiview Geometry를 활용해 relighting 문제를 해결하고자 하는 논문 - 특히 성공적인 Relighting을 결정짓는 요소 중 하나인 - shadow masks 문제 (기존 shadow 를 제거하고 새로운 shadow를 synthesize 하는 작업) 에 novelty를 가지고 있다.
** Shadow Masking ⇒ a.k.a non-local lighting interactions?
i.e.
- approximate mvs proxy - scene geometry
- input target illumination
- generate image space buffer - with normal maps, specular refelction directions etc.
- generate shadow masks of source(reference) / target illumination
- (proxy geometry 기반 shadow mask 는 reconstruction error를 다수 포함하고 있으므로) training two sub net - one with refinement task (이 때 standard shadow mask 가 아닌 RGB Shadow image 를 사용하는 게 또 다른 novelty) and the other one with relighting
about the training data
>> 완전히 동일한 scene에 대해 서로 다른 illumination 환경에서 찍은 여러 이미지를 실제 씬에서 구하는 것은 어렵기 때문에 synthetic data를 활용해 학습했다.
단, 이 synthetic shadow 들은 recon error 를 포함하지 않는 매우 깨끗한 것들이기 때문에, 의도적으로 standard shadow mask 가 아닌, synthetic data rendering phase에서 stereo camera로 얻어낸 proxy geometry + RGB shadows images 를 사용한 것.
Geometry Aware Relighting Network
>>해결하고자 하는 , three main key difficulties to successfully implenmnet relighting problem (image transformation)
- modelling illuminaiton changes
- removing cast shadows
- resyntehsizing cast shadows
>> cnn learning 기반이므로, geometry, specular 등 모든 정보는 image space buffer에 저장된다.
더불어 porxy geometry 가 전체 shadow removal, re-synthesize에 필요한 정보를 주게 되는데, 이 proxy 자체가 에러를 포함하고 있기 때문에, 얻어낸 source, target shadow mask 또한 error를 포함하게 된다. >> 그리고 shadow removal / resynthesizing의 성패는 이 source target shadow mask에 달렸다.
>> 결과적으로 explicit 한 shadow refinement network phase가 필요하다는 결론.
** 단, 논문에서는 이 과정에서 사용하는 RGB Shadow images 가 'uses color informaton from all images in the mvs dataset' 이라고 하는데, 이게 정확히 어떤 식으로 이루어지는 지는 아직 미지수
** overcast 이미지란?
어쨋든, 중간 결론은 Geometry 정보를 활용해 얻은 shadow mask 가 HIGH Quality relighting에 수반되는 shadow resynthesizing 문제를 해결할 수 있다는 것.
>> 달리 생각하면, shadow 문제는 relighting 자체뿐만 아니라 view synthesis에서도 동일하게 critical 한 문제다. 전체 pipeline 에서 어떻게 녹여낼 지를 고민해봐야 한다.
<<기존 standard shadow mask represent-ation은 proxy geometry 로 인해 발생하는 문제에 더 취약하다. 이런 geometry reon error에 좀 더 robust한 형태의 representation이 RGB Shadow image 인 것.
Independent source and target shadow refinement network
>> source shadow 의 경우, input image 가 일종의 guidance를 제공하므로 상대적으로 간단.
하지만 target image의 경우 이런 guidance 역할을 할 이미지가 존재하지 않으므로 문제가 더 복잡해진다.
i.e) target / source shadow refienment가 같은 network 를 sharing할 경우, source shadow refinement 결과가 degrade될 것.
RGB Shadow Image
>> created by reprojecting colors from all the other images in the multiple viewpoint.
Fig 4. - (c)에서 관찰되는, 정자 천장이 connected 되어 보이는, over-reconstruction error 같은 것들을 해결할 수 있다. Fig. - (d)를 보면 color reprojection을 통해 blu pixel 들이 표시되어 - 원래는 connected 가 아닌 sky로 표시되어야 할 부분들을 쉽게 구별할 수 있다.
For each pixel in shadow, we cast a ray in the direction of the sun (d_sun) from the corresponding 3D scene point x.
특정 sun direction (아마도 source or target sun direction) 에서 얻어낸 multiview imageset들을 기반으로,
proxy geometry 상에 위치한 점 x_o를 각 multiview input image 로 repro-jection 시킨다. 각 reprojection 된 multiple viewpoint 들에 대해 weighted sum 을 해 최종 컬러를 얻게 된다. 이 때, Fig.5 에서 얻어낸 reprojected color c_i가 하늘색임을 이용해 해당 포인트 x_o에서의 proxy geometry가 에러를 포함하고 있음을 알 수 있다.
pi(xo): first inweawxrion of the camera ray defined by ci with the proxy (occlusion term)
- First Term: occlusion check term
- Second Term: depth error correction term. sun direciton에 가까운 이미지(shadow에 의한 depth error 가 적은 쪽)에 preference 를 부여
이 외에 추가적으로 두 가지 information을 같이 저장
- distance from the current camera to sun direction: softness of the shadow
- confidence of the reconstruction
Image-space geometric infromation via illumination buffers
** 따로 체크
Uploaded by Notion2Tistory v1.1.0