Multi-view Relighting using a Geometry-Aware Network

Coarse(Apporximated) Geometry 기반 Multi-view Relighting.

Main novelty

• shadow refinement subnetwork

• illumination buffers.

Contribution

• MVS Geometry proxy를 기반으로 한 end-to-end outdoor relighting network.

• (novel RGB Shadow imge based) learning based shadow refinement solution to remove and resynthesize shadows.

• "A Training procedure that uses realistic synthetic scenes to flexibly generate multiple lighting conditions. Critically, we create a stereo-based proxy for each training scene which, together with the ground truth geometry, enables supervised learning for shadow refinement"

Input

Set of images captured from multiple viewpoints.

reference view - with specified sun direction vector and scalar cloudiness level.

1. one image from a multi-view dataset

2. a set of corresponding image-space buffers

Output

new image with the lgihting altered

 

Procedure

1. Approximate scene geometry ( off-the-shelf stereo)

2. (with corresponding input) compute image-space buffer which produces normal maps, specular reflection direction etc + shadow masks

3. Novelty on shadow removal & shadow manipulation.

 

요약하자면, 하고자 하는 main role은 stereo vision기반 geometry로 relighting이 가능하도록 하는 것 . 다만 이 과정에서

1. inaccurate geometry 만을 기반으로 학습할 경우 output shadow maskt에 error가 포함된 경우가 많음

2. perfectly accurate shadow mask로만 학습된 경우 real photo로 generalization이 되지 않음.

>> 이런 문제를 해결하기 위해 setero vision을 이용새 3D proxy approximation → inaccuarte한 shadow mask를 refine할 수 있는 subnetwork 를 학습시키는 두 단계로 나눔.

 

Introductions

Multiview Geometry를 활용해 relighting 문제를 해결하고자 하는 논문 - 특히 성공적인 Relighting을 결정짓는 요소 중 하나인 - shadow masks 문제 (기존 shadow 를 제거하고 새로운 shadow를 synthesize 하는 작업) 에 novelty를 가지고 있다.

** Shadow Masking ⇒ a.k.a non-local lighting interactions?

💡

기본적으로 user interface 까지 개발된 framework 이기 때문에, reference view와 더불어 사용자가 입력한 target illumination (sun direction, etc) 이 존재하게 된다.

i.e.

1. approximate mvs proxy - scene geometry

2. input target illumination

3. generate image space buffer - with normal maps, specular refelction directions etc.

4. generate shadow masks of source(reference) / target illumination

5. (proxy geometry 기반 shadow mask 는 reconstruction error를 다수 포함하고 있으므로) training two sub net - one with refinement task (이 때 standard shadow mask 가 아닌 RGB Shadow image 를 사용하는 게 또 다른 novelty) and the other one with relighting

 

about the training data

>> 완전히 동일한 scene에 대해 서로 다른 illumination 환경에서 찍은 여러 이미지를 실제 씬에서 구하는 것은 어렵기 때문에 synthetic data를 활용해 학습했다.

단, 이 synthetic shadow 들은 recon error 를 포함하지 않는 매우 깨끗한 것들이기 때문에, 의도적으로 standard shadow mask 가 아닌, synthetic data rendering phase에서 stereo camera로 얻어낸 proxy geometry + RGB shadows images 를 사용한 것.

Geometry Aware Relighting Network

>>해결하고자 하는 , three main key difficulties to successfully implenmnet relighting problem (image transformation)

 

1. modelling illuminaiton changes

2. removing cast shadows

3. resyntehsizing cast shadows

 

>> cnn learning 기반이므로, geometry, specular 등 모든 정보는 image space buffer에 저장된다.

더불어 porxy geometry 가 전체 shadow removal, re-synthesize에 필요한 정보를 주게 되는데, 이 proxy 자체가 에러를 포함하고 있기 때문에, 얻어낸 source, target shadow mask 또한 error를 포함하게 된다. >> 그리고 shadow removal / resynthesizing의 성패는 이 source target shadow mask에 달렸다.

>> 결과적으로 explicit 한 shadow refinement network phase가 필요하다는 결론.

** 단, 논문에서는 이 과정에서 사용하는 RGB Shadow images 가 'uses color informaton from all images in the mvs dataset' 이라고 하는데, 이게 정확히 어떤 식으로 이루어지는 지는 아직 미지수

 

** overcast 이미지란?

 

어쨋든, 중간 결론은 Geometry 정보를 활용해 얻은 shadow mask 가 HIGH Quality relighting에 수반되는 shadow resynthesizing 문제를 해결할 수 있다는 것.

>> 달리 생각하면, shadow 문제는 relighting 자체뿐만 아니라 view synthesis에서도 동일하게 critical 한 문제다. 전체 pipeline 에서 어떻게 녹여낼 지를 고민해봐야 한다.

 

<<기존 standard shadow mask represent-ation은 proxy geometry 로 인해 발생하는 문제에 더 취약하다. 이런 geometry reon error에 좀 더 robust한 형태의 representation이 RGB Shadow image 인 것.

Independent source and target shadow refinement network

>> source shadow 의 경우, input image 가 일종의 guidance를 제공하므로 상대적으로 간단.

하지만 target image의 경우 이런 guidance 역할을 할 이미지가 존재하지 않으므로 문제가 더 복잡해진다.

i.e) target / source shadow refienment가 같은 network 를 sharing할 경우, source shadow refinement 결과가 degrade될 것.

RGB Shadow Image

>> created by reprojecting colors from all the other images in the multiple viewpoint.

Fig 4. - (c)에서 관찰되는, 정자 천장이 connected 되어 보이는, over-reconstruction error 같은 것들을 해결할 수 있다. Fig. - (d)를 보면 color reprojection을 통해 blu pixel 들이 표시되어 - 원래는 connected 가 아닌 sky로 표시되어야 할 부분들을 쉽게 구별할 수 있다.

For each pixel in shadow, we cast a ray in the direction of the sun (d_sun) from the corresponding 3D scene point x.

특정 sun direction (아마도 source or target sun direction) 에서 얻어낸 multiview imageset들을 기반으로,

proxy geometry 상에 위치한 점 x_o를 각 multiview input image 로 repro-jection 시킨다

. 각 reprojection 된 multiple viewpoint 들에 대해 weighted sum 을 해 최종 컬러를 얻게 된다. 이 때, Fig.5 에서 얻어낸 reprojected color c_i가 하늘색임을 이용해 해당 포인트 x_o에서의 proxy geometry가 에러를 포함하고 있음을 알 수 있다.

Weighted sum for pixel color

pi(xo): first inweawxrion of the camera ray defined by ci with the proxy (occlusion term)

• First Term: occlusion check term

• Second Term: depth error correction term. sun direciton에 가까운 이미지(shadow에 의한 depth error 가 적은 쪽)에 preference 를 부여

이 외에 추가적으로 두 가지 information을 같이 저장

• distance from the current camera to sun direction: softness of the shadow

• confidence of the reconstruction

 

Image-space geometric infromation via illumination buffers

** 따로 체크

 

 

 

Uploaded by Notion2Tistory v1.1.0