-
Noise Flow
Q. 카메라의 노이즈는 DSLR, 스마트폰 등 모두 다를텐데 이들 모두를 어떻게 전부 normalize?
A. 사실 대부분의 카메라 이미지 센서는 SONY 것이다. 따라서 크게 달라지지 않는다.
-
Seeing Motion in the Dark
Q. 본인들이 만든 데이터셋에서의 Ground Truth는?
A. 데이터셋은 두 세트로 나누어 구성했다.
- static video + 장노출
- dynamic video + GT 없음
또다른 learning 기반의 raw video processing challenge는 어두운 환경에서의 noise-free 영상을 모으기 어렵다. SID dataset을 따라, 저조도 raw 데이터와 장노출 이미지를 촬영했다. 그러나 이건 static한 장면에서만 동작한다. 그래서 dynamic 비디오 셋도 구성했는데, 이건 GT가 없다.
(static video는 어두운 환경에서 같은 카메라 포지션에서 저조도 raw로 한번, 장노출로 한번 찍으면 된다. 그러나 dynamic은 단순한 동작을 반복하는 물체일지라도 완벽하게 Sync를 맞출 수가 없으므로 GT를 만들 수 없다.)
- 이 논문에서는 static video로 훈련된 모델을 가지고 dynamic video로 어느 정도까지는 일반화할 수 있다고 가설을 설정했습니다.
-
DSIC: Deep Stereo Image Compression
Q. 우버에서 왜 이 연구를 진행하였는가? 그냥 한장만 보내면 되는데.
A. 향후 멀티 뷰 이미지/비디오 압축으로 연구를 확장하기 위해서
<Abstract>
스테레오 이미지 압축 문제를 다룸으로써, 단일 이미지 압축과 비교했을 때 두 번째 이미지 비트레이트가
- 낮은 비트레이트에서 30~50% 감소하고,
- 높은 비트레이트에서 10~20% 감소하였다.
<Introduction>
- 스테레오 카메라는 메모리를 효율적으로 사용하기 위한 좋은 압축 알고리즘이 요구됨
- naïve한 접근법은 각각의 카메라에서 이미지 스트림을 압축하는 것
- 그러나 이는 스테레오라는 특성(겹치는 시야)을 무시함
- 이를 활용하여 효율적으로 압축할 수 있는 방법이 필요
- 전통적인 멀티뷰/스테레오, 딥러닝 기반 이미지/비디오 압축 논문은 많음
- 그러나 deep multi-view 압축은 상대적으로 적음
- Our contributions revolve around trying to extract as much information out of the first image in order to reduce the bitrate of the second.
- Our experiments additionally demonstrate that we outperform all image codecs and motion-compensation+residual coding baselines on MS-SSIM, a perceptual metric capturing the structural quality of an image.
<실험>
- Comparison to Baselines
- Qualitative Results
- Effect of Different Baseline Widths
- Runtime
- Disparity Volume
<Conclusion>
- Stereo pair 간의 컨텐츠 중복성을 이용한 joint bitrate 감소
- 영상 간 의존성 모델링
- parameteric skip function
- conditional entropy model
- 비트레이트와 perceptual quality를 향상시키는 데에 의미 있는 기여
- 단일 이미지 압축에 비해 비트레이트 50% 감소
-
Spatio-Temporal Filter Adaptive Network for Video Deblurring
Q. Deblur의 평가지표는?
A. PSNR(Peak Signal-to-Noise Ratio), SSIM(Structural SIMilarity)