• 시점이 다른 열화상 카메라에서 물체를 촬영하였을 때, 겹치는 면적이 거의 존재하지 않음
• 겹치는 영역을 넓히기 위하여 임의로 카메라를 회전하여 대응점의 수를 늘려서 회전각을 추정하는 연구를 진행하였음

→ 그러나 열화상으로 촬영한 이미지에서 ORB나 SIFT등으로 대응점을 추출하여 매칭을 시도할 때, 잘 수행되지 않기 때문에 수동으로 매칭점을 찾고 매칭하는 방법을 선택했음

→ Nerf를 이용하여 시점의 차이에서 부족한 장면을 렌더링하고 생성하면 어떨까 하는 생각에서 심화 연구를 시작하게 됨

위치정보(x, y, z)와 물체를 바라보는 방향 (θ, φ)으로 구성

물체의 방향과 일직선으로 이루어지는 ray선 : RGB값과 밀도 정보를 품고 있음

• 위치 정보와 카메라 포즈 값 결정의 핵심 요인 : 변환 행렬

MLP 신경망으로 공간상의 ray가 가리키는 특정 좌표에서의 색상과 밀도를 신경망이 예측하도록 함

예측값을 통해 픽셀의 색상과 깊이를 추정하는 것을 반복 학습하여 유사한 3D 공간을 렌더링

실험 목표

두 개 이상의 다른 각도에서 촬영한 이미지에서 얻은 정보를 바탕으로, 신경망이 중간에 보이지 않는 영역을 예측해서 재구성

회전만 하는 카메라로부터 촬영한 이미지들을 이용해, NeRF(Neural Radiance Fields)를 학습·렌더링하고, 그 결과물을 ESRGAN으로 초해상화

연구 모델 및 진행 방법

연구 모델:

• Tiny-NeRF: Multi-view 환경에서 적은 데이터로 빠르게 비가시 영역 복원
• ESRGAN: 딥러닝 기반 초해상화에서 성능이 좋고, 사전학습 모델을 제공해 적은 데이터로도 품질 향상 가능

진행 방법:

1. 데이터 로딩 및 전처리

   cam1, cam2의 데이터를 로딩하고, 전처리를 진행하여 모델 학습 준비