In this study, we proposed an image conversion method that efficiently removes raindrops on a camera lens from an image using a deep learning technique. The proposed method effectively presents a raindrop-removed image using the Pix2pix generative adversarial network (GAN) model, which can understand the characteristics of two images in terms of newly formed images of different domains. The learning method based on the captured image has the disadvantage that a large amount of data is required for learning and that unnecessary noise is generated owing to the nature of the learning model. In particular, obtaining sufficient original and raindrops images is the most important aspect of learning. Therefore, we proposed a method that efficiently obtains learning data by generating virtual water-drop image data and effectively identifying it using a convolutional neural network (CNN).

High-dynamic-range (HDR) imaging is a digital image processing technique that enhances an image’s visibility by modifying its color and contrast ranges. Generative adversarial networks (GANs) have proven to be potent deep learning models for HDR imaging. However, obtaining a sufficient volume of training image pairs is difficult. This problem has been solved using CycleGAN, but the result of the use of CycleGAN for converting a low-dynamic-range (LDR) image to an HDR image exhibits problematic color distortion, and the intensity of the output image only slightly changes. Therefore, we propose a GAN training optimization model for converting LDR images into HDR images. First, a gamma shift method is proposed for training the GAN model with an extended luminance range. Next, a weighted loss map trains the GAN model for tone compression in the local area of images. Then, a regional fusion training model is used to balance the training method with the regional weight map and the restoring speed of local tone training. Finally, because the generated module tends to show a good performance in bright images, mean gamma tuning is used to evaluate image luminance channels, which are then fed into modules. Tests are conducted on foggy, dark surrounding, bright surrounding, and high-contrast images. The proposed model outperforms conventional models in a comparison test. The proposed model complements the performance of an object detection model even in a real night environment. The model can be used in commercial closed-circuit television surveillance systems and the security industry.

생산적 적대 신경망(generative adversarial network) 학습 기반의 영상 변환은 낮 영상을 밤 영상으로 재생하는 방법 등에 활용될 수 있다. 그러나 어두운 밤 영상을 낮 영상으로 변환하는 반대의 경우, 영상에서 손실된 정보를 예측하여 다시 생성하기 때문에 낮 영상을 밤 영상으로 변환할 때보다 많은 문제를 노출한다. 본 논문에서는 pix2pix 기법을 기반으로 하여 밤 영상을 낮 영상으로 변환하는 방법을 제안한다. 제안한 방법은 기울기 소실(gradient vanishing) 문제를 해결하기 위하여 pix2pix 은닉 유닛 수를 최적화하고 가상의 밤 영상에 대한 학습 데이터를 만들기 위하여 촬영된 낮 영상의 노출 값을 조절하였다. 실험 결과는 제안된 방법이 pix2pix와 Cycle GAN보다 정답 영상(ground truth)과 비교한 MOS(mean opinion score)와 PSNR(peak signal-to-noise ratio) 지표에서 우수한 결과를 보여준다.

본 논문은 딥러닝 기법을 활용하여 영상에서 카메라 렌즈 상에 물방울이 맺힌 부분을 효율적으로 제거하는 영상 변환 방법을 제안한다. 제안 방법에서 다른 도메인의 영상을 새롭게 형성한다는 점에 있어 두 영상의 특징을 잘 파악할 수 있는 GAN(Pix2pix Generative Adversarial Network) 모델을 통해 효과적으로 물방울이 제거된 영상을 얻는 방법을 제안한다. 또한, 촬영 영상을 기반으로 하는 학습 방법에 있어 많은 학습용 데이터가 필요하다는 점과 모델 학습 특성상 불필요한 노이즈가 발생하거나 물방울 사진을 정확하게 얻지 못하는 경우가 발생될 수 있는데, 가상의 물방울 영상 데이터를 생성하고 CNN(Convolution Neural Network)을 이용하여 효과적으로 식별함으로써 학습 데이터를 효율적으로 확보하는 방법을 제안한다.