[영상처리 ISP] Demosaicing

Demosaicing(디모자이킹)

Demosaicing은 color filter array(CFA) interpolation이라고도 한다. 대부분의 이미지 센서는 각 픽셀에서 R, G, B 중 한 가지 색만을 감지한다. 하지만 우리가 보는 실제 영상은 각 화소마다 RGB 값을 모두 갖고있다. 이를 가능케하는 기법이 디모자이킹 기법이다.

 

Artifacts

일반적으로 디모자이킹 이후에는 edge 영역에서 artifacts가 발생한다. 발생하는 대표적인 artifacts 종류는 다음과 같다.

• Zipper effect

• False color

• Aliasing

• Blurring

 

보간 알고리즘

Non-adaptive interpolation

1. Nearest Neighbor Interpolation : 단순히 가까이에 있는 화소를 출력하는 방식. 가장 간단한 방식이기 때문에 매우 빠르지만, 영상 왜곡이 발생할 가능성이 매우 높다. 보통 Up-scaling에 많이 사용한다.

   

2. Bilinear Interpolation : 새롭게 만들어지는 R, G, B 성분은 주변의 가장 가까운 화소들에 가중치를 곱한 값으로 할당된다. 가중치는 선형적으로 결정되며 각각의 가중치는 존재하는 화소로부터의 거리에 정비례한다. 계산 과정이 단순하며 고속으로 처리가 가능하며 Nearest Neighbor 보간보단 나은 영상을 얻을 수 있다. 하지만 Blurring이 발생한다.

Edge-directed Interpolation

G value를 보간할 때, Horizontal / Vertical 방향으로 밝기 변화를 구해서 변화 값이 작은 쪽으로 보간하는 방식. Non-adaptive interpolation보단 Edge 영역에 효과적이나 여전히 color artifacts는 발생한다. 활용하는 커널의 사이즈가 클수록 좀 더 좋은 영상을 얻을 수 있는 대신 연산량이 증가한다. R, B value는 R/G, B/G에 대한 값을 보간된 G value에 곱하여 보간한다.

 

---

Reference

라온피플 블로그 (https://blog.naver.com/PostList.naver?blogId=laonple)