제발 공부좀 하자

Demosaicing(디모자이킹)

Demosaicing은 color filter array(CFA) interpolation이라고도 한다. 대부분의 이미지 센서는 각 픽셀에서 R, G, B 중 한 가지 색만을 감지한다. 하지만 우리가 보는 실제 영상은 각 화소마다 RGB 값을 모두 갖고있다. 이를 가능케하는 기법이 디모자이킹 기법이다.

Artifacts

일반적으로 디모자이킹 이후에는 edge 영역에서 artifacts가 발생한다. 발생하는 대표적인 artifacts 종류는 다음과 같다.

• Zipper effect

• False color

• Aliasing

• Blurring

보간 알고리즘

Non-adaptive interpolation

1. Nearest Neighbor Interpolation : 단순히 가까이에 있는 화소를 출력하는 방식. 가장 간단한 방식이기 때문에 매우 빠르지만, 영상 왜곡이 발생할 가능성이 매우 높다. 보통 Up-scaling에 많이 사용한다.

   

2. Bilinear Interpolation : 새롭게 만들어지는 R, G, B 성분은 주변의 가장 가까운 화소들에 가중치를 곱한 값으로 할당된다. 가중치는 선형적으로 결정되며 각각의 가중치는 존재하는 화소로부터의 거리에 정비례한다. 계산 과정이 단순하며 고속으로 처리가 가능하며 Nearest Neighbor 보간보단 나은 영상을 얻을 수 있다. 하지만 Blurring이 발생한다.

Edge-directed Interpolation

G value를 보간할 때, Horizontal / Vertical 방향으로 밝기 변화를 구해서 변화 값이 작은 쪽으로 보간하는 방식. Non-adaptive interpolation보단 Edge 영역에 효과적이나 여전히 color artifacts는 발생한다. 활용하는 커널의 사이즈가 클수록 좀 더 좋은 영상을 얻을 수 있는 대신 연산량이 증가한다. R, B value는 R/G, B/G에 대한 값을 보간된 G value에 곱하여 보간한다.

Reference

라온피플 블로그 (https://blog.naver.com/PostList.naver?blogId=laonple)

삼성전자 S.LSI 사업부 면접을 준비하면서 연구 분야의 확장이라고 할 수 있는 이미지의 취득 과정, 각종 전후처리 알고리즘들을 공부할 기회가 있었다. 다양한 블로그에 정리된 자료를 참고하여 공부한 내용을 정리한다.

이미지 센서

이미지 센서들은 물체에 반사된 빛 에너지를 전기적 영상 신호로 변환해주는 역할을 수행한다. 우리는 디스플레이로 영상 신호를 변환하여 취득된 이미지를 확인할 수 있다. 이미지 센서는 대표적으로 CMOS 센서와 CCD 센서로 분류된다.

① CMOS 이미지 센서

센서는 픽셀들로 구성되어 있으며, 각 픽셀은 1개의 포토 다이오드와  4개의 트랜지스터로 구성되어 있다.

1. 작동 과정
   • 빛 에너지 중 가시광선 파장대를 실리콘 표면의 포토 다이오드에 집광한다.
   • 실리콘 표면은 빛 에너지를 받으면 공유 결합이 끊어져, 전자와 정공 쌍(Pair)을 형성한다.
   • 생성된 전자와 정공쌍의 전압은 A/D 컨버터를 거쳐 디지털화 된다.
2. 고화질 영상을 위한 기술
   • 집광된 빛을 디지털화 할 때 활용하는 A/D 컨버터의 성능을 개선하는 기술
   • High amplified gain 기술 및 각종 신호처리 기술
3. 픽셀 내부에 증폭을 위한 앰프가 내장되어 있다.
4. 포토 다이오드에서 발생한 전기 신호를 증폭하여 꺼낼 수 있으므로 신호 전송 노이즈의 혼입을 억제할 수 있다.
5. 반도체와 같은 구조를 띄기 때문에 노이즈 제거 회로, A/D 컨버터 등의 회로를 센서에 탑재가 가능하다.
6. 읽기와 다채널화, 부분 읽기가 가능하기 때문에 고속 연사가 쉽고 소비 전력이 낮다.
7. 화소 내에 회로 부분이 필요하기 때문에 포토 다이오드의 크기가 작아져, CCD 센서보다 감도가 떨어진다.

② CCD 이미지 센서

1. CCD 이미지 센서는 빛에 의해 발생한 전하를 그대로 전송한다.
2. 전송된 전하들은 수직 전송로를 통해 이동하며, 이후 수평 전송로를 통해 전송되어 순차적으로 증폭된다.
3. 이후 A/D 컨버터를 거쳐 디지털화된다.
4. 전기적 신호를 그대로 전송하기 때문에 노이즈의 발생이 적고 품질이 좋다.
5. 구조가 간단하여 화서 몇적 대비 포토 다이오드의 면적비를 크게할 수 있어, 고감도에서 S/N(Signal to Noise) 비가 뛰어나다.

정리

• 과거에는 CCD 센서를 디지털 카메라에 사용하고 CMOS 센서를 휴대폰에 활용하였다.
• 모바일, 임베디드 시장이 커지면서 저전력으로 사용할 수 있는 CMOS 센서가 핵심 기술로 주목받았다.
• CCD 센서는 아날로그 제조 공정을 거치고, CMOS 센서는 일반 반도체 공정을 거친다.
• 제조가 간단하고 소형화가 가능한 CMOS 센서는 성능이 대폭 개선되었고, 동영상을 지원하고 가격이 저렴하기 때문에 디지털 카메라, CCTV 등에도 탑재되는 추세이다.

Reference

이미지: 나무위키(https://namu.wiki/w/CCD), SK하이닉스 뉴스룸(https://news.skhynix.co.kr/post/CMOS-Image-Sensor-innovation-led-by-SK-hynix)

내용: 라온피플 (https://blog.naver.com/PostList.naver?blogId=laonple)