3.1 적응에 따른 역치 특성

일반적 주위환경에 존재하는 빛의 범위는 대략 14 log cd/m2의 동적 범위(dynamic range)를 가진다(James, 1996). 그러나 보통시력을 가진 인간의 시각 시스템에 존재하는 신경세포들은 제한된 시간 내에서 이러한 방대한 범위의 빛에 대하여 약 1.5 log cd/m2 정도의 제한적인 반응만이 가능하다. 하지만, James(1996)에 따르면 인간의 시각 시스템은 적응(adaptation)이라는 과정을 거쳐 주위의 여러 가지 다른 밝기에 대하여 사물을 구분할 수 있게 되며, 이를 시각시스템의 적응 특성이라 한다. Sumanta(1998)에 따르면, <그림 1>과 같이 주위의 밝기에 적응된 시각은 해당 밝기에 따라 다른 역치 값(1/sensitivity)을 가지게 된다. 즉, 주위 밝기가 증가함에 따라 선형적으로 역치 값이 상승하게 되는데 이러한 영역을 Weber 영역이라 한다. 결국, Weber 영역에서는 대비를 인지 할 때 항상성이 유지됨을 알 수가 있다. Weber 영역에서의 대비 민감도의 항상성 유지는 각기 다른 주위 밝기에 따라서 대비인지를 유지시켜준다는 측면에서 매우 중요한 시각시스템의 역치영역 특성이라고 할 수 있다.

Figure 1.

Sensitivity vs background Intensity(L_a) functionas

3.2 공간주파수 영역에서의 역치 특성

Wilson(1991)에 따르면 인간의 시각은 또한 <그림 2>와 같이 공간 주파수 대역에 따라 대비 민감도(contrast sensitivity)가 달라지는 특성이 있다. 이러한 특성은 대비 민감도 함수(contrast sensitivity function)에 의해서 설명 될 수 있는데, 이는 균일한 배경을 가진 다른 공간주파수 성분을 갖는 여러 다른 물체의 가시예측 등에 유용한 정보를 제공한다. 또한 인간의 시각 시스템은 한 개의 무색 채널(achromatic channel)과 두개의 색채 채널(chromatic channel)로 나뉘어져 있으며 각각의 채널에 대하여 각기 다른 대비 민감도 함수 형태가 존재 한다고 알려져 있다(Hurvich, 1981). 이때 두 개의 색채채널은 red/green에 민감한 채널과 yellow/blue에 민감한 채널로 나뉘어 지게 된다. 즉 흑백의 정도를 감지하는 하나의 무색채널과 컬러 성분을 감지하는 두 개의 색채채널의 각각의 대비 민감도에 따라서 인간은 영상의 대비를 인지하게 되는 것이다. <그림 2>에서 실선은 전형적인 무색채널의 대비 민감도 함수를 나타내고, 점선은 red/green채널의 대비 민감도 함수를 나타내고 있다. 그림에서 주지해야 할 것은 대개 무색 채널의 역치특성은 공간적 주파수 영역에서 대역 제한 필터의 형태를 띠게 되고, 2~8cycles/degree 자극(stimuli)에 가장 큰 민감도를 보이게 된다는 것이다. 그리고 두개의 색채채널은 공간 주파수 영역에서 저역 필터 형태를 띠며, 공간 분해능이 전체적으로 무색 채널보다 떨어지는 특징을 가지고 있다(Kathy, 1985). 참고로 <그림 2>의 대비 민감도 함수는 보통 시력을 가진 사람의 전형적인 대비 민감도 함수를 나타내고 있고, 이러한 대비민감도 특성은 개인마다 각기 다른 특징이 있을 수 있다.

Figure 2.

Typical Contrast Sensitivity Function(CSF)

3.3 적응 및 CSF의 멀티메커니즘 특성

인간이 한 광경 및 그를 표현한 영상 등을 볼 때, 인간의 시각 시스템은 그 광경이 보이는 시야각(visual field) 내에서 지역적 적응(local adaptation)을 하게 된다. 지역적 적응이란, 시야각 내의 광경에서 지역적인 밝기 에 따라 인간의 시각 시스템이 적응함으로서 지역적으로 각기 다른 역치 특성을 보이게 됨을 의미한다. 이는 실생활에서 많이 경험할 수 있는 특징으로서 특히 높은 동적범위를 가지는 영상 등을 볼 때 밝기가 다른 부분들에 대해서 적응에 의해 보다 향상된 시각 능력을 보일 수 있음을 의미한다. 실제로 디스플레이 장치를 통해 디지털 영상을 보고 있을 때에는 영상의 어느 정도의 영역의 크기로 적응을 할지가 매우 모호해 질 수 있다. 하지만 이러한 특징을 모델링 할 경우에는 응용에 따라서 다양한 방법이 있을 수 있다. 예를 들어, 각각의 픽셀을 적응 단위로 볼 수 있고, 일정 주변 픽셀까지 고려하는 방법도 가능 할 것이다.

이러한 공간에서의 지역적 밝기에 따른 적응 특성 이외에 인간의 대비 민감도는 망막 상에 존재하는 광수용체 및 여러 세포들의 고유한 프로세싱을 통해 특정 공간주파수 영역에 민감한 멀티메커니즘으로 존재함이 증명되었다(Wilson, 1991). 이는 인간이 한 광경을 볼 때 망막에 맺히는 영상(retinal image)이 망막 상에서 필터링을 통해서 특정 공간주파수 영역의 영상들을 생성해 낸다고 해석 할 수 있다. <그림 3>에서와 같이 각각의 메커니즘들의 중앙 공간 주파수는 0.5cycles/degree(cpd)에서 16cpd까지의 옥타브 대역을 나타낸다. <그림 3>은 전형적인 보통시력을 가진 사람의 무색채널의 대비민감도 함수를 나타내고 있는데, 무색채널의 대비 민감도 함수는 대역제한 필터와 같은 역할을 하는 여러 개의 메커니즘들의 집합 형태로 존재함을 확인할 수 있다. 또한 두 개의 색채 채널에 대해서도 무색채널과 마찬가지로 멀티메커니즘을 형성하고 있다(Losada, 1994).

Figure 3.

Multiscale characteristic of achromatic CSF

3.4 공간주파수 영역의 역치 상 특성

시각 시스템의 적응 및 공간주파수 영역에서의 대비 역치 특성과 더불어 역치 상(suprathreshold) 특징은 중요한 인간의 시각 시스템 특징 중 하나이다. 이는 단지 보이는 영역과 보이지 않는 대비 영역을 공간 주파수 영역 상에 분포하는 대비 민감도 함수에 따라서 이분하는 역치 특성에 대한 고려뿐 아니라 역치 이상의 영역의 자극에 대한 시각 시스템의 반응까지 고려함을 의미한다. Wilson(1991) 등에 의해 행해진 주관적 대비 매칭 테스트 결과에 의하면 인간의 시각 시스템은 역치 값 근처의 대비 레벨에서는 앞서 언급한 바와 같이 대비 민감도 함수를 따르고, 역치 값을 일정범위 초과하는 레벨에서는 영상의 공간주파수에 따라서 대비 민감도가 일정함을 실험을 통해 증명 하였다. 이처럼 각기 다른 공간주파수 영역에 대해 일정한 대비 민감도를 갖게 되는 특징을 대비 항상성(contrast constancy)라 한다.

4.1 망막 상 영상(retinal image)

실제 광경 및 그를 대변하는 영상을 우선 인간의 눈의 망막에 맺히게 되는데 이때의 영상을 망막 상 영상이라 한다. Sumanta(1998)에 따르면 망막상 영상은 망막에 존재하는 원추세포(cone) 및 간상세포(rod) 등의 광수용체(photoreceptor)라는 일종의 시각 센서가 감지하는 영상으로 근사화(또는 시뮬레이션)가 가능하다. 망막 상 영상으로의 시뮬레이션 영상을 얻기 위해 R, G, B로 구성된 영상을 CIE 표준 색체계의 XYZ 삼차극치값으로 변환하고, 식(1)의 근사 변환식을 통하여 망막 상의 영상으로 근사화 할 수 있다(Sumanta, 1998).

아래의 <그림 6>은 512x512 해상도를 갖는 Lena(컬러) 영상에 대하여 망막 상 영상(L, M, S, Rod)을 시뮬레이션 한 결과를 나타낸다.

Figure 6.

Test Input image and retinal images

4.2 대역 분해 영상(spatial decomposition image)

Section 2에서 언급한 바와 같이 인간의 시각특성 중 대비 민감도의 멀티 메커니즘 특성을 고려하기 위한 첫 번째 단계로서 입력 영상을 공간주파수 상에서 분해를 해야 한다. 논문에서 구현된 알고리즘에서는 대비 민감도를 여섯 개의 멀티 메커니즘으로 가정하고 각각의 대역의 중심 주파수는 0.5, 1, 2, 4, 8 및 16 cycles/degree(cpd)의 옥타브 대역을 갖도록 한다. 이러한 멀티메커니즘 특성을 만족시키기 위해서 Peter(1983)이 제안한 가우시안 피라미드 방법을 동일하게 적용하였다. 이는 망막 상 영상 각각에 대해 2차원 5탭 가우시안 공간필터를 사용함으로서, 순차적인 저역 필터링 된 영상을 얻는 방법이며, 이는 완벽하게 복원이 가능한 방법이다. 가우시안 피라미드를 형성하기 위한 방법은 아래의 식 (2)와 같다. 그 후 원 영상과 동일한 해상도를 갖게 하기 위해서 식 (3)과 같이 가우시안 보간(interpolation)을 통해 동일 해상도의 영상으로 복원하였다.

참고로, 위의 식에서 i, j 및 l은 각각 망막 상 영상의 픽셀 및 피라미드상의 레벨을 나타내고, w는 2차원 5탭 가우시안 필터이다(1D 필터계수: 0.05, 0.25, 0.4, 0.25, 0.05). 입력 영상의 대역 분해영상에 대한 시뮬레이션 사례는 section 5의 <그림 7> 첫 번째 열에 나타내었다.

Figure 7.

Simulation to obtain perceived contrast images

4.3 라플라시안 영상(laplacian image)

대역 분해의 결과는 단지 저역 통과 필터링의 효과만을 나타내는 것이고, 시각 시스템의 멀티 메커니즘을 나타내기 위해서는 특정 제한된 대역에 특화된 여러 개의 메커니즘을 생성해야 한다. 즉, 라플라시안 영상을 만드는 목적은 원영상의 대역 분해된 영상을 특정 공간주파수 대역에 민감한 여러 개의 대역 제한된 대비 민감도 함수로 나누고, 이는 곧 나누어진 각각의 대비 민감도 함수, 즉 각각의 메커니즘들에 의해 감지되는 여러 개의 영상으로 시뮬레이션 할 수 있음을 의미한다. 이때 실제로는 각각의 멀티 메커니즘들이 그림 3에서와 같이 인접한 메커니즘끼리는 서로 영향을 준다고 알려져 있지만 제안된 방법에서는 대역 제한된 각각의 메커니즘들이 서로 독립적임을 가정한다. 망막상의 프로세싱을 거친 서로 독립적인 여섯 개의 대역 제한된 출력 영상 시뮬레이션은 식 (4)를 통해 얻을 수 있다.

위 식에서 (i, j)는 대역 분해 영상을 의미하고, l을 가우시안 피라미드 상의 레벨을 의미한다. 입력 영상의 대역 분해를 거친 후 구해진 라플라시안 영상에 대한 시뮬레이션 사례는 section 5의 <그림 7> 두 번째 열에 나타내었다.

4.4 적응 대비도(adapted contrast) 및 색차변환 영상

앞서 인간의 시각시스템 특성 중 밝기에 따른 역치 변화특성을 언급하였다. 원추세포 및 간상세포에 의한 시뮬레이션된 라플라시안 영상을 얻은 후, 각각의 대역에 해당하는 영상에 대해서 주위 밝기에 따른 역치 특성을 고려해 준다. 인간의 시각 시스템 특성은 그림 1에서와 같이 밝기가 증가할수록 시각의 민감도는 떨어지고, 어두운 곳에서는 민감도가 증가하는 특징이 있는데, 이를 정신 물리학 적인 실험을 통해 도출된 이득함수(gain function)의 이득 값을 밝기에 따라 조절해줌으로서 적응 특성을 모델링 할 수 있다. 식 (5)및 (6)은 각각 객관적인 데이터를 바탕으로 정해진 원추 세포 및 간상세포에 해당하는 이득 함수를 나타낸다[3]. 각각의 대역분해 영상을 이용해 이득 값을 픽셀마다 아래의 식들을 통해 얻고, 그 이득 값을 (7)식과 같이 해당하는 라플라시안 영상의 해당 픽셀에 곱해줌으로서 주위의 밝기에 적응된 대비 영상(adapted contrast image)을 얻을 수 있다. 이러한 결과는 인간의 시각이 영상의 픽셀단위로 적응함을 전제로 하여 구해진 결과이고, 이는 목적에 따라 보다 현실적인 여러 가지 적응의 형태로도 구현 될 수 있다.

위의 식 (5)와 (6)에서 확인 할 수 있듯이, 밝기(I)가 증가할수록 해당 대역 특정 픽셀 값의 이득이 작아지고 반대로 밝기가 감소할수록 이득이 커짐을 알 수 있다. 이는 적응에 따른 대비 역치 변화 특성을 잘 나타내 주는 것이다.

적응 대비도 영상을 얻은 후, 원추세포 및 간상세포에 의한 시뮬레이션 영상들은 Fairchild(1998)에 의해 제안된 식(8)을 통해 한 개의 무색채널(a) 및 두 개의 색채채널(c₁,c₂)로 변환 시켜준다. 이 과정은 인간의 대비 민감도 함수가 앞서 언급한대로 하나의 무색채널 및 두 개의 색채채널, 즉 세 개의 채널로 이루어져 있음을 모델링하는 것이다.

section 5에 나타난 그림 7의 세 번째 열은 (5), (6), (7) 및 (8)식을 통해 얻어진 무색채널의 공간주파수에 따른 적응 대비 영상의 결과를 나타내 준다.

4.5 인지 대비 영상(perceived contrast image)

실제 많은 영상에서 역치 근처의 대비 외에도 역치 이상의 대비가 존재 할 수 있기 때문에, 역치 이상의 영역에서의 시각시스템의 특성을 고려해 주어야 함을 언급 하였다. 그러므로 밝기를 고려한 적응 대비 영상은 인간의 시각 시스템 특성 중에서 최종적으로 역치 상 특성을 고려해 줌으로서 실제 인간이 인지하는 대비와 비슷한 값을 얻을 수 있을 것이다. 앞서 언급한 바와 같이 인간의 시각 시스템은 낮은 대비를 가지는 영상에 대해서는 대비 민감도가 공간 주파수에 따라 전형적인 대비 민감도 함수의 형태를 띠고, 영상의 대비가 증가함에 따라 대비 민감도가 공간 주파수와 무관하게 동일한 민감도를 가지는 이른바 대비항상성 특징이 있음을 언급 하였다. 인지 대비 값은 모든 적응 대비 영상의 픽셀 값을 정신 물리학적인 객관적 데이터에 근거해 도출된 아래의 식을 이용하여 변환함으로써 구할 수 있다.

식 (9)부터 (11)에서 는 적응대비 영상에 포함된 각각의 픽셀 값을 의미하며, Sumanta(1998)과 같은 방법으로 멀티 채널별로 민감도에 따른 가중치(k)를 부여해서 여섯 개의 서로 다른 대역을 구분하였다. 아래의 표 1은 Sumanta(1998)에서 실험적인 데이터에 의거해 얻어진 대역에 따른 k값을 나타낸다.

Table 1.

k values in terms of spatial frequency and different channels

표1의 k값의 변화를 통해 알 수 있듯이, 일정 이하의 대비 값에 대하여 공간 주파수에 따라 각기 다른 대비 역치 값을 가짐을 알 수 있다. 이는 역치 근처의 대비 값에 대해서는 전형적인 대비 민감도 함수의 역치 값을 따르게 하기 위함이다. 예를 들어, 무색채널의 경우 2에서 8cpd 근처에서 가장 낮은 대비 역치 값을 가지게 되고 이는 그림 3의 전형적인 대비민감도 함수의 결과와 일맥상통 한다. 반대로 일정 대비 이상의 값을 가질 때는 대비 항상성 특성을 만족하기 위해서 공간주파수에 상관없이 제곱근 형태의 변환식이 적용된다. 이는 역시 일정 대비 값 이상의 영역(역치 상 영역)에서는 대비 항상성을 유지 시켜주기 위함이다. 입력 영상에 대한 인지대비 영상에 대한 시뮬레이션 사례는 section 5의 <그림 7> 첫 번째 열에 나타내었다.

4.6 최 저역 대역(Lowest band)의 고려

<그림 4>의 전체 과정을 거쳐 입력 영상의 여섯 개의 공간 주파수 대역에 따른 인지 대비영상을 구할는 방법을 언급하였다. 하지만 인지대비 측정 및 영상 시뮬레이션 시 입력영상의 형태로 온전하게 복원시키기 위해서는 대역 분해 과정중 남은 최저 대역 영상에 대한 고려를 반드시 해 주어야 한다. 즉 최저 대역 영상은 0.5cpd 이하의 대역에 해당하는 영상이고, 인지 대비 계산 시 이 영상에 대한 고려를 반드시 해 주어야 한다. 그러므로 최저 대역 영상을 <그림 4>의 전 과정을 별도로 시행 하는 과정을 거쳐야 인지 대비 영상을 통한 원영상의 복원 시 원하는 결과 영상을 얻을 수 있다.

4.7 인지대비 측정 방법

설명된 전체 과정을 거쳐 최저 대역을 포함한 총 7개의 대역에 관한 인지 대비 영상을 얻었다면, 입력 영상의 인지 대비 값을 아래의 식(12)을 통해 구할 수 있다. 식 (12)는 앞서 기존 대비 측정 방식과 달리 앞서 언급한 시각시스템을 고려하여 본 논문에서 제안하는 방식이다. 아래의 식(12)에서, a는 무색 채널의 평균 인지 대비, c1과 c2는 각 색채 채널의 평균 인지 대비를 나타낸다. Nc(=7)는 최저 대역을 포함한 대역 수, W와 H는 각각 영상의 너비와 높이를 나타낸다. i, j 및 k는 각각 인지 대비 픽셀 및 공간주파수 상의 대역을 나타낸다. 또한 인지 대비 값을 정규화(normalize)하기 위해 인지대비 최대값인 50으로 각각 나누어 주었다.