Image Processing with Deconvolution

디콘볼루션(Deconvolution)은 광학현미경으로 캡처한 이미지의 대비와 선명도를 향상하기 위해 사용하는 계산 집약적인 이미지 처리 기법입니다. 광학현미경은 회절 한계의 영향을 받습니다. 즉, 빛의 파장 중 절반 이상이 서로 떨어져 있지 않다면 개별 구조를 분해할 수 없습니다. 회절 한계보다 작은 각각의 점광원은 현미경에 의해 흐려져서 점상 강도 분포 함수(PSF)라고 불리는 것이 됩니다. 전통적인 광시야 형광 현미경 검사의 경우, 초점면 위 또는 아래의 지역에서 나오는 탈초점 광선이 캡처되는 이미지에서 추가적인 블러링(blurring) 현상을 유발합니다. 디콘볼루션은 광학계의 점상 강도 분포 함수를 사용하여 더 작은 광원 집단에서 만들어지는 이상적인 이미지를 재구축함으로써 이러한 품질 저하를 제거하거나 반전시킵니다.

광학현미경의 점상 강도 분포 함수는 현미경과 샘플의 광학적 성질에 따라 다르므로 전체 시스템의 점상 강도 분포 함수를 실험적으로 정확하게 정의하기가 어렵습니다. 이런 이유로, 점상 강도 분포 함수를 결정하고 디콘볼루션을 사용하여 이상적인 이미지를 가장 잘 재구축할 수 있도록 수학적 알고리즘이 개발되었습니다. 형광현미경으로 획득한 거의 모든 이미지(3차원이 아닌 경우도 포함)를 디콘볼루션 처리할 수 있습니다.

상용 소프트웨어는 이러한 알고리즘을 비용 효과적이고 사용자 친화적 패키지로 묶어줍니다. 합성곱 연산(convolution operation)의 점 확산 및 노이즈 함수가 결정되는 방식은 디콘볼루션 알고리즘별로 다릅니다. 기본적인 이미징 공식은 다음과 같습니다.

g(x) = f(x) * h(x) + n(x)

x: 공간 좌표
g(x): 관찰된 이미지
f(x): 객체
h(x): 점상 강도 분포 함수
n(x): 노이즈 함수
*: 콘볼루션

디블러링 알고리즘

디블러링 알고리즘(Deblurring Algorithm)은 3차원 이미지 스택의 2차원 평면 각각에 연산을 적용합니다. 일반적인 디블러링 기법인 최근접 이웃(Nearest Neighbors) 알고리즘은 근접 평면을 블러링(z+1과 z-1, 디지털 블러링 필터 사용)한 후 블러링된 평면을 z-평면에서 빼서 각각의 z-평면에서 작동합니다. 다중 이웃(Multi-neighbor) 기법은 사용자가 선택할 수 있는 수의 평면으로 이 개념을 확대합니다. 3차원 스택은 스택에 있는 모든 평면에 알고리즘을 적용함으로써 처리합니다.

이러한 디블러링 알고리즘은 소수의 상평면에서 상대적으로 간단한 계산이 수행되므로 계산의 측면에서 경제적입니다. 그러나 몇 가지 단점이 있습니다. 예를 들어, 점상 강도 분포 함수가 근처의 z-평면에서 서로 중첩되는 구조가 자신이 속하지 않는 평면에 국지적으로 집중되어 대상의 시위치를 바꿔놓을 수 있습니다. 이 문제는 2차원 이미지 하나를 디블러링할 때 특히 심각하게 나타납니다. 종종 회절환이나 탈초점 구조에서 나오는 빛이 포함되어 있어서 마치 정확한 초점면에 있는 것처럼 선명해질 수 있기 때문입니다.

역필터 알고리즘

역필터는 이미지를 푸리에 변환한 후 점상 강도 분포 함수를 푸리에 변환한 것으로 나누어 기능합니다. 푸리에 공간에서의 나눗셈은 실제 공간에서의 디콘볼루션에 해당하므로, 역필터링은 이미지를 디콘볼루션하는 가장 간단한 방법이 됩니다. 계산이 빠르며 2차원 디블러링 방법의 속도와 비슷합니다. 그러나 노이즈 증폭 때문에 활용에 제약이 있습니다. 푸리에 공간에서 나눗셈을 진행하는 동안, 푸리에 변환의 작은 노이즈 차이가 나누기 연산에 의해 증폭됩니다. 그 결과, 노이즈 게인에 대한 반대급부로 디블러링 효과가 감소합니다. 이 기법은 링잉(ringing)이라고 알려진 아티팩트를 유발할 수도 있습니다.

추가적인 노이즈와 링잉(ringing)은 이미지에 발생한 객체의 구조에 관한 몇 가지 가정을 통해 줄일 수 있습니다. 예를 들어, 객체가 상대적으로 매끈한 것으로 가정된다면 거친 가장자리가 있는 노이즈 솔루션을 제거할 수 있습니다. 정규화는 역필터 안에서 한번에 적용하거나 반복적으로 적용할 수 있습니다. 결과적으로, 이미지에서 높은 푸리에 주파수가 탈락되어 매끈한 외관이 만들어집니다. 이미지에서 제거된 "거칠기" 다량이 해상도 한계를 훨씬 넘어서는 푸리에 주파수에 있습니다. 그러므로 이 절차는 현미경이 기록한 구조를 제거하지 않습니다. 그러나 세부 정보를 잃을 가능성이 있기 때문에 사용자가 평활화와 노이즈 증폭 사이의 균형을 제어할 수 있도록 하는 조절형 매개변수가 역필터링 소프트웨어에 포함되는 것이 일반적입니다. 이러한 알고리즘들은 대부분의 이미지 처리 소프트웨어 프로그램에서 Wiener 디콘볼루션, 정규화된 최소 제곱, 선형 최소 제곱, Tikhonov-Miller 정규화 등의 다양한 이름으로 불립니다.

제한 반복 알고리즘

전형적인 제한 반복 알고리즘은 추가적인 알고리즘을 적용하여 광자를 정확한 위치로 복귀시킴으로써 역필터의 성능을 개선합니다. 이 방법은 이전 사이클의 결과를 토대로 잇따른 사이클에서 작동하기 때문에 '반복'이라는 용어를 사용합니다. 대상에 대한 초기 추정을 실시하고 점상 강도 분포 함수로 합성곱을 구합니다. 결과로 얻은 "블러 추정치"를 미가공 이미지와 비교하여 블러 추정치가 미가공 이미지와 얼마나 비슷한지를 보여주는 오류 기준을 계산합니다. 오류 기준에 포함된 정보를 사용하여 새로운 사이클을 진행하고, 새로운 추정치를 점상 강도 분포 함수로 콘볼루션하고, 다시 새로운 오류 기준을 계산하는 과정이 반복됩니다. 최고의 추정치는 오류 기준을 최소화하는 것입니다. 알고리즘이 진행될 때마다 소프트웨어가 오류 기준이 최소화되었는지 여부를 판단하고, 새로운 추정치를 다시 블러링한 후 오류 기준을 재계산합니다. 이 사이클은 오류 기준이 최소화되거나 정의한 임계치에 도달할 때까지 반복됩니다. 최종적으로 복구된 이미지는 마지막으로 반복되었을 때의 추정치입니다.

제한 반복 알고리즘은 우수한 결과를 제공하지만 모든 이미징 환경에 적합한 것은 아닙니다. 계산 시간이 길고 컴퓨터 프로세서 요구사항이 까다롭습니다. 이런 문제는 속도를 크게 개선하는 GPU 기반 처리와 같은 현대 기술로 극복할 수 있습니다. 제한 반복 알고리즘의 장점을 온전히 활용하기 위해서는 3차원 이미지가 필요합니다. 2차원 이미지를 사용하는 것도 가능하지만 성능이 제한될 수 있습니다.

컨포칼, 다광자, 초고해상도

컨포칼 현미경의 대안으로 디콘볼루션 기법을 권장하는 이들이 있습니다.₁ 이것은 엄밀하게 사실이라고 말할 수 없습니다. 디콘볼루션 기법은 컨포칼 현미경의 핀홀 조리개를 사용하여 획득한 이미지에도 적용할 수 있기 때문입니다. 실제로, 컨포칼/다광자/초고해상도 광학현미경으로 획득한 이미지를 복구하는 것이 가능합니다.

컨포칼/초고해상도 현미경 검사와 디콘볼루션 기법을 결합하여 광학 이미지를 개선하면 두 기법 중 하나만 사용했을 때 가능한 것 이상으로 선명도가 향상됩니다. 그러나 컨포칼 현미경과 초고해상도 현미경으로 획득한 이미지를 디콘롤루션 처리했을 때의 주된 혜택은 최종 이미지에서 노이즈가 감소한다는 것입니다. 이는 라이브 셀에 대한 초고해상도 이미징이나 컨포칼 이미징과 같은 저조도 애플리케이션에 특히 유용합니다. 다광자 이미지에 대한 디콘볼루션은 노이즈를 제거하고 대비를 개선하기 위해서도 성공적으로 활용되고 있습니다. 어떤 경우든 적절한 점상 강도 분포 함수를 적용하기 위해 주의해야 하며, 컨포칼 핀홀 조리개를 조절할 수 있는 경우는 더욱 그러합니다.

*1. Shaw, Peter J., and David J. Rawlins. “The point-spread function of a confocal microscope: its measurement and use in deconvolution of 3-D data.” J.ournal of Microscopy. 163, Issue no. 2 (1991): 151–165.

디콘볼루션의 활용

소프트웨어가 디콘볼루션 알고리즘을 실행하는 방식은 처리 속도와 품질에 큰 영향을 미칩니다. 알고리즘은 반복 횟수를 줄이고 수렴을 가속화하여 안정적인 추정치를 얻기 위해 최적화할 수 있습니다. 예를 들어, 최적화되지 않은 Jansson-Van Cittert 알고리즘이 최적의 추정치로 수렴되려면 대게 50~100회의 반복이 필요합니다. 미가공 이미지를 프리필터링하여 노이즈를 억제하고 처음 2회의 사이클에서 추가적인 오류 기준을 적용하여 보정하면, 알고리즘이 5~10회 반복만으로 수렴됩니다.

경험적 점상 강도 분포 함수를 사용할 때는 최소의 노이즈를 가진 최고급의 점상 강도 분포 함수를 사용하는 것이 매우 중요합니다. 이를 위해 상용 소프트웨어 패키지에 포함된 사전처리 루틴은 점상 강도 분포 함수를 푸리에 변환한 값을 평균내어 노이즈를 줄이고 방사대칭을 강화합니다. 많은 소프트웨어 패키지는 점상 강도 분포 함수의 축대칭도 강화하며 구면수차가 없다고 가정합니다. 이러한 조치를 통해 경험적 점상 강도 분포 함수의 노이즈와 수차를 줄이고 품질을 크게 향상시킵니다.

전처리는 배경 제거, Flat-Field 보정 등의 루틴을 사용하여 미가공 이미지에도 적용할 수 있습니다. 이를 통해 신호-노이즈 비율을 개선하고 최종 이미지에 해로운 특정한 아티팩트를 제거할 수 있습니다.

일반적으로, 데이터 표현이 충실하면 할수록 이미지 디콘볼루션에 더 많은 컴퓨터 메모리 및 프로세서 시간이 필요합니다. 이전에는 처리 능력에 맞추어 이미지를 여러 개로 분할했었지만 현대 기술을 통해 이런 문제가 감소되었고 더 큰 데이터 세트를 활용할 수 있게 되었습니다.

Olympus 디콘볼루션 솔루션

Olympus의 cellSens 이미징 소프트웨어는 일반적으로 사용되는 디콘볼루션 알고리즘과 Olympus FV3000 및 SpinSR10 현미경으로 획득한 이미지용으로 설계된 새로운 기법을 결합한 TruSight 디콘볼루션이 탑재하고 있어, 이미지 처리 및 분석을 위한 모든 도구를 제공합니다.

Lauren Alvarenga
Scientific Solutions Group
Olympus Corporation of the Americas