TruAI Based on Deep-Learning Technology for Quantitative Analysis of Fluorescent cells with Ultra-Low Light Exposure

서론

현미경 검사를 기반으로 이루어지는 현대의 세포 연구에서 형광 라벨은 매우 귀중한 도구입니다. 그러나 높은 여기광 노출은 광화학 과정을 통해 세포에 직/간접적인 영향을 미칩니다. 불리한 실험 조건은 광손상이나 광독성으로 이어져 세포 생존력에 관찰 가능한 수준의 영향을 줄 수 있습니다. 직접적인 영향이 관찰되지는 않지만 강한 노광은 세포의 정상적인 행동에 영향을 미쳐서 원치 않는 효과로 이어질 수 있습니다.

장기간의 라이브 셀 실험에서는 노광을 최소화한 형광 관측이 특히 바람직합니다. 그러나 노광을 낮추면 형광 신호가 낮아지고 결과적으로 신호-노이즈 비율(SNR)이 감소하는 것이 보통입니다. 이는 정량적인 이미지 분석을 실시하는 것을 어렵게 만듭니다(그림 1).

그림 1
본 연구에 포함된 다양한 빛 수준을 보여주는 개요 이미지

그림 2
왼쪽에서 오른쪽 방향: 최적 조명(100%), 낮은 노광(2%), 매우 낮은 노광(0.2%), 극도로 낮은 노광(0.05%) 상태의 헬라세포 DAPI 착색 핵. 신호 수준이 카메라의 잡음 수준으로 낮아지고 결국 카메라의 검출 임계값에 도달하기 때문에 SNR이 크게 낮아짐. 시각화를 위해 SNR에 따라 대비를 최적화함.

TruAI 이면의 기술

기술적인 관점에서 볼 때, 초저 노광으로 세포를 분석하는 것은 매우 낮은 SNR을 가진 이미지를 분석하는 문제가 됩니다(그림 2). 이런 문제를 해결하고 저신호 이미지를 확고하고 정밀하게 분석하기 위해, Olympus는 TruAI라는 심층 신경망에 기반한 이미지 분석 방법을 cellSens 이미징 소프트웨어와 ScanR 시스템에 통합했습니다. 이런 종류의 신경망 아키텍처는 현존하는 가장 강력한 객체 분할 기술이라고 묘사됩니다.

까다롭고 다양한 이미지 분석 작업에 맞추어 쉽게 조정할 수 있으므로 초저 노광을 사용하는 중대한(non-trivial) 세포 정량분석을 위한 이상적인 옵션이 됩니다. 이 신경망은 훈련 단계에서 세포의 위치와 윤곽, 세포 구획 등 바람직한 매개변수를 예측하는 방법을 자동으로 학습하며, 이런 과정을 관심 객체 분할이라고 부릅니다.

훈련 단계에서 예시 이미지와 “실측치(ground truth)” 데이터(즉, 관심 객체에 주석이 달리는 객체 마스크)가 신경망에 공급됩니다. 학습을 마친 신경망은 이를 새로운 이미지에 적용하여 높은 정밀도로 객체 마스크를 예측할 수 있습니다.

일반적으로, 머신러닝에서 주석(예: 세포의 경계)은 인간 전문가가 제공합니다. 이는 지루하고 시간이 오래 걸리는 단계가 될 수 있습니다. 신경망이 그 광범위한 잠재력을 온전히 활용하기 위해서는 많은 양의 훈련 데이터가 필요하기 때문입니다. cellSens 소프트웨어는 이러한 어려움 중 일부를 극복할 수 있도록 편리한 훈련 라벨 인터페이스를 제공합니다. 

반면, 현미경은 훈련 단계에서 기준 이미지를 획득함으로써 신경망 훈련에 필요한 실측치(ground truth)를 자동으로 생성하여 훨씬 더 간단하게 문제를 해결합니다.

예를 들어, 초저 노출 이미지에서 핵을 확실히 검출하고 분할하는 방법을 신경망에 가르치기 위해, 현미경이 최적의 조명 조건에서 얻은 이미지 하나와 노출이 부족한 조건에서 얻은 이미지 하나로 구성된 이미지 쌍 여러 개를 자동으로 획득합니다. 이러한 이미지 쌍은 초저 노출 수준에서 생성된 잡음이 섞인 이미지를 정확하게 분석하는 방법을 신경망에 훈련시키기 위해 사용됩니다.

이와 같은 실측치(ground truth) 생성 방법은 인간의 개입이 거의 필요하지 않으므로 짧은 시간 내에 다량의 훈련 이미지 쌍을 획득할 수 있습니다. 신경망은 매우 다양한 훈련 이미지를 토대로 여러 SNR 수준, 불균일한 조명 등 다양한 변수에 적응하는 방법을 배울 수 있으며, 이는 해당 변수의 영향을 받지 않도록 학습된 신경망 모델로 이어집니다.

저신호 분할 훈련

다양한 SNR 조건에서 핵을 확실하게 검출할 수 있도록 신경망을 훈련하기 위해, 각 웰의 3 × 3 위치에서 전체 96웰 플레이트를 획득하도록 시스템을 설정합니다. 다음 이미지는 각각의 위치에서 획득한 것입니다.

• 최적의 SNR을 위해 100% 노광을 적용한 DAPI 이미지(200ms 노출 시간, 100% LED 여기광 강도)
• 2% 노광을 적용한 DAPI 이미지(4ms 노출 시간, 100% LED 여기광 강도)
• 0.2% 노광을 적용한 DAPI 이미지(4ms 노출 시간, 10% LED 여기광 강도)
• 0.05% 노광을 적용한 DAPI 이미지(4ms 노출 시간, 2.5% LED 여기광 강도)

이 시스템은 훈련을 위해 90개의 웰을 사용하고 나머지 6개는 추후 검증을 위해 제외합니다. 최적의 SNR 및 표준 이미지 분석 프로토콜을 사용하여 DAPI 이미지에서 핵의 위치와 윤곽을 검출합니다. 분할 마스크는 SNR을 감소시킨 이미지와 페어링하여 훈련에 사용합니다(그림 3). NVIDIA GeForce GTX 1070 GPU가 탑재된 PC에서 훈련에 걸리는 시간은 약 2시간 40분입니다. 훈련 후의 신경망은 모든 노출 시간에서 핵을 검출할 수 있습니다.
 

그림 3
신경망 훈련. 높은 준최적 SNR을 가진 이미지 쌍을 이용하여 모든 SNR 조건에서 객체를 검출하는 방법을 신경망에 훈련.
 

저신호 분할 적용

훈련된 신경망은 그림 4에 묘사된 워크플로를 따라 다양한 SNR를 가진 새로운 이미지에 적용할 수 있습니다. 각기 다른 SNR에서 얻은 윤곽선은 그림 5에서 확인할 수 있습니다.

그림 4
훈련된 신경망의 적용(추론). 신경망은 매우 낮은 SNR 이미지를 포함하여 다양한 조건에서 객체의 위치와 윤곽을 예측할 수 있도록 훈련받았습니다.
 

그림 5
(왼쪽에서 오른쪽 방향으로) 100%, 2%, 0.2%, 0.05%의 노광 수준에서 획득하여 각기 다른 SNR을 갖는 이미지에서 TruAI로 검출한 객체의 예. 시각화를 위해 SNR에 따라 대비를 최적화함.
 

각기 다른 SNR에서의 분할 결과(그림 6)와 각기 다른 SNR에서의 윤곽선 중첩을 직접 비교하면 낮은 노출 수준에서 신경망의 검출 능력을 분명하게 확인할 수 있습니다(그림 7). 이미지에서 추론한 윤곽선은 최저 수준의 노광(청색)을 제외하면 거의 완벽하게 겹칩니다(적색, 황색, 청록색). 이는 신경망의 확실한 검출 한계가 노광이 0.2% ~ 0.05%일 때임을 나타냅니다.

그림 6
(왼쪽 상단에서 오른쪽 하단 방향으로) 100%, 2%, 0.2%, 0.05%의 노광 수준에서 획득하여 각기 다른 SNR을 갖는 이미지에 대한 TruAI의 핵 분할 결과. 최저 SNR(오른쪽 하단)에서 추론한 윤곽선은 정확한 윤곽선과 큰 편차를 보이며, 이는 최저 노출 수준에서 정량분석기법의 한계가 통상 노광이 0.2% ~ 0.05%일 때임을 나타냅니다. 시각화를 위해 SNR에 따라 대비를 최적화함.

그림 7
최저 노광 수준(0.05%)에서 획득한 이미지 상단에 표시된 4개의 SNR에서 TruAI가 검출한 핵 윤곽선. 시각화를 위해 대비를 최적화함.

결과 검증

TruAI의 결과를 검증하고 정량분석의 한계를 확인하기 위해, 조명 조건별로 2개의 웰에서 이미지를 분석합니다. 핵의 위치와 윤곽선을 결정하고, 핵 개수를 계산하고, 핵의 면적과 DAPI 신호의 평균 강도를 측정합니다. ScanR 시스템의 대용량 스크리닝 소프트웨어를 사용하여 핵 개체군과 관련된 결과를 분석할 수 있습니다. 최적 조건에서 얻은 결과(그림 8, 왼쪽 상단)는 뚜렷한 개체군 2개를 보여주며, 이들은 세포주기 중 G1(단일 DNA 함량) 및 G2 단계(이중 DNA 함량)에 있는 세포와 관련됩니다.

2%의 노출에서 이미지를 분석하면 다이내믹 레인지가 급감합니다(그림 8, 오른쪽 상단). 그러나 척도를 재설계한 후 동일한 개체군을 뚜렷하게 확인할 수 있으며, 모든 노광 수준에서의 유사한 분포가 표 1에 요약되어 있습니다. 0.2%로 노출된 이미지에 동일한 방법을 적용할 때도 세포 개수 및 G1/G2 단계의 세포 비율이 거의 일치합니다.

최저 노출 수준(0.05%)에서는 다이내믹 레인지가 훨씬 더 많이 감소합니다. 최저 노출 수준에서는 뚜렷한 개체군을 더 이상 분명하게 확인할 수 없으며(그림 8, 오른쪽 하단), 결과적으로 세포 개수가 약 4% 낮게 추정되고 G2 단계 세포의 비율이 약 1% 높게 추정됩니다. 이는 고정밀 측정이 요구될 때 성공적인 분석을 위한 SNR 한계에 도달했음을 나타냅니다. 그러나 대략적인 추산을 위해 결과를 이용할 수 있으며, 초저 노광의 경우에도 마찬가지입니다.
 

그림 8
scanR 산점도: 최적 SNR(100% 노광)과 감소된 SNR(각각 2%, 0.2%, 0.05%의 노광)을 갖는 이미지에서 얻은 세포주기 다이어그램. y축 척도가 다름.

다양한 노광 수준에서 얻은 측정 결과

결론

핵의 형광 이미지를 정량분석하는 것은 많은 생명과학 연구 분야에서 사용되는 기본적인 기법입니다. TruAI를 통한 자동 검출은 시간을 절약하고 재현성을 개선할 수 있습니다. 그러나 이 방법은 확실해야 하며 형광 신호가 낮을 때에도 믿을 수 있는 결과를 생성해야 합니다.

Olympus의 TruAI는 광범위한 SNR 수준에서 핵을 신뢰성 있게 검출할 수 있게 해줍니다. 이 글에서 소개한 결과는 TruAI의 나선형 신경망이 일반적으로 요구되는 0.2%까지의 수준에서 확실한 결과를 제공할 수 있음을 보여줍니다. 새로운 기술을 적용함으로써 까다로운 조명 조건에서 다량의 이미지에 대한 정량분석을 쉽고 빠르며 확실하게 실시할 수 있습니다. 노광을 최소 수준으로 극적으로 줄이면 세포 생존력에 영향이 있으며 빠른 데이터 획득과 라이브 셀에 대한 장기 관찰이 가능해집니다.

저자

Dr. Mike Woerdemann,
Dr. Matthias Genenger
제품 관리자
Olympus Soft Imaging Solutions GmbH
독일 뮌스터

*1 [Long et al. 2014: Fully Convolutional Networks for Semantic Segmentation ]