TruAI Based on Deep-Learning Technology for Robust, Label-Free Nucleus Detection and Segmentation in Microwell Plates

서론

형광 표지자 등의 착색제로 세포를 라벨링하는 것은 생물학적 특징과 과정에 대한 관찰과 분석에서 매우 중요합니다. 이러한 라벨링 기법이 개발되기 전에는 생물학 샘플에 대한 현미경 분석을 무표지 관찰을 통해 수행했습니다. 머신러닝 기술의 영향으로 이미지 분석이 극적으로 개선되면서 최근에는 무표지 관찰이 다시 중요하게 떠오르고 있습니다. 딥러닝 기반 TruAI는 투과광 이미지에 암호화된 정보에 새롭게 접근할 수 있으며 세포 또는 세포 구획의 구조적 착색에 사용되는 형광 표지자를 대체할 잠재력이 있습니다^*1(그림 1).

그림 1
왼쪽에서 오른쪽 방향: TruAI가 예측한 핵의 위치(청색), 핵을 보여주는 녹색형광단백질(GFP) 히스톤 2B 라벨(녹색), 미가공 명시야 투과 이미지(회색).

표적 분자에 직접 라벨을 부착하여 얻은 정보는 여전히 중요하며, 무표지 접근방식으로 형광을 완전히 대체할 수 없습니다. 그러나 라벨 개수를 줄여서 샘플에 관한 정보를 얻을 수 있다면 이는 분명한 장점이 될 것입니다. 예를 들어,

• 샘플 준비의 복잡성 감소
• 광독성 감소
• 다른 표지자를 위해 형광 채널 절약
• 이미징 속도 증가
• 형질 주입이나 화학적 표지자로 인한 스트레스 회피 - 라이브 셀의 생존력 개선

무표지 분석법의 한계는 투과광 이미지 분석에 내재하는 문제를 강건(robust)하게 다룰 방법이 부재한 것에서 대부분 기인합니다. 예를 들어,

• 낮은 대비 - 명시야 이미지에서 두드러짐
• 형광 현미경 검사와 비교할 때, 광학 통로의 먼지 및 기타 불순물이 이미지 품질에 부정적인 영향을 미침
• 대비 개선을 가로막는 추가적인 제약 - 예: 위상차, 미분간섭대비(DIC) 
• 형광에 비해 높은 백그라운드 레벨

마이크로웰 플레이트를 사용하는 라이브 셀 이미징에서는 분석에 충분한 품질을 가진 투과 이미지를 획득하는 것이 특히 어려울 수 있으며, 이는 완충 매체 및 기타 노이즈 요소에 대한 액체의 메니스커스가 그 원인입니다(그림 2^*2 & 3). 마이크로웰 플레이트와 관련된 어려움에는 다음이 포함됩니다.

• 위상차가 불가능한 경우가 종종 있음
• DIC가 유리 용기에서만 가능함
• 웰 경계에서 명시야 이미지에 음영이 강하게 나타남 
• 응고 현상으로 인한 아티팩트 때문에 덮개를 제거해야 할 수도 있음
• 부유 입자로 인한 배경 증가
   

TruAI 이면의 기술

투과 명시야 이미징은 무표지 분석을 위한 자연적인 접근방식이지만 이미지 분석 및 분할 문제는 오랫동안 해결되지 않고 있습니다. Olympus는 이러한 문제를 해결하기 위해 심층 콘볼루션 신경망을 토대로 cellSens 소프트웨어와 scanR에 TruAI 이미지 분석법을 통합했습니다. 이런 종류의 신경망 아키텍처는 현존하는 가장 강력한 객체 분할 기술이라고 묘사됩니다(Long et al. 2014: Fully Convolutional Networks for Semantic Segmentation). 이런 종류의 신경망은 다양한 까다로운 이미지 분석 작업에 대해 타의 추종을 불허하는 적응력을 갖기 때문에 무표지 분석에서 투과 명시야 이미지에 대한 중대한(non-trivial) 분석을 위한 최적의 옵션이 됩니다.

TruAI는 훈련 단계에서 세포 또는 세포 구획의 위치와 윤곽 등 바람직한 매개변수를 예측하는 방법을 자동으로 학습합니다. 훈련 단계에서 이미지와 “실측치(ground truth)” 데이터(즉, 관심 객체에 주석이 달리는 객체 마스크)가 신경망에 공급됩니다. 학습을 마친 신경망은 이를 새로운 이미지에 적용하여 높은 정밀도로 객체 마스크를 예측할 수 있습니다.

일반적으로, 머신러닝에서 주석(예: 세포의 경계)은 인간 전문가가 제공합니다. 이는 지루하고 시간이 오래 걸리는 단계가 될 수 있습니다. 신경망이 그 광범위한 잠재력을 온전히 활용하기 위해서는 많은 양의 훈련 데이터가 필요하기 때문입니다(그림 4). 그러므로 편리하고 조작이 쉬운 주석용 도구가 필요합니다.

반면, 현미경은 훈련 단계에서 기준 이미지를 획득함으로써 신경망 훈련에 필요한 실측치(ground truth)를 자동으로 생성하여 훨씬 더 간단하게 문제를 해결합니다. 예를 들어, 어려운 조건에서 명시야 이미지에서 핵을 강건성(robust) 있게 검출하고 분할하는 방법을 신경망에 가르치기 위해 형광 표지자로 핵을 라벨링할 수 있습니다. 현미경은 많은 수의 이미지 쌍(명시야 및 형광)을 자동으로 획득할 수 있습니다. 형광 채널에서는 자동화된 임계치로 실측치(ground truth)를 쉽게 검출할 수 있습니다(그림 6 & 7). 객체는 신경망 훈련을 위한 실측치(ground truth)이며, 그 결과로 만들어진 신경망은 연구자가 명시야 이미지만을 사용하여 핵을 정확하게 찾아낼 수 있게 돕습니다(그림 5^*2).

그림4 
일반적인 머신러닝을 통해 투과 이미지에서 얻은 핵 검출 결과. 핵은 황색으로, 배경은 청색으로 수작업으로 표식하여 훈련. 검출 정확도가 낮음.

그림5 ^*2
TruAI를 통해 투과 이미지에서 얻은 핵 검출 결과. 매우 정밀한 검출 가능.

이와 같은 실측치(ground truth) 생성 방법은 인간의 개입이 거의 필요하지 않으므로 짧은 시간 내에 다량의 훈련 이미지 쌍을 획득할 수 있습니다. 따라서 신경망이 훈련 중에 발생하는 모든 종류의 차이 및 왜곡에 적응할 수 있으며, 이는 이러한 문제에 대해 강건(robust)한 신경망 모델로 이어집니다.

TruAI에 의한 무표지 분할 훈련

전형적인 사용 사례를 소개하기 위해서 다음의 매개변수를 사용하여 96웰 플레이트 전체를 이미징했습니다. 이 웰플레이트에는 완충재 충전 수준 차이, 응결 현상, 메니스커스로 인한 이미징 아티팩트가 있습니다.

• UPLSAPO 대물렌즈(10X 배율, NA = 0.6)
• 액체 완충재에 담긴 점착성 헬라세포(고정)
• GFP 채널: 히스톤 2B GFP를 핵 지시자로 사용(실측치)
• 명시야 채널: 증감 크기가 6μm인 Z절편 3개(초점이 이탈한 이미지를 훈련에 포함하기 위함)

신경망 훈련을 위한 실측치(ground truth)는 기존의 방법으로 형광 이미지를 자동 분할하여 생성합니다. 훈련 과정에서 초점이 약간 이탈된 이미지를 예시 데이터 세트에 포함시키면 신경망이 작은 초점 변동을 더욱 잘 파악할 수 있게 됩니다. 그림 8^*2에서 볼 수 있는 것처럼, 신경망에 대한 훈련은 실측치(ground truth) 및 명시야 이미지 쌍을 기반으로 합니다. 각각 40개의 위치를 갖는 웰 5개를 훈련 데이터로 사용합니다. 훈련 단계는 NVIDIA GTX 1080Ti 그래픽 카드(GPU)를 사용하여 약 160분이 걸렸습니다.

그림 8^*2
신경망 훈련 과정을 보여주는 개략도.

무표지 핵 검출 및 분할 

검출 단계에서는, 그림 9^*2에서 볼 수 있는 것처럼 명시야 이미지에 학습된 신경망 모델을 적용합니다. 학습된 신경망 모델은 각각의 화소가 핵에 속하는지 여부를 예측합니다. 그 결과로 만들어지는 예상 이미지는 예상 내용을 컬러 코딩하고 중첩 이미지를 생성하여 그림 10^*2과 11^*2에서 볼 수 있는 것처럼 시각화할 수 있습니다.

그림 9^*2
훈련된 신경망의 응용(추론)을 보여주는 개략도.

그림 10^*2과 11^*2의 이미지는 명시야 이미지에서 세포핵을 예측하고 명시야 이미지의 정확한 위치에서 세포핵을 찾도록 훈련된 신경망을 보여줍니다. 다음과 같은 AI 기반 접근방식의 가치를 분명하게 확인할 수 있습니다.

• 세포핵에 대한 고정밀 검출 및 분할
• 면적, 형태 등의 기하학적 측정과 세포 계수에 최적
• 위치당 1초 미만의 처리 시간(NVIDIA GTX 1080 Ti GPU의 경우) 
   

결과 검증

TruAI의 예측은 매우 정밀하고 강건(robust)합니다. 그러나 아티팩트나 다른 오류가 발생하지 않게 하려면 예측 내용을 세심하게 검증하는 것이 필수적입니다. 이런 의미에서 볼 때, 이는 전통적인 이미지 분석 루트와 비슷하지만 훈련에 사용된 데이터에 좌우되므로 꼼꼼한 검증 없이 오류를 예측하기는 좀 더 어렵습니다.

Olympus cellSens 이미징 소프트웨어는 TruAI 결과의 체계적인 검증에 매우 적합합니다. 그림 12^*2는 동일한 이미지에 대한 소프트웨어 결과와 형광 기반 분석 결과를 비교하여 보여줍니다. Olympus TruAI를 사용했을 때의 결과가 형광 분석 결과와 비슷하다는 것을 확인할 수 있습니다.

더 자세히 검증하려면 Olympus scanR 소프트웨어를 사용할 수 있습니다. 예를 들어, 웰의 전체 세포 수를 scanR 소프트웨어(그림 13)를 통해 쉽게 비교할 수 있습니다.

그러나 TruAI를 사용했을 때의 전체 세포 수는 형광 이미징에 기반한 세포 수보다 3% 정도 더 많습니다(113만 vs. 110만).

이러한 차이가 발생하는 이유 하나는 형광으로 검출하기에 충분한 GFP 신호를 만들어내지 않는 핵을 TruAI가 검출할 수 있었기 때문입니다. 그러나 340µm2가 넘는 큰 대상을 확인한 결과 또 다른 이유를 파악할 수 있었습니다.

전반적으로 볼 때, 매우 큰 대상(340µm2 초과)은 형광 기반 결과에서는 22,000(2%)개, TruAI 결과 결과에서는 7,000(0.6%)개가 발견되었습니다.

그림 14^*2는 선택된 대형 대상을 비교하여 보여줍니다. 이는 TruAI가 매우 근접한 핵의 분리에 더 우수한 성능을 보인다는 것을 나타냅니다.

(A)

(B)

(C)

(D)

그림 12^*2
검증 데이터 세트 이미지 예시. (A) GFP 핵 라벨, (B) 명시야 이미지, (C) TruAI로 예측한 명시야 이미지 내 핵의 위치, (D) GFP 라벨(녹색)과 TruAI 결과(청색)의 중첩

그림 13
scanR 시스템: 기준 방법을 사용했을 때의 세포 수 비교 - 기존의 방식으로 GFP 채널에서 계수(왼쪽)한 경우와 TruAI 신경망으로 명시야 채널에서 계수(오른쪽)한 경우. 1~5번 웰은 훈련에 사용되었으므로 검증 시 절대로 고려해서는 안됩니다.

그림14^*2
GFP 채널에서 검출한 핵 110만 개(왼쪽)와 TruAI로 명시야 채널에서 검출한 핵 113만 개(오른쪽)의 환상성과 면적 분포를 비교하여 보여주는 산점도. 황색 직사각형은 특히 큰 대상을 나타냅니다.

(A)	(B)	(C)	(D)

그림 15^*2
전체 검증 데이터 세트에 나타난 특히 큰 대상의 예시 3개. (A) GFP 핵 라벨, (B) 명시야 이미지, (C) TruAI로 검출한 명시야 이미지 내 핵의 위치.

결론

Olympus cellSens 소프트웨어용 TruAI 익스텐션은 명시야 투과 이미지만 있으면 핵의 위치와 마이크로웰 내 마스크를 안정적으로 찾을 수 있습니다. 이를 위해서는 소프트웨어가 간단한 훈련 단계를 거쳐야 합니다. 대상 검출이 자동화된 후에는 훈련을 위해 데이터를 쉽게 편집할 수 있을 것입니다. 투과 이미지에 대한 분석을 통해 생성된 망은 형광 라벨을 사용하는 전통적인 방법에 필적하거나 훨씬 능가할 수 있습니다.

Olympus의 TruAI는 많은 라이브 셀 분석 워크플로우에 상당한 혜택을 제공합니다. 명시야 이미지를 활용하면 정확도가 향상될 뿐 아니라 유전자 조작이나 핵 표지자의 사용을 피할 수도 있습니다. 따라서, 샘플 준비 시간이 단축되고 형광 채널을 다른 표지자를 위해 이용할 수 있습니다. 또한, 명시야 이미징은 노출 시간이 짧기 때문에 광독성을 줄이고 이미징에 사용하는 시간을 절약할 수도 있습니다.

저자

Dr. Matthias Genenger,
Dr. Mike Woerdemann
제품 관리자
Olympus Soft Imaging Solutions
GmbH
독일 뮌스터

*1 (Christiansen et al. In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images, Cell, 2018)