ディープラーニングを活用したTruAIによる高精度な非染色透過画像解析

はじめに

生命科学の研究において、細胞を染色して蛍光画像を取得し、画像解析を行うことは一般的な手法です。しかし、この手法には蛍光染色による細胞への影響や、蛍光観察時の励起光による光毒性などのリスクが伴います。ディープラーニングの技術を活用したオリンパスのTruAIは、非染色の透過画像を用いて高精度な画像解析を可能にする新たな手法となることが期待できます。

図1 左から: TruAIによる核の検出(青)、蛍光画像(GFPで標識したヒストン２B)による核の検出(緑)、非染色の明視野透過画像(グレー)

蛍光染色(標識)を行わずに画像を解析し、サンプルの情報を取得できることには、以下のような利点があります。

• サンプルの準備にかかる手間の削減
• 光毒性の低減
• 核に使われていた蛍光チャネルを他の色素に活用することによる情報の追加
• 露光時間短縮による画像取得速度の向上
• 染色そのものによる細胞への影響を軽減

一方で、透過画像での観察における課題は以下のようなことがありました。

• 蛍光観察と比較して、光路内の汚れやゴミなどが観察画像に映り込みやすい
• 明視野画像におけるコントラストが低い
• コントラストをあげるために位相差やDICなどの技術があるが、蛍光観察と比較して画像のバックグラウンドが高い
• DICはガラス容器のみでしか使用できない
   

TruAIを実現した技術

非染色細胞の透過観察は一般的な手法ですが、前述した課題により、解析対象の検出が困難でした。この課題の解決を目指し、オリンパスはイメージングソフトウェアcellSensにディープラーニングを活用したTruAIを搭載しました。ディープラーニングとはAI(Artificial Intelligence)のうちの一つで、人間の脳を模したニューラルネットワークと呼ばれる構造を学習させ、情報処理を行います。

ディープラーニングによる情報処理は、大きく学習フェーズと推論フェーズの二つに分かれます。学習フェーズでは対象物の位置や輪郭など、検出に必要なパラメーターを自動で学習します。学習には、元画像と対象物がラベルされた正解画像(ground truth)のセットから成る教師画像をニューラルネットワークに入力する必要があります。一度学習が完了すれば、推論フェーズでは解析したい画像をインプットするだけで、対象を高い精度で検出することができます。

ディープラーニングと異なる従来の機械学習では通常、対象をラベルして正解画像を作成する作業は手動で行われます。ニューラルネットワークの精度を高めるためにはより多くのデータを学習させる必要があるため、この作業は時間と手間のかかるものでした。

TruAIでは、これらの時間と手間を短縮できます。たとえば非染色透過画像を用いた核検出の場合には、まず透過と蛍光(核を染色)の2チャンネル画像を複数枚用意します。これはIXplore Proのようなフル電動システムを用いれば自動で取得可能です。そして、蛍光画像の輝度にしきい値を適用して2値化画像を作成することで、核をラベルします。この透過画像と2値化画像のセットが教師画像となります。マクロ機能を用いることで、大量の教師画像を一括で作成できます。

この手法ではほとんど手動での作業を要さず、少ない時間と手間で教師データを準備することができます。大量の教師画像から、ニューラルネットワークはさまざまなパターンを学習できるため、これまでは課題のあった透過画像からでも高い精度で対象の検出が可能となります。

図3
上：一般的な機械学習による透過画像を用いた核の検出結果。核を黄色、背景を水色に手動でマーキングして学習させる。透過画像のようにコントラストが低い画像では検出の精度が不十分
下：TruAIによる透過画像を用いた核の検出結果。高精度な検出が可能^※
 

TruAIの精度検証

1) 学習フェーズ

教師画像を作成するため、以下の条件でイメージングを行いました。

• 対物レンズ：LUCPLFLN20XPH (NA 0.45)
• 固定Hela細胞
• 蛍光チャンネル: 核をDAPIで染色
• 透過チャンネル:明視野
   

図4^※で示すように、ニューラルネットワークはground truthと明視野画像から成る教師画像を繰り返し学習します。今回は100枚の教師画像を10万回反復学習しました。学習にはNVIDIA GTX 1060 graphics card (GPU)を搭載したPCにて、約180分かかりました。

図4 ニューラルネットワークの学習フロー^※

2) 推論フェーズ 

図5^※で示すように、推論フェーズでは学習済のニューラルネットワークに明視野画像をインプットすることで、ピクセルごとにその箇所が核であるか否かを判断し、推論結果を画像で表示します。

図5 学習済ニューラルネットワークの推論フロー^※

推論結果は確率画像と呼ばれ、核と推論されたピクセルが色付けされて可視化されます。各ピクセルの輝度は、そこが核である確率の高さです。輝度が高いほど、核である確率が高いと推論されたことを示します。いずれの画像も検出された核の位置がもとの透過画像と一致しており、精度の高さが維持されていることがわかります。正確さだけでなく、1か所につき1秒以内で処理できるため作業効率の向上が可能です(NVIDIA GTX 1060 graphics cardを使用した場合)。

3) 推論​結果のバリデーション

推論結果の精度を検証するため、さらに詳細なバリデーションを行いました。
図6は同一画像(B)の核を、蛍光観察で検出した結果(A)とTruAIによって検出した結果(C)を示しており、両者の結果が高い精度で一致していることがわかります(D)。

図6 バリデーション画像例
(A) 蛍光観察にて検出した核 (B) 明視野画像 (C) 明視野画像からTruAIが検出した核 (D) (A)～(C)の重ね合わせ画像

学習済ニューラルネットワークを教師画像と同様の条件で撮影した100枚の明視野画像に適用し、核のカウントを実行しました。従来の蛍光画像にしきい値を適用する方法カウントした場合と核の総検出数を比較すると、TruAIの結果の方が約3%多くの核が検出されました(TruAI：2523 従来の方法2459)。この検出数の差異の大きな要因は、近くに存在する核がTruAIでは正しく分離されるのに対し、従来の方法では一つの大きな核として認識されてしまうことにあります。蛍光観察を用いた方法では、126個(5.1%)の異常に大きな核(>400㎛²) が検出されていますが、TruAIを用いた方法ではわずか24個(0.95％)にとどまっています。これは図7の、検出された核の円形度と面積で示した散布図からも確認できます。

図7 蛍光観察を用いて検出された2469個の核(右)とTruAIで明視野画像から検出された2523個の核(左)。右のほうが円形度が低く、面積の大きな核が多く存在していることを示す^※

(A)	(B)	(C)
図8 異常に大きな核として認識された例 (A) 蛍光観察にて検出した核 (B) 明視野画像 (C) 明視野画像からTruAIで検出した核

まとめ

TruAIは簡単な学習フェーズを経ることにより、非染色透過画像から核の位置を高い精度で判別・可視化し、カウントや面積などの計測を行います。蛍光輝度の計測など蛍光画像からしか得られない情報もあるため、蛍光観察を完全に非染色透過観察に置き換えることはできません。しかしTruAIの核の検出精度は、従来の蛍光観察を用いた検出と同等、あるいはそれ以上といえます。
TruAIはサンプルへのダメージを抑えながら、作業の効率化と画像解析結果の精度の向上に貢献します。

著者

Dr. Matthias Genenger,
Dr. Mike Woerdemann
Product Manager
Olympus Soft Imaging Solutions
GmbH
Münster, Germany

※HeLa細胞は医学研究で最も重要な細胞株の一つで、科学の発展に偉大な貢献をしました。しかし、この細胞の元となったヘンリエッタ・ラックス（Henrietta Lacks）さんの同意が得られていなかった事実を認識しなければなりません。HeLa細胞の使用は、免疫学や、感染症学、癌研究などにおける重要な発見に貢献しましたが、同時に医学における個人情報保護や倫理についての重要な議論も引き起こしました。
ヘンリエッタ・ラックスさんの生涯と現代医学への貢献における詳細は、以下にアクセスしてご覧ください。
http://henriettalacksfoundation.org/