大家都聽(tīng)說(shuō)過(guò)AR（增強(qiáng)現(xiàn)實(shí)）、VR（虛擬現(xiàn)實(shí)），電影《頭號(hào)玩家》也展示了未來(lái)VR游戲的巨大潛力。但是如果把AR和機(jī)器學(xué)習(xí)相結(jié)合呢？
今天，谷歌Research團(tuán)隊(duì)在AI＋AR＋醫(yī)療相結(jié)合的領(lǐng)域又邁出了一步：他們?cè)谄胀ǖ?a title="中國(guó)光學(xué)顯微鏡網(wǎng)" href="http://m.bjbcsh.cn/product/list.php?catid=1998" target="_blank">光學(xué)顯微鏡上裝了一個(gè)AR組件。
工作原理是這樣的：用機(jī)器學(xué)習(xí)的方法實(shí)時(shí)分析顯微鏡視野下的圖像，并實(shí)時(shí)輸出模型的結(jié)果，通過(guò)AR組件，在原本的圖像上繪制出潛在腫瘤的邊緣。
也就是說(shuō)，醫(yī)生在看顯微鏡的時(shí)候，看到的不僅僅是細(xì)胞組織，還有機(jī)器學(xué)習(xí)建模的結(jié)果：一條“癌癥輪廓線”。
最令人激動(dòng)的地方在于，這個(gè)組件的成本非常低，可以直接被安裝到普通的光學(xué)顯微鏡上，這將讓全世界各地的醫(yī)生、病理學(xué)家都有機(jī)會(huì)接觸到深度學(xué)習(xí)。
深度學(xué)習(xí)在眼科、皮膚科、放射科和病理學(xué)等醫(yī)學(xué)學(xué)科的應(yīng)用，大大提高了醫(yī)療保健的準(zhǔn)確性與可用性，給世界各地的患者帶來(lái)了福音。比如，谷歌的最新研究表明卷積神經(jīng)網(wǎng)絡(luò)在檢測(cè)乳腺癌轉(zhuǎn)移方面，擁有與專業(yè)病理學(xué)家相媲美的準(zhǔn)確度。
然而，利用復(fù)合光顯微鏡直接探測(cè)是否存在病變組織仍然是病理學(xué)家診斷疾病的主要手段。因此，在病理學(xué)中廣泛采用深度學(xué)習(xí)的一個(gè)關(guān)鍵障礙是對(duì)微觀組織進(jìn)行數(shù)字化表示。
在4月17號(hào)舉辦的美國(guó)癌癥研究協(xié)會(huì)年度會(huì)議上，谷歌的科學(xué)家公布了這篇名為“An Augmented Reality Microscope for Real－time Automated Detection of Cancer”的論文，描述了增強(qiáng)現(xiàn)實(shí)顯微鏡（Augmented Reality Microscope，ARM）平臺(tái)。
ARM增強(qiáng)現(xiàn)實(shí)顯微鏡平臺(tái)由改進(jìn)的光學(xué)顯微鏡組成，支持實(shí)時(shí)圖像分析，并且能將機(jī)器學(xué)習(xí)算法的結(jié)果直接渲染。重要的是，谷歌的ARM平臺(tái)組件可以直接被裝入各個(gè)醫(yī)院和診所中現(xiàn)有的光學(xué)顯微鏡中，成本低且易于使用。
通過(guò)現(xiàn)代計(jì)算組件和深度學(xué)習(xí)模型，例如建立在TensorFlow上的模型，人們將能在此平臺(tái)上運(yùn)行大量預(yù)訓(xùn)練模型。使用方式和傳統(tǒng)的顯微鏡類(lèi)似，用戶通過(guò)目鏡觀察樣本，機(jī)器學(xué)習(xí)算法將其實(shí)時(shí)輸出投影到顯微鏡的光路中。
這種數(shù)字投影被疊加在樣本的原始圖像上，以幫助觀看者定位或量化感興趣的特征。重要的是，計(jì)算和視覺(jué)反饋更新迅速——目前，模型以每秒約10幀的速度運(yùn)行，因此當(dāng)用戶在顯微鏡載玻片上移動(dòng)或改變放大率時(shí)，模型輸出可以無(wú)縫更新。
左圖：ARM的示意圖。數(shù)碼相機(jī)捕獲與用戶相同的視場(chǎng)（FoV），并將圖像傳送到能夠運(yùn)行機(jī)器學(xué)習(xí)模型的實(shí)時(shí)推斷的附加計(jì)算單元。結(jié)果被反饋到一個(gè)自定義的AR顯示屏中，該顯示屏與目鏡齊平，并將模型輸出投影到玻片所在的平面上。右圖：原型圖，由典型的臨床級(jí)光學(xué)顯微鏡改裝。
ARM可以提供多種視覺(jué)反饋，包括文本、箭頭、輪廓、熱圖或動(dòng)畫(huà)，并且能夠運(yùn)行多種類(lèi)型的機(jī)器學(xué)習(xí)算法，旨在解決不同的問(wèn)題，如目標(biāo)檢測(cè)、量化或分類(lèi)。
為了展示ARM的潛在用途，谷歌在其上運(yùn)行了兩種不同的癌癥檢測(cè)算法：一種檢測(cè)淋巴結(jié)標(biāo)本中的乳腺癌轉(zhuǎn)移，另一種檢測(cè)前列腺切除標(biāo)本中的前列腺癌。這些模型可以在4－40倍的放大倍數(shù)下運(yùn)行。下圖中的綠色輪廓是檢測(cè)到的腫瘤區(qū)域，也就是模型輸出的結(jié)果。這些輪廓有助于將病理學(xué)家的注意力吸引到感興趣的區(qū)域，而不會(huì)掩蓋潛在的腫瘤細(xì)胞外觀。
ARM鏡頭的示例視圖：4x、10x、20x和40x顯微鏡下的淋巴結(jié)轉(zhuǎn)移模型（綠色輪廓的區(qū)域是模型識(shí)別出的腫瘤區(qū)域）
雖然這兩種癌癥模型最初都是在掃描儀的圖像之上訓(xùn)練，且掃描儀的光學(xué)配置明顯不同，但這些模型在ARM上執(zhí)行得非常好，無(wú)需額外重新訓(xùn)練。
例如，淋巴結(jié)轉(zhuǎn)移模型的曲線下面積（AUC）為0．98，而在ARM上運(yùn)行時(shí)，前列腺癌模型在視場(chǎng)中的癌癥檢測(cè)（FoV）的AUC為0．96，性能僅略低于WSI。通過(guò)直接從ARM本身獲取的數(shù)字圖像中訓(xùn)練可以進(jìn)一步提高這些模型的性能。
谷歌認(rèn)為，增強(qiáng)現(xiàn)實(shí)顯微鏡有潛力對(duì)全球健康產(chǎn)生重大影響，且在醫(yī)療保健、生命科學(xué)研究和材料科學(xué)等領(lǐng)域有著廣泛的應(yīng)用，特別是對(duì)發(fā)展中國(guó)家傳染病（包括肺結(jié)核和瘧疾）的診斷。此外，即使在即將采用數(shù)字病理工作流程的醫(yī)院中，ARM也可以與數(shù)字工作流程結(jié)合使用，處理掃描儀需要快速周轉(zhuǎn)或者不能很好地檢測(cè)問(wèn)題的情況（如細(xì)胞學(xué)、熒光成像或手術(shù)中的冷凍部分）。（ 虎嗅網(wǎng) 大數(shù)據(jù)文摘）
