用生成對(duì)抗網(wǎng)絡(luò)大規(guī)模定制醫(yī)療產(chǎn)品

通常說道GANs，我們會(huì)想到圖像生成、真假圖片判斷等應(yīng)用，但是沒有一款真正的實(shí)體應(yīng)用用到這項(xiàng)技術(shù)?，F(xiàn)在，UC Berkeley和Glidewell牙科實(shí)驗(yàn)室的研究人員用GAN技術(shù)構(gòu)建了一款模型，能夠生成媲美人類醫(yī)生的牙冠（假牙），既具備必要的功能，又十分美觀，可以說是GAN的首次落地應(yīng)用。

近幾年，計(jì)算機(jī)視覺發(fā)展得非常迅速，許多重要技術(shù)，例如目標(biāo)物體識(shí)別、檢測(cè)、語(yǔ)義分割等，都已經(jīng)廣泛應(yīng)用于實(shí)際中。在這篇論文中，我們提出了另一種令人激動(dòng)的成果——用生成對(duì)抗網(wǎng)絡(luò)大規(guī)模定制醫(yī)療產(chǎn)品，例如牙冠（dental crown）。

在牙齒修復(fù)的過程中，牙醫(yī)首先會(huì)清除掉受到損壞的部分牙齒，然后手動(dòng)或用3D掃描儀對(duì)需要補(bǔ)的地方以及周圍的結(jié)構(gòu)進(jìn)行大致重建。捕捉到的數(shù)據(jù)會(huì)生成一個(gè)完整的牙套或需要鑲嵌的牙齒。由于牙齒修復(fù)的需求巨大，對(duì)其效果主要有三點(diǎn)要求：

牙冠必須完美適合患者的口腔；

牙冠必須能進(jìn)行咀嚼功能；

看起來要美觀。

過去十年，計(jì)算機(jī)輔助設(shè)計(jì)（CAD）技術(shù)在牙科領(lǐng)域大顯身手，能夠滿足上述三種要求。但是在目前的條件下，仍然需要人類的協(xié)助才能完成。牙科CAD通?；陬A(yù)先設(shè)定好的模板上，是為最理想的牙齒模型設(shè)計(jì)的。該模型被固定在準(zhǔn)備修復(fù)的地方，然后根據(jù)患者的情況進(jìn)行調(diào)整。圖一展示了牙齒修復(fù)的過程，設(shè)計(jì)者需要計(jì)算牙套的尺寸，然后進(jìn)行手動(dòng)調(diào)節(jié)。

圖一

為了構(gòu)建一款自動(dòng)牙科CAD系統(tǒng)，我們需要將人類專家的技能融合到軟件中。其中一種方法是建立一系列規(guī)則，涵蓋了所有牙科專家所了解的技能，將其編碼成機(jī)器可以理解的語(yǔ)言。這項(xiàng)工作非常復(fù)雜，并且只有當(dāng)規(guī)則明確時(shí)這一方法才可行。另一種方法就是搭建一套系統(tǒng)，不借助外部規(guī)則，可以自己從大量案例中進(jìn)行學(xué)習(xí)。

受第二種方法的啟發(fā)，我們用數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法，將牙齒修復(fù)任務(wù)看作是有條件的圖像預(yù)測(cè)問題。我們將3D掃描看作一張2D的深度圖像，需要修復(fù)的牙齒的深度圖像當(dāng)做輸入條件，而經(jīng)過專業(yè)人員設(shè)計(jì)的填補(bǔ)圖像就是標(biāo)準(zhǔn)的輸出結(jié)果。也就是說，我們可以用深度網(wǎng)絡(luò)捕捉人類專家的設(shè)計(jì)，從而將一種圖像轉(zhuǎn)換成另一種。

然而，想要達(dá)到上述目的，技術(shù)人員除了試錯(cuò)法，沒有其他更好地解決方法，即如何在牙齒表面設(shè)計(jì)自然的凹槽、如何設(shè)計(jì)合適的連接點(diǎn)從而能讓牙齒自如地咬合咀嚼。

我們的工作很好地解決了這一問題，我們通過大數(shù)據(jù)學(xué)習(xí)，找到了能超越人類牙醫(yī)的牙齒修復(fù)方案。我們提出了一項(xiàng)軟硬結(jié)合的針對(duì)理想牙套制作的解決方法：前者負(fù)責(zé)硬件是否合適，牙套與對(duì)面牙齒合并起來時(shí)不能有縫隙。后者負(fù)責(zé)捕捉能允許咬合和咀嚼的最佳自然空間縫隙的數(shù)據(jù)。我們用一個(gè)生成對(duì)抗網(wǎng)絡(luò)模型完成了這一圖像預(yù)測(cè)任務(wù)，最終得到的結(jié)果優(yōu)于人類專家。

▌我們的方法

設(shè)計(jì)牙套的過程如上圖一所示，我們首先創(chuàng)建了需要修復(fù)的頜骨及另一面頜骨的2D掃描圖像，以及兩個(gè)頜骨之間空隙的3D掃描模型。我們提出的生成模型如圖二所示：

圖二

研究人員將生成的2D牙套表面圖像用CAD轉(zhuǎn)換成3D模型，如果生成的3D模型通過了所有空間限制，那么就可以開始生產(chǎn)了。

理想狀態(tài)下，牙冠與另一方牙齒之間不應(yīng)有過大縫隙，同時(shí)接觸的部分必須能撕開或咬碎食物。所以我們提出了一種功能性損失函數(shù)來解決這一問題。

▌條件生成對(duì)抗模型/pix2pix模型

最近提出的pix2pix模型在圖像到圖像的轉(zhuǎn)化中前景非常廣闊。它的思想就是用有條件的生成對(duì)抗網(wǎng)絡(luò)幫助調(diào)整生成器，從而產(chǎn)出看起來真實(shí)的結(jié)果。

空間信息條件

根據(jù)周圍的牙齒設(shè)計(jì)一個(gè)合適的牙冠并不能滿足牙冠需要的所有功能。同樣的，我們需要考慮牙冠是如何與對(duì)面牙齒接觸的。也就是說，要想創(chuàng)造一款功能完美的牙冠，我們還需要對(duì)面牙齒的相關(guān)信息以及上下頜骨之間空隙的數(shù)據(jù)。

▌實(shí)驗(yàn)

最后，我們進(jìn)行了實(shí)驗(yàn)測(cè)試提出的方法。所用的數(shù)據(jù)集中含有1500個(gè)訓(xùn)練樣本，1570個(gè)驗(yàn)證樣本以及243個(gè)測(cè)試樣本。每個(gè)樣本都有對(duì)應(yīng)的掃描之后的頜骨、與之相對(duì)的頜骨以及二者之間的距離，同時(shí)還有手工制作的牙冠作為訓(xùn)練和驗(yàn)證的標(biāo)準(zhǔn)。

網(wǎng)絡(luò)架構(gòu)方面，我們遵循標(biāo)準(zhǔn)的pix2pix架構(gòu)。對(duì)于生成器G，我們用U-Net架構(gòu)，其中蘊(yùn)含了一個(gè)編碼-解碼器結(jié)構(gòu)，同時(shí)還有對(duì)稱的skip connections。之前的實(shí)驗(yàn)已經(jīng)證明，當(dāng)輸入和輸出之間有空間相對(duì)性時(shí)，這種架構(gòu)能生成強(qiáng)大的結(jié)果。

訓(xùn)練設(shè)置

我們?cè)诹N不同的設(shè)置上進(jìn)行了實(shí)驗(yàn)，如表一所示：

表一

Cond1表示在原始的pix2pix上進(jìn)行實(shí)驗(yàn)，并且輸入的只有待修復(fù)的頜骨。其中僅僅使用了回歸和對(duì)抗損失。

Cond3表示pix2pix模型在額外的空間信息上進(jìn)行的實(shí)驗(yàn)。同樣僅僅使用了回歸和對(duì)抗損失。

HistU表示實(shí)驗(yàn)中加入了直方圖損失和統(tǒng)一的權(quán)重，超參數(shù)λH設(shè)置為0.001，并且用到了回歸、對(duì)抗和功能（直方圖）損失。

為了決定直方圖中各柱子的權(quán)重，我們計(jì)算縫隙距離最小為5%的值，最高達(dá)到0.5毫米，這也是實(shí)際中非常重要的一個(gè)標(biāo)準(zhǔn)。

根據(jù)分析，我們認(rèn)為不同的權(quán)重分配如下。負(fù)數(shù)柱形權(quán)重為2，0至0.5的權(quán)重為1，0.5至1.0的為0.5，其余為0。超參數(shù)λH為0.002。這一實(shí)驗(yàn)就被標(biāo)記為HistW。

Hist2nd表示更換了直方圖函數(shù)之后的實(shí)驗(yàn)，參數(shù)和權(quán)重與HistW相同。

質(zhì)量評(píng)估

我們對(duì)比了模型生成的牙冠與人類專家設(shè)計(jì)的牙冠之間的差別，我們證明我們的結(jié)果能與理想設(shè)計(jì)相媲美。圖三顯示了牙冠的預(yù)測(cè)結(jié)果3D效果圖，圖像表明我們生成的牙冠與標(biāo)準(zhǔn)結(jié)果相似度很高。

圖三

然而，我們考慮到咬合與咀嚼，所以模型生成了更加復(fù)雜的表面。例如上圖中的#1、#3、#4中的牙冠在Hist2nd情況中，與另一邊牙接觸的一面有更多的褶皺。而在不具備空間信息的情況下，#2和#5的牙冠就“生長(zhǎng)過度”了。

滲透評(píng)估

接著我們?cè)u(píng)估了不同方法下在驗(yàn)證和測(cè)試集上的滲透情況。如果牙冠會(huì)插入到對(duì)面牙齒中，那么該產(chǎn)品是不合格的，需要人類手動(dòng)調(diào)整。所以我們需要將穿透率控制在最小水平。表二表示了不同設(shè)置情況下穿透率的水平。

表二

同時(shí)我們將這一數(shù)據(jù)進(jìn)行了可視化處理：

圖四：紅點(diǎn)表示牙冠上的穿透點(diǎn)（距離用負(fù)數(shù)表示）

接觸點(diǎn)分析

圖五

圖五表現(xiàn)了測(cè)試集上接觸點(diǎn)的分布。牙冠上綠色的點(diǎn)表示可以用于咬動(dòng)和咀嚼的地方。

▌結(jié)語(yǔ)

研究人員通過大量數(shù)據(jù)創(chuàng)造出的“牙冠生成器”不僅能達(dá)到人類醫(yī)生的水平，還具備更多功能性。這項(xiàng)工作可以說是第一個(gè)成功用GANs解決實(shí)際問題的成果，希望未來能有更多這樣的技術(shù)落地。