CoTTA的新方法：用于在非平穩(wěn)環(huán)境下進行持續(xù)的測試時間適應

Continual Test-Time 的領域適應

目錄

前言

相關工作

Source Data Adaptation

Target Data Adaptation

CoTTA 概述

CoTTA 詳細介紹

Weight-Averaged Pseudo-Labels

Augmentation-Averaged Pseudo-Labels

Stochastic Restoration

實驗

結論

參考

前言

Continual Test-Time 的領域適應（CoTTA）在 CVPR 2022 上被提出，目的是在不使用任何源數(shù)據(jù)（source domain）的情況下，將源預訓練模型適應于目標域（target domain）?，F(xiàn)有的研究主要關注于處理靜態(tài) target domain 的情況。然而，在現(xiàn)實世界中，機器感知系統(tǒng)必須在不穩(wěn)定且不斷變化的環(huán)境中運行，target domain 的分布會隨時間不斷變化。

現(xiàn)有的方法主要基于自訓練和熵正則化，但它們還是可能受到這些非穩(wěn)定環(huán)境的影響。由于 target domain 內的分布隨時間發(fā)生偏移，偽標簽變得不可靠。因此，帶有噪聲的偽標注進一步導致錯誤積累和災難性遺忘。為了應對這些問題，這篇文章提出了一種測試時領域適應方法（CoTTA）。

在正式介紹 CoTTA 之前，我們先來熟悉一些相關工作。

相關工作

Source Data Adaptation

Domain Adaptation (DA) ：此時，我們有源數(shù)據(jù) + 源標簽 + 目標數(shù)據(jù)，希望模型做到在沒看過的?標數(shù)據(jù)上性能好，目標數(shù)據(jù)的標簽限制到很少或者為零。

Domain Generalization (DG) ：此時，我們有源數(shù)據(jù) + 源標簽，希望模型做到在?標數(shù)據(jù)上性能好。

Target Data Adaptation

Source-Free Domain Adaptation (SFDA)： 在上面的 settings 中，訓練過程是可以訪問到源域數(shù)據(jù)的。但是在實際情況中，由于隱私原因（醫(yī)療數(shù)據(jù)不能公開）或者數(shù)據(jù)量問題，我們并不能獲取到源域數(shù)據(jù)，而只能獲取到源域所訓練好的模型。這個 setting 的目的就是只利用源模型來完成 Domain Adaptation。

Test-Time Training (TTT)： 從信息的角度，從前我們訓練神經網(wǎng)絡都只利用了訓練集的信息（監(jiān)督學習），但其實測試集也從數(shù)據(jù)分布的角度提供了信息。這個 setting 主要就是提出了一種同時利用了訓練集信息，和測試集所提供的數(shù)據(jù)分布的信息去訓練神經網(wǎng)絡的方法。允許?次性獲得整個測試數(shù)據(jù)集，并且多次迭代。測試時根據(jù)測試樣本泛化，可以獲取源數(shù)據(jù)。

Test-Time Adaptation (TTA)： 傳統(tǒng)的模型訓練后固定，在測試時無法改變。TTA 可以讓模型在測試時可以快速地微調和調整，從而能夠面對現(xiàn)實世界中，數(shù)據(jù)的分布不斷演化的過程。TTA 是 Domain Adaptation 的一個分支。它們同樣有一個源域和一個目標域，首先在源域上進行預訓練，然后半監(jiān)督或無監(jiān)督地適應到目標域上。兩者的主要區(qū)別在于，Test-Time Adaptation 的訓練在測試的同時完成?？梢院唵卫斫鉃椋琓est-Time Adaptation 是只經過一個 epoch 的 DA。另一個區(qū)別在于，DA 往往報告模型訓練完成后的模型性能，而 TTA 的測試和訓練是同時進行的，故報告的性能介于訓練前和訓練結束之間。我們可以獲得源模型 + 整個測試數(shù)據(jù)。

CoTTA 概述

先考慮一個問題，為什么要從 TTA 到 CoTTA？現(xiàn)有的方法通常遭受錯誤累積和遺忘（Error Accumulation and Forgetting）的問題，問題只出現(xiàn)在 Backward-based model 中。Error Accumulation：切換 domain 時性能會直接崩掉，因為 overfit 上?個 domain 的噪聲。Forgetting：long-term update 導致遺忘 pre-trained model 的信息.

CoTTA 能使預先訓練好的源模型適應不斷變化的測試數(shù)據(jù)。它克服了現(xiàn)有方法的兩個主要局限性。該方法的第一個組成部分旨在減少誤差積累。CoTTA 采用了兩種不同的方式來提高自訓練框架下的偽標簽質量。首先，使用了平均權重教師模型來提供更準確的預測，因為平均教師預測通常比標準模型具有更高的質量。其次，對于存在較大域差異的測試數(shù)據(jù)，使用增強平均預測來進一步提高偽標簽的質量。該方法的第二部分旨在幫助保存源知識并避免遺忘。建議將網(wǎng)絡中的一小部分神經元隨機恢復到預先訓練好的源模型中。通過減少誤差積累并保留知識，CoTTA能夠在不斷變化的環(huán)境中進行長期適應，并實現(xiàn)對訓練網(wǎng)絡的所有參數(shù)的調整。

需要指出的是，權重平均和增強平均策略以及隨機恢復可以輕松地整合到任何現(xiàn)有的預訓練模型中，而無需重新訓練源數(shù)據(jù)。這篇證明了我們提出的方法在四個分類任務和分割任務中的有效性，并顯著提高了現(xiàn)有方法的性能。CoTTA 的貢獻包括：

提出了一種持續(xù)測試時間自適應方法，能夠使現(xiàn)有的預訓練源模型有效適應不斷變化的目標數(shù)據(jù)。

通過采用更準確的權重平均和增強平均偽標簽，減少了誤差積累。

通過明確保留源模型中的知識，緩解了長期遺忘效應。

CoTTA 詳細介紹

給定一個現(xiàn)有的預訓練模型 ，參數(shù)θ訓練在源數(shù)據(jù) 上，我們的目標是在推理期間以不訪問任何源數(shù)據(jù)的在線方式，使用持續(xù)更改的目標域，提高這個現(xiàn)有模型的性能。未標記的目標域數(shù)據(jù) 依次提供，模型只能訪問當前時間步長的數(shù)據(jù)。在時間步 t，提供目標數(shù)據(jù) 作為輸入，模型 需要進行預測 ，并相應地適應未來的輸入 。 的數(shù)據(jù)分布也在不斷變化。該模型是基于在線預測進行評估的。這種 setting 很大程度上是由于在不斷變化的環(huán)境中對機器感知應用程序的需要。例如，由于位置、天氣和時間的原因，自動駕駛汽車的周圍環(huán)境正在不斷變化。感知決策需要在網(wǎng)上（online）做出，模型需要進行調整。如下圖所示，CoTTA 是一種在線連續(xù)測試時間自適應方法。該方法采用一個現(xiàn)成的源預訓練模型，并以在線的方式適應不斷變化的目標數(shù)據(jù)。由于誤差積累是自訓練框架中的關鍵瓶頸之一，CoTTA 建議使用權重平均和增強平均偽標簽減少錯誤積累。此外，為了幫助減少持續(xù)適應中的遺忘，CoTTA 建議明確地保留從源模型中獲得的信息。下面的部分將分別介紹 CoTTA 貢獻中涉及到的三個內容。

Weight-Averaged Pseudo-Labels

權重平均一致性的好處是雙重的。一方面，通過使用通常更準確的權重平均預測作為偽標簽目標，模型在連續(xù)適應過程中遭受較少的誤差積累。另一方面，平均教師預測 編碼了過去迭代中模型的信息，因此在長期持續(xù)適應中不太可能發(fā)生災難性遺忘，提高了對新的看不見領域的泛化能力。這一步沒什么可以進一步介紹的，受到了在半監(jiān)督學習中提出的平均教師方法的啟發(fā)。

Augmentation-Averaged Pseudo-Labels

數(shù)據(jù)增強是在訓練期間對原始數(shù)據(jù)進行一系列變換和擴充的技術，旨在增加訓練數(shù)據(jù)的多樣性，從而提高模型的性能。研究人員通常手動設計或搜索適合不同數(shù)據(jù)集的增強策略。另外，經過證明，在測試期間進行數(shù)據(jù)增強也可以提高模型的魯棒性，即對不同類型的輸入能夠更好地進行預測。然而，測試時間的增強策略通常是為特定數(shù)據(jù)集確定并固定的，沒有考慮到推理期間數(shù)據(jù)分布的變化。在實際應用中，測試數(shù)據(jù)的分布可能會因為環(huán)境的不斷變化而發(fā)生顯著改變，這可能導致原先確定的增強策略失效。為了解決這個問題，這篇文章提出了一種考慮測試時間領域遷移的方法，并通過預測的置信度來近似領域之間的差異。只有當領域之間的差異較大時，才會應用增強技術，以減少由于錯誤累積而引起的問題。這種方法能夠更好地適應不斷變化的環(huán)境，提高模型在測試期間的性能和魯棒性。

其中 是教師模型的增強平均預測， 是教師模型的直接預測， 是源預訓練模型對當前輸入 的預測置信度， 是一個置信閾值。通過使用上面中預先訓練的模型 計算當前輸入 的預測一致性，試圖近似源和當前域之間的域差。假設，較低的置信度表示越大的域間隙，相對較高的置信度表示域間隙越小。因此，當置信度高且大于閾值時，我們直接使用 作為偽標簽，而不使用任何增強。當置信度較低時，額外應用 N 個隨機增強來進一步提高偽標簽的質量。當觀察到隨機的增加時，過濾是關鍵的對于具有較小域間隙的自信樣本，有時會降低模型的性能?？傊?，使用置信度來近似域的差異，并確定何時應用增強。

Stochastic Restoration

隨機恢復可以被看作是一種特殊的 Dropout 形式。在這種方法中，網(wǎng)絡通過隨機地將可訓練權重中的一小部分張量元素恢復到初始權重，以避免與初始源模型之間的差異過大，從而防止災難性遺忘的發(fā)生。此外，通過保留源模型的信息，可以訓練所有可訓練參數(shù)而不會導致模型崩潰。這種方法可以有效地平衡源模型知識的保留和新數(shù)據(jù)的學習。上面這三個內容，都可以在 CoTTA 的框架圖里找到。

實驗

首先我們看下 CoTTA 在分類任務上的表現(xiàn)，從 CIFAR10 跨域到 CIFAR10C 的結果如下表，CIFAR10C 包括了各種可能下手動增加的噪聲。

在這里插入圖片描述

下表是 CoTTA 在分割任務上的表現(xiàn)，從 Cityscapes 跨域到 ACDC，包括霧天，夜晚，雨天和雪天四種不同的情況，從左到右時間步依次增長。

在這里插入圖片描述

結論

該論文提出了一種名為 CoTTA 的新方法，用于在非平穩(wěn)環(huán)境下進行持續(xù)的測試時間適應。在這種環(huán)境中，目標域的數(shù)據(jù)分布會隨著時間的推移而不斷變化。該方法由兩個主要組成部分構成：一是使用權重平均和增強平均偽標簽來減少誤差的累積，二是通過隨機地恢復一小部分權重到源預訓練的權重，以保留源模型中的知識。CoTTA 方法可以方便地集成到現(xiàn)有的預訓練模型中，而無需訪問源數(shù)據(jù)。該方法的有效性在四個分類任務和一項針對持續(xù)測試時間適應的分割任務中得到了驗證，并且在實驗中表現(xiàn)出優(yōu)于現(xiàn)有方法的性能。通過使用權重平均和增強平均偽標簽來減少誤差累積，CoTTA 方法能夠更好地適應不斷變化的目標分布。同時，通過隨機恢復一小部分權重到源預訓練權重，CoTTA 方法能夠保留源模型中的知識，從而避免災難性遺忘的問題。這項研究為在非平穩(wěn)環(huán)境中進行持續(xù)的測試時間適應提供了一種有效的方法，并在實驗中展示了其優(yōu)越性，可以適應在一些 online 任務上。此外，在下一篇文章中我們將介紹 CVPR 2023 中的 EcoTTA: Memory-Efficient Continual Test-Time Adaptation via Self-Distilled Regularization，是基于 CoTTA 在內存上做的優(yōu)化。
責任編輯：彭菁