Apple機器學習和視覺生態(tài)系統(tǒng)更新：Core ML、Create ML和VisionKit

在 WWDC 2023 開發(fā)者大會上，蘋果公司展示了其機器學習和視覺生態(tài)系統(tǒng)的許多擴展和更新，包括對 Core ML 框架的更新，Create ML 建模工具的新功能，以及用于圖像分割、動物體態(tài)檢測和 3D 人體體態(tài)的新的視覺 API。

蘋果工程師 Ben Levine 解釋說，第一個有關 Core ML（運行在 iOS 設備上的機器學習框架）的改進是更快的推理引擎，不需要重新編譯模型或修改任何相關代碼就可以獲得這種提速。Levine 沒有提供與速度提升相關的數(shù)據(jù)，他說具體將取決于實際的模型和硬件。

Core ML 還擴展了其支持異步工作流的能力，新增了 Async Prediction API。以前，Core ML 支持批量預測，適用于已知工作量并且可以預先計算所有組件批次輸入的情況。有了新的 Async Prediction API，你現(xiàn)在可以將預測分派到后臺線程，這意味著你可以同時運行多個預測。此外，API 還可能支持取消預測請求，這在某些情況下可以進一步提高響應性。

例如，Levine 演示了一款使用 Core ML 對一系列圖像進行著色的應用程序，并展示了新的 Async Prediction API 如何通過將推理時間減少大約一半來改善滾動體驗。然而，并發(fā)推理也有需要注意的地方。具體來說，Levine 提到了由于在內(nèi)存中加載多個輸入和輸出而增加的內(nèi)存需求，這個問題必須得到解決，例如可以通過限制應用程序執(zhí)行的并發(fā)操作數(shù)量。

除了 Core ML 推理能力外，蘋果還通過新版的 Core ML Tools（這個工具可以幫助開發(fā)人員優(yōu)化機器學習模型的大小和性能）改進了模型轉換選項。蘋果公司表示，隨著應用程序開始集成越來越多、越來越大的 ML 模型，這一點至關重要。該工具現(xiàn)在支持幾種技術，包括權重修剪、量化和調色板化，在訓練新模型時都可以使用它。

在建模方面，蘋果對 Create ML 進行了擴展，支持多語言 BERT 嵌入和多標簽圖像分類。

今年，我們設計了一個新的嵌入模型，并在數(shù)十億個標記文本示例上進行了訓練。它是一個雙向編碼器表示變換器模型，簡稱 BERT。

據(jù)蘋果公司稱，新的 BERT 模型也可以提高單語文本分類器的準確性。

最后，新的 Augmentation API 可以在只有有限訓練數(shù)據(jù)的情況下提高模型質量。數(shù)據(jù)增強是一種使用變換從現(xiàn)有示例生成新訓練示例的技術。Augmentation API 將使開發(fā)人員能夠通過組合不同的轉換步驟來構建自己的增強管道。蘋果公司表示，Augmentation API 使用了結果構建器，并為使用過 SwiftUI 的開發(fā)人員提供他們熟悉的結果。

最后要注意的是，蘋果公司為其 VisionKit 框架增加了新功能，包括：檢測動物體態(tài)并實時跟蹤它們的關節(jié)；將主體從圖像中提取出來并將其與背景分離；使用新的 Segmentation API 區(qū)分同一圖像中的多個個體。

如果你有興趣深入了解即將發(fā)布的 iOS 17 中所有新的 ML 和視覺功能，請查看 WWDC 2023 大會錄制清單。