迭代式精益創(chuàng)業(yè)原則在今天已被充分理解,最低可行產(chǎn)品(MVP)是機(jī)構(gòu)風(fēng)險投資的先決條件,但很少有初創(chuàng)企業(yè)和投資者將這些原則擴(kuò)展到他們的數(shù)據(jù)和AI策略中。他們認(rèn)為,可以在未來的某個時候,用他們以后會招募的人員和技能來驗證自己對數(shù)據(jù)和人工智能的假設(shè)。
但我們所見過的最好的人工智能初創(chuàng)企業(yè)都是盡可能早地發(fā)現(xiàn),它們是否收集了正確的數(shù)據(jù),確保它們計劃建立的人工智能模型是否有市場,以及這些數(shù)據(jù)是否得到了恰當(dāng)?shù)氖占?。因此,我們堅信,在您的模型達(dá)到早期客戶所需的最小算法性能(MAP)之前,您必須嘗試驗證您的數(shù)據(jù)和機(jī)器學(xué)習(xí)策略。如果沒有這種驗證(相當(dāng)于迭代軟件beta測試的數(shù)據(jù)),您可能會發(fā)現(xiàn),花費(fèi)大量時間和金錢構(gòu)建的模型沒有您希望的那么有價值。
那么如何驗證算法呢?這里有三個關(guān)鍵測試你必須了解:
1. 測試數(shù)據(jù)的預(yù)測性
2. 測試模型市場適合度
3. 測試數(shù)據(jù)和模型的保質(zhì)期
下面,讓我們來依次分析每個測試吧!
測試預(yù)測性
初創(chuàng)公司必須確保為其AI模型提供動力的數(shù)據(jù)能夠預(yù)測,而不僅僅是與AI的目標(biāo)輸出相關(guān)聯(lián)。
由于人體非常復(fù)雜,人工智能驅(qū)動的診斷工具是一種特別容易將相關(guān)信號誤認(rèn)為具有預(yù)測性的信號的應(yīng)用。通過應(yīng)用AI跟蹤每周掃描的細(xì)微變化,我們遇到了許多公司在患者結(jié)果方面取得了令人難以置信的收益。潛在的混雜因素可能是正在進(jìn)行這些每周掃描的患者也更經(jīng)常地記錄他們的生命體征,這也可能提供關(guān)于疾病進(jìn)展的微妙線索。所有這些附加數(shù)據(jù)都用在算法中。人工智能是否可以在這些侵入性較小的生命體征上得到有效的訓(xùn)練,從而降低患者的成本和壓力。
為了從真正的預(yù)測輸入中梳理出混雜的相關(guān)性,您必須盡早進(jìn)行實驗,以便在有和沒有輸入的情況下比較AI模型的性能。在極端情況下,圍繞相關(guān)關(guān)系構(gòu)建的AI系統(tǒng)可能更昂貴,并且可能比圍繞預(yù)測輸入建立的AI系統(tǒng)獲得更低的利潤。此測試還使您能夠確定是否正在收集AI所需的完整數(shù)據(jù)集。
測試模型市場適合度
您應(yīng)該與產(chǎn)品市場契合度分別測試模型市場擬合。一些初創(chuàng)公司可能首先使用用于捕獲培訓(xùn)數(shù)據(jù)的“預(yù)AI”解決方案進(jìn)入市場。即使您可能已經(jīng)建立了適合該AI前產(chǎn)品的產(chǎn)品市場,但您不能假設(shè)該AI前解決方案的用戶也會對AI模型感興趣。模型市場擬合測試的見解將指導(dǎo)您如何打包AI模型并建立合適的團(tuán)隊以將該模型推向市場。
測試模型-市場匹配比測試產(chǎn)品-市場匹配更難,因為用戶界面很容易原型化,但人工智能模型很難模擬。要回答模型-市場匹配問題,您可以使用“幕后人”來模擬AI模型,以評估最終用戶對自動化的響應(yīng)。虛擬調(diào)度助理啟動X.AI,使用這種方法來訓(xùn)練它的調(diào)度程序機(jī)器人,并通過觀察人類訓(xùn)練者進(jìn)行的數(shù)萬次交互來找到合適的交互模式和音調(diào)。這種方法可能不適用于內(nèi)容或數(shù)據(jù)可能包含敏感或受法律保護(hù)的信息的應(yīng)用程序,例如醫(yī)生與其患者或律師與其客戶之間的交互。
為了測試客戶是否愿意為AI模型付費(fèi),您可以將數(shù)據(jù)科學(xué)家奉獻(xiàn)給現(xiàn)有客戶的顧問,并為他們提供個性化的,數(shù)據(jù)驅(qū)動的規(guī)范性見解,以展示AI的投資回報率。我們已經(jīng)看到許多初創(chuàng)公司在醫(yī)療保健,供應(yīng)鏈和物流領(lǐng)域提供這項服務(wù),以說服客戶投入時間和人力來建立與客戶技術(shù)堆棧的集成。
測試數(shù)據(jù)和模型保質(zhì)期
初創(chuàng)公司必須盡早了解他們的數(shù)據(jù)集和模型過時的速度,以便保持適當(dāng)?shù)臄?shù)據(jù)收集和模型更新速率。由于上下文漂移,數(shù)據(jù)和模型變得陳舊,當(dāng)AI模型試圖預(yù)測的目標(biāo)變量隨時間變化時發(fā)生。
上下文信息可以幫助解釋上下文漂移的原因和速率,以及幫助校準(zhǔn)漂移的數(shù)據(jù)集。例如,零售購買可能與季節(jié)有關(guān)。人工智能模型可能會發(fā)現(xiàn)冬季羊毛帽的銷量增加,并且在4月份未能成功推薦給客戶。如果在收集數(shù)據(jù)時沒有記錄,那么關(guān)鍵的上下文信息就無法恢復(fù)。
為了衡量上下文漂移的速度,您可以嘗試“模擬”模型并觀察其在實際設(shè)置中性能下降的速度。您可以使用以下某些策略在不訓(xùn)練數(shù)據(jù)的情況下執(zhí)行此操作:
1. 在適用的情況下,使用已知框架構(gòu)建基于規(guī)則的模型;
2. 重新調(diào)整在強(qiáng)相關(guān)但獨(dú)立的域上訓(xùn)練的模型,例如使用書籍推薦模型來推薦電影;
3. 使用機(jī)械特克斯模擬客戶數(shù)據(jù);
4. 與行業(yè)現(xiàn)有企業(yè)合作獲取歷史數(shù)據(jù);
5. 在互聯(lián)網(wǎng)上搜索公開數(shù)據(jù);
如果模擬模型快速降級,AI模型將容易受到上下文漂移的影響。在這種情況下,歷史數(shù)據(jù)可能在過去的某個時間點之后沒有用,因為訓(xùn)練過時數(shù)據(jù)的AI模型將不準(zhǔn)確。
新時代,新劇本
企業(yè)客戶和投資者越來越多地將數(shù)據(jù)和人工智能視為初創(chuàng)公司必要的競爭優(yōu)勢,但人工智能產(chǎn)品仍然需要重量級的開發(fā)流程。與所有業(yè)務(wù)問題一樣,您仍必須盡可能早地驗證您的數(shù)據(jù)和人工智能策略,以避免在無法取得成果的項目上浪費(fèi)寶貴的時間和資源。這里概述的三個測試提供了一種在構(gòu)建工作模型之前驗證AI模型的方法。 隨著越來越多的初創(chuàng)公司實施它們,這些想法將成為創(chuàng)建精益AI啟動的工具包的一部分,并將改變智能時代風(fēng)險投資的標(biāo)準(zhǔn)。
責(zé)任編輯:ct
評論
查看更多