0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

PCA和KPCA分不清楚怎么辦

電子設(shè)計(jì) ? 來(lái)源:電子設(shè)計(jì) ? 作者:電子設(shè)計(jì) ? 2020-12-25 18:17 ? 次閱讀

在格物匯之前的文章中,我們討論了特征抽取的經(jīng)典算法——主成分分析PCA與線性判別分析LDA的原理與應(yīng)用場(chǎng)景。PCA是一種無(wú)監(jiān)督的降維方法,尋找的是讓數(shù)據(jù)方差最大的一種映射;LDA是一種有監(jiān)督的降維方法,尋找的是讓數(shù)據(jù)分類效果最好的一種映射。但是它們?nèi)匀挥袘?yīng)用的局限性,今天我們就一起來(lái)了解下。

PCA的局限性

我們先來(lái)回顧一下PCA的降維原理:PCA試圖通過(guò)旋轉(zhuǎn)找到新的正交基,滿足這樣的兩條性質(zhì):

1、最近重構(gòu)性:樣本點(diǎn)到新映射的正交基距離足夠接近。

2、最大可分性:樣本點(diǎn)在新正交基上方差最大。

最后我們推導(dǎo)得到:

我們只需要對(duì)協(xié)方差矩陣XX^T 進(jìn)行特征值分解,得到的特征值和特征向量即是變換矩陣w的解和改主成分所解釋的方差量。這樣的降維方法是線性的降維方法,即從高維空間到低維空間的函數(shù)映射是線性的。然而在不少應(yīng)用場(chǎng)景中,線性映射可能不能得到想要的結(jié)果,例如如下的例子:S型曲線的本真二維結(jié)構(gòu)是其低維空間的原本形狀,通過(guò)線性降維后得到的結(jié)果明顯并不是我們所期望的。

核方法

我們介紹SVM的時(shí)候所介紹的核方法是一種可以進(jìn)行升維來(lái)生成一些非線性的映射。這個(gè)方法我們可以同樣使用在PCA降維分析中。

假設(shè)我們有一個(gè)樣本集:

x1,x2?xn

假設(shè)映射函數(shù)為,那么映射到高維以后,數(shù)據(jù)變成:

類似于PCA的求解方法, XX^T經(jīng)過(guò)高維映射后得到

,

故:

我們把λ 移動(dòng)到等號(hào)左邊得到:

我們令:

做一個(gè)簡(jiǎn)單的替換,得到:

代入等式1,得到:

我們?cè)谧笥覂蛇呁瑫r(shí)乘上

得到:

做一下簡(jiǎn)單的改變:

非常幸運(yùn)的是,我們?cè)O(shè)計(jì)出了

是否還記得我們?cè)赟VM的核函數(shù)中曾經(jīng)驗(yàn)證過(guò),在低維空間計(jì)算(<x1,x2>+1)^2得到的結(jié)果與高維空間上計(jì)算

的結(jié)果相似,只是系數(shù)略有不同。因此我們也可以在此應(yīng)用核方法來(lái)計(jì)算。我們?cè)诖硕x核函數(shù)矩陣:

代入上面等式2,便可得到:

很明顯,這又回到了特征值分解的問(wèn)題,取K最大的d個(gè)特征值所對(duì)應(yīng)的特征向量即可。

小結(jié)

我們通過(guò)將數(shù)據(jù)映射到高維以后,巧妙的構(gòu)建出了

目的是為了通過(guò)在低維空間上應(yīng)用核函數(shù),計(jì)算得到跟高維空間上差不多的效果。PCA所做的是對(duì)坐標(biāo)軸線性變換,即變換后的新基還是一條直線。而KPCA對(duì)坐標(biāo)軸做了非線性變換,數(shù)據(jù)所映射的新基就不再是一條直線了,而是一條曲線或者曲面,如下圖所示:

通過(guò)上面這個(gè)圖,大家應(yīng)該了解了KPCA和PCA的區(qū)別了吧?好了,本期格物匯的內(nèi)容就到這里,我們下期再見(jiàn)。

審核編輯:符乾江
聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    模擬信號(hào)、數(shù)字信號(hào)、ADC與DAC傻傻分不清楚?一文了解,收藏再看

    汽車轟鳴聲、動(dòng)物的叫喚、人們的交談聲、學(xué)校的讀書(shū)聲、耳機(jī)里的音樂(lè)……聲音可以說(shuō)無(wú)處不在。我們把人類能夠聽(tīng)到的所有聲音都稱之為音頻。我們還可以將現(xiàn)實(shí)世界的聲音錄制儲(chǔ)存,“變”成數(shù)字信號(hào);反過(guò)來(lái),我們也可以把儲(chǔ)存下來(lái)的音頻文件通過(guò)聲卡及音頻軟件播放,還原以前錄下的聲音。這兩個(gè)過(guò)程的實(shí)現(xiàn),與模擬信號(hào)、數(shù)字信號(hào)、模數(shù)轉(zhuǎn)換器(ADC)和數(shù)模轉(zhuǎn)換器(DAC)有著緊密的關(guān)
    的頭像 發(fā)表于 11-14 01:09 ?1274次閱讀
    模擬信號(hào)、數(shù)字信號(hào)、ADC與DAC傻傻<b class='flag-5'>分不清楚</b>?一文了解,收藏再看

    Pcm1861里面有寄存器要配置嗎?

    Pcm1861里面有寄存器要配置嗎,pcm 1861與pcm1865的資料放在一塊分不清楚
    發(fā)表于 10-28 07:59

    信號(hào)噪聲太大怎么辦

    我用一個(gè)TMR磁場(chǎng)傳感器,后面接一個(gè)儀表放大器,測(cè)出來(lái)的信號(hào)的噪聲特別大,如圖所示。這種情況怎么辦
    發(fā)表于 09-06 11:09

    ddos造成服務(wù)器癱瘓后怎么辦

    在服務(wù)器遭受DDoS攻擊后,應(yīng)立即采取相應(yīng)措施,包括加強(qiáng)服務(wù)器安全、使用CDN和DDoS防御服務(wù)來(lái)減輕攻擊的影響。rak小編為您整理發(fā)布ddos造成服務(wù)器癱瘓后怎么辦。
    的頭像 發(fā)表于 08-15 10:08 ?314次閱讀

    大電流一體成型電感有噪音怎么辦

    電子發(fā)燒友網(wǎng)站提供《大電流一體成型電感有噪音怎么辦.docx》資料免費(fèi)下載
    發(fā)表于 07-30 12:30 ?0次下載

    如果在不清楚適配器的是否支持QC3.0的情況下,嘗試切換至QC3.0協(xié)議,該如何判斷是否成功切換至QC3.0協(xié)議?

    如果在不清楚適配器的是否支持QC3.0的情況下,嘗試切換至QC3.0協(xié)議,該如何判斷是否成功切換至QC3.0協(xié)議? 因?yàn)镼C2.0協(xié)議的class B支持的20V的切換方式和QC3.0的升壓的方式是一樣的
    發(fā)表于 07-20 11:56

    頻段、信道、帶寬和傳輸速率,還傻傻分不清楚?

    無(wú)線電通信涉及幾個(gè)重要參數(shù),分別是頻段、信道、信道帶寬和傳輸速率,它們?cè)跓o(wú)線網(wǎng)絡(luò)配置中扮演著重要角色。頻段:“不同的高速公路”頻段(FrequencyBand)指的是無(wú)線電波的一個(gè)特定頻率范圍,這個(gè)范圍被分配給無(wú)線通信使用。不同的無(wú)線通信技術(shù)會(huì)使用不同的頻段,避免相互之間的干擾。如最常見(jiàn)的Wi-Fi頻段有兩個(gè):2.4GHz和5GHz。這兩個(gè)頻段就像是兩條不同
    的頭像 發(fā)表于 06-21 08:21 ?4243次閱讀
    頻段、信道、帶寬和傳輸速率,還傻傻<b class='flag-5'>分不清楚</b>?

    KT142C-sop16語(yǔ)音芯片,插上usb,出不來(lái)虛擬U盤(pán)怎么辦

    KT142C-sop16語(yǔ)音芯片的芯片,我直接焊到我的板子上面,插上usb,但是出不來(lái)虛擬U盤(pán)怎么辦?
    的頭像 發(fā)表于 05-23 10:50 ?504次閱讀
    KT142C-sop16語(yǔ)音芯片,插上usb,出不來(lái)虛擬U盤(pán)<b class='flag-5'>怎么辦</b>

    一文介紹:UWB-AOA產(chǎn)品特點(diǎn)及其應(yīng)用

    寫(xiě)在前面:好多朋友經(jīng)常把藍(lán)牙AOA和UWB-AOA混淆,傻傻分不清楚。UWB和藍(lán)牙分屬兩種無(wú)線電技術(shù),AOA指的是測(cè)量無(wú)線電到達(dá)信號(hào)的角度,UWB-AOA和藍(lán)牙AOA是兩種完全不同的產(chǎn)品,相較于藍(lán)牙AOA UWB-AOA定位精度更高、覆蓋范圍更廣、適用場(chǎng)景更加豐富。
    的頭像 發(fā)表于 05-09 17:07 ?2012次閱讀
    一文介紹:UWB-AOA產(chǎn)品特點(diǎn)及其應(yīng)用

    LIN的UART接收沖突怎么辦

    LIN的UART接收沖突怎么辦?貌似不加LIN的berak和分界符也能被從節(jié)點(diǎn)的UART收到
    發(fā)表于 05-09 08:12

    工控主板發(fā)生故障該怎么辦?

    工控主板發(fā)生故障該怎么辦?前幾天有個(gè)客戶問(wèn)了我這個(gè)問(wèn)題,大部分情況下出現(xiàn)的故障并不可怕,主要是用戶粗心大意造成的。那今天小編就來(lái)講解一下工控主板一般會(huì)出現(xiàn)故障的主要原因及判斷方法:
    的頭像 發(fā)表于 04-11 18:19 ?908次閱讀

    電容負(fù)極熔斷怎么辦

    在現(xiàn)代科技發(fā)展的時(shí)代,電容器在各個(gè)領(lǐng)域都扮演著重要的角色。然而,由于各種原因,電容器的負(fù)極可能會(huì)發(fā)生熔斷的情況。那么,當(dāng)電容器的負(fù)極熔斷時(shí),我們應(yīng)該怎么辦呢?
    的頭像 發(fā)表于 04-10 14:15 ?559次閱讀
    電容負(fù)極熔斷<b class='flag-5'>怎么辦</b>

    如何解決隧道廣播聽(tīng)不清楚的問(wèn)題

    1、隧道廣播的設(shè)置標(biāo)準(zhǔn) 根據(jù)交通運(yùn)輸部 2012 年第 3 號(hào)公告發(fā)布的《高速公路通信技術(shù)要求》有線廣播設(shè)計(jì)原則為:隧道監(jiān)控等級(jí)為 A + 、A、B 等級(jí)的隧道應(yīng)設(shè)置有線廣播系統(tǒng),隧道監(jiān)控等級(jí)為 C等級(jí)的隧道可設(shè)置有線廣播系統(tǒng), 隧道段有線廣播揚(yáng)聲器設(shè)置在隧道洞外入、出口,洞內(nèi)宜每隔50m設(shè)置1臺(tái)。 隧道廣播與緊急電話分機(jī)的一般布設(shè)形式:在隧道內(nèi)沿行車方向右側(cè)每隔約200m左右布設(shè)一部隧道廣播與緊急電話分機(jī),隧道外距隧道洞口約5m左右布設(shè)一部緊
    的頭像 發(fā)表于 03-15 13:18 ?518次閱讀
    如何解決隧道廣播聽(tīng)<b class='flag-5'>不清楚</b>的問(wèn)題

    修復(fù)輥壓機(jī)軸承位磨損怎么辦

    電子發(fā)燒友網(wǎng)站提供《修復(fù)輥壓機(jī)軸承位磨損怎么辦.docx》資料免費(fèi)下載
    發(fā)表于 01-23 09:52 ?0次下載

    放大器自激怎么辦?是啥原因造成了放大器的自激?

    的頭像 發(fā)表于 01-18 09:49 ?1910次閱讀
    放大器自激<b class='flag-5'>怎么辦</b>?是啥原因造成了放大器的自激?