0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

用PCA還是LDA?特征抽取經(jīng)典算法大PK

格創(chuàng)東智 ? 2019-01-10 13:40 ? 次閱讀

在之前的格物匯文章中,我們介紹了特征抽取的經(jīng)典算法——主成分分析(PCA),了解了PCA算法實質(zhì)上是進行了一次坐標軸旋轉,盡可能讓數(shù)據(jù)映射在新坐標軸方向上的方差盡可能大,并且讓原數(shù)據(jù)與新映射的數(shù)據(jù)在距離的變化上盡可能小。方差較大的方向代表數(shù)據(jù)含有的信息量較大,建議保留。方差較小的方向代表數(shù)據(jù)含有的信息量較少,建議舍棄。今天我們就來看一下PCA的具體應用案例和特征映射的另一種方法:線性判別分析(LDA)。


PCA案例

機器學習中,所使用的數(shù)據(jù)往往維數(shù)很大,我們需要使用降維的方法來突顯信息含量較大的數(shù)據(jù),PCA就是一個很好的降維方法。下面我們來看一個具體的應用案例,為了簡單起見,我們使用一個較小的數(shù)據(jù)集來展示:


1.jpg


顯而易見,我們數(shù)據(jù)有6維,維數(shù)雖然不是很多但不一定代表數(shù)據(jù)不可以降維。我們使用sklearn中的PCA算法擬合數(shù)據(jù)集得到如下的結果:


2.jpg

我們可以看到經(jīng)過PCA降維后依然生成了新的6個維度,但是數(shù)據(jù)映射在每一個維度上的方差大小不一樣。我們會對每一個維度上的方差進行歸一化,每一個維度上的方差量我們稱為可解釋的方差量(Explained Variance)。由圖可知,每一個維度上可解釋方差占比為:0.4430,0.2638,0.1231,0.1012,0.0485,0.0204。根據(jù)經(jīng)驗來說我們期望可解釋的方差量累計值在80%以上較好,因此我們可以選擇降維降到3維(82.99%)或者4維(93.11%),括號中的數(shù)字為累計可解釋的方差量,最后兩維方差解釋只有7%不到,建議舍去。圖中的柱狀圖表示原維度在新坐標軸上的映射向量大小。在前兩維度上表現(xiàn)如下圖所示:

3.jpg

PCA雖然能實現(xiàn)很好的降維效果,但是它卻是一種無監(jiān)督的方法。實際上我們更加希望對于有類別標簽的數(shù)據(jù)(有監(jiān)督),也能實現(xiàn)降維,并且降維后能更好的區(qū)分每一個類。此時,特征抽取的另一種經(jīng)典算法——線性判別分析(LDA)就閃亮登場了。

LDA簡介

LDA是一種監(jiān)督學習的降維技術,也就是說它的數(shù)據(jù)集的每個樣本是有類別輸出的。這點和PCA不同。PCA是不考慮樣本類別輸出的無監(jiān)督降維技術。LDA的思想可以用一句話概括,就是“投影后類內(nèi)方差最小,類間方差最大”。什么意思呢? 我們要將數(shù)據(jù)在低維度上進行投影,投影后希望每一種類別數(shù)據(jù)的投影點盡可能的接近,而不同類別的數(shù)據(jù)的類別中心之間的距離盡可能的大。

4.jpg


上圖中提供了兩種投影方式,哪一種能更好的滿足我們的標準呢?從直觀上可以看出,右圖要比左圖的投影效果好,因為右圖的黑色數(shù)據(jù)和藍色數(shù)據(jù)各個較為集中,且類別之間的距離明顯。左圖則在邊界處數(shù)據(jù)混雜。LDA的降維效果更像右圖,它能在新坐標軸上優(yōu)先區(qū)分出兩個類別,它是如何實現(xiàn)的呢?

LDA的原理

LDA的主要思想是“投影后類內(nèi)方差最小,類間方差最大”。實質(zhì)上就是很好的區(qū)分出兩個類的分布。我們知道衡量數(shù)據(jù)分布的兩個重要指標是均值和方差,對于每一個類,他們的定義如下:

5.jpg

與PCA一樣,LDA也是對數(shù)據(jù)的坐標軸進行一次旋轉,假設旋轉的轉移矩陣是w,那么新的旋轉數(shù)據(jù)可以表示為:

6.jpg

同理,兩個類別的中心點也轉換成了:

7.jpg


文字.jpg


8.jpg


我們求解這個最優(yōu)化問題,即可求出轉移變換矩陣w,即LDA的最終結果。


PCA vs LDA

LDA用于降維,和PCA有很多相同,也有很多不同的地方,因此值得好好的比較一下兩者的降維異同點。首先我們看看相同點:

1、兩者均可以對數(shù)據(jù)進行降維

2、兩者在降維時均使用了矩陣特征分解的思想

3、兩者都假設數(shù)據(jù)符合高斯分布


我們接著看看不同點:

1、LDA是有監(jiān)督的降維方法,而PCA是無監(jiān)督的降維方法

2、LDA降維最多降到類別數(shù)k-1的維數(shù),而PCA沒有這個限制

3、LDA除了可以用于降維,還可以用于分類

4、LDA選擇分類性能最好的投影方向,而PCA選擇樣本點投影具有最大方差的方向


在某些數(shù)據(jù)分布下LDA比PCA降維較優(yōu)(左圖),在某些數(shù)據(jù)分布下,PCA比LDA降維較優(yōu)。

9.jpg


好了,以上就是本期格物匯的內(nèi)容,我們下期見。


本文作者:格創(chuàng)東智 OT團隊(轉載請注明作者及來源)



聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 物聯(lián)網(wǎng)

    關注

    2927

    文章

    45847

    瀏覽量

    387583
  • PCA
    PCA
    +關注

    關注

    0

    文章

    91

    瀏覽量

    30029
  • LDA
    LDA
    +關注

    關注

    0

    文章

    29

    瀏覽量

    10765
  • 智能制造
    +關注

    關注

    48

    文章

    5821

    瀏覽量

    77445
  • 工業(yè)互聯(lián)網(wǎng)

    關注

    28

    文章

    4354

    瀏覽量

    94811
收藏 0人收藏

    評論

    相關推薦
    熱點推薦

    PID控制算法的C語言實現(xiàn):PID算法原理

    的是,在我所接觸的控制算法當中,PID 控制算法又是最簡單,最能體現(xiàn)反饋思想的控制算法,可謂經(jīng)典中的經(jīng)典
    發(fā)表于 02-26 15:24

    MSN4688驅(qū)動IGBT的經(jīng)典的電路

    MSN4688驅(qū)動IGBT的經(jīng)典的電路
    發(fā)表于 02-07 14:13 ?2次下載

    戴爾I7的圖紙下載 版號是PCA40D

    戴爾I7的圖紙 版號是PCA40D
    發(fā)表于 12-20 14:43 ?0次下載

    【「從算法到電路—數(shù)字芯片算法的電路實現(xiàn)」閱讀體驗】+內(nèi)容簡介

    的乘法器和除法器設計,在不同專業(yè)芯片領域有著廣泛應用的數(shù)字信號發(fā)生器、復數(shù)求模求角度運算器、普通濾波器、E△ADC中使用的抽取濾波器、基于 E△結構實現(xiàn)的小數(shù)倍分頻器、CRC校驗器等。每個電路均給出了算法
    發(fā)表于 11-21 17:14

    ADS1299ADS采集數(shù)據(jù),ADS可以不抽取看原始得數(shù)據(jù)嗎?

    1.ADS采集數(shù)據(jù),將時域的數(shù)據(jù)進行FFT變換,得到頻譜里面看似有 Sinc Filter 抽取,不需要抽取是否可以?ADS可以不抽取看原始得數(shù)據(jù)嗎? 2.這個和手冊上的頻譜不
    發(fā)表于 11-20 06:05

    求助,關于AMC1306M25抽取率OSR的疑問求解

    我客戶目前正在評估AMC1306M25,有以下疑問需要解答,可否幫忙確認一下: 圖為官方的例程,兩個都應該指的是抽取率OSR。但是當客戶在第一個函數(shù)中填的抽取率為64,到第二張圖中ratio的值
    發(fā)表于 11-14 07:09

    特征工程實施步驟

    數(shù)據(jù)中提取數(shù)值表示以供無監(jiān)督模型使用的方法(例如,試圖從之前非結構化的數(shù)據(jù)集中提取結構)。特征工程包括這兩種情況,以及更多內(nèi)容。數(shù)據(jù)從業(yè)者通常依賴ML和深度學習算法
    的頭像 發(fā)表于 10-23 08:07 ?722次閱讀
    <b class='flag-5'>特征</b>工程實施步驟

    求助,AD7190關于Σ-Δ ADC其中的抽取濾波器的數(shù)據(jù)轉換問題求解

    AD7190可以通過模式寄存器的FS[0:9]設置輸出速率, 0-1023的范圍;此時設置的數(shù)據(jù)速率選擇位是否就是Σ-Δ ADC抽取濾波器的抽取比? 關于抽取濾波器,此時我設置的為1023,那我是否
    發(fā)表于 09-09 06:11

    天翼云,AI取經(jīng)路上的逐夢人

    息壤一體化智算服務平臺升級,天翼云幫助AI天命人踏上取經(jīng)
    的頭像 發(fā)表于 09-05 16:06 ?2638次閱讀
    天翼云,AI<b class='flag-5'>取經(jīng)</b>路上的逐夢人

    圖像識別算法的核心技術是什么

    圖像識別算法是計算機視覺領域的一個重要研究方向,其目標是使計算機能夠像人類一樣理解和識別圖像中的內(nèi)容。圖像識別算法的核心技術包括以下幾個方面: 特征提取 特征提取是圖像識別
    的頭像 發(fā)表于 07-16 11:02 ?1144次閱讀

    使用rtthread settings配置完i2c后,與pca9535pw的第一通訊報錯,為什么?

    在使用rtthread settings配置完i2c后,與pca9535pw的第一通訊報錯,不知道為什么?代碼如下: main: /* 初始化PCA
    發(fā)表于 07-09 08:04

    PCA9655E I / O端口擴展器 I

    電子發(fā)燒友網(wǎng)為你提供ON Semiconductor(ON Semiconductor)PCA9655E相關產(chǎn)品參數(shù)、數(shù)據(jù)手冊,更有PCA9655E的引腳圖、接線圖、封裝手冊、中文資料、英文資料,PCA9655E真值表,
    發(fā)表于 06-28 16:28
    <b class='flag-5'>PCA</b>9655E I / O端口擴展器 I

    機器學習的經(jīng)典算法與應用

    關于數(shù)據(jù)機器學習就是喂入算法和數(shù)據(jù),讓算法從數(shù)據(jù)中尋找一種相應的關系。Iris鳶尾花數(shù)據(jù)集是一個經(jīng)典數(shù)據(jù)集,在統(tǒng)計學習和機器學習領域都經(jīng)常被用作示例。數(shù)據(jù)集內(nèi)包含3類共150條記錄,每類各50個數(shù)
    的頭像 發(fā)表于 06-27 08:27 ?1935次閱讀
    機器學習的<b class='flag-5'>經(jīng)典</b><b class='flag-5'>算法</b>與應用

    簡單認識變頻器和PLC/PCA系統(tǒng)

    在工業(yè)自動化領域,變頻器和PLC/PCA系統(tǒng)是兩個不可或缺的核心組成部分。變頻器以其對電機轉速和扭矩的精確控制,為工業(yè)自動化提供了強大的動力支持;而PLC/PCA系統(tǒng)則以其強大的邏輯處理能力和靈活
    的頭像 發(fā)表于 06-25 14:48 ?1124次閱讀

    如何使用萬表檢查線路是短路還是接地

    在電氣維修和檢測中,萬表是一種不可或缺的工具。它能夠幫助我們快速準確地判斷電路中的各種問題,如短路、斷路和接地等。本文將詳細介紹如何使用萬表來檢查線路是短路還是接地,并圍繞這一主題展開詳細的討論。
    的頭像 發(fā)表于 05-30 14:55 ?3971次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品