電子發(fā)燒友App

硬聲App

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評論與回復
      VIP于 到期 續(xù)費
      登錄后你可以
      • 下載海量資料
      • 學習在線課程
      • 觀看技術視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動

      完善資料讓更多小伙伴認識你，還能領取20積分哦，立即完善>

      3天內(nèi)不再提示
      創(chuàng)作
      電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程9.3.之語言模型

      PyTorch教程9.3.之語言模型

      2023-06-05 | pdf | 0.23 MB | 次下載 | 免費

      資料介紹

      在9.2 節(jié)中，我們將看到如何將文本序列映射到標記中，其中這些標記可以被視為一系列離散的觀察結(jié)果，例如單詞或字符。假設文本序列中的標記長度T依次是 x1,x2,…,xT. 語言模型的目標是估計整個序列的聯(lián)合概率：

      (9.3.1)P(x1,x2,…,xT),

      其中可以應用第 9.1 節(jié)中的統(tǒng)計工具。

      語言模型非常有用。例如，一個理想的語言模型將能夠自行生成自然文本，只需一次繪制一個標記即可 xt～P(xt∣xt?1,…,x1). 與使用打字機的猴子完全不同，從這種模型中出現(xiàn)的所有文本都將作為自然語言傳遞，例如英文文本。此外，只需在先前的對話片段上調(diào)節(jié)文本，就足以生成有意義的對話。顯然，我們離設計這樣一個系統(tǒng)還有很長的路要走，因為它需要理解文本，而不僅僅是生成語法合理的內(nèi)容。

      盡管如此，語言模型即使在其有限的形式下也能提供很好的服務。例如，“to recognize speech”和“to wreck a nice beach”這兩個短語聽起來非常相似。這可能會導致語音識別中出現(xiàn)歧義，這很容易通過一種語言模型來解決，該模型拒絕將第二種翻譯認為是古怪的。同樣，在文檔摘要算法中，值得知道“狗咬人”比“人咬狗”更頻繁，或者“我想吃奶奶”是一個相當令人不安的陳述，而“我想吃，奶奶”要溫和得多。

      import torch
from d2l import torch as d2l

      from mxnet import np, npx
from d2l import mxnet as d2l

npx.set_np()

      from jax import numpy as jnp
from d2l import jax as d2l

      No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

      import tensorflow as tf
from d2l import tensorflow as d2l

      9.3.1. 學習語言模型

      顯而易見的問題是我們應該如何對文檔甚至一系列標記進行建模。假設我們在單詞級別標記文本數(shù)據(jù)。讓我們從應用基本概率規(guī)則開始：

      (9.3.2)P(x1,x2,…,xT)=∏t=1TP(xt∣x1,…,xt?1).

      例如，包含四個單詞的文本序列的概率為：

      (9.3.3)P(deep,learning,is,fun)=P(deep)P(learning∣deep)P(is∣deep,learning)P(fun∣deep,learning,is).

      9.3.1.1. 馬爾可夫模型和n-克

      在9.1節(jié)的序列模型分析中，我們將馬爾可夫模型應用到語言建模中。序列上的分布滿足一階馬爾可夫性質(zhì)，如果 P(xt+1∣xt,…,x1)=P(xt+1∣xt). 更高的階數(shù)對應更長的依賴關系。這導致我們可以應用一些近似值來對序列建模：

      (9.3.4)

      下載該資料的人也在下載 下載該資料的人還在閱讀
      更多 >

      評論

      查看更多

      下載排行

      本周

      1. 1山景DSP芯片AP8248A2數(shù)據(jù)手冊
      2. 1.06 MB  |  532次下載  |  免費
      3. 2RK3399完整板原理圖（支持平板，盒子VR）
      4. 3.28 MB  |  339次下載  |  免費
      5. 3TC358743XBG評估板參考手冊
      6. 1.36 MB  |  330次下載  |  免費
      7. 4DFM軟件使用教程
      8. 0.84 MB  |  295次下載  |  免費
      9. 5元宇宙深度解析—未來的未來-風口還是泡沫
      10. 6.40 MB  |  227次下載  |  免費
      11. 6迪文DGUS開發(fā)指南
      12. 31.67 MB  |  194次下載  |  免費
      13. 7元宇宙底層硬件系列報告
      14. 13.42 MB  |  182次下載  |  免費
      15. 8FP5207XR-G1中文應用手冊
      16. 1.09 MB  |  178次下載  |  免費

      本月

      1. 1OrCAD10.5下載OrCAD10.5中文版軟件
      2. 0.00 MB  |  234315次下載  |  免費
      3. 2555集成電路應用800例(新編版)
      4. 0.00 MB  |  33566次下載  |  免費
      5. 3接口電路圖大全
      6. 未知  |  30323次下載  |  免費
      7. 4開關電源設計實例指南
      8. 未知  |  21549次下載  |  免費
      9. 5電氣工程師手冊免費下載(新編第二版pdf電子書)
      10. 0.00 MB  |  15349次下載  |  免費
      11. 6數(shù)字電路基礎pdf(下載)
      12. 未知  |  13750次下載  |  免費
      13. 7電子制作實例集錦 下載
      14. 未知  |  8113次下載  |  免費
      15. 8《LED驅(qū)動電路設計》 溫德爾著
      16. 0.00 MB  |  6656次下載  |  免費

      總榜

      1. 1matlab軟件下載入口
      2. 未知  |  935054次下載  |  免費
      3. 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
      4. 78.1 MB  |  537798次下載  |  免費
      5. 3MATLAB 7.1 下載 (含軟件介紹)
      6. 未知  |  420027次下載  |  免費
      7. 4OrCAD10.5下載OrCAD10.5中文版軟件
      8. 0.00 MB  |  234315次下載  |  免費
      9. 5Altium DXP2002下載入口
      10. 未知  |  233046次下載  |  免費
      11. 6電路仿真軟件multisim 10.0免費下載
      12. 340992  |  191187次下載  |  免費
      13. 7十天學會AVR單片機與C語言視頻教程 下載
      14. 158M  |  183279次下載  |  免費
      15. 8proe5.0野火版下載(中文版免費下載)
      16. 未知  |  138040次下載  |  免費