【AI簡(jiǎn)報(bào)20230908期】正式亮相！打開騰訊混元大模型，全部都是生產(chǎn)力

4. GitHub熱榜登頂：開源版GPT-4代碼解釋器，可安裝任意Python庫，本地終端運(yùn)行

原文：https://mp.weixin.qq.com/s/TiSVeZOeWourVJ60yyyygw

• 3小時(shí)只能發(fā)50條消息
• 支持的Python模塊數(shù)量有限
• 處理文件大小有限制，不能超過100MB
• 關(guān)閉會(huì)話窗口之后，此前生成的文件會(huì)被刪除

5. ReVersion｜圖像生成中的Relation定制化

原文：https://mp.weixin.qq.com/s/7W80wWf2Bj68MnC8NEV9cQ

論文：https://arxiv.org/abs/2303.13495代碼：https://github.com/ziqihuangg/ReVersion主頁：https://ziqihuangg.github.io/projects/reversion.html視頻：https://www.youtube.com/watch?v=pkal3yjyyKQDemo：https://huggingface.co/spaces/Ziqi/ReVersion

6. 神經(jīng)網(wǎng)絡(luò)大還是小？Transformer模型規(guī)模對(duì)訓(xùn)練目標(biāo)的影響

原文：https://mp.weixin.qq.com/s/el_vtxw-54LVnuWzS1JYDw

論文鏈接：https://arxiv.org/abs/2205.10505

• sequence level：
• • classification 分類任務(wù)，作為監(jiān)督訓(xùn)練任務(wù)。簡(jiǎn)單分類（Vanilla Classification）要求模型對(duì)輸入直接進(jìn)行分類，如對(duì)句子進(jìn)行情感分類，對(duì)圖片進(jìn)行分類；而 CLIP 的分類任務(wù)要求模型將圖片與句子進(jìn)行匹配。
• token level：（無監(jiān)督）
• • masked autoencoder：masked token 預(yù)測(cè)任務(wù)，模型對(duì)部分遮蓋的輸入進(jìn)行重建
  • next token prediction：對(duì)序列的下一個(gè) token 進(jìn)行預(yù)測(cè)

1. 現(xiàn)有的 Transformer 模型在加深模型深度時(shí)會(huì)發(fā)生 over-smoothing 問題，這阻礙了模型在深度上的拓展。
2. 相較于簡(jiǎn)單分類訓(xùn)練目標(biāo)，MAE 的掩碼預(yù)測(cè)任務(wù)能夠緩解 over-smoothing。（進(jìn)一步地，token 級(jí)別的訓(xùn)練目標(biāo)都能夠一定程度地緩解 over-smoothing）
3. MAE 的現(xiàn)有模型結(jié)構(gòu)繼承于機(jī)器翻譯任務(wù)上的最佳結(jié)構(gòu)設(shè)置，不一定合理。

———————End———————

點(diǎn)擊閱讀原文進(jìn)入官網(wǎng)