 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 1041 | 回復(fù): 0 | |||
[交流]
深度學(xué)習(xí)與大模型Transformer
|
|
國(guó)家“十四五”規(guī)劃中，“智能”“智慧”相關(guān)表述高達(dá)57處，這表明在當(dāng)前我國(guó)經(jīng)濟(jì)從高速增長(zhǎng)向高質(zhì)量發(fā)展的重要階段，以人工智能為代表的新一代信息技術(shù)，將成為我國(guó)“十四五”期間推動(dòng)經(jīng)濟(jì)高質(zhì)量發(fā)展、建設(shè)創(chuàng)新型國(guó)家的重要技術(shù)保障和核心驅(qū)動(dòng)力之一。當(dāng)前，ChatGPT的火熱發(fā)展，其基礎(chǔ)技術(shù)就是來源于深度學(xué)習(xí)。ChatGPT是一種基于深度學(xué)習(xí)的人工智能模型，其核心技術(shù)是神經(jīng)網(wǎng)絡(luò)。ChatGPT使用多層神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)和預(yù)測(cè)自然語言序列的概率分布，以實(shí)現(xiàn)對(duì)話生成和自然語言處理等任務(wù)。深度學(xué)習(xí)是一種多層神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法，可以通過大量數(shù)據(jù)的訓(xùn)練來學(xué)習(xí)復(fù)雜的特征和模式，并實(shí)現(xiàn)高效的分類和預(yù)測(cè)。 為積極響應(yīng)科研及工程人員的需求，根據(jù)《國(guó)務(wù)院關(guān)于推行終身職業(yè)技能培訓(xùn)制度的意見》提出的“緊跟新技術(shù)、新職業(yè)發(fā)展變化，建立職業(yè)分類動(dòng)態(tài)調(diào)整機(jī)制，加快職業(yè)標(biāo)準(zhǔn)開發(fā)工作”要求，中國(guó)管理科學(xué)研究院現(xiàn)代教育研究所（https://www.zgyxdjy.com）聯(lián)合北京龍騰亞太教育咨詢有限公司特舉辦“深度學(xué)習(xí)核心技術(shù)實(shí)踐與圖神經(jīng)網(wǎng)絡(luò)新技術(shù)應(yīng)用研修班”。本次培訓(xùn)采用全實(shí)戰(zhàn)培訓(xùn)模式。 本次培訓(xùn)由北京龍騰亞太教育咨詢有限公司承辦并進(jìn)行相關(guān)費(fèi)用收取及發(fā)票開具。具體通知如下： 一、培訓(xùn)專家: 來自中國(guó)科學(xué)院自動(dòng)化技術(shù)研究所、北京理工大學(xué)等科研機(jī)構(gòu)和大學(xué)的高級(jí)專家，擁有豐富的科研及工程技術(shù)經(jīng)驗(yàn)，長(zhǎng)期從事人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大數(shù)據(jù)分析等領(lǐng)域的教學(xué)與研究工作。 二、時(shí)間地點(diǎn): 2023年7月27日 — 2023年7月31日 上海（同時(shí)轉(zhuǎn)線上直播） （27日?qǐng)?bào)到發(fā)放上課材料，28日-31日上課） 三、培訓(xùn)特色： 1、采用深入淺出的方法，結(jié)合實(shí)例并配以大量代碼練習(xí)，重點(diǎn)講解深度學(xué)習(xí)框架模型、科學(xué)算法、訓(xùn)練過程技巧。 2、能夠把握深度學(xué)習(xí)的技術(shù)發(fā)展趨勢(shì)，可以熟練掌握深度學(xué)習(xí)核心技術(shù)、實(shí)踐技巧，同時(shí)針對(duì)工作中存在的疑難問題進(jìn)行分析講解和專題討論，有效的提升學(xué)員解決復(fù)雜問題的能力； 3、掌握深度學(xué)習(xí)大模型Transformer訓(xùn)練網(wǎng)絡(luò)搭建與配置、掌握數(shù)據(jù)價(jià)值的深度挖掘。 4、掌握?qǐng)D神經(jīng)網(wǎng)絡(luò)模型及框架PyTorch 5、實(shí)踐手寫字體識(shí)別、葉片分類等案例，動(dòng)手練習(xí)讓AI自己玩游戲。 6、根據(jù)自己的科研項(xiàng)目及課題研究，靈活掌握應(yīng)用深度學(xué)習(xí)五大框架模型。 注：其它開源的公開數(shù)據(jù)集：ImageNet、MS-COCO、UCF101、HMDB51、PASCAL VOC、Open Images等。 四、參會(huì)對(duì)象： 各省市、自治區(qū)從事人工智能、深度學(xué)習(xí)、計(jì)算機(jī)視覺、人臉識(shí)別、圖像處理、行人檢測(cè)、自然語言處理等領(lǐng)域相關(guān)的企事業(yè)單位技術(shù)骨干、科研院所研究人員和大專院校相關(guān)專業(yè)教學(xué)人員及在校研究生等相關(guān)人員，以及深度學(xué)習(xí)、計(jì)算機(jī)視覺廣大愛好者。 五、費(fèi)用標(biāo)準(zhǔn)： A類：5680元/人（含報(bào)名費(fèi)、培訓(xùn)費(fèi)、資料費(fèi)、A類證書費(fèi)），住宿可統(tǒng)一安排，費(fèi)用自理。 1、培訓(xùn)費(fèi)由組織培訓(xùn)班的施教機(jī)構(gòu)負(fù)責(zé)收取并提供培訓(xùn)發(fā)票。 2、上課前一周匯款可享受9折優(yōu)惠，或報(bào)名5人以上可享受9折優(yōu)惠，兩個(gè)優(yōu)惠不同時(shí)享用。報(bào)名8人以上享受8.8折優(yōu)惠。 3、參加線上、線下培訓(xùn)學(xué)員均可享受視頻錄播回放權(quán)益，及本人再次免費(fèi)參加線下同主題課程學(xué)習(xí)權(quán)益。 六、頒發(fā)證書： A、參加相關(guān)培訓(xùn)并通過考核的學(xué)員，由中國(guó)管理科學(xué)研究院現(xiàn)代教育研究所頒發(fā)《深度學(xué)習(xí)開發(fā)與應(yīng)用工程師》（高級(jí)）專業(yè)能力認(rèn)證證書，可通過官方網(wǎng)站查詢，該證書可作為有關(guān)單位任職、職稱評(píng)定、專業(yè)技術(shù)人員能力評(píng)價(jià)、考核的重要依據(jù)。 注：請(qǐng)學(xué)員提交電子版彩照（大于20KB，紅藍(lán)底皆可）、身份證復(fù)印件和學(xué)歷證明復(fù)印件至報(bào)名郵箱。 七、注意事項(xiàng) 1、指定報(bào)名郵箱：2044115758@qq.com。 2、報(bào)名成功后，會(huì)務(wù)組在報(bào)到前一周發(fā)具體報(bào)到通知及行車路線。 3、學(xué)員需自備電腦一臺(tái)，配置win10、64位系統(tǒng)、8G及以上內(nèi)存，硬盤空間預(yù)留100G。 附件：具體課程安排 關(guān)鍵點(diǎn) 1.人工智能、深度學(xué)習(xí)的發(fā)展歷程 2.深度學(xué)習(xí)大模型Transformer 3.神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法 4.卷積神經(jīng)網(wǎng)絡(luò)，卷積核、池化、通道、激活函數(shù) 5.循環(huán)神經(jīng)網(wǎng)絡(luò)，長(zhǎng)短時(shí)記憶LSTM、門控循環(huán)單元GRU 6.參數(shù)初始化方法、損失函數(shù)Loss、過擬合 7.對(duì)抗生成網(wǎng)絡(luò)GAN 8.遷移學(xué)習(xí)TL 9.強(qiáng)化學(xué)習(xí)RF 10.圖神經(jīng)網(wǎng)絡(luò)GNN 一、算法和場(chǎng)景融合理解 1.空間相關(guān)性的非結(jié)構(gòu)化數(shù)據(jù)，CNN算法。典型的圖像數(shù)據(jù)，像素點(diǎn)之間具有空間相關(guān)性，例如圖像的分類、分割、檢測(cè)都是CNN算法。 2.時(shí)間相關(guān)性的非結(jié)構(gòu)化數(shù)據(jù)，RNN算法。這類場(chǎng)景普遍的一個(gè)現(xiàn)象就是數(shù)據(jù)之間具有時(shí)序相關(guān)性，也就是數(shù)據(jù)之間存在先后依賴關(guān)系。例如自然語言處理、語音相關(guān)算法都是基于RNN算法。 3.非歐氏數(shù)據(jù)結(jié)構(gòu)， GNN。這類場(chǎng)景典型的可以用圖來表示。例如社交網(wǎng)絡(luò)等。 案例摘要講解 醫(yī)療領(lǐng)域：如流行疾病、腫瘤等相關(guān)疾病檢測(cè) 遙感領(lǐng)域：如遙感影像中的場(chǎng)景識(shí)別 石油勘探：如石油油粒大小檢測(cè) 軌道交通：如地鐵密集人流檢測(cè) 檢測(cè)領(lǐng)域：如故障檢測(cè) 公安領(lǐng)域：如犯罪行為分析 國(guó)防領(lǐng)域：目標(biāo)檢測(cè)、信號(hào)分析、態(tài)勢(shì)感知… 經(jīng)濟(jì)領(lǐng)域：如股票預(yù)測(cè) 二、數(shù)據(jù)理解及處理 分析典型場(chǎng)景中的典型數(shù)據(jù)，結(jié)合具體的算法，對(duì)數(shù)據(jù)進(jìn)行處理 1.結(jié)構(gòu)化數(shù)據(jù)，如何對(duì)數(shù)據(jù)進(jìn)行讀取，進(jìn)行組織。 2.圖像數(shù)據(jù)，在實(shí)際應(yīng)用過程中的處理方法，怎樣做數(shù)據(jù)的預(yù)處理、進(jìn)行數(shù)據(jù)增強(qiáng)等。 3.時(shí)序信號(hào)，將單點(diǎn)的數(shù)據(jù)如何組合成一個(gè)序列，以及對(duì)序列數(shù)據(jù)處理的基本方法。 三、技術(shù)路徑設(shè)計(jì) 針對(duì)具體的場(chǎng)景設(shè)計(jì)特定的神經(jīng)網(wǎng)絡(luò)模型，對(duì)典型數(shù)據(jù)適配的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)介紹。 1.DNN模型搭建的基本原則 2.CNN模型中常見的網(wǎng)絡(luò)結(jié)構(gòu)，以及參數(shù)分析。 3.RNN中支持的一些基本算子，如何對(duì)序列數(shù)據(jù)進(jìn)行組織。 四、模型驗(yàn)證及問題排查 簡(jiǎn)單的算法或者模型對(duì)典型的場(chǎng)景進(jìn)行快速驗(yàn)證，并且針對(duì)一些頻發(fā)的問題進(jìn)行講解。 1.模型收斂狀態(tài)不佳 2.分類任務(wù)重最后一層激活函數(shù)對(duì)模型的影響 五、高級(jí)-模型優(yōu)化的原理 不同的模型需要采用的優(yōu)化函數(shù)以及反向傳播中參數(shù)的優(yōu)化方法 1.模型優(yōu)化的算法介紹，基于隨機(jī)梯度下降的算法介紹。 2.不同場(chǎng)景適應(yīng)的損失函數(shù)介紹。 3.針對(duì)典型場(chǎng)景的反向傳播梯度的推到過程。 六、高級(jí)-定制化思路 結(jié)合往期學(xué)員的一些項(xiàng)目，簡(jiǎn)單介紹一下解決一個(gè)具體問題的思路。 遙感成像中，地塊農(nóng)作物種類的識(shí)別。 實(shí)操解析與訓(xùn)練 第一階段： 神經(jīng)網(wǎng)絡(luò)實(shí)踐 實(shí)驗(yàn)：神經(jīng)網(wǎng)絡(luò) 1.神經(jīng)網(wǎng)絡(luò)中基本概念理解：epoch、batch size、學(xué)習(xí)率、正則、噪聲、激活函數(shù)等。 2.不同的數(shù)據(jù)生成模型、調(diào)整網(wǎng)絡(luò)參數(shù)、調(diào)整網(wǎng)絡(luò)規(guī)模 3.神經(jīng)網(wǎng)絡(luò)分類問題 4.不同數(shù)據(jù)特征的作用分析、隱含層神經(jīng)元數(shù)目 5.過擬合 高頻問題： 1.輸入數(shù)據(jù)與數(shù)據(jù)特征 2.模型設(shè)計(jì)的過程中的參數(shù)與功能的關(guān)系。 關(guān)鍵點(diǎn)： 1.掌握神經(jīng)網(wǎng)絡(luò)的基本概念 2.學(xué)會(huì)搭建簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 3.理解神經(jīng)網(wǎng)絡(luò)參數(shù) 實(shí)操解析與訓(xùn)練 第二階段： 深度學(xué)習(xí)三種編程思想 實(shí)驗(yàn)：Keras實(shí)踐 1.理解Keras基本原理 2.學(xué)會(huì)Keras編程思想 3.三種不同的深度神經(jīng)網(wǎng)絡(luò)構(gòu)建編程方式 4.給定數(shù)據(jù)集，采用Keras獨(dú)立完成實(shí)際的工程項(xiàng)目 高頻問題： 1.如何編程實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò) 2.三種開發(fā)方式的具體使用 關(guān)鍵點(diǎn)： 1.掌握Keras編程思想 2.采用三種不同方式編寫深度神經(jīng)網(wǎng)絡(luò) 實(shí)操解析與訓(xùn)練 第三階段：CNN實(shí)踐 實(shí)驗(yàn)：圖像分類 1.使用CNN解決圖像分類問題 2.搭建AlexNet 3.VGG16/19 4.GoogleNet 5.ResNet 高頻問題： 1.CNN更復(fù)雜的模型在哪里可以找到代碼 關(guān)鍵點(diǎn)： 1.使用卷積神經(jīng)網(wǎng)絡(luò)做圖像分類 2.常見開源代碼以及適用的問題 實(shí)驗(yàn)：視頻人物行為識(shí)別 1.基于C3D的視頻行為識(shí)別方法 2.基于LSTM的視頻行為識(shí)別方法 3.基于Attention的視頻行為識(shí)別方法 高頻問題： 1.2D卷積與3D卷積 2.視頻的時(shí)空特征 關(guān)鍵點(diǎn)： 1.C3D網(wǎng)絡(luò)的構(gòu)建 2.Attention機(jī)制 實(shí)操解析與訓(xùn)練 第四階段： R-CNN及YOLO實(shí)踐 實(shí)驗(yàn)：目標(biāo)檢測(cè) 1.目標(biāo)檢測(cè)發(fā)展現(xiàn)狀及代表性方法 2.兩階段目標(biāo)檢測(cè)方法：R-CNN系列模型 3.一階段目標(biāo)檢測(cè)方法：YOLO系列模型 高頻問題： 1.提名與分類 2.BBOX實(shí)現(xiàn)策略 3.YOLO Loss函數(shù) 關(guān)鍵點(diǎn)： 1.提名方法 2.ROI Pooling 3.SPP Net 4.RPN 5.YOLO 實(shí)操解析與訓(xùn)練 第五階段： RNN實(shí)踐 實(shí)驗(yàn)：股票預(yù)測(cè) 1.股票數(shù)據(jù)分析 2.同步預(yù)測(cè) 3.異步預(yù)測(cè) 高頻問題： 1.歷史數(shù)據(jù)的使用 關(guān)鍵點(diǎn)： 1.構(gòu)建RNN 2.采用Keras編程實(shí)現(xiàn) 實(shí)操解析與訓(xùn)練 第六階段： Encoder-Decoder實(shí)踐 實(shí)驗(yàn)：去噪分析 1.自編碼器 2.去噪自編碼器 高頻問題： 1.噪聲的引入與去除 關(guān)鍵點(diǎn)： 1.設(shè)計(jì)去噪自編碼器 實(shí)驗(yàn)：圖像標(biāo)題生成 結(jié)合計(jì)算機(jī)視覺和機(jī)器翻譯的最新進(jìn)展，利用深度神經(jīng)網(wǎng)絡(luò)生成真實(shí)的圖像標(biāo)題。 1.掌握Encoder-Decoder結(jié)構(gòu) 2.學(xué)會(huì)Seq2seq結(jié)構(gòu) 3.圖像CNN +文本RNN 4.圖像標(biāo)題生成模型 高頻問題： 1.如何能夠根據(jù)圖像生成文本？ 關(guān)鍵點(diǎn)： 1.提取圖像特征CNN，生成文本RNN 2.構(gòu)建Encoder-Decoder結(jié)構(gòu) 實(shí)操解析與訓(xùn)練 第七階段： GAN實(shí)踐 實(shí)驗(yàn)：藝術(shù)家作品生成 1. 生成對(duì)抗網(wǎng)絡(luò)原理 2.GAN的生成模型、判別模型的設(shè)計(jì) 高頻問題： 1.生成模型與判別模型的博弈過程 關(guān)鍵點(diǎn)： 1.掌握GAN的思想與原理 2.根據(jù)需求學(xué)會(huì)設(shè)計(jì)生成模型與判別模型 實(shí)操解析與訓(xùn)練 第八階段： 強(qiáng)化學(xué)習(xí)實(shí)踐 實(shí)驗(yàn)：游戲分析 1.游戲場(chǎng)景分析 2.強(qiáng)化學(xué)習(xí)的要素分析 3.深度強(qiáng)化學(xué)習(xí) 高頻問題： 1.DNN 與DQN 2.探索與利用 關(guān)鍵點(diǎn)： 1.深度強(qiáng)化學(xué)習(xí)的原理 2.根據(jù)實(shí)際需求，設(shè)計(jì)深度強(qiáng)化學(xué)習(xí)模型 實(shí)操解析與訓(xùn)練 第九階段： 圖卷積神經(jīng)網(wǎng)絡(luò)實(shí)踐 實(shí)驗(yàn)：社交網(wǎng)絡(luò)分析 1.圖神經(jīng)網(wǎng)絡(luò)的原理 2.圖卷積神經(jīng)網(wǎng)絡(luò)的思想 3.設(shè)計(jì)圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行社交網(wǎng)絡(luò)分析 高頻問題： 1.如何從圖神經(jīng)網(wǎng)絡(luò)的原理轉(zhuǎn)化到實(shí)際編程 關(guān)鍵點(diǎn)： 1. 掌握?qǐng)D神經(jīng)網(wǎng)絡(luò)原理 2. 圖卷積神經(jīng)網(wǎng)絡(luò)編程實(shí)現(xiàn) 實(shí)操解析與訓(xùn)練 第十階段： Transformer實(shí)踐 實(shí)驗(yàn)：基于Transformer的對(duì)話生成 1. Transformer原理 2. 基于Transformer的對(duì)話生成 3.基于 Transformer 的應(yīng)用 高頻問題： 1.如何應(yīng)用自注意力機(jī)制 2.如何應(yīng)用于自然語言處理與計(jì)算機(jī)視覺 關(guān)鍵點(diǎn)： 1.self-Attention機(jī)制 2.position 更多內(nèi)容請(qǐng)關(guān)注微信公眾號(hào)：人工智能技術(shù)與咨詢或登錄中國(guó)人工智能培訓(xùn)網(wǎng) 微信圖片_20230714144656.png |
回復(fù)此樓» 猜你喜歡
一志愿中科大能動(dòng)297求調(diào)劑，本科川大
已經(jīng)有3人回復(fù)
-
材料學(xué)碩318求調(diào)劑
已經(jīng)有17人回復(fù)
-
化工專碩348，一志愿985求調(diào)劑
已經(jīng)有10人回復(fù)
-
一志愿東北大學(xué)化學(xué)314分求調(diào)劑
已經(jīng)有4人回復(fù)
-
一志愿天津大學(xué)085600 319分 材料與化工 金屬方向 求調(diào)劑
已經(jīng)有4人回復(fù)
-
環(huán)境調(diào)劑
已經(jīng)有6人回復(fù)
-
求調(diào)劑
已經(jīng)有5人回復(fù)
-
環(huán)境工程學(xué)碩288求助調(diào)劑
已經(jīng)有5人回復(fù)
-
0856材料工程，初試313調(diào)劑
已經(jīng)有4人回復(fù)
-
085600 英一數(shù)二272求調(diào)劑
已經(jīng)有37人回復(fù)
» 本主題相關(guān)商家推薦: (我也要在這里推廣)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 龍騰張杰 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 一志愿東北大學(xué)化學(xué)314分求調(diào)劑 +4 | lr1212.. 2026-03-02 | 4/200 |
|
|---|---|---|---|---|
|
|
[考研] 0856材料工程，初試313調(diào)劑 +4 | 賣個(gè)關(guān)子吧 2026-03-03 | 4/200 |
|
|
[考研] 材料學(xué)碩318求調(diào)劑 +11 | February_Feb 2026-03-01 | 11/550 |
|
|
|
[考研] 一志愿華中科技大學(xué)，化學(xué)專業(yè)344分，求調(diào)劑 +5 | 邢xing1 2026-03-02 | 5/250 |
|
|
|
[考研] 268求調(diào)劑 +6 | 好運(yùn)連綿不絕 2026-03-02 | 6/300 |
|
|
|
[考研] 281電子信息求調(diào)劑 +3 | jhtfeybgj 2026-03-02 | 6/300 |
|
|
|
[考研] 材料類考研調(diào)劑 +6 | gemmgemm 2026-03-01 | 7/350 |
|
|
|
[考博] 26申博 +4 | north， 2026-02-28 | 4/200 |
|
|
|
[考研] 283求調(diào)劑 +7 | 鹿沫笙 2026-03-02 | 7/350 |
|
|
|
[考研] 307求調(diào)劑 +6 | wyyyqx 2026-03-01 | 6/300 |
|
|
|
[考研] 清華大學(xué) 材料與化工 353分求調(diào)劑 +5 | awaystay 2026-03-02 | 6/300 |
|
|
|
[考研] 271求調(diào)劑 +4 | Ricardo1113 2026-03-02 | 4/200 |
|
|
|
[考研] 268求調(diào)劑 +9 | 簡(jiǎn)單點(diǎn)0 2026-03-02 | 13/650 |
|
|
|
[考研] 0856材料調(diào)劑 +5 | 沿岸有貝殼OUC 2026-03-02 | 5/250 |
|
|
|
[考研] 材料284求調(diào)劑，一志愿鄭州大學(xué)英一數(shù)二專碩 +15 | 想上岸的土撥鼠 2026-02-28 | 15/750 |
|
|
|
[考研] 材料085601調(diào)劑 +5 | 多多子. 2026-03-02 | 5/250 |
|
|
|
[考研] 一志愿山東大學(xué)材料與化工325求調(diào)劑 +5 | 半截的詩0927 2026-03-02 | 5/250 |
|
|
|
[考研] 303求調(diào)劑 +5 | 今夏不夏 2026-03-01 | 5/250 |
|
|
|
[考研] 265分求調(diào)劑不調(diào)專業(yè)和學(xué)校有行學(xué)上就 +6 | 禮堂丁真258 2026-02-28 | 9/450 |
|
|
|
[碩博家園] 【博士招生】太原理工大學(xué)2026化工博士 +4 | N1ce_try 2026-02-24 | 8/400 |
|