人工智能“最強模型”transformer詳解-2天
人工智能“最強模型”transformer詳解-2天詳細內(nèi)容
人工智能“最強模型”transformer詳解-2天
人工智能“最強模型”transformer詳解
【課程簡介】
Transformer 是迄今為止人工智能領域的最新和最強大的模型類別之一。它幾乎正在憑借一己之力來推動深度學習的又一波重大進步。Transformer 模型充分運用了稱為注意力和自注意力機制,以檢測系列(或圖像)中元素相互影響和相互依賴的微妙關系。本課程通過2天時間的詳細介紹,可使學習者初步了解Transformer的原理、應用場景、最新發(fā)展等。
【課程收益】
掌握深度學習框架:TensorFlow、pytorch等;
理解“自監(jiān)督學習”在當代AI領域的核心作用;
掌握Transformer背景知識、相關理論與實踐;
理解Transformer在NLP領域和CV領域的應用場景;
為學員的后續(xù)項目應用提供針對性的建議。
【課程特點】
本課程力圖理論結(jié)合實踐,強調(diào)從零開始,重視動手實踐;課程內(nèi)容以原理講解為根本,以應用落地為目標。課程通過大量形象的比喻和手算示例來解釋復雜的理論,既能將原理充分講懂講透,也避免了繁復而枯燥的公式推導。
【課程對象】
理工科本科以上,或至少了解一種編程語言。
時間
內(nèi)容
案例實踐與練習
第一天上午
深度學習知識
BP神經(jīng)網(wǎng)絡
人工神經(jīng)元及感知機模型
Sigmoid激活函數(shù)
前向神經(jīng)網(wǎng)絡的架構(gòu)
梯度下降
誤差反向傳播詳解
深度學習基礎
連接主義的興衰
深度學習與神經(jīng)網(wǎng)絡
目標函數(shù)與激勵函數(shù)
學習步長
權(quán)重初始化
權(quán)重衰減(Weight Decay)
梯度下降的方法
案例實踐:
手算神經(jīng)網(wǎng)絡BP算法
只用numpy,手推BPNN
深度BP網(wǎng)絡實現(xiàn)手寫數(shù)字的識別
各種梯度下降方法的實戰(zhàn)效果
第一天上午
CV初步
CNN
圖像分類概述
AlexNet與ZF-Net
VGG(5層變?yōu)?組)
遷移學習
GoogLenet
模型退化與ResNet
DenseNet(充分利用特征)
最新的efficientnet
VAE與GAN
圖像生成模型
AE與VAE
DAE
GAN
改進的GAN
案例實踐:
VGG各層的可視化展現(xiàn)
遷移學習:貓狗大戰(zhàn)
VAE生成的數(shù)字
StyleGAN
第二天上午
RNN與W2V
循環(huán)神經(jīng)網(wǎng)絡
RNN基本原理
LSTM、GRU
雙向循環(huán)神經(jīng)網(wǎng)絡
編碼器與解碼器結(jié)構(gòu)
seq2seq模型
初識Attention
NIC模型
詞向量基礎(word2vec)
W2V:CBOW
W2V:skip-gram
W2V:Hierachical Softmax
W2V:Negative Sampling
案例實踐:
股票交易數(shù)據(jù)的預測;
誰和小魚兒最相似?
SnowNLP:褒義的中性詞
Word2vec代碼解讀
第二天下午
Transformer以及發(fā)展
Transformer
所有你需要的僅僅是“注意力”
Transformer中的block
自注意力機制
多頭注意力
位置編碼(拋棄RNN)
Batch Norm與Layer Norm
解碼器的構(gòu)造
BERT
BERT整體架構(gòu)
Masked-LM
Next Sentence Prediction
改造下游任務
WordPiece作為輸入
CV領域的Transformer
iGPT
Vision Transformer(ViT)
BEiT
MAE令人驚奇的效果
MAE詳解
未來可期:MaskFeat等
案例實踐:
手推Transformer
BERT代碼解讀
BERT下游任務的改造
BEiT的效果
葉梓老師的其它課程
DeepSeek 輔助日常工作培訓提綱 03.03
DeepSeek輔助日常工作培訓提綱一、引言介紹大模型領域的競爭態(tài)勢強調(diào)DeepSeek的獨特優(yōu)勢二、DeepSeek概述DeepSeek的發(fā)展背景與定位DeepSeek各版本的特點與區(qū)別三、DeepSeek部署本地單機部署DeepSeek蒸餾版的硬件要求本地單機部署DeepSeek(量化)滿血版的配置與性能本地單機多卡部署DeepSeek(量化)滿血版的策
講師:葉梓詳情
知識圖譜的Python實現(xiàn) 03.03
知識圖譜的Python實現(xiàn)【課程簡介】本課程包含知識圖譜的基本概念及常用算法,并實現(xiàn)了一個基于知識圖譜的對話機器人。通過1天的系統(tǒng)學習、案例講解和動手實踐,讓學員能初步了解知識圖譜的的相關知識與技術?!菊n程對象】理工科本科以上,或至少了解一種編程語言。知識圖譜基礎知識圖譜存儲知識圖譜基礎概念知識推理本體推理方法本體推理工具語義搜索RDF與RDFSOWL與OW
講師:葉梓詳情
智能醫(yī)療技術與ChatGPT臨床應用三日深度培訓第一天:人工智能基礎與Python編程入門上午:人工智能在醫(yī)療領域的應用概述Python編程基礎環(huán)境搭建、數(shù)據(jù)類型、流程控制Python環(huán)境搭建Python數(shù)據(jù)類型與流程控制Python函數(shù)的應用Python面向?qū)ο缶幊?文件讀寫和目錄操作異常處理機器學習概述數(shù)據(jù)探索性分析:智能化數(shù)據(jù)分析特征工程:數(shù)據(jù)準備、數(shù)
講師:葉梓詳情
人工智能+自然語言處理3天 03.03
||1.人工智能概述||第一節(jié):人工智能與機器學習基礎|2.機器學習概述|||3.機器學習算法應用分析|||1.一元線性回歸|||2.代價函數(shù)|||3.梯度下降法||第二節(jié):回歸算法|4.sklearn一元線性回歸應用|||5.多元線性回歸|||6.sklearn多元線性回歸應用|||案例:葡萄酒質(zhì)量和時間的關系|||1.KNN分類算法介紹|||2.KNN分
講師:葉梓詳情
人工智能算法詳解 03.03
人工智能技術詳解【課程內(nèi)容】本課程包含大數(shù)據(jù)、機器學習、深度學習、知識圖譜、強化學習與深度強化學習的相關知識?!菊n程時長】7天(7小時/天)【課程對象】理工科本科及以上,且至少了解一門編程語言?!菊n程大綱】(培訓內(nèi)容可根據(jù)客戶需求調(diào)整)時間內(nèi)容案例實踐與練習Day1上午準備工作準備工作1.概念與術語2.Python(Anaconda)的安裝3.Pycharm
講師:葉梓詳情
人工智能與深度學習_3天 03.03
人工智能與深度學習第一天:人工智能概念與經(jīng)典算法人工智能概念綜述(第一天——1)從一些術語辨析人工智能人工智能之連接主義的興衰史這次AI的熱潮是怎么來的?圖像處理領域的最新熱點(第一天——2)分類、目標檢測與實例分割風格遷移自動駕駛?cè)梭w姿態(tài)識別超分辨率圖像生成語言處理領域的最新熱點(第一天——3)Attention機制自動構(gòu)建知識圖譜看圖說話預訓練機制三大經(jīng)
講師:葉梓詳情
人工智能之最新自然語言處理技術與實戰(zhàn)課程介紹:自然語言處理(簡稱NLP)是計算機科學和人工智能研究的一個重要方向,研究計算機和理解和運用人類語言進行交互的問題,它是集語言學、機器學習、統(tǒng)計學、大數(shù)據(jù)于一體的綜合學科。本課程主要介紹了NLP中的常用知識點:分詞、詞法分析、句法分析、向量化方法、經(jīng)典的NLP機器學習算法,還重點介紹了NLP中最近兩年來基于大規(guī)模語
講師:葉梓詳情
第一天上午:統(tǒng)計分析原理從最簡單的案例開始統(tǒng)計基礎描述性統(tǒng)計用SPSS實現(xiàn)描述性統(tǒng)計的案例回歸分析:線性回歸回歸分析:logistics回歸用SPSS實現(xiàn)回歸分析的案例可視化工具第一天下午:數(shù)據(jù)庫與數(shù)據(jù)倉庫介紹數(shù)據(jù)庫概述SQL(基本的增、刪、改、查)SQL(稍復雜的子句或嵌套)基于MySQL的上機操作SQL語言數(shù)據(jù)倉庫:度量與維度數(shù)據(jù)倉庫:星型模型、雪花模型
講師:葉梓詳情
計算機視覺(含姿態(tài)識別)-3天 03.03
計算機視覺【課程時長】3天(7小時/天)【課程對象】理工科本科及以上,且至少了解一門編程語言?!菊n程大綱】(培訓內(nèi)容可根據(jù)客戶需求調(diào)整)時間內(nèi)容案例實踐與練習Day1上午準備工作準備工作決策樹準備工作(1)概念與術語Python(Anaconda)的安裝Pycharm的安裝與使用JupyterNotebook的安裝與使用Tensorflow與pytorch的
講師:葉梓詳情
- [潘文富]經(jīng)銷商終端建設的基本推進
- [潘文富]中小企業(yè)招聘廣告的內(nèi)容完
- [潘文富]優(yōu)化考核方式,減少員工抵
- [潘文富]廠家心目中的理想化經(jīng)銷商
- [潘文富]經(jīng)銷商的產(chǎn)品驅(qū)動與管理驅(qū)
- [王曉楠]輔警轉(zhuǎn)正方式,定向招錄成為
- [王曉楠]西安老師招聘要求,西安各區(qū)
- [王曉楠]西安中小學教師薪資福利待遇
- [王曉楠]什么是備案制教師?備案制教
- [王曉楠]2024年陜西省及西安市最
- 1社會保障基礎知識(ppt) 21190
- 2安全生產(chǎn)事故案例分析(ppt) 20269
- 3行政專員崗位職責 19069
- 4品管部崗位職責與任職要求 16261
- 5員工守則 15483
- 6軟件驗收報告 15419
- 7問卷調(diào)查表(范例) 15136
- 8工資發(fā)放明細表 14576
- 9文件簽收單 14232