多模態(tài)大模型原理與實(shí)踐提綱
多模態(tài)大模型原理與實(shí)踐提綱詳細(xì)內(nèi)容
多模態(tài)大模型原理與實(shí)踐提綱
多模態(tài)大模型原理與實(shí)踐提綱
培訓(xùn)需要解決的問題
移動云盤緊跟前沿技術(shù)用AI全面重塑云盤“采傳存處用”場景，探索對文本、圖片、筆記、視頻、音頻等數(shù)字內(nèi)容的智能化賦能。通過本次培訓(xùn)，拓展對多模態(tài)AI應(yīng)用領(lǐng)域的視野，幫助團(tuán)隊(duì)聚焦AI賦能創(chuàng)新突破，提升對資產(chǎn)管理AI服務(wù)的技術(shù)認(rèn)知與理解，更好地助力業(yè)務(wù)智能化業(yè)務(wù)建設(shè)。
培訓(xùn)要求
已開展兩期的大語言模型培訓(xùn)，在此基礎(chǔ)上開展一期多模塊方面結(jié)合大語言模型的通用生成類技能培訓(xùn)。
培訓(xùn)課程重點(diǎn)內(nèi)容：①CLIP、SD；②結(jié)合中移的用戶資產(chǎn)對“視頻生成，音頻生成和音頻總結(jié)”部分可以進(jìn)行前瞻性的技術(shù)分析和研討；③希望結(jié)合公司業(yè)務(wù)來講解。
基礎(chǔ)知識部分可不講或略講，文生視頻技術(shù)目前不太成熟，只略講概念部分
培訓(xùn)時長
1天
培訓(xùn)提綱
第1部分：多模態(tài)學(xué)習(xí)概述
多模態(tài)學(xué)習(xí)的定義
多模態(tài)學(xué)習(xí)的意義
多模態(tài)數(shù)據(jù)類型：文本、圖像、視頻、音頻等
多模態(tài)學(xué)習(xí)的應(yīng)用領(lǐng)域（自然語言處理、計(jì)算機(jī)視覺、推薦系統(tǒng)等）
第2部分：ViT、Beit與CLIP/BLIP
ViT模型架構(gòu)概述
Patch Embedding與Positional Encoding
Beit與ViT的比較
Beit在自監(jiān)督學(xué)習(xí)中的應(yīng)用
Beit在多模態(tài)任務(wù)中的優(yōu)勢
實(shí)踐演示：利用ViT和Beit進(jìn)行圖文轉(zhuǎn)化的效果
CLIP模型介紹：從圖像到文本的跨模態(tài)嵌入
BLIP模型架構(gòu)：結(jié)合CLIP的多模態(tài)模型
CLIP/BLIP在多模態(tài)任務(wù)中的應(yīng)用：圖像-文本匹配、圖像標(biāo)注等
實(shí)踐演示：使用CLIP進(jìn)行圖像-文本匹配任務(wù)
第3部分：Stable Diffusion及SD XL
Stable Diffusion模型概述：生成模型在圖像生成中的應(yīng)用
SD的原理推導(dǎo)
SD模型的架構(gòu)
Stable Diffusion XL：擴(kuò)展的Stable Diffusion模型
微調(diào)擴(kuò)散模型：DreamBooth微調(diào)擴(kuò)散模型：Textual-Inversion
微調(diào)擴(kuò)散模型：LoRA微調(diào)擴(kuò)散模型：Hypernetworks
Stable Diffusion在藝術(shù)創(chuàng)作和設(shè)計(jì)中的應(yīng)用
實(shí)踐演示：使用Stable Diffusion生成圖像
第4部分：微調(diào)與RLHF方法
微調(diào)的基本概念
SFT：監(jiān)督微調(diào)方法
PEFT的概念
P-tuning v2 / LoRA / Freeze等
微調(diào)方法在多模態(tài)學(xué)習(xí)中的應(yīng)用
實(shí)踐演示：對多模態(tài)大模型進(jìn)行微調(diào)
第5部分：與人類偏好對齊
強(qiáng)化學(xué)習(xí)基礎(chǔ)概述
DPO：直接偏好優(yōu)化
PPO：近端策略優(yōu)化
llama-factory簡介
實(shí)踐演示：利用llama-factory對大模型進(jìn)行RLHF
第6部分：多模態(tài)大模型
qwen_vl_chatYi_vl_chatLLaVaopen-sora
chatTTS實(shí)踐演示：使用qwen_vl和Yi_vl_chat進(jìn)行視覺問答任務(wù)
第7部分：結(jié)合中移業(yè)務(wù)的開放討論
用戶資產(chǎn)管理所需的多模式模型
各種AI技術(shù)在用戶資產(chǎn)管理中的應(yīng)用
葉梓老師的其它課程
DeepSeek 輔助日常工作培訓(xùn)提綱 03.03
DeepSeek輔助日常工作培訓(xùn)提綱一、引言介紹大模型領(lǐng)域的競爭態(tài)勢強(qiáng)調(diào)DeepSeek的獨(dú)特優(yōu)勢二、DeepSeek概述DeepSeek的發(fā)展背景與定位DeepSeek各版本的特點(diǎn)與區(qū)別三、DeepSeek部署本地單機(jī)部署DeepSeek蒸餾版的硬件要求本地單機(jī)部署DeepSeek（量化）滿血版的配置與性能本地單機(jī)多卡部署DeepSeek（量化）滿血版的策
講師：葉梓詳情
知識圖譜的Python實(shí)現(xiàn) 03.03
知識圖譜的Python實(shí)現(xiàn)【課程簡介】本課程包含知識圖譜的基本概念及常用算法，并實(shí)現(xiàn)了一個基于知識圖譜的對話機(jī)器人。通過1天的系統(tǒng)學(xué)習(xí)、案例講解和動手實(shí)踐，讓學(xué)員能初步了解知識圖譜的的相關(guān)知識與技術(shù)?！菊n程對象】理工科本科以上，或至少了解一種編程語言。知識圖譜基礎(chǔ)知識圖譜存儲知識圖譜基礎(chǔ)概念知識推理本體推理方法本體推理工具語義搜索RDF與RDFSOWL與OW
講師：葉梓詳情
智能醫(yī)療技術(shù)與ChatGPT臨床應(yīng)用三日深度培訓(xùn)第一天：人工智能基礎(chǔ)與Python編程入門上午：人工智能在醫(yī)療領(lǐng)域的應(yīng)用概述Python編程基礎(chǔ)環(huán)境搭建、數(shù)據(jù)類型、流程控制Python環(huán)境搭建Python數(shù)據(jù)類型與流程控制Python函數(shù)的應(yīng)用Python面向?qū)ο缶幊?文件讀寫和目錄操作異常處理機(jī)器學(xué)習(xí)概述數(shù)據(jù)探索性分析：智能化數(shù)據(jù)分析特征工程：數(shù)據(jù)準(zhǔn)備、數(shù)
講師：葉梓詳情
人工智能“最強(qiáng)模型”transformer詳解【課程簡介】Transformer是迄今為止人工智能領(lǐng)域的最新和最強(qiáng)大的模型類別之一。它幾乎正在憑借一己之力來推動深度學(xué)習(xí)的又一波重大進(jìn)步。Transformer模型充分運(yùn)用了稱為注意力和自注意力機(jī)制，以檢測系列（或圖像）中元素相互影響和相互依賴的微妙關(guān)系。本課程通過2天時間的詳細(xì)介紹，可使學(xué)習(xí)者初步了解Tran
講師：葉梓詳情
人工智能+自然語言處理3天 03.03
||1.人工智能概述||第一節(jié)：人工智能與機(jī)器學(xué)習(xí)基礎(chǔ)|2.機(jī)器學(xué)習(xí)概述|||3.機(jī)器學(xué)習(xí)算法應(yīng)用分析|||1.一元線性回歸|||2.代價(jià)函數(shù)|||3.梯度下降法||第二節(jié)：回歸算法|4.sklearn一元線性回歸應(yīng)用|||5.多元線性回歸|||6.sklearn多元線性回歸應(yīng)用|||案例：葡萄酒質(zhì)量和時間的關(guān)系|||1.KNN分類算法介紹|||2.KNN分
講師：葉梓詳情
人工智能算法詳解 03.03
人工智能技術(shù)詳解【課程內(nèi)容】本課程包含大數(shù)據(jù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、知識圖譜、強(qiáng)化學(xué)習(xí)與深度強(qiáng)化學(xué)習(xí)的相關(guān)知識。【課程時長】7天（7小時/天）【課程對象】理工科本科及以上，且至少了解一門編程語言?！菊n程大綱】（培訓(xùn)內(nèi)容可根據(jù)客戶需求調(diào)整）時間內(nèi)容案例實(shí)踐與練習(xí)Day1上午準(zhǔn)備工作準(zhǔn)備工作1.概念與術(shù)語2.Python（Anaconda）的安裝3.Pycharm
講師：葉梓詳情
人工智能與深度學(xué)習(xí)_3天 03.03
人工智能與深度學(xué)習(xí)第一天：人工智能概念與經(jīng)典算法人工智能概念綜述（第一天——1）從一些術(shù)語辨析人工智能人工智能之連接主義的興衰史這次AI的熱潮是怎么來的？圖像處理領(lǐng)域的最新熱點(diǎn)（第一天——2）分類、目標(biāo)檢測與實(shí)例分割風(fēng)格遷移自動駕駛?cè)梭w姿態(tài)識別超分辨率圖像生成語言處理領(lǐng)域的最新熱點(diǎn)（第一天——3）Attention機(jī)制自動構(gòu)建知識圖譜看圖說話預(yù)訓(xùn)練機(jī)制三大經(jīng)
講師：葉梓詳情
人工智能之最新自然語言處理技術(shù)與實(shí)戰(zhàn)課程介紹：自然語言處理(簡稱NLP)是計(jì)算機(jī)科學(xué)和人工智能研究的一個重要方向，研究計(jì)算機(jī)和理解和運(yùn)用人類語言進(jìn)行交互的問題，它是集語言學(xué)、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、大數(shù)據(jù)于一體的綜合學(xué)科。本課程主要介紹了NLP中的常用知識點(diǎn)：分詞、詞法分析、句法分析、向量化方法、經(jīng)典的NLP機(jī)器學(xué)習(xí)算法，還重點(diǎn)介紹了NLP中最近兩年來基于大規(guī)模語
講師：葉梓詳情
第一天上午：統(tǒng)計(jì)分析原理從最簡單的案例開始統(tǒng)計(jì)基礎(chǔ)描述性統(tǒng)計(jì)用SPSS實(shí)現(xiàn)描述性統(tǒng)計(jì)的案例回歸分析：線性回歸回歸分析：logistics回歸用SPSS實(shí)現(xiàn)回歸分析的案例可視化工具第一天下午：數(shù)據(jù)庫與數(shù)據(jù)倉庫介紹數(shù)據(jù)庫概述SQL（基本的增、刪、改、查）SQL（稍復(fù)雜的子句或嵌套）基于MySQL的上機(jī)操作SQL語言數(shù)據(jù)倉庫：度量與維度數(shù)據(jù)倉庫：星型模型、雪花模型
講師：葉梓詳情
- [潘文富]經(jīng)銷商終端建設(shè)的基本推進(jìn)
- [潘文富]中小企業(yè)招聘廣告的內(nèi)容完
- [潘文富]優(yōu)化考核方式，減少員工抵
- [潘文富]廠家心目中的理想化經(jīng)銷商
- [潘文富]經(jīng)銷商的產(chǎn)品驅(qū)動與管理驅(qū)
- [王曉楠]輔警轉(zhuǎn)正方式，定向招錄成為
- [王曉楠]西安老師招聘要求，西安各區(qū)
- [王曉楠]西安中小學(xué)教師薪資福利待遇
- [王曉楠]什么是備案制教師？備案制教
- [王曉楠]2024年陜西省及西安市最
- 1社會保障基礎(chǔ)知識(ppt) 21190
- 2安全生產(chǎn)事故案例分析(ppt) 20269
- 3行政專員崗位職責(zé) 19069
- 4品管部崗位職責(zé)與任職要求 16261
- 5員工守則 15483
- 6軟件驗(yàn)收報(bào)告 15419
- 7問卷調(diào)查表(范例) 15136
- 8工資發(fā)放明細(xì)表 14576
- 9文件簽收單 14232