計(jì)算機(jī)視覺(jué)的深度學(xué)習(xí)實(shí)踐

計(jì)算機(jī)視覺(jué)的深度學(xué)習(xí)實(shí)踐
【課程時(shí)長(zhǎng)】
3天（6小時(shí)/天）
【課程簡(jiǎn)介】
在所有人工智能的應(yīng)用方向上，計(jì)算機(jī)視覺(jué)/機(jī)器視覺(jué)圖像處理的落地應(yīng)用最為成熟，近兩年的技術(shù)發(fā)展是最為迅猛。
以互聯(lián)網(wǎng)巨頭為代表的企業(yè)正在開(kāi)展如：基于識(shí)別的智能機(jī)器人，無(wú)人駕駛，人臉識(shí)別、圖像搜索，圖像處理，游戲界面等；專(zhuān)門(mén)從事視覺(jué)、圖像處理的新興公司正在發(fā)力于人臉識(shí)別，檢測(cè)，跟蹤，安防等領(lǐng)域。只有對(duì)計(jì)算機(jī)視覺(jué)這個(gè)領(lǐng)域有了一個(gè)初步的全面了解才能在這些領(lǐng)域進(jìn)行研究，一步步深入下去。
【課程目標(biāo)】
計(jì)算機(jī)視覺(jué)領(lǐng)域的重點(diǎn)研究問(wèn)題。由淺入深得 講解數(shù)字圖像的存儲(chǔ)、預(yù)處理、特征提取，以及在深度學(xué)習(xí)興起之前計(jì)算機(jī)視覺(jué)領(lǐng)域所取得的成就。
專(zhuān)門(mén)介紹深度學(xué)習(xí)的基礎(chǔ)理論知識(shí)，包括神經(jīng) 網(wǎng)絡(luò)的基本原理，以及深度學(xué)習(xí)對(duì)于傳統(tǒng)神經(jīng) 網(wǎng)絡(luò)的關(guān)鍵改進(jìn)。
重點(diǎn)介紹深度學(xué)習(xí)模型在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用。具體涉及在計(jì)算機(jī)視覺(jué)領(lǐng)域如何應(yīng)用卷積 神經(jīng)網(wǎng)絡(luò)（CNN)、區(qū)域卷積網(wǎng)絡(luò)（R-CNN) 全卷積網(wǎng)絡(luò)（FCN)、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN)、 長(zhǎng)短時(shí)記憶單元（LSTM)、生成對(duì)抗網(wǎng)絡(luò) (GAN)等解決圖像應(yīng)用的難點(diǎn) 課程將使用Python語(yǔ)言及Tensorflow、Keras 深度學(xué)習(xí)框架等進(jìn)行案例實(shí)踐教學(xué)?！局v師介紹】
葉梓，博士、高級(jí)工程師。2005年上海交通大學(xué)計(jì)算機(jī)專(zhuān)業(yè)博士畢業(yè)，主研方向?yàn)閿?shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能等。現(xiàn)為某大型上市軟件企業(yè)的人工智能團(tuán)隊(duì)技術(shù)負(fù)責(zé)人。曾主持多項(xiàng)國(guó)家戰(zhàn)略級(jí)人工智能項(xiàng)目，主持設(shè)計(jì)并搭建多個(gè)市級(jí)大數(shù)據(jù)平臺(tái)，在大數(shù)據(jù)、人工智能應(yīng)用等方面有著豐富的工程實(shí)踐經(jīng)驗(yàn)。先后在SCI或EI期刊上發(fā)表論文4篇，在中文核心期刊上發(fā)表論文近20篇，并被百度學(xué)術(shù)收錄。2011年獲中國(guó)行業(yè)協(xié)會(huì)科技創(chuàng)新一等獎(jiǎng)。
第一講 課程概述
1、計(jì)算機(jī)視覺(jué)的研究意義
2、計(jì)算機(jī)視覺(jué)的難點(diǎn)
3、當(dāng)前研究的主要熱點(diǎn)問(wèn)題（分類(lèi)、目標(biāo)檢測(cè)、實(shí)例分割、圖說(shuō)等）
4、本課程的主要內(nèi)容介紹
5、相關(guān)開(kāi)源庫(kù)介紹（OpenCV、Tensorflow、Keras、pyTorch等）
6、應(yīng)用案例：搭建tensorflow+opencv的環(huán)境
第二講 圖像預(yù)處理
1、圖像平滑與去噪（高斯濾波、中值濾波等）
2、基于直方圖的對(duì)比度增強(qiáng):CLAHE
3、邊緣檢測(cè)算子（Sobel、拉普拉斯等）
4、形態(tài)學(xué)處理（腐蝕、膨脹、開(kāi)閉運(yùn)算等）
5、高斯金字塔與拉普拉斯金字塔
6、頻域分析及變換（卷積計(jì)算、傅里葉變換、小波變換）
7、應(yīng)用案例：平滑、邊緣檢測(cè)、CLAHE、FFT等
第三講 圖像特征提取
1、顏色特征（量化直方圖、聚類(lèi)直方圖）
2、幾何特征（Edge、Corner、Blob等）
3、Harris角點(diǎn)與FAST角點(diǎn)
4、基于關(guān)鍵點(diǎn)的特征描述子（SIFT、SURF、ORB）
5、其他特征提?。↙BP、Gabor）
6、應(yīng)用案例：SIFT、圖像拼接等
第四講 未有深度學(xué)習(xí)之前
1、基于灰度的圖像分割（閾值分割、區(qū)域生長(zhǎng)、分水嶺等）
2、基于圖論：graph-cut與grab-cut
3、用于人臉檢測(cè)的Haar-like特征與級(jí)聯(lián)分類(lèi)器
4、用于行人檢測(cè)的HOG+SVM
5、用于行人檢測(cè)的多尺度形變部件模型（DPM）
6、應(yīng)用案例：人臉識(shí)別、行人識(shí)別
第五講 神經(jīng)網(wǎng)絡(luò)與誤差反向傳播算法
1、人工神經(jīng)元及感知機(jī)模型
2、目標(biāo)函數(shù)（MSE）
3、激勵(lì)函數(shù)（sigmoid、tanh）
4、誤差反向傳播算法的推導(dǎo)
5、應(yīng)用案例：可以手算的BP神經(jīng)網(wǎng)絡(luò)
6、深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系
第六講 深度學(xué)習(xí)基礎(chǔ)
1、深度學(xué)習(xí)中的目標(biāo)函數(shù)與激勵(lì)函數(shù)
2、深度學(xué)習(xí)中的求解方法（Adagrad、RMSprop、Adam等）
3、深度學(xué)習(xí)中的技巧（dropout、BN、weights decay等）
4、應(yīng)用案例：利用tensorflow實(shí)現(xiàn)的手寫(xiě)數(shù)字識(shí)別
5、卷積神經(jīng)網(wǎng)絡(luò)介紹
6、卷積層的誤差反向傳播
7、池化層的誤差反向傳播
第七講 圖像分類(lèi)
1、競(jìng)賽中的分類(lèi)問(wèn)題
2、CNN的發(fā)展概述
3、開(kāi)山之作：AlexNet4、5層變?yōu)?組：VGG
5、組合所有可能的模型：GoogLeNet6、殘差網(wǎng)絡(luò)：ResNet7、深與寬之外的改進(jìn)方向：ResNext6、應(yīng)用案例：VGG、ResNet第八講 圖像檢索
1、檢索特征（基于顏色，紋理，形狀，局部特征）
2、特征相似度度量（EMD）
3、建立基于深度學(xué)習(xí)的檢索索引
4、知識(shí)點(diǎn)：遷移學(xué)習(xí)的一種實(shí)現(xiàn)（fine-tune）
5、索引加速：KD-tree
6、大數(shù)據(jù)條件下的索引加速：Locality Sensitive Hash
7、應(yīng)用案例：CBIR的應(yīng)用
第九講 目標(biāo)檢測(cè)（上）
1、目標(biāo)檢測(cè)任務(wù)概述
2、區(qū)域卷積神經(jīng)網(wǎng)絡(luò)：R-CNN
3、共享卷積層與多尺度：SPP-Net
4、多任務(wù)的目標(biāo)函數(shù)：Fast R-CNN
5、SS改成RPN：Faster R-CNN
6、其他數(shù)據(jù)集介紹：行人檢測(cè)、人臉檢測(cè)
7、應(yīng)用案例：Faster R-CNN
第十講 目標(biāo)檢測(cè)（下）
1、之前方法的總結(jié)
2、ROI-wise子網(wǎng)繼續(xù)共享：R-FCN
3、回歸解決一切：YOLO v1
4、八大改進(jìn)：YOLO v2
5、構(gòu)建語(yǔ)義樹(shù)：YOLO 9000
6、多尺度預(yù)測(cè)：YOLO v3
7、應(yīng)用案例：Darknet實(shí)現(xiàn)的YOLO
第十一講 通用場(chǎng)景下的圖像分割
1、語(yǔ)義分割
2、全卷積網(wǎng)絡(luò)語(yǔ)義分割：FCN
3、知識(shí)點(diǎn)：反卷積、轉(zhuǎn)置卷積與空洞（膨脹）卷積
4、DeepLab v1（含CRF）
5、DeepLab v2（多尺度）
6、DeepLab v3與v3+(多尺度級(jí)聯(lián))
7、PASCAL VOC、MS COCO、Cityscapes等數(shù)據(jù)集介紹
8、應(yīng)用案例：DeepLab、denseCRF第十二講 醫(yī)療影像分割
1、醫(yī)學(xué)影像分析任務(wù)概述與數(shù)據(jù)集
2、U-Net
3、3D U-NET與V-Net
4、FC-DenseNet5、病理切片分析任務(wù)概述與數(shù)據(jù)集6、病理切片分析的實(shí)現(xiàn)
7、應(yīng)用案例：利用U-Net實(shí)現(xiàn)的器官分割
第十三講 圖像描述（圖說(shuō)）
1、深度學(xué)習(xí)的語(yǔ)言模型（RNN）
2、知識(shí)點(diǎn)介紹；LSTM與GRU
3、圖說(shuō)模型原理與結(jié)構(gòu)
4、模型增強(qiáng)：注意力機(jī)制
5、圖說(shuō)效果的評(píng)判標(biāo)準(zhǔn)
6、數(shù)據(jù)集介紹（MS COCO， Flickr等）
7、應(yīng)用案例：RNN簡(jiǎn)單示例，圖像描述：show and Tell
第十四講 圖像生成
1、變分自編碼器（VAE）
2、生成對(duì)抗網(wǎng)絡(luò)（GAN）
3、知識(shí)點(diǎn)：KL散度與JS散度
4、改進(jìn)的GAN：DCGAN
5、從根本上解決訓(xùn)練的困難：Wasserstein GAN
6、超分辨率問(wèn)題：SRGAN
7、應(yīng)用案例：GAN與DCGAN等

葉梓老師的其它課程