AIGC-6天

基于人工智能的內(nèi)容生成（AIGC）
【課程簡(jiǎn)介】
無(wú)論是火遍全網(wǎng)的AI繪畫，還是震驚世人的ChatGPT，都屬于AIGC（基于人工智能的內(nèi)容生成）這一概念。AIGC并不是一個(gè)全新的概念，它最早出現(xiàn)在深度學(xué)習(xí)模型“對(duì)抗生成網(wǎng)絡(luò)”GAN的應(yīng)用中，被譽(yù)為“21世紀(jì)最強(qiáng)大的算法模型之一” ，后續(xù)發(fā)展起來(lái)的擴(kuò)散模型，以及自然語(yǔ)言領(lǐng)域BERT、GPT等都是典型的AIGC模型。
本課程以AIGC發(fā)展歷程為主線，由淺入深介紹了AIGC相關(guān)模型的技術(shù)和應(yīng)用場(chǎng)景，可以作為AIGC領(lǐng)域?qū)W習(xí)者的入門到進(jìn)階級(jí)課程。
【課程時(shí)長(zhǎng)】
6天（6小時(shí)/天）
【課程對(duì)象】
理工科本科及以上，且至少了解一門編程語(yǔ)言。
【課程大綱】（培訓(xùn)內(nèi)容可根據(jù)客戶需求調(diào)整）
時(shí)間
內(nèi)容
案例實(shí)踐與練習(xí)
Day1上午
綜述與準(zhǔn)備
AIGC綜述
AIGC的概念
AIGC的應(yīng)用場(chǎng)景
AIGC的知識(shí)地圖
準(zhǔn)備工作
概念與術(shù)語(yǔ)
Python（Anaconda）的安裝
Pycharm的安裝與使用
Jupyter Notebook的安裝與使用
Tensorflow與pytorch的安裝
Opencv、Sklearn工具包的運(yùn)用
案例實(shí)踐：
Anaconda安裝
Pip install的技巧
Tensorflow-GPU的安裝
pytorch的安裝
Jupyter Notebook的使用
Opencv的基本例子
Day1下午
基礎(chǔ)模型
基礎(chǔ)的基礎(chǔ)：神經(jīng)網(wǎng)絡(luò)
人工神經(jīng)元及感知機(jī)模型
Sigmoid激活函數(shù)
前向神經(jīng)網(wǎng)絡(luò)的架構(gòu)
梯度下降
誤差反向傳播詳解
基礎(chǔ)的基礎(chǔ)：性能評(píng)價(jià)指標(biāo)（5）
精確率；
P、R與F1
ROC與AUC
對(duì)數(shù)損失
泛化性能評(píng)價(jià)：k折驗(yàn)證驗(yàn)證
案例實(shí)踐：
手算神經(jīng)網(wǎng)絡(luò)BP算法
只用numpy，手推BPNN
Day2上午
深度學(xué)習(xí)基礎(chǔ)
深度學(xué)習(xí)基礎(chǔ)
連接主義的興衰
深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系
目標(biāo)函數(shù)與激勵(lì)函數(shù)
學(xué)習(xí)步長(zhǎng)
權(quán)重初始化
權(quán)重衰減（Weight Decay）
梯度下降的方法
避免過(guò)適應(yīng)
圖像處理基礎(chǔ)：用于分類的CNN
圖像分類概述
AlexNet
ZF-Net
卷積層的誤差反向傳播
池化層的誤差反向傳播
VGG（5層變?yōu)?組）
遷移學(xué)習(xí)
GoogLenet和Inception模塊
模型退化與ResNet
DenseNet（充分利用特征）
最新的efficientnet
案例實(shí)踐：
通過(guò)深度BP網(wǎng)絡(luò)實(shí)現(xiàn)手寫數(shù)字的識(shí)別
各種梯度下降方法的實(shí)戰(zhàn)效果
Batch normalization的實(shí)戰(zhàn)效果
VGG各層的可視化展現(xiàn)
遷移學(xué)習(xí)：識(shí)別貓和狗
Resnet用于圖像分類
Day2下午
圖像生成模型
VAE
GAN
早期圖像生成模型：VAE
圖像生成模型
AE
VAE
DAE
圖像生成經(jīng)典模型：GAN
生成對(duì)抗網(wǎng)絡(luò)（GAN）
KL散度與JS散度
改進(jìn)的GAN：DCGAN
加上約束：infoGAN
根本上解決：Wasserstein GAN
Zoo of GAN
案例實(shí)踐：
GAN生成的數(shù)字
VAE生成的數(shù)字
babyGAN：特朗普的孩子？
styleGAN：查無(wú)此人
Day3上午
圖像分類 CNN
圖像分類CNN
自然語(yǔ)言處理基礎(chǔ)（1）
語(yǔ)言模型
Bi-Gram與N-Gram
機(jī)械分詞與統(tǒng)計(jì)分詞
詞性標(biāo)注
命名實(shí)體識(shí)別
情感分析
自然語(yǔ)言生成基礎(chǔ)：RNN
RNN基本原理
LSTM、GRU
雙向循環(huán)神經(jīng)網(wǎng)絡(luò)
編碼器與解碼器結(jié)構(gòu)
seq2seq模型
Attention
圖片->文字的生成：NIC
案例實(shí)踐：
jieba的分詞效果
交易數(shù)據(jù)的預(yù)測(cè)；
《絕代雙驕》人物關(guān)系分析
SnowNLP：褒義的中性詞
Show and tell模型效果
Day4上午
自然語(yǔ)言處理
自然語(yǔ)言生成基礎(chǔ)：詞向量
W2V:CBOW
W2V:skip-gram
W2V:Hierachical Softmax
W2V:Negative Sampling
自然語(yǔ)言生成進(jìn)階：Transformer
所需的僅僅是“注意力”
Transformer中的block
自注意力機(jī)制
多頭注意力
位置編碼（拋棄RNN）
Batch Norm與Layer Norm
解碼器的構(gòu)造
案例實(shí)踐：
藏頭詩(shī)生成；
《絕代雙驕》分析
SnowNLP：褒義的中性詞
Word2vec代碼解讀
手撕Transformer
Day4下午
預(yù)訓(xùn)練模型基礎(chǔ)
自然語(yǔ)言生成進(jìn)階：BERT
BERT整體架構(gòu)
Masked-LM
Next Sentence Prediction
改造下游任務(wù)
WordPiece作為輸入
哪些改進(jìn)起作用？
自然語(yǔ)言生成進(jìn)階：GPT
“獨(dú)角獸”的威力
GPT的內(nèi)部架構(gòu)
基于Transformer的改造
自注意力機(jī)制的改進(jìn)
GPT的應(yīng)用場(chǎng)景
GPT-3
最新的GPT-3.5
基于圖像補(bǔ)全的模型：MAE
iGPT
Vision Transformer（ViT）
BEiT
MAE令人驚奇的效果
MAE詳解
案例實(shí)踐：
BERT代碼解讀
BERT下游任務(wù)的改造
讓GPT寫一篇散文
GPT會(huì)做小學(xué)應(yīng)用題嗎？
MAE的效果
Day5上午
強(qiáng)化學(xué)習(xí)
強(qiáng)化學(xué)習(xí)基礎(chǔ)
agent的屬性
馬爾科夫獎(jiǎng)勵(lì)/決策過(guò)程
exploration and exploitation
狀態(tài)行為值函數(shù)
Bellman期望方程
最優(yōu)策略
強(qiáng)化學(xué)習(xí)經(jīng)典方法
策略迭代與價(jià)值迭代
蒙特卡洛法
時(shí)序差分法
DP、MC、TD的關(guān)系
案例實(shí)踐：
格子世界
谷底的小車
倒立擺
blackjack
Day5下午
深度強(qiáng)化學(xué)習(xí)
深度強(qiáng)化學(xué)習(xí)
值函數(shù)的參數(shù)化表示
值函數(shù)的估計(jì)過(guò)程
深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的結(jié)合
基礎(chǔ)的DQN 方法
Double DQN
Prioritized Replay
Dueling Network
基于信賴域的深度強(qiáng)化學(xué)習(xí)
信賴域系方法背景
信賴域系方法發(fā)展路線圖
TRPO方法
PPO方法
案例實(shí)踐：
井字棋
笨鳥(niǎo)先飛：DQN
Day6上午
最新生成模型
擴(kuò)散模型（圖像生成最新模型）綜述
1、擴(kuò)散模型與GAN、VAE的關(guān)系
2、擴(kuò)散模型常用算法
3、擴(kuò)散模型的應(yīng)用領(lǐng)域
擴(kuò)散模型之DDPM
1、整體流程
2、前向與還原步驟
3、訓(xùn)練與采樣過(guò)程
4、模型結(jié)構(gòu)
5、實(shí)驗(yàn)效果
擴(kuò)散模型之DDIM
1、前提條件
2、優(yōu)化推理與優(yōu)化前置條件
4、實(shí)驗(yàn)效果
擴(kuò)散模型之CLIP
1、基本概念
2、模型架構(gòu)
3、實(shí)驗(yàn)效果
案例實(shí)踐：
DDPM的效果
CLIP的效果
Day6下午
最新生成模型及chatGPT
擴(kuò)散模型之DALLE-2
1、整體架構(gòu)
2、PIROR模塊與DECODER模塊
4、效果對(duì)比
擴(kuò)散模型之Stable-Diffusion
1、整體架構(gòu)
2、潛在表達(dá)得生成模型
3、條件化機(jī)制
4、實(shí)驗(yàn)效果
chatGPT（自然語(yǔ)言生成最新模型）
1、技術(shù)背景
2、主要特點(diǎn)
3、ChatGPT的訓(xùn)練過(guò)程
4、InstructGPT與PPO
5、WebGPT和CICERO
6、chatGPT的應(yīng)用領(lǐng)域
7、chatGPT引發(fā)的討論
案例實(shí)踐：
異想天開(kāi)的DALL-E 2
匪夷所思的chatGPT
其他生成模型效果演示

葉梓老師的其它課程