培訓地點

北京

南京

廣州

北京

培訓時間

4月

21-23

7月

29-31

9月

22-24

11月

24-26

培訓方式

· 現場面授     · 線上授課     · 錄播回放

專家授課

· 3天集中培訓學習：每天6課時，實戰(zhàn)專家授課

· 理論梳理     · 案例分享     · 實戰(zhàn)演練

紙質資料

AI大模型全棧工程師實戰(zhàn)訓練營講義

學習平臺

PC端：http://it.zpedu.com/     移動端APP：IT云課

社群服務

· 學員在線交流     · 專家在線答疑     · 班主任教學管理

此課程可根據具體需求定制企業(yè)內訓解決方案

第一天

預備知識第一節(jié)：大模型理論知識

1、初探大模型：起源與發(fā)展

2、GPT模型家族：從始至今

3、大模型_GPT_ChatGPT的對比介紹

4、大模型實戰(zhàn)-大模型2種學習路線的講解

5、 大模型最核心的三項技術:模型、微調和開發(fā)框架

6、 0penAl GPT系列在線大模型技術生態(tài)

7、0penAl文本模型A、B、C、D四大模型引擎簡介

8、0penAl語音模型Whisper與圖像型DALL·E模型介紹

9、最強Embedding大模型text-embedding-ada模型介紹

10、全球開源大模型性能評估榜單

11、中文大模型生態(tài)介紹與GLM 130B模型介紹

12、ChatGLM模型介紹與部署門檻

13、ChatGLM開源生態(tài):微調、多模態(tài)，WebUI等項目簡介

預備知識第二節(jié)：自注意力機制、Transformer模型、BERT模型

RNN-LSTM-GRU等基本概念

編碼器、解碼器

自注意力機制詳解

Transformer

Mask Multi-Head Attention

位置編碼

特定于任務的輸入轉換

無監(jiān)督預訓練、有監(jiān)督Fine-tuning

BERT思路的理解

BERT模型下游任務的網絡層設計

BERT的訓練

HuggingFace中BERT模型的推斷

基于上下文的學習

代碼和案例實踐：

基本問答系統(tǒng)的代碼實現

深入閱讀理解的代碼實現

段落相關性代碼實現

第一節(jié)：

GPT1、GPT2、GPT3、chatGPT原理與實戰(zhàn)

監(jiān)督微調（SFT）模型、

指示學習和提示學習

簡單提示、小樣本提示、基于用戶的提示

指令微調

RLLHF技術詳解（從人類的反饋中學習）

聚合問答數據訓練獎勵模型（RM）

強化學習微調、PPO、

 InstructGPT遵循用戶意圖使用強化學習方案

Instruct Learning vs. Prompt Learning

ChatGPT增加增加了Chat屬性

AI 系統(tǒng)的新范式

GPT1-GPT2-GPT3-InstructGPT的-chatGPT的技術關系

代碼和案例實踐：

使用chatGPT打造你的私人聊天助理

演示提示詞技巧，翻譯器潤色器、JavaScript 控制臺 、Excel Sheet

網站定制chatgpt-web

第二節(jié)：

Embedding模型實戰(zhàn)

大模型技術浪潮下的Embedding技術定位

Embedding技術入門介紹

從Ono-hot到Embedding

Embedding文本衡量與相似度計算

OpenAl Embedding模型與開源Embedding框架

兩代OpenAl Embedding模型介紹

text-embedding-ada-002模型調用方法詳解

text-embedding-ada-002模型參數詳解與優(yōu)化策略

借助Embedding進行特征編碼

Embedding結果的可視化展示與結果分析

【實戰(zhàn)】借助Embedding特征編碼完成有監(jiān)督預測

【實戰(zhàn)】借助Embedding進行推薦系統(tǒng)冷啟動

【實戰(zhàn)】借助Embedding進行零樣本分類與文本搜索

Embedding模型結構微調優(yōu)化

借助CNN進行Embedding結果優(yōu)化

【企業(yè)級實戰(zhàn)】海量文本的Embedding高效匹配

第三節(jié)：

LLM應用程序技術棧和提示詞工程Prompt Enginerring

設計模式：上下文學習

數據預處理/嵌入

提示構建/檢索

提示執(zhí)行/推理

數據預處理/嵌入

Weaviate、Vespa 和 Qdrant等開源系統(tǒng)

Chroma 和 Faiss 等本地向量管理庫

pgvector 等OLTP 擴展

提示構建/檢索

提示執(zhí)行/推理

新興的大語言（LLM）技術棧

數據預處理管道（data preprocessing pipeline）

嵌入終端（embeddings endpoint ）+向量存儲（vector store）

LLM 終端（LLM endpoints）

LLM 編程框架（LLM programming framework）

LangChain的主要功能及模塊

Prompts: 這包括提示管理、提示優(yōu)化和提示序列化。

LLMs: 這包括所有LLMs的通用接口，以及常用的LLMs工具。

Document Loaders: 這包括加載文檔的標準接口，以及與各種文本數據源的集成。

Utils: 語言模型在與其他知識或計算源的交互

Python REPLs、嵌入、搜索引擎等

LangChain提供的常用工具

Indexes：語言模型結合自定義文本數據

Agents：動作執(zhí)行、觀測結果，

LangChain的代理標準接口、可供選擇的代理、端到端代理示例

Chat：Chat模型處理消息

代碼和案例實踐：

LLM大模型的使用

Prompts的設計和使用

第二天

第四節(jié)：LangChain的使用

構建垂直領域大模型的通用思路和方法

(1) 大模型+知識庫

(2) PEFT(參數高效的微調)

(3) 全量微調

(4) 從預訓練開始定制

LangChain介紹

LangChain模塊學習-LLMs 和 Prompts

LangChain之Chains模塊

LangChain之Agents模塊

LangChain之Callback模塊

Embedding嵌入

自定義知識庫

知識沖突的處理方式

向量化計算可采用的方式

文檔加載器模塊

向量數據庫問答的設計

Lanchain競品調研和分析

Dust.tt/Semantic-kernel/Fixie.ai/Cognosis/GPT-Index

LlamaIndex介紹

LlamaIndex索引

動手實現知識問答系統(tǒng)

代碼和案例實踐：

動手實現知識問答機器人

LangChain文本摘要

PDF文本閱讀問答

第五節(jié)：

國產大模型ChatGLM

新一代GLM-4模型入門介紹

智譜Al Mass開放平臺使用方法03GLM在線大模型生態(tài)介紹

CharGLM、CogView. Embedding模型介紹

GLM在線知識庫使用及模型計費說明

GLM模型API一KEY獲取與賬戶管理方法

GLM模型SDK調用與三種運行方法

GLM4調用函數全參數詳解

GLM4 Message消息格式與身份設置方法

GLM4 tools外部工具調用方法

GLM4 Function calling函數封裝12GLM4接入在線知識庫retrieval流程

GLM4接入互聯網web_search方法

【實戰(zhàn)】基于GLM4打造自動數據分析Agent

【實戰(zhàn)】基于GLM4的自然語言編程實戰(zhàn)

【實戰(zhàn)】基于GLM4 Function call的用戶意圖識別

【實戰(zhàn)】基于GLM4的長文本讀取與優(yōu)化

第六節(jié)：

Sora大模型技術優(yōu)勢

什么是Sora

Sora視頻生成能力

Sora技術獨特之處

統(tǒng)一的視覺數據表示

視頻壓縮網絡

擴散型變換器模型

視頻壓縮與潛在空間

第七節(jié)：

語言理解與字幕生成及其應用

使用圖像和視頻作為提示詞

動畫DALL·E圖像

擴展生成的視頻

視頻到視頻編輯

連接視頻

字幕生成

重字幕技術

GPT技術應用

第三天

第八節(jié)：

圖像生成和應用實操

新興的仿真功能

長期連續(xù)性和物體持久性

角色和物體的一致性

視頻內容的連貫性

與世界互動

簡單影響行為模擬

模擬數字世界

第九節(jié)：

應用場景與潛力分析

電影與娛樂產業(yè)

游戲開發(fā)

教育與培訓

廣告與營銷

科學研究與模擬

生成數據

畢業(yè)生職位分類案例研究

提示函數

FunctionCalling

提示工程在模型上的應用

AI聊天社交應用

CallAnnie

NewBing

AI輔助文章創(chuàng)作

迅捷AI寫作

ChibiAI

AI辦公智能助手

GrammaAI

AI藝術領域創(chuàng)作

第十節(jié)：

大模型企業(yè)商用項目實戰(zhàn)講解

使用大模型實現推薦系統(tǒng)（商用案例）

使用大模型實現汽車在線銷售系統(tǒng)

企業(yè)自然語言sql生成（企業(yè)內部系統(tǒng)使用）