課程簡介

課程涵蓋NLP、CV、大模型原理與代碼，深入剖析主流大模型應(yīng)用、技術(shù)對(duì)比與選型，傳授辦公效率提升的Prompt技巧，詳解本地大模型私有化部署流程，包括環(huán)境搭建、模型獲取與推理服務(wù)啟動(dòng)等。此外，課程還涉及模型大微調(diào)、蒸餾技術(shù)及基于DeepSeek的私有化代碼編程，助力學(xué)員掌握知識(shí)庫建設(shè)與自定義問答，并優(yōu)化大模型系統(tǒng)性能。通過實(shí)戰(zhàn)案例與實(shí)操指導(dǎo)，全方位提升學(xué)員在人工智能領(lǐng)域的技術(shù)能力與應(yīng)用水平。

目標(biāo)收益

培訓(xùn)對(duì)象

學(xué)員要求：本課程面向有一定經(jīng)驗(yàn)的數(shù)據(jù)分析師、AI工程師或業(yè)務(wù)建模專家。因?yàn)樯婕癗LP、CV、大模型三個(gè)方面的原理和代碼，建議有一定的IT基礎(chǔ)，具備基礎(chǔ)的Python知識(shí)。

課程內(nèi)容

第一節(jié)主流大模型應(yīng)用介紹和模型間的商業(yè)集成（1小時(shí)）
典型大模型比較
1. GPT-4（OpenAI）
2. Claude（Anthropic）
3. Gemini（Google）
4. Llama（Meta）
5. QWen（阿里）
6. Coze（字節(jié)跳動(dòng)）
7. DeepSeek（深度求索-幻方量化）
大模型整體技術(shù)闡述：主流技術(shù)、小眾技術(shù)有哪些
基于Transformer架構(gòu)和支持復(fù)雜上下文理解
大模型的量化壓縮
GPT4的多模態(tài)能力（文本、圖像輸入）、邏輯推理、長文本生成。
GPT4應(yīng)用場景建議：對(duì)話系統(tǒng)、內(nèi)容創(chuàng)作、數(shù)據(jù)分析、教育
DeepSeek的數(shù)學(xué)、中文問答、CoT、代碼生成等方向的sota做法，長上下文優(yōu)化
DeepSeek的MoE架構(gòu)，在R1、V3兩個(gè)不同模型上的對(duì)比技術(shù)亮點(diǎn)
DeepSeek應(yīng)用場景建議：一般性問答、金融數(shù)據(jù)分析、科研計(jì)算、教育解題
DeepSeek與火山Coze的商用集成方案
第二節(jié)大模型技術(shù)對(duì)比和主流大模型選型（2小時(shí)）
1 模型選擇
?Deepseek-R1 (7B/67B)：中文領(lǐng)域表現(xiàn)SOTA，支持長上下文推理
?Llama-3 (8B/70B)：Meta最新開源模型，多語言通用底座
?Mistral-8x7B：MoE架構(gòu)標(biāo)桿，推理效率提升3倍
?Qwen-72B：阿里千問開源版，金融法律領(lǐng)域微調(diào)能力強(qiáng)
2 基礎(chǔ)環(huán)境搭建實(shí)操
?硬件要求：至少24GB顯存（如RTX 3090/A10） + 64GB內(nèi)存
?軟件依賴：
oCUDA 12.1 + cuDNN 8.9
oPyTorch 2.2 + Transformers 4.38
oFlashAttention-2加速庫
oOllama、vLLM、AngthingLLM等平臺(tái)的安裝
o關(guān)鍵配置：LD_LIBRARY_PATH添加cuda路徑，設(shè)置PYTORCH_CUDA_ALLOC_CONF防止顯存碎片
o
第三節(jié)大模型辦公效率提升和提示詞Prompt技巧（2小時(shí)）
DeepSeek應(yīng)用
AI工具對(duì)個(gè)人與企業(yè)影響
DeepSeek與Llama3、Qwen的對(duì)比
DeepSeek網(wǎng)頁版與本地版功能對(duì)比
7B小模型與32B模型功能對(duì)比
DeepSeek角色扮演，打造不同領(lǐng)域的專屬AI顧問
PPT中AI智能應(yīng)用
AI自動(dòng)排版
AI自動(dòng)搜圖
DeepSeek輔助PPT創(chuàng)意構(gòu)思
DeepSeek融合專業(yè)PPT應(yīng)用工具
DeepSeek關(guān)聯(lián)PPT智能插件應(yīng)用
Excel中的AI智能數(shù)據(jù)魔法
AI自動(dòng)分析、格式化
AI自動(dòng)圖表、透視表
DeepSeek輔助Excel深度數(shù)據(jù)分析
DeepSeek函數(shù)編寫“神助攻”，助力函數(shù)菜鳥成高手
DeepSeek編寫VBA代碼，讓零基礎(chǔ)寫代碼變得簡單高效
將工作表數(shù)據(jù)拆分成多個(gè)工作表
將工作表數(shù)據(jù)拆分成多個(gè)工作簿
將多個(gè)工作表數(shù)據(jù)合并成一個(gè)工作表
多個(gè)工作簿中的工作表保存到一個(gè)工作簿
ChatGPT助力Excel自動(dòng)化實(shí)戰(zhàn)
DeepSeek創(chuàng)意枯竭時(shí)的靈感源泉
營銷文案、工作報(bào)告、創(chuàng)意寫作的生成案例
DeepSeek快速精準(zhǔn)地提煉文檔信息
DeepSeek助力文檔智能糾錯(cuò)與優(yōu)化建議
DeepSeek助力學(xué)術(shù)論文撰寫得力助手
第四節(jié)本地大模型私有化部署（2小時(shí)）
1 Deepseek-R1蒸餾版的部署實(shí)操
1.模型獲?。?br /> o通過HuggingFace官方倉庫申請權(quán)限
o下載deepseek-r1-7B、8B、32B、70B的safetensors格式權(quán)重
2.推理服務(wù)啟動(dòng)
o關(guān)鍵參數(shù)trust_remote_code、max_model_len等的講解
o解釋器多種啟動(dòng)服務(wù)方式對(duì)比
3.服務(wù)驗(yàn)證
o代碼調(diào)用
o服務(wù)API的參數(shù)設(shè)置
2 Deepseek-R1 671B滿血版的部署流程
1.模型獲?。?br /> oHuggingFace/Modelscope/github的參數(shù)下載
2.硬件配置說明
o16張A100，700G顯存的剛性支持
o2T硬盤空間，權(quán)重文件和臨時(shí)文件
3.對(duì)標(biāo)模型的比較
oQwQ系列的突然開源
o解釋阿里的32B是如何對(duì)抗671B的模型的
3 Llama-3-8B快速部署
1.量化加速
oFP8的特點(diǎn)
o對(duì)比Deepseek原論文中量化章節(jié)的解讀
2.REST API調(diào)用：
o深度學(xué)習(xí)系統(tǒng)部署的常用方式
o針對(duì)AI算法的部署框架

第五節(jié)大模型微調(diào)和模型訓(xùn)練（3小時(shí)）
1 Deepseek-R1領(lǐng)域數(shù)據(jù)微調(diào)
1.數(shù)據(jù)準(zhǔn)備：
o格式：JSONL文件，每條含instruction/input/output
o數(shù)據(jù)源：財(cái)報(bào)、券商研報(bào)、金融問答對(duì)、運(yùn)營商問答對(duì)、意圖識(shí)別數(shù)據(jù)
o關(guān)鍵處理：使用SentencePiece重組專業(yè)術(shù)語tokenization
2.QLoRA訓(xùn)練配置
o微調(diào)在大模型中的常用方法
o多種LoRA方式的對(duì)別
3.啟動(dòng)訓(xùn)練
o顯存優(yōu)化
oGPU并行
2 探討適合微調(diào)的業(yè)務(wù)場景
o闡述項(xiàng)目中RAG模式和LoRA模式的選擇
o探討微調(diào)方案的優(yōu)勢，分析不適合微調(diào)的場景
第六節(jié)大模型的蒸餾（2小時(shí)）
大模型蒸餾需掌握的核心內(nèi)容
模型蒸餾的知識(shí)遷移
參數(shù)量壓縮、計(jì)算效率提升
教師-學(xué)生架構(gòu)?
BERT/GPT到MobileNet的蒸餾
軟標(biāo)簽與硬標(biāo)簽?的選擇
損失函數(shù)設(shè)計(jì)?、溫度參數(shù)
知識(shí)蒸餾和特征蒸餾的區(qū)別
硬蒸餾與軟蒸餾?的區(qū)別
超參數(shù)學(xué)習(xí)率、溫度參數(shù)、損失權(quán)重等調(diào)優(yōu)?
思考移動(dòng)端部署或邊緣計(jì)算的環(huán)境場景
DistilBERT、TinyBERT等預(yù)蒸餾模型
Deepseek中教師模型的產(chǎn)生機(jī)制
Deepseek使用的蒸餾技術(shù)總結(jié)
第七節(jié)基于DeepSeek私有化代碼編程（1小時(shí)）
本地化模型部署
模型獲取與安裝
DeepSeek獲取私有化模型安裝包，模型文件（權(quán)重+配置文件）
硬件選型：GPU算力、內(nèi)存、存儲(chǔ)，并安裝依賴環(huán)境CUDA、Docker、Python庫
服務(wù)器內(nèi)網(wǎng)環(huán)境管理和必要的設(shè)置
開發(fā)工具本地化集成、IDE插件適配
Cursor、CodeGPT等工具配置，模型調(diào)用指向DeepSeek API，禁用云端服務(wù)
搭建本地模型服務(wù)（RESTful API或gRPC）
離線依賴管理：搭建私有倉庫
禁用外部數(shù)據(jù)傳輸，關(guān)閉開發(fā)工具自動(dòng)更新、云同步功能
對(duì)模型文件、代碼庫進(jìn)行加密存儲(chǔ)，記錄所有模型調(diào)用日志
記錄用戶操作（如模型調(diào)用、代碼提交）
確定DeepSeek的離線更新流程，及時(shí)模型補(bǔ)丁
第八節(jié)知識(shí)庫建設(shè)與自定義知識(shí)問答（3小時(shí)）
1私有數(shù)據(jù)的文檔生成系統(tǒng)全流程實(shí)操
架構(gòu)設(shè)計(jì)：
1.數(shù)據(jù)層：Wind API實(shí)時(shí)獲取宏觀指標(biāo) + PDF解析模塊
2.推理層：
oDeepseek-R1作為生成核心
oMistral-8x7B進(jìn)行事實(shí)核查
3.評(píng)估層：
oRouge-L評(píng)估內(nèi)容一致性
oFinBERT檢測財(cái)務(wù)數(shù)據(jù)矛盾
以部署拓?fù)淅砬逭w脈絡(luò)
常規(guī)分析、復(fù)雜計(jì)算、數(shù)據(jù)采集、向量數(shù)據(jù)庫、路由決策、Deepseek-R1/Mistral-8x7B、合規(guī)審查、PDF輸出
2 基于知識(shí)庫的問答系統(tǒng)實(shí)操
關(guān)鍵技術(shù)點(diǎn)：
1.RAG增強(qiáng)：
o使用LlamaIndex構(gòu)建行業(yè)知識(shí)圖譜
oFAISS向量庫實(shí)現(xiàn)百萬級(jí)文檔秒級(jí)檢索
2.記憶管理：
o緩存最近輪次的對(duì)話摘要
o采用CoT（Chain-of-Thought）提示工程技術(shù)
3.風(fēng)控?cái)r截：
o關(guān)鍵詞過濾（如“保證收益”、“100%”等違規(guī)表述）
o置信度閾值設(shè)定（softmax概率<0.7時(shí)觸發(fā)人工接管）
第九節(jié)大模型系統(tǒng)優(yōu)化（2小時(shí)）
1 性能加速方案
?量化壓縮：
oGPTQ 4bit量化使模型體積減少70%
o采用DeepseekV3提出的MTP技術(shù)實(shí)現(xiàn)tokens
?緩存策略：
oKV Cache分塊存儲(chǔ)，降低重復(fù)計(jì)算
o高頻問題回答預(yù)生成
2 監(jiān)控體系建設(shè)
1.業(yè)務(wù)指標(biāo)：
o平均響應(yīng)時(shí)間<2.5s
o意圖識(shí)別準(zhǔn)確率>92%
2.模型指標(biāo)：
oPPL（困惑度）波動(dòng)監(jiān)控
oAttention熵值異常檢測
3.硬件監(jiān)控：
oGPU利用率>85%時(shí)自動(dòng)擴(kuò)容
o顯存泄漏預(yù)警機(jī)制