課程簡介

通過本課程第一天深入講解批流一體技術(shù)，包括概念、核心原理、關(guān)鍵技術(shù)，以及 Flink、Hudi 等主流工具的實(shí)戰(zhàn)應(yīng)用和業(yè)界案例分享。第二天聚焦于特征平臺(tái)架構(gòu)與演進(jìn)，闡述建設(shè)方法論、優(yōu)勢(shì)與價(jià)值，并剖析大型互聯(lián)網(wǎng)公司的深度實(shí)踐案例。培訓(xùn)目標(biāo)是讓大數(shù)據(jù)從業(yè)人員、企業(yè) IT 開發(fā)人員等全面掌握相關(guān)技術(shù)與平臺(tái)建設(shè)策略，通過實(shí)戰(zhàn)案例學(xué)習(xí)最佳實(shí)踐，為實(shí)際業(yè)務(wù)應(yīng)用提供堅(jiān)實(shí)基礎(chǔ)，提升數(shù)據(jù)處理與分析能力，實(shí)現(xiàn)效率和質(zhì)量的優(yōu)化。

目標(biāo)收益

1.建立批流一體處理技術(shù)知識(shí)體系，明確批處理與流處理的融合邏輯及應(yīng)用場景。
2.掌握特征平臺(tái)架構(gòu)設(shè)計(jì)方法，了解其演進(jìn)趨勢(shì)與關(guān)鍵組件功能。
3.學(xué)會(huì)制定批流一體化特征平臺(tái)建設(shè)方案，熟悉實(shí)施步驟與核心技巧。
4.熟悉 Flink、Hudi 等主流工具在批流一體場景中的應(yīng)用，借鑒業(yè)界成功經(jīng)驗(yàn)。

培訓(xùn)對(duì)象

?大數(shù)據(jù)從業(yè)人員
?企業(yè)IT開發(fā)人員
?企業(yè)數(shù)據(jù)部門人員

課程內(nèi)容

Day 1：批流一體技術(shù)介紹
上午
1.開場致辭與課程導(dǎo)入（15 分鐘）
1.介紹培訓(xùn)目標(biāo)、議程安排及批流一體特征平臺(tái)的行業(yè)價(jià)值
2.明確學(xué)習(xí)重點(diǎn)與預(yù)期成果
2.批流一體處理技術(shù)深度解析（90 分鐘）
1.批流一體技術(shù)概念與核心定義
2.批處理 vs 流處理：差異、聯(lián)系與融合需求
3.批流一體處理的核心原理與關(guān)鍵技術(shù)
4.Flink 批流一體技術(shù)架構(gòu)與實(shí)現(xiàn)機(jī)制
5.實(shí)時(shí)數(shù)據(jù)湖技術(shù)原理與核心能力
3.批流一體技術(shù)發(fā)展與趨勢(shì)（60 分鐘）
1.技術(shù)演進(jìn)歷程：從分離到融合的發(fā)展脈絡(luò)
2.當(dāng)前應(yīng)用現(xiàn)狀、挑戰(zhàn)與技術(shù)瓶頸分析
3.未來發(fā)展趨勢(shì)：智能化、云原生與生態(tài)整合
下午
1.主流工具與框架實(shí)戰(zhàn)應(yīng)用（120 分鐘）
1.Flink 批流一體實(shí)戰(zhàn)：
1.有界數(shù)據(jù)與無界數(shù)據(jù)
2.批流融合開發(fā)模式設(shè)計(jì)
3.Flink Connector如何實(shí)現(xiàn)批流融合
4.Flink 的API批流開發(fā)設(shè)計(jì)與實(shí)現(xiàn)
5.Flink批流統(tǒng)一調(diào)度設(shè)計(jì)與實(shí)現(xiàn)
2.Hudi 批流一體實(shí)踐：
1.Hudi 基礎(chǔ)介紹
2.Hudi 的基本原理和架構(gòu)
3.Hudi 與傳統(tǒng)數(shù)據(jù)處理方式的比較優(yōu)勢(shì)
4.Hudi 在業(yè)界的應(yīng)用情況
5.互聯(lián)網(wǎng)行業(yè)中 Hudi 的典型應(yīng)用案例分析
6.金融行業(yè)中 Hudi 的實(shí)際應(yīng)用場景及效果
7.Hudi 0.14、1.0 版本新特性解讀
1.業(yè)界最佳實(shí)踐與成功案例分享（90 分鐘）
1.金融行業(yè)案例：
1.工商銀行流批一體平臺(tái)落地實(shí)踐
2.某銀行基于 Hudi 的實(shí)時(shí)數(shù)據(jù)湖演進(jìn)
3.金融信創(chuàng)數(shù)據(jù)平臺(tái)架構(gòu)與實(shí)踐
2.互聯(lián)網(wǎng)行業(yè)案例：
1.天貓雙 11 的批流一體技術(shù)應(yīng)用
2.字節(jié)跳動(dòng)批流一體數(shù)據(jù)倉庫建設(shè)
3.騰訊廣告的批流一體實(shí)踐
Day 2：主流技術(shù)實(shí)踐與行業(yè)案例剖析
上午
1.特征平臺(tái)架構(gòu)與演進(jìn)（90 分鐘）
1.特征平臺(tái)的核心概念與業(yè)務(wù)價(jià)值
2.特征平臺(tái)架構(gòu)設(shè)計(jì)：關(guān)鍵組件與功能模塊
3.特征平臺(tái)發(fā)展趨勢(shì)：從單一到一體化的演進(jìn)路徑
1.批流一體化特征平臺(tái)建設(shè)方法論（90 分鐘）
1.建設(shè)目標(biāo)與核心價(jià)值定位
2.平臺(tái)規(guī)劃與策略制定：技術(shù)選型、架構(gòu)設(shè)計(jì)與實(shí)施路徑
3.關(guān)鍵實(shí)施步驟與核心技巧：從數(shù)據(jù)接入到特征服務(wù)
1.批流一體特征平臺(tái)優(yōu)勢(shì)與價(jià)值（60 分鐘）
1.對(duì)比傳統(tǒng)架構(gòu)：性能、成本與靈活性優(yōu)勢(shì)
2.對(duì)數(shù)據(jù)處理與分析的變革性影響
3.典型業(yè)務(wù)價(jià)值體現(xiàn)：效率提升與質(zhì)量優(yōu)化
下午
1.大型互聯(lián)網(wǎng)公司案例深度剖析（120 分鐘）
1.數(shù)據(jù)湖與特征工程的深度融合實(shí)踐
2.特征存儲(chǔ)標(biāo)準(zhǔn)化 SDK 設(shè)計(jì)與實(shí)現(xiàn)
3.Python DSL 驅(qū)動(dòng)的特征生產(chǎn)與消費(fèi)一體化
4.序列特征生產(chǎn)優(yōu)化與推薦系統(tǒng)實(shí)踐
5.特征存儲(chǔ)與索引技術(shù)優(yōu)化方案
1.互動(dòng)研討與總結(jié)（60 分鐘）
1.典型批流一體計(jì)算場景分組討論與方案設(shè)計(jì)
2.疑難問題解答與技術(shù)經(jīng)驗(yàn)交流
3.課程內(nèi)容回顧與學(xué)習(xí)成果總結(jié)