課程簡介
本課程從大數(shù)據(jù)技術以及Hadoop實戰(zhàn)的角度,結合理論和實踐,全方位地介紹Hadoop這一高性能處理大數(shù)據(jù)工具的開發(fā)技巧。本課程涉及的主題包括:Hadoop分布式文件系統(tǒng)及Hadoop的I/O;MapReduce的的工作機制、類型和格式;如何構建和管理Hadoop集群;Pig Latin語言的使用技巧;Hive數(shù)據(jù)倉庫工具介紹;HBase和Zookeeper工具的使用和管理;開源數(shù)據(jù)采集工具sqoop。
教學過程中還提供了案例分析來幫助學員了解如何用Hadoop系列工具來解決具體的問題,并介紹了從大數(shù)據(jù)中挖掘出有價值的信息的關鍵。本課程不是一個泛泛的理論性、概念性的介紹課程,而是針對問題討論解決方案的深入課程。教師對于上述領域有深入的理論研究與實踐經(jīng)驗,在課程中將會針對這些問題與學員一起進行研究,在關鍵點上還會搭建實驗環(huán)境進行實踐研究,以加深對于這些解決方案的理解。
目標收益
1.深刻理解在“互聯(lián)網(wǎng)+”時代下大數(shù)據(jù)的產(chǎn)生背景、發(fā)展歷程和演化趨勢;
2.了解業(yè)界市場需求和國內外最新的大數(shù)據(jù)技術潮流,洞察大數(shù)據(jù)的潛在價值;
3.理解大數(shù)據(jù)項目解決方案及業(yè)界大數(shù)據(jù)應用案例,從而為企業(yè)在大數(shù)據(jù)項目中的技術選型及技術架構設計提供決策參考;
4.掌握業(yè)界最流行的Hadoop與Spark大數(shù)據(jù)技術體系;
5.掌握大數(shù)據(jù)采集技術;
6.掌握大數(shù)據(jù)分布式存儲技術;
7.掌握NoSQL與NewSQL分布式數(shù)據(jù)庫技術;
8.掌握大數(shù)據(jù)倉庫與統(tǒng)計機器學習技術;
9.掌握大數(shù)據(jù)分析挖掘與商業(yè)智能(BI)技術;
10.掌握大數(shù)據(jù)離線處理技術;
11.掌握Storm流式大數(shù)據(jù)
培訓對象
1.小型企業(yè)的技術負責人;
2. 大中型企業(yè)的數(shù)據(jù)部門相關人員、或是對數(shù)據(jù)感興趣的其他部門的研發(fā)總監(jiān)、部門經(jīng)理、一線研發(fā)工程師等人員均可;
課程大綱
第一天 |
大數(shù)據(jù)技術基礎 業(yè)界主流的大數(shù)據(jù)技術方案 大數(shù)據(jù)計算模型(一)——批處理MapReduce 大數(shù)據(jù)存儲系統(tǒng)與應用實踐 Hadoop框架與生態(tài)發(fā)展,以及應用實踐操作 |
第二天 |
大數(shù)據(jù)計算模型(二)——實時處理/內存計算 Spark 大數(shù)據(jù)倉庫查詢技術Hive、SparkSQL、Impala,以及應用實踐 Hadoop集群運維監(jiān)控工具 |
第三天 |
大數(shù)據(jù)計算模型(三)——流處理Storm, SparkStreaming 大數(shù)據(jù)ETL操作工具,與大數(shù)據(jù)分布式采集系統(tǒng) 面向OLTP型應用的NoSQL數(shù)據(jù)庫及應用實踐 大數(shù)據(jù)項目選型、實施、優(yōu)化等問題交流討論 |
第四天 | 學習考核與行業(yè)經(jīng)驗交流 |
第一天 大數(shù)據(jù)技術基礎 業(yè)界主流的大數(shù)據(jù)技術方案 大數(shù)據(jù)計算模型(一)——批處理MapReduce 大數(shù)據(jù)存儲系統(tǒng)與應用實踐 Hadoop框架與生態(tài)發(fā)展,以及應用實踐操作 |
第二天 大數(shù)據(jù)計算模型(二)——實時處理/內存計算 Spark 大數(shù)據(jù)倉庫查詢技術Hive、SparkSQL、Impala,以及應用實踐 Hadoop集群運維監(jiān)控工具 |
第三天 大數(shù)據(jù)計算模型(三)——流處理Storm, SparkStreaming 大數(shù)據(jù)ETL操作工具,與大數(shù)據(jù)分布式采集系統(tǒng) 面向OLTP型應用的NoSQL數(shù)據(jù)庫及應用實踐 大數(shù)據(jù)項目選型、實施、優(yōu)化等問題交流討論 |
第四天 學習考核與行業(yè)經(jīng)驗交流 |