什么是大數(shù)據(jù)？2023最新大數(shù)據(jù)入門教程一套通關(guān)

  01  　 第一章 Hello大數(shù)據(jù)&分布式

　　　　* 對大數(shù)據(jù)、分布式有基礎的認知，了解大數(shù)據(jù)的誕生、作用

　　　　* 對大數(shù)據(jù)的技術(shù)體系進行入門認知，了解大數(shù)據(jù)技術(shù)體系的各類技術(shù)框架

　　　　* 對Apache Hadoop有基本的認知，了解Hadoop的發(fā)展和作用

　　　　　* 了解分布式系統(tǒng)的基礎架構(gòu)

　　　    　* 掌握HDFS的基本架構(gòu)

　　　    　* 完成HDFS集群環(huán)境的部署

　　　    　* 學習HDFS系統(tǒng)的shell命令

　　　    　* 對HDFS系統(tǒng)的運行原理進行深入學習

  03  　第三章 MapReduce & YARN 入門

　   　   　* 了解分布式計算的基本概念

　   　   　* 認知MapReduce分布式計算框架

   　   　　* 認知YARN分布式資源調(diào)度框架

　   　   　* 掌握YARN的基本架構(gòu)

   　　   　* 完成MapReduce & YARN集群的部署

　   　   　* 在部署集群內(nèi)完成MapReduce和YARN的初體驗

  04  　 第四章 分布式SQL計算 Hive入門

　　      　* 了解Apache Hive的作用

　      　　* 以抽象視角討論如何實現(xiàn)分布式SQL計算

　 　     　* Hive基礎架構(gòu)分析

　 　　     * 部署Hive

　　      　* Hive初體驗，完成使用Hive進行分布式的SQL計算

　　     　 * 掌握各類Hive客戶端的使用

　　 　     * 掌握Hive數(shù)據(jù)庫的相關(guān)操作語法

　　      　* 掌握Hive數(shù)據(jù)表的相關(guān)操作語法(內(nèi)部表、外部表、修改表、分區(qū)表、分桶表等)

　　      　* 掌握Hive數(shù)據(jù)查詢的相關(guān)操作語法(基本查詢、UNION、虛擬列、數(shù)據(jù)抽樣、RLINK正則)

　     　     * 掌握Hive常用的內(nèi)置函數(shù)

　　          * 完成Hive綜合案例開發(fā)(數(shù)據(jù)統(tǒng)計、BI可視化展現(xiàn))

　　　    　* MapReduce執(zhí)行原理分析

　　　    　* Hive的各類排序

　　　    　* Hive的數(shù)據(jù)壓縮

　　　    　* Hive的各類數(shù)據(jù)存儲(ORC、列存儲)

　　　    　* Hive調(diào)優(yōu)(MapJoin、BucketMapJoin、動態(tài)分區(qū)、數(shù)據(jù)傾斜等)

　　　    　* YARN的隊列和調(diào)度器分析

　　　    　* HDFS HA分析

　　　    　* Hadoop集群調(diào)優(yōu)

　　　　    * 掌握云原生大數(shù)據(jù)的各類組件(DataWorks、MaxComputer等)

　　　    　* 基于云原生組件進行大數(shù)據(jù)實戰(zhàn)案例的開發(fā)