選擇Python+大數據開發培訓校區Python+大數據

                      選擇Python+大數據開發培訓校區Python+大數據開發

                      選擇校區

                      北京昌平

                        • 高級
                          軟件工程師課程

                        • 12
                          “大廠級”實戰項目

                        • 80+
                          解決方案和技術專題

                        • 50
                          專職教研團隊

                        • 65%
                          項目課程占比

                        • 終身
                          職業生態圈

                        Python+大數據開發 高薪崗位的代名詞

                        Python培訓班哪個靠譜?
                        • 國家實施大數據戰略
                          大數據專業人才緊缺

                        • 一線城市薪資高
                          二三線緊隨其后

                        • 數字經濟引領全球
                          經濟社會發生變革

                        • Python+大數據培訓就業前景怎么樣?
                        • Pyhton+大數據培訓平均月薪
                        • Python+大數據培訓后薪資多少錢?

                        Python+大數據開發
                        就業起點高,職業發展好

                        適合人群

                        • 0基礎轉行人員數據課程從Python入手
                          簡單高效入門快
                          適宜零基礎人員學習

                        • 應屆畢業生缺乏工作經驗技能
                          未來沒有明確規劃
                          通過學習本課入行IT

                        • 互聯網轉行人員目前工作待遇不理想
                          市場上升空間有限
                          需要突破現狀轉行

                        • 有基礎尋求系統提升者具有一定的數據理論或基礎
                          需要掌握系統數據技術
                          在實際業務中如何應用

                        Python培訓6大課程優勢 造就數字化人才

                        • 適合零基礎學員課程由淺入深/數據量由小到大
                          逐步掌握各業務場景下的數據處理

                        • 熱門技術周更新大廠行業專家/年億元級研發投入
                          以“周”為單位更新前沿技術

                        • 項目驅動式教學多行業多項目實戰
                          提升實戰能力 入職即能快速上手

                        • 課程貼合市場需求課程與時俱進不斷融入熱門技術棧
                          打造學完即上崗人才

                        • 還原真實工作場景參與真實項目開發流程
                          鍛煉獨立分析、解決問題的能力

                        • 積累實際工作經驗真實數據業務需求轉化
                          企業級真項目涵蓋14大主流行業

                        漸進式課程內容 助你從小白蛻變為數字精英

                        Python+大數據開發課程大綱

                        • Python編程基礎

                        • Python編程進階

                        • SQL基礎

                        • ETL實戰

                        • Hadoop技術棧

                        • 千億級離線數倉項目

                        • 千億級離線數倉項目實戰

                        • Spark技術棧

                        • 用戶畫像解決方案

                        • PB級內存計算項目實戰

                        • 就業指導&就業加強

                        • Flink技術棧

                        • 亞秒級實時計算項目

                        查看詳細課程大綱>Python編程基礎課時:8天

                        主要內容

                        · Python基礎語法· Python數據處理· 函數· 文件讀寫· 異常處理· 模塊和包

                        可解決的現實問題

                        熟練掌握Python語言,建立編程思維,使學員能夠熟練使用Python技術完成程序編寫。

                        可掌握的核心能力

                        1.掌握Python開發環境基本配置;
                        2.掌握運算符、表達式、流程控制語句、數組等的使用;
                        3.掌握字符串的基本操作;
                        4.初步建立面向對象的編程思維;
                        5.熟悉異常捕獲的基本流程及使用方式;
                        6.掌握類和對象的基本使用方式。

                        查看詳細課程大綱>Python編程進階課時:8天

                        主要內容

                        · 面向對象· 網絡編程· 多任務編程· 高級語法· Python編程綜合項目

                        可解決的現實問題

                        熟練使用Python面向對象程序設計思想,掌握數據開發必備Python高級語法,解決常見Python開發問題。

                        可掌握的核心能力

                        1.掌握網絡編程技術,能夠實現網絡通訊;
                        2.知道通訊協議原理;
                        3.掌握開發中的多任務編程實現方式;
                        4. 知道多進程多線程的原理。

                        查看詳細課程大綱>SQL基礎課時:4天

                        主要內容

                        · MySQL與SQL· Kettle與BI工具· Pymysql

                        可解決的現實問題

                        熟練掌握MySQL\SQL、Kettle以及BI工具使用,能夠解決傳統數倉業務開發任務。

                        可掌握的核心能力

                        1. 掌握MySQL數據庫的使用;
                        2. 掌握SQL語法;
                        3. 掌握Kettle數據遷移工具的使用;
                        4. 熟練使用BI可視化工具;
                        5. 對數據開發有一定認知,掌握BI工程師所具備的基本技能。

                        查看詳細課程大綱>ETL實戰課時:6天

                        主要內容

                        · ETL概念與工具· Python ETL實戰· BI

                        可解決的現實問題

                        掌握Python完成數據ETL實戰,能夠解決中小型數據量數據處理相關任務。

                        可掌握的核心能力

                        1. 掌握ETL的相關概念;
                        2. 掌握基于Python語言完成ETL任務開發實戰;
                        3. 基于ETL實戰鍛煉Python編程能力,包括(元數據管理、數據模型、項目配置、單元測試、工具方法抽取等);
                        4. 掌握BI數據分析實戰。

                        查看詳細課程大綱>Hadoop技術棧課時:11天

                        主要內容

                        · Linux· 大數據基礎和硬件介紹· Zookeeper· HDFS· MapReduce· YARN· Hive基礎· Hive高階

                        可解決的現實問題

                        熟悉Linux操作系統,以及各種Linux命令,能夠解決企業級大數據集群搭建問題,為進階大數據開發奠定基礎。

                        可掌握的核心能力

                        1.掌握Linux常用命令,為數據開發后續學習打下的良好基礎;
                        2.掌握大數據的核心框架Hadoop以及其生態體系,完成HDFS、MapReduce及Yarn機制基本理解與使用;能顧搭建Hadoop高可用HA集群;
                        3.掌握Hive的使用和調優;
                        4.具備Hadoop開發能力、離線數據倉庫開發能力;
                        5.能夠完成基本構建企業級數倉。

                        查看詳細課程大綱>千億級離線數倉項目課時:11天

                        主要內容

                        · 大數據部署運維:Cloudera Manager· 分析決策需求:數據倉庫· 數據采集:sqoop· 數據分析:Hive· 歷史數據快照:拉鏈表· 數據更新后的統計分析:拉鏈表· 數據調度:oozie+shell· OLAP系統存儲:MySQL· FineBI數據展示

                        可解決的現實問題

                        能夠解決企業級常見數據倉庫搭建,從項目的需求、技術架構、業務架構、部署平臺、ETL設計、作業調度等整套pipeline,完成大數據體系下的企業級數據倉庫構建。

                        可掌握的核心能力

                        1.掌握零售行業離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整項目流程;
                        2.行業內首個深度使用Presto的項目;
                        3.包括海量數據場景下如何優化配置;
                        4.拉鏈表的具體應用;
                        5.新增數據和更新數據的抽取和分析;
                        6.提供新零售大型商超集團的數據存儲分析以及服務監控方案。

                        查看詳細課程大綱>千億級離線數倉項目實戰課時:5天

                        主要內容

                        · 大數據部署運維:Cloudera Manager· 分析決策需求:數據倉庫· 數據采集:sqoop· 數據分析:Hive+presto· 歷史數據快照:拉鏈表· 數據更新后的統計分析:拉鏈表· 數據調度:ds· OLAP系統存儲:MySQL· FineBI數據展示

                        可解決的現實問題

                        按照企業級大數據開發流程,獨立完成項目開發,掌握企業級多場景大數據離線數倉開發能力,從數倉分層,數倉建模,指標統計,指標展示完成完整的大數據項目。

                        可掌握的核心能力

                        1.掌握教育行業離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整項目流程;
                        2.真實業務邏輯,共涉及20多個主題,100多個指標,提升學員在教育行業中的核心競爭力;
                        3.包括海量數據場景下如何優化配置;
                        4.拉鏈表的具體應用;
                        5.新增數據和更新數據的抽取和分析;
                        6.Hive函數的具體應用;
                        7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能。

                        查看詳細課程大綱>Spark技術棧課時:15天

                        主要內容

                        · Pandas基礎· Pandas數據處理實戰· Spark基礎· Spark Core· Spark SQL· SparkSQL案例· Kafka· Elasticsearch

                        可解決的現實問題

                        掌握全球熱門的Spark技術棧,通過SparkCore和SparkSQL解決數據處理與統計分析工作,進階高級大數據開發工程師。

                        可掌握的核心能力

                        1.掌握Spark的RDD、DAG、CheckPoint等設計思想;
                        2.掌握SparkSQL結構化數據處理,Spark On Hive;
                        3.掌握Structured Streaming整合多數據源完成實時數據處理;
                        4.具備Spark全棧開發能力,滿足大數據行業多場景統一技術棧的數據開發,提供就業核心競爭力。

                        查看詳細課程大綱>用戶畫像解決方案課時:8天

                        主要內容

                        · 1SparkSQL整合ES自定義數據源· DS任務界面化調度· 用戶畫像標簽構建規則· 用戶畫像規則類標簽構建· 用戶畫像統計類標簽構建

                        可解決的現實問題

                        項目提供了全行業用戶畫像解決方案, 使用SparkSQL+ES+DS構建企業級用戶畫像,通過SparkSQL+MySQL構建通用行業用戶畫像標簽體系。

                        可掌握的核心能力

                        1. SparkSQL整合ES自定義數據源;
                        2. DS任務界面化調度;
                        3. 用戶畫像標簽構建規則;
                        4. 用戶畫像規則類標簽構建;
                        5. 用戶畫像統計類標簽構建。

                        查看詳細課程大綱>PB級內存計算項目實戰課時:5天

                        主要內容

                        項目核心架構和業務流程、Hive數倉建模 、Sqoop數據同步開發 DolphinScheduler任務調度、使用lag,sum等窗口函數 、使用UDAF函數計算有效保單數字段、計算現金價值、計算和準備金、分區表的使用 、指標匯總計算 、Shuffle優化。

                        可解決的現實問題

                        基于Spark全棧技術構建企業級大數據開發平臺,學生分組獨立完成項目實戰,能夠勝任常見大數據平臺開發工作,助力企業實現數字化轉型

                        可掌握的核心能力

                        1.快速搭建保險行業大數據平臺;
                        2.基于Hive+Spark SQL搭建離線數據倉庫;
                        3.基于SparkSQL應對輕松應對復雜的迭代計算;
                        4.完成基于國內頭部保險公司大數據項目開發;
                        5.掌握基于Spark分析12億報單表和8千萬客戶等數據;
                        6.對保單匯總計算(業務發展類指標,成本費用類指標等),并向業務人員做數據展示。

                        查看詳細課程大綱>就業指導&就業加強課時:5天

                        主要內容

                        · SQL實戰· Hive數據分析與面試題加強· Spark數據分析與面試題加強· NoSQL數據分析與面試題加強· 大數據多行業架構剖析

                        可解決的現實問題

                        對學習的內容進行整體回顧,并分析經典面試題,指導簡歷,面試和溝通技巧助力高薪offer。

                        可掌握的核心能力

                        1.強化面試就業核心面試題;
                        2.梳理大數據架構及解決方案;
                        3.剖析多行業大數據架構。

                        查看詳細課程大綱>Flink技術棧課時:6天

                        主要內容

                        · Flink Core· Flink DataStream· Flink SQL· Flink Runtime· Flink高級· Flink電商案例實戰

                        可解決的現實問題

                        掌握當下熱門的流批一體化分布式計算框架Flink及其生態,解決實時計算經典場景問題,適應市場對Flink越發增長的需求。

                        可掌握的核心能力

                        1.掌握基于Flink進行實時和離線數據處理、分析;
                        2.掌握基于Flink的多流并行處理技術;
                        3.掌握千萬級高速實時采集技術。

                        查看詳細課程大綱>亞秒級實時計算項目課時:8天

                        主要內容

                        · Flink· FlinkSQL· FlinkCDC· Doris· Hudi· Hudi on Hive FIneBI

                        可解決的現實問題

                        采集超過千萬條在線視頻的數據,實時高性能海量數據分析與存儲業務數據實時大屏場景實現。

                        可掌握的核心能力

                        1.湖倉一體化解決方案基于Flink+Hudi湖倉一體技術架構;
                        2.基于FlinkCDC完成MySQL等數據源的數據采集;
                        3.FlinkSQL流批一體架構實現實時數據計算;
                        4.使用Apache Doris進行海量多維分析;
                        5.掌握數據報表分析;
                        6.掌握業務數據實時大屏場景實現。

                        Python培訓實戰  輕松上手工作

                        大數據應用案例

                        Python培訓師資團隊

                        大數據培訓機構可信嗎

                        課程研發團隊

                        專業研發課程升級 技術定期更新迭代 實時接軌企業需求

                        講師團隊

                        名師課堂面授 授課經驗豐富 技術重難點講透
                        試聽TA的課程

                        TLIAS智能教學系統  學練測輔多方位護航

                        我的辦法

                        • 閉環面授教學

                          講師面授 互動教學 問題解答 作業批改 即時答疑 不讓問題過夜
                        • TLIAS教學輔助

                          階段測試 進度評估 講練測考 測評反饋 專屬題庫 查漏補缺
                        • 學習提效服務

                          封閉管理 嚴查出勤/學風 學練結合 離就業崗位更近 實時更新 貼近企業需求
                        • 就業增值服務

                          簡歷優化 秒過篩選 1V1模擬面試 復盤全程 就業跟蹤 線上答疑
                        更多服務內容

                        學友伴學  校園氛圍更濃厚

                        1. 交通便利 環境優美
                        2. 4 /6人間 獨立衛浴
                        3. 安靜教室 專屬座位
                        4. 干凈餐廳 菜品實惠
                        5. 超大場地 豐富活動

                        Python+大數據課程體系V3.06項目制,助力年薪30w+

                        聚集多位Apache?社區貢獻者及大廠技術講師,聯合推出行業重磅Python大數據V3.0課程,通過5-6個月學習進階數據開發工程師,獲取3-4年開發經驗,對標高級數據開發工程師,沖刺年薪30w

                        Python+大數據V3.0學習路線概覽

                        升級V3.0課程亮點:

                        • 六項目制,40+天項目占比對標企業實際招聘需求,采用六個不同行業大數據項目,覆蓋從離線到實時計算場景,更好的匹配學員能力
                        • 大廠級技術解決方案,Apache貢獻者領銜授課課程覆蓋了數字化轉型企業主流的技術和業務解決方案。
                          6個技術解決方案:包括ETL、離線數倉、用戶畫像、Lambda架構、Kappa架構、湖倉一體等;
                          多個業務解決方案:包括國內大型商超新零售、金融保險、金融證券、物流倉儲、航空、電商、出行、教育、物聯網等領域

                        敢以班級為單位公開就業信息的機構,只有傳智教育!通過數千班級實施和就業結果顯示,傳智教育Python+大數據開發的課程,有效大幅提升就業薪資水平!

                        課程大綱

                        1. 基礎班

                          1. Python編程基礎

                        2. 高手班

                          1. Python編程進階 2. SQL基礎 3. ETL實戰 4. Hadoop技術棧 5. 千億級離線數倉項目 6. 千億級離線數倉項目實戰 7. Spark技術棧 8. 用戶畫像解決方案 9. PB級內存計算項目實戰 10. 就業指導&就業加強 11. Flink技術棧 12. 亞秒級實時計算項目

                        3. 進階班

                          1. 亞秒級實時進階課

                        4. Python+大數據課程升級版本3.0

                        • Python編程基礎基礎班 1

                          課時:8天技術點:48項測驗:1次學習方式:線下面授

                          學習目標

                          1.掌握Python開發環境基本配置| 2.掌握運算符、表達式、流程控制語句、數組等的使用| 3.掌握字符串的基本操作| 4.初步建立面向對象的編程思維| 5.熟悉異常捕獲的基本流程及使用方式| 6.掌握類和對象的基本使用方式

                          主講內容

                          1. Python基礎語法零基礎學習Python的開始,包含了以下技術點:

                          01_變量| 02_標識符和關鍵字| 03_輸入和輸出| 04_數據類型轉換| 05_PEP8編碼規范| 06_比較/關系運算符| 07_if判斷語句語法格式| 08_三目運算符| 09_while語句語法格式| 10_while 循環嵌套| 11_break 和 continue| 12_while 循環案例| 13_for循環

                          2. Python數據處理掌握Python的數據類型,并對其進行操作處理,包含了以下技術點:

                          01_字符串定義語法格式| 02_字符串遍歷| 03_下標和切片| 04_字符串常見操作| 05_列表語法格式| 06_列表的遍歷| 07_列表常見操作| 08_列表嵌套| 09_列表推導式| 10_元組語法格式| 11_元組操作| 12_字典語法格式| 13_字典常見操作| 14_字典的遍歷

                          3. 函數能夠實現Python函數的編寫,包含了以下技術點:

                          01_函數概念和作用、函數定義、調用| 02_函數的參數| 03_函數的返回值| 04_函數的注釋| 05_函數的嵌套調用| 06_可變和不可變類型| 07_局部變量| 08_全局變量| 09_組包和拆包、引用

                          4. 文件讀寫能夠使用Python對文件進行操作,包含了以下技術點:

                          01_文件的打開與關閉、文件的讀寫| 02_文件、目錄操作及案例| 03_os模塊文件與目錄相關操作

                          5. 異常處理主要介紹了在Python編程中如何處理異常,包含了以下技術點:

                          01_異常概念| 02_異常捕獲| 03_異常的傳遞

                          6. 模塊和包主要介紹了Python中的模塊和包的體系,以及如何使用模塊和包,包含了以下技術點:

                          01_模塊介紹| 02_模塊的導入| 03_包的概念| 04_包的導入| 05_模塊中的__all__| 06_模塊中__name__

                        • Python編程進階高手班 1

                          課時:8天技術點:108項測驗:1次學習方式:線下面授

                          學習目標

                          1.掌握網絡編程技術,能夠實現網絡通訊| 2.知道通訊協議原理 | 3.掌握開發中的多任務編程實現方式| 4. 知道多進程多線程的原理A

                          主講內容

                          1. 面向對象從逐步建立起面向對象編程思想,再到會使用對象,到創建對象,再到真正理解為什么封裝對象,包含了以下技術點:

                          01_面向對象介紹| 02_類的定義和對象的創建| 03_添加和獲取對象屬性| 04_self 參數| 05_init方法| 06_繼承| 07_子類方法重寫| 08_類屬性和實例屬性| 09_類方法、實例方法、靜態方法

                          2. 網絡編程主要學習通訊協議,以及Python實現TCP、HTTP通訊,包含了以下技術點:

                          01_IP地址的介紹| 02_端口和端口號的介紹| 03_TCP的介紹| 04_Socket的介紹| 05_TCP網絡應用的開發流程| 06_基于TCP通信程序開發|

                          3. 多任務編程主要學習Python中多線程、多進程,包含了以下技術點:

                          01_多任務介紹| 02_多進程的使用| 03_多線程的使用| 04_線程同步

                          4. 高級語法主要學習Python的高級語法,包含以下技術點:

                          01_閉包| 02_裝飾器| 03_迭代器| 04_深淺拷貝| 05_正則

                          5. Python編程綜合項目通過前邊所學知識,完成綜合案例,鍛煉編程能力、培養編程思維

                          01_Python編程綜合項目

                        • SQL基礎高手班 2

                          課時:4天技術點:70項測驗:1次學習方式:線下面授

                          學習目標

                          1. 掌握MySQL數據庫的使用| 2. 掌握SQL語法| 3. 掌握Kettle數據遷移工具的使用| 4. 熟練使用BI可視化工具| 5. 對數據開發有一定認知,掌握BI工程師所具備的基本技能

                          主講內容

                          1. MySQL與SQL零基礎小白通過MySQL數據庫,掌握核心必備SQL,包含了以下技術點:

                          01_數據庫概念和作用| 02_MySQL數據類型| 03_數據完整性和約束| 04_數據庫、表基本操作命令| 05_表數據操作命令| 06_where子句| 07_分組聚合| 08_連接查詢| 09_外鍵的使用

                          2. Kettle與BI工具使用Kettle做數據遷移,通過BI工具展示excel、MySQL中的數據,包含了以下技術點:

                          01_Kettle基本操作| 02_Kettle數據轉換| 03_Kettle使用SQL腳本組件| 04_kettle Job開發| 05_FineBI基本操作| 06_FineBI常用圖表| 07_FineBI儀表板| 08_綜合案例

                          3. PymysqlPython與數據庫交互,主要學習PyMySQL包

                          01. 環境搭建| 02. Python操作數據庫

                        • ETL實戰高手班 3

                          課時:6天技術點:48項測驗:0次學習方式:線下面授

                          學習目標

                          1. 掌握ETL的相關概念| 2. 掌握基于Python語言完成ETL任務開發實戰| 3. 基于ETL實戰鍛煉Python編程能力,包括(元數據管理、數據模型、項目配置、單元測試、工具方法抽取等)| 4. 掌握BI數據分析實戰

                          ETL項目基于國內某大型零售企業旗下出品各類收銀機為基礎,在全國十多個省份有上50萬家店鋪使用,機器通過聯網每次將售賣商品數據上傳到公司后臺.利用ETL平臺完成數據抽取轉化加載工作,助力學生達到初中級ETL工程師目標。

                          進入項目體驗
                          主講解決方案

                          完整PythonETL解決方案,Kettle數據采集解決方案。DS調度解決方案,基于FineBi的BI解決方案。

                          主講知識點

                          1.ETL概念與工具| 2.Python ETL實戰| 3.基于FineBI完成數據分析實戰| 4.將收銀機上傳到后臺的<訂單>數據采集到數倉中| 5.將后臺中的商品庫數據采集到數倉中| 6。將后臺的程序日志采集到數倉中

                        • Hadoop技術棧高手班 4

                          課時:11天技術點:120項測驗:1次學習方式:線下面授

                          學習目標

                          1.掌握Linux常用命令,為數據開發后續學習打下的良好基礎| 2.掌握大數據的核心框架Hadoop以及其生態體系,完成HDFS、MapReduce及Yarn機制基本理解與使用;能顧搭建Hadoop高可用HA集群| 3.掌握Hive的使用和調優| 4.具備Hadoop開發能力、離線數據倉庫開發能力| 5.能夠完成基本構建企業級數倉

                          主講內容

                          1. Linux掌握Linux操作系統常用命令和權限管理,包含了以下技術點:

                          01_Linux命令使用| 02_Linux命令選項的使用| 03_遠程登錄和遠程拷貝| 04_Linux權限管理| 05_vi編輯器使用| 06_集群搭建準備

                          2. 大數據基礎和硬件介紹進一步闡述大數據特點與分布式思想,知識點由淺入深,包含了以下技術點:

                          01_大數據的特點| 02_分布式存儲概念| 03_分布式計算的概念| 04_服務器種類介紹、機架、交換機| 05_網絡拓撲、Raid、IDC數據中心

                          3. Zookeeper分布式軟件管家,實現了集群管理與leader選舉,包含了以下技術點:

                          01_Zookeeper的應用場景| 02_架構和原理| 03_存儲模型| 04_選舉機制| 05_客戶端操作| 06_ZK集群搭建

                          4. HDFS分布式文件系統,解決了海量數據存儲與容錯,包含了以下技術點:

                          01_HDFS設計的特點| 02_Master-Slave架構| 03_Block塊存儲、RF拷貝因子、機架感知| 04_Block拷貝策略、讀寫流程| 05_HDFS Federation、HDFS Snapshots、NameNode HA架構和原理| 06_HDFS管理員常用操作、HDFS權限控制| 07_HDFS普通集群以及HA集群搭建

                          5. MapReduce分布式計算系統,解決海量數據的計算,包含了以下技術點:

                          01_MapReduce架構和原理| 02_Split機制| 03_MapReduce并行度| 04_Combiner機制| 05_Partition機制、自定義Partition| 06_MapReduce序列化、自定義排序、數據壓縮

                          6. YARN分布式資源調度管理器,管理服務器軟件資源,包含了以下技術點:

                          01_Yarn原理和架構| 02_Yarn高可用| 03_Container資源的封裝(CPU、內存和IO)| 04_資源調度策略(FIFO、Fair和Capacity)| 05_YARN高可用模式搭建

                          7. Hive基礎數據倉庫Hive,實現企業級數倉必備工具,包含以下知識點:

                          01_HQL操作| 02_數據類型| 03_分區、分桶、臨時表| 04_explain執行計劃詳解

                          8. Hive高階數據倉庫Hive高階原理和架構深入,實現企業級數倉優化,包含以下知識點:

                          01_Hive原理和架構| 02_Meta Store服務| 03_HiveServer內置函數| 04_自定義UDF和UDAF| 05_數據壓縮、存儲格式、自動化腳本、常見性能優化

                        • 千億級離線數倉項目高手班 5

                          課時:11天技術點:105項測驗:0次學習方式:線下面授

                          學習目標

                          1.掌握零售行業離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整項目流程| 2.行業內首個深度使用Presto的項目| 3.包括海量數據場景下如何優化配置| 4.拉鏈表的具體應用| 5.新增數據和更新數據的抽取和分析| 6.提供新零售大型商超集團的數據存儲分析以及服務監控方案

                          本項目基于一家大型連鎖超市研發的大數據分析平臺。黑馬深度使用Presto的項目,為后續Presto相關課程的研發打下了堅實的基礎,也為學員的就業拓寬了道路;真實的數據結構,復雜的SQL實現過程,學生學習以后可以達到離線數倉的高級開發水平。

                          進入項目體驗
                          主講解決方案

                          掌握離線數倉的分層與建模、大數據量場景下如何優化配置,拉鏈表的具體應用,新增數據的抽取和分析,更新數據的抽取和分析,以及Hive函數的具體應用等。ClouderaManager可視化、自動部署和配置、Git的CodeReview功能保證項目高質量 離線數倉的分層與建模 項目涉及20多個主題,100多個指標場景 帆軟BI企業級報表展示

                          主講知識點

                          1.大數據部署運維:Cloudera Manager 2.分析決策需求:數據倉庫 3.數據采集:sqoop 4.數據分析:Hive 5.歷史數據快照:拉鏈表 6.數據更新后的統計分析:拉鏈表 7.數據調度:oozie+shell 8.OLAP系統存儲:MySQL 9.FineBI數據展示

                        • 千億級離線數倉項目實戰高手班 6

                          課時:5天技術點:40項測驗:0次學習方式:線下面授

                          學習目標

                          1.掌握教育行業離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整項目流程| 2.真實業務邏輯,共涉及20多個主題,100多個指標,提升學員在教育行業中的核心競爭力| 3.包括海量數據場景下如何優化配置| 4.拉鏈表的具體應用| 5.新增數據和更新數據的抽取和分析| 6.Hive函數的具體應用| 7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能

                          1、建立集團數據倉庫,統一集團數據中心,把分散的業務數據集中存儲和處理 2、項目從需求調研、設計、版本控制、研發、測試到落地上線,涵蓋了項目的完整工序 3、挖掘分析海量用戶行為數據,定制多維數據集合,形成數據集市,供各個場景主題使用。

                          進入項目體驗
                          主講解決方案

                          項目介紹與環境準備、數據倉庫的建模和分層、OLTP、ODS、DWD實現、Presto、DWB實現、DWS實現、DM、RPT、導出實現、Oozie架構與部署及使用。使用Hive、Presto、Oozie、數倉技術棧,提供新零售大型商超集團的數據存儲分析以及服務監控方案

                          主講知識點

                          1.大數據部署運維:Cloudera Manager 2.分析決策需求:數據倉庫 3.數據采集:sqoop 4.數據分析:Hive+presto 5.歷史數據快照:拉鏈表 6.數據更新后的統計分析:拉鏈表 7.數據調度:ds 8.OLAP系統存儲:MySQL 9.FineBI數據展示

                        • Spark技術棧高手班 7

                          課時:15天技術點:108項測驗:1次學習方式:線下面授

                          學習目標

                          1.掌握Spark的RDD、DAG、CheckPoint等設計思想| 2.掌握SparkSQL結構化數據處理,Spark On Hive| 3.掌握Structured Streaming整合多數據源完成實時數據處理| 4.具備Spark全棧開發能力,滿足大數據行業多場景統一技術棧的數據開發,提供就業核心競爭力

                          主講內容

                          1. Pandas基礎Pandas數據處理及可視化技術,包含以下技術點:

                          01_ Pandas數據結構| 02_ 索引操作| 03_列名操作| 04_Dataframe數據的增刪改查操作| 05_Pandas常用計算函數

                          2. Pandas數據處理實戰利用所學的Python Pandas,以及可視化技術,完成數據處理項目實戰:

                          01_缺失值處理| 02_Pandas數據類型| 03_分組與分箱操作| 04_DF合并與變形操作| 05_DF的讀取與保存

                          3. Spark基礎本階段學習Spark環境搭建及以下知識點:

                          01_Spark基礎環境搭建| 02_Spark的Standalone環境搭建| 03_Spark的StandaloneHA搭建| 04_SparkOnYarn環境搭建

                          4. Spark Core整個spark框架核心部分,掌握框架內部設計思想,數據流轉步驟,是學習spark的基礎模塊,包含了以下技術點:

                          01_Spark架構和原理(運行機制、Driver和Executor、spark任務提交流程)| 02_RDD開發和原理(Partition、Task、RDD的依賴關系、RDD的容錯機制、RDD的存儲級別、RDD的緩存機制)廣播變量 | 03_DAG原理(DAG思想、DAG的生成、DAG的處理過程)

                          5. Spark SQL學習spark框架的SQL操作,spark與Hive等外部數據源的整合操作,包含了以下技術點:

                          01_Spark SQL架構和原理| 02_DataFrame、DataSet DSL和SQL開發| 03_Spark多數據源整合(txt、CSV、Json、parquet、JDBC、Hive)| 04_Spark SQL執行計劃原理| 05_Spark SQL性能調優

                          6. SparkSQL案例踐行場景式教學,運用了Spark階段知識點,使用lambda加解決數據分析的應用,包含了以下技術點:

                          01_Spark多場景案例實戰

                        • 用戶畫像解決方案高手班 8

                          課時:8天技術點:80項測驗:0次學習方式:線下面授

                          學習目標

                          1.SparkSQL整合ES自定義數據源| 2.DS任務界面化調度| 3.用戶畫像標簽構建規則| 4.用戶畫像規則類標簽構建| 5.用戶畫像統計類標簽構建

                          通過用戶畫像解決方案,完成數據存儲和分析、用戶標簽。

                          進入項目體驗
                          主講解決方案

                          用戶畫像解決方案,主要針對于保險行業完成用戶標簽設計,提供了全行業解決方案,課程采用由淺入深,層層遞進的講解方式, 讓你輕松掌握企業級用戶畫像的使用, 使用SparkSQL+ES+DS構建企業級用戶畫像。

                          主講知識點

                          1. SparkSQL整合ES自定義數據源 2. DS任務界面化調度 3. 用戶畫像標簽構建規則 4. 用戶畫像規則類標簽構建 5. 用戶畫像統計類標簽構建

                        • PB級內存計算項目實戰高手班 9

                          課時:5天技術點:88項測驗:0次學習方式:線下面授

                          學習目標

                          1.快速搭建保險行業大數據平臺| 2.基于Hive+Spark SQL搭建離線數據倉庫| 3.基于SparkSQL應對輕松應對復雜的迭代計算| 4.完成基于國內頭部保險公司大數據項目開發| 5.掌握基于Spark分析12億報單表和8千萬客戶等數據| 6.對保單匯總計算(業務發展類指標,成本費用類指標等),并向業務人員做數據展示| 7.離線數倉項目實戰| 8.用戶畫像項目實戰

                          保險精算項目需要計算海量明細保單數據,以便生成財務報表。項目使用SparkSQL來計算,時效大大提高,增強保險公司的商業信譽。項目將多部門的業務數據庫同步到Hive數據集市,使用SparkSQL加載源數據表(保單表12億保單,客戶表8千萬客戶等),計算保單的保費、現金價值、準備金等明細,提供給財務部門收費或支出,然后對保單匯總計算(業務發展類指標,成本費用類指標等),并向業務人員做數據展示。

                          進入項目體驗
                          主講解決方案

                          項目核心架構和業務流程、Hive數倉建模 、Sqoop數據同步開發 DolphinScheduler任務調度、使用lag,sum等窗口函數 、使用UDAF函數計算有效保單數字段、計算現金價值、計算和準備金、分區表的使用 、指標匯總計算 、Shuffle優化、用戶畫像解決方案。

                          主講知識點

                          基于Spark輕松應對保險復雜的迭代計算、基于SparkSQL完成用戶畫像實戰、基于ES完成標簽存儲與檢索。

                        • 就業指導&就業加強高手班 10

                          課時:5天技術點:40項測驗:0次學習方式:線下面授

                          學習目標

                          1.強化面試就業核心面試題 2.梳理大數據架構及解決方案| 3.剖析多行業大數據架構

                          主講內容

                          1. SQL實戰解決Python大數據常見的SQL面試題,包含了以下技術點:

                          01_面試題必備SQL實戰| 02_SQL優化加強。

                          2. Hive數據分析與面試題加強解決Hive數據分析開發必備面試題,包含了以下技術點:

                          01_Hive基礎| 02_Hive拉鏈表| 03_Hive數據倉庫構建示例| 04_Hive面試題

                          3. Spark數據分析與面試題加強解決Spark開發必備面試題,包含了以下技術點:

                          01_Spark基礎| 02_Spark離線分析| 04_Spark面試題

                          4. NoSQL數據分析與面試題加強解決NoSQL常見的面試題,從消息隊列到HBase掌握關鍵原理,包含了以下技術點:

                          01_Kafka基礎| 02_HBase基礎| 03_HBase面試題

                          5. 大數據多行業架構剖析解決多行業多場景大數據架構設計,具備舉一反三設計大數據架構體系能來,包含了以下技術點:

                          01_數據分析流程| 02_大數據架構剖析| 03_多行業大數據架構設計| 04_大數據存儲,調度等解決方案

                        • Flink技術棧高手班 11

                          課時:6天技術點:88項測驗:1次學習方式:線下面授

                          學習目標

                          1.掌握基于Flink進行實時和離線數據處理、分析| 2.掌握基于Flink的多流并行處理技術| 3.掌握千萬級高速實時采集技術

                          主講內容

                          1. Flink Core新一代批流統一數據處理引擎,在計算效率和性能都有很大提升,包含了以下技術點:

                          01_Flink基礎

                          2. Flink DataStream構成了Flink解決實時數據處理部分,是掌握實時數據處理必備技能,包含了以下技術點:

                          01_Flink DataStream的使用| 02_Kafka + Flink

                          3. Flink SQL解決Flink中的SQL化開發,Flink-SQL開發必備技能,包含了以下技術點:

                          01_Flink SQL開發| 02_Hive + Flink SQL

                          4. Flink Runtime是對Flink任務進行調優,必須掌握的內容,包含了以下技術點:

                          01_Watermark| 02_Checkpoint| 03_任務調度與負載均衡| 04_狀態管理

                          5. Flink高級解決Flink性能監控等高階知識,具備實時數據分析必備技能,包含以下技術點:

                          01_Flink性能監控| 02_Flink調優| 03_Flink SQL執行計劃

                          6. Flink電商案例實戰踐行場景式教學,運用了Flink階段知識點,解決實時數據分析的應用,包含了以下技術點:

                          01_Flume+Kafka+Flink+HBase+Sqoop+Canal+MySQL實戰

                        • 亞秒級實時計算項目高手班 12

                          課時:8天技術點:80項測驗:0次學習方式:線下面授

                          學習目標

                          1.湖倉一體化解決方案基于Flink+Hudi湖倉一體技術架構| 2.基于FlinkCDC完成MySQL等數據源的數據采集| 3.FlinkSQL流批一體架構實現實時數據計算| 4.使用Apache Doris進行海量多維分析| 5.掌握數據報表分析| 6.掌握業務數據實時大屏場景實現

                          基于Flink+Hudi湖倉一體技術架構,實現了在線視頻行業實時數據處理和分析。項目采用流處理計算引擎Flink,實時處理千萬數據量的視頻流數據,基于FlinkCDC完成MySQL等數據源的數據采集,通過Hudi On Hive構建湖倉一體架構,結合數據湖和數據倉庫優勢,建立湖倉一體化。

                          主講解決方案

                          Flink,FlinkSQL,FlinkCDC,Doris,Hudi,Hudi,on Hive,FIneBI。

                          主講知識點

                          采集超過千萬條在線視頻的數據,實時高性能海量數據分析與存儲業務數據實時大屏場景實現。

                        • 亞秒級實時進階課進階班 1

                          課時:106天技術點:1000項測驗:0次學習方式:線上學習

                          學習目標

                          1.線上3個月進階大數據實時開發,多行業大數據項目助力企業數字人才精英| 2.皆在成就實時開發工程師,大數據架構師等,幫助學員成為站在金字塔頂端的實時工程師

                          主講內容

                          1. 大數據Java語言大數據生態多語言開發,為進階實時數據開發奠定基礎

                          1_編程基礎| 2_面向對象| 3_常用類| 4_集合操作| 5_IO操作| 6_Java基礎增強| 7_JDBC| 8_Maven| 9_爬蟲案例

                          2. 數據采集掌握實時計算中組件,數據開發工程師重要技能

                          1_Flume| 2_DataX| 3_實時采集

                          3. NoSQL&消息中心分布式存儲和消息隊列專項課,從原理到源碼,助力多場景存儲技術架構選型,升值加薪必備技能。

                          1_分布式緩存Redis| 2_消息隊列Kafka| 3_Hbase| 4_ELK技術棧| 5_消息隊列Pulsar

                          4. 實時OLAP框架掌握實時OLAP框架,數據開發工程師重要技能。

                          1_實時OLAP框架ClickHouse| 2_實時OLAP框架Doris

                          5. 數據湖開發數據湖技術專題課程,完成湖倉一體架構進階。

                          1_Hudi 基礎入門篇| 2_Hudi 應用進階篇| 3_Hudi 實戰案例篇

                          6. Flink技術棧Apache Flink作為當下流行的實時技術,深度剖析底層原理,實現高級實時開發工程師進階。

                          1_Flink基礎| 2_Flink DataStream的使用| 3_Kafka + Flink| 4_Flink SQL開發| 5_Hive + Flink SQL| 6_Flink CDC| 7_Flink CEP /Flink CEP SQL| 8_Watermark| 9_Checkpoint| 10_任務調度與負載均衡| 11_狀態管理| 12_Flink性能監控

                          7. FlinkSQL原理到精通全網流批一體架構首選FlinkSQL,進階技術+業務專家。

                          1_Flink SQL開發| 2_Hive + Flink SQL| 3_Flink性能監控| 4_Flink調優| 5_Flink SQL執行計劃| 6_FlinkSQL案例實戰

                          8. 星途車聯網實時項目掌握車聯網大數據實時業務場景開發,助力物聯網行業高薪挑戰。

                          1_Hive| 2_HBase| 3_HDFS數據存儲| 4_Kafka數據傳輸| 5_Flink全棧數據處理| 6_Nginx做反向代理| 7_LSV和Keepalived負載均衡和高可用

                          9. 今日指數證券實時項目掌握金融業務數據實時場景實,助力金融行業高薪挑戰。

                          1_創建原始數據hbase的二級索引| 2_Flink業務分析駕駛行程劃分| 3_flink駕駛行程業務分析| 4_將實時車輛中在圍欄中的車輛信息與mysql中已存在圍欄中的車輛信息合并| 5_TimeWindow流連接廣播狀態流結果流連接省、市廣播狀態流

                          10. 基于DataWorks全鏈路數據開發掌握智慧出行實時項目業務數據實時場景,覆蓋全網所有DataWorks平臺大數據。

                          1_智慧出行實時項目業務數據實時場景異構數據源采集| 2_基于DataWorks的大數據平臺設計| 3_出行行業可視化完整架構,涵蓋全生命周期項目

                          11. 湖倉一體化解決方案掌握基于湖倉一體的在線視頻實時分析項目,助力大數據新技術企業應用。

                          1_湖倉一體完整解決方案| 2_基于Flink的在線視頻數據處理與分析| 3_基于Hidi的在線視頻數據數據湖構建

                          12. Flink源碼剖析全網Flink源碼課程大全,從原理到源碼,深挖技術底層,助力Flink性能調優,大數據架構師必備技能。

                          1_Apache Flink設計理念與基本架構| 2_Flink DataStream的設計與實現源碼分析| 3_Flink 運行時的核心原理與實現| 4_Flink 任務提交與執行| 5_狀態管理與容錯| 6_網絡通信| 7_內存管理

                          13. Flink二次開發掌握Flink二次開發流程,個性化解決企業大數據平臺技術選型,助力在職的你持續高薪,大數據架構師必備技能。

                          1_基于PyFlink的PR提交| 2_Flink的源碼二次開發流程| 3_Flink的源碼二次開發需求分析| 4_Flink的源碼二次開發實現過程| 5_PyFlink相關功能二次開發

                        • Python+大數據開發 V版本課程說明

                          課程名稱:主要針對:主要使用開發工具:

                          課程介紹

                        Python+大數據開發全國就業薪資情況

                        查看其他班級

                        9970元/月平均薪資

                        15900元/月最高薪資

                        100%就業率

                        58月薪過萬

                        • 姓名
                        • 性別
                        • 就業時間
                        • 就職城市
                        • 就職企業
                        • 薪資
                        • 福利待遇
                        • 姓名
                        • 培訓前崗位
                        • 培訓前薪資
                        • 培訓后薪資
                        • 入職時間
                        • 入職公司
                        • 就職城市

                        *學員就業信息統計數據為數據庫中實時調取的真實相關數據,非廣告宣傳

                        Python+大數據開發全國各校區就業喜報
                         
                        天堂网AV