日韩av片子_国产自在自线午夜精品视频在_使劲快高潮了国语对白在线_久久免费毛片大全_激情丁香综合_欧美成人精品欧美一级乱黄码

中培偉業(yè)企業(yè)IT內訓課程
您現(xiàn)在的位置：首頁 > 企業(yè)內訓 > 大數(shù)據(jù) > 大數(shù)據(jù)互聯(lián)網架構實戰(zhàn)-Redis&Mycat

大數(shù)據(jù)互聯(lián)網架構實戰(zhàn)-Redis&Mycat

2022-04-27 10:07:19　|　來源：中培企業(yè)IT培訓網
一、培訓簡述
通過本課程的學習，學員將獲得以下收益：
  • 掌握Redis安裝、配置和生產環(huán)境部署方案
  • 掌握Redis的數(shù)據(jù)類型的正確理解和使用
  • 理解Redis內存管理原理
  • 掌握Redis安裝、配置和生產環(huán)境部署方案
  • 掌握構建Redis的可擴展集群及高可用
  • 掌握Redis安裝、配置和生產環(huán)境部署方案
  • 掌握Mycat數(shù)據(jù)庫分庫分表實戰(zhàn)
  • 掌握Mycat生產環(huán)境下性能調優(yōu)
  • 掌握Mycat生產環(huán)境下高可用方案。
二、培訓特色
  • PPT+教材+參考資料，理論講解
  • 提供配套的實驗環(huán)境
  • 場景+案例+模擬環(huán)境，動手實踐
  • 手把手解決問題+解決問題經驗分享。
三、培訓收益
  • 掌握基于大數(shù)據(jù)的體系架構、管理、部署，以及相應組件的原理和應用場景。
  • 讓學員具備部署基于企業(yè)大數(shù)據(jù)平臺環(huán)境的能力。
四、培訓時長
     共計4天，每天6課時

五、培訓大綱
模塊一：大數(shù)據(jù)實時計算引擎Storm
章 節(jié) 練習 學習目標與案例
Storm
  • 大數(shù)據(jù)實時計算框架簡介
  • Apache Storm體系結構
  • Apache Storm的偽分布模式的搭建
  • Apache Storm的全分布模式和HA
  • Storm的Demo演示
  • Storm集群在ZooKeeper上保存的數(shù)據(jù)結構
  • WordCount數(shù)據(jù)流動的過程
  • 開發(fā)自己的Storm的WordCount程序
  • 部署和運行Storm任務
  • Storm任務執(zhí)行的過程與通信機制
  • 流式計算系統(tǒng)的典型的架構與集成Storm
    • 集成Redis
    • 集成HDFS
    • 集成HBase
 使用Storm進行大數(shù)據(jù)的實時計算
  • 掌握Storm的體系架構和功能。
  • 掌握大數(shù)據(jù)實時計算的典型架構
  • 京東大數(shù)據(jù)平臺的架構
 
 
模塊二：Spark基礎之Scala編程語言
章 節(jié) 練習 學習目標與案例
Scala編程語言
  • Scala語言基礎
  • Scala語言的面向對象
  • Scala語言的函數(shù)式編程
  • Scala中的集合
  • Scala語言的高級特性
 編程Scala程序 掌握Scala編程語言
 
 
模塊三：大數(shù)據(jù)執(zhí)行引擎Spark Core
章 節(jié) 練習 學習目標與案例
Spark Core
  • 什么是Spark？
  • Spark的體系結構與安裝部署
    • Spark的主從架構
    • 什么是ZooKeeper
    • Spark HA的實現(xiàn)
  • 執(zhí)行Spark Demo程序
  • Spark運行機制及原理分析
  • Spark的算子
  • Spark RDD的高級算子
  • Spark基礎編程案例
  • Spark性能診斷和優(yōu)化案例
    • 系統(tǒng)死鎖的診斷和分析
    • 系統(tǒng)內存溢出的診斷和分析
  • 案例分享
    • 基于Spark的大數(shù)據(jù)平臺架構
 搭建Spark環(huán)境
使用Spark Core處理數(shù)據(jù)
  • 掌握Spark的體系架構和功能
  • Spark與Hadoop的對比
 
 
 
模塊四：數(shù)據(jù)分析引擎Spark SQL
章 節(jié) 練習 學習目標與案例
Spark SQL
  • Spark SQL基礎
    • Spark SQL簡介
    • 基本概念：Datasets和DataFrames
    • 測試數(shù)據(jù)
    • 創(chuàng)建DataFrames
    • DataFrame操作
    • Global Temporary View
    • 創(chuàng)建Datasets
    • Datasets的操作案例
  • 使用數(shù)據(jù)源
    • 通用的Load/Save函數(shù)
    • Parquet文件
    • JSON Datasets
    • 使用JDBC
    • 使用Hive Table
  • 性能優(yōu)化
  • 在IDEA中開發(fā)Spark SQL程序
 使用Spark SQL處理數(shù)據(jù)
  • 掌握Spark SQL的體系架構和功能。
  • 典型的大數(shù)據(jù)分析引擎的對比
    • Hive
    • Spark SQL
    • Flink SQL
 
 
模塊五：流式計算引擎Spark Streaming
章 節(jié) 練習 學習目標與案例
Spark Streaming
  • Spark Streaming基礎
    • Spark Streaming簡介
    • Spark Streaming的特點
    • Spark Streaming的內部結構
    • 第一個小案例：NetworkWordCount
    • 開發(fā)自己的NetworkWordCount
  • Spark Streaming進階
    • StreamingContext對象詳解
    • 離散流（DStreams）：Discretized Streams
    • DStream中的轉換操作（transformation）
    • 窗口操作
    • 輸入DStreams和接收器
    • DStreams的輸出操作
    • DataFrame和SQL操作
    • 緩存/持久化
    • 檢查點支持
  • 高級數(shù)據(jù)源
    • Spark Streaming接收Flume數(shù)據(jù)
    • Spark Streaming接收Kafka數(shù)據(jù)
  • 性能優(yōu)化
    • 減少批數(shù)據(jù)的執(zhí)行時間
    • 設置正確的批容量
    • 內存調優(yōu)
 使用Spark Streaming處理數(shù)據(jù)
  • 掌握Spark Streaming的體系架構和功能
  • 典型的大數(shù)據(jù)實時引擎的對比
    • Storm
    • Spark Streaming
    • Flink DataStream
 
 
模塊六：機器學習MLLib
章 節(jié) 練習 學習目標與案例
Spark  MLLib
  • 什么是MLLib？
  • MLLib中的常見算法
  • MLlib的應用案例：推薦系統(tǒng)的實現(xiàn)
    • 基于用戶的協(xié)同過濾
    • 基于物品的協(xié)同過濾
    • 基于ALS的協(xié)同過濾
    • 邏輯回歸算法
   掌握電商環(huán)境中推薦系統(tǒng)的實現(xiàn)。
 
 
模塊七：新一代大數(shù)據(jù)處理引擎Flink
章 節(jié) 練習 學習目標與案例
第3章：Flink的體系架構與部署
  • Flink簡介
  • Flink的體系架構
  • Flink的安裝與部署
  • Flink的分布式緩存
  • 對比：Flink、Storm和Spark Streaming
 安裝與部署Flink環(huán)境 掌握Flink的體系架構與生態(tài)圈組件
第4章：Flink on Yarn的實現(xiàn)
  • 什么是Yarn？與Yarn的體系架構
  • 部署Yarn
  • Flink on Yarn的兩種模式
    • 內存集中管理模式
    • 內存Job管理模式
  • Flink on Yarn兩種模式的區(qū)別
 部署Flink on Yarn 理解并掌握Flink on Yarn的兩種模式的特點
第5章：Flink HA的實現(xiàn)
  • 什么是HA？為什么需要HA？
  • 大數(shù)據(jù)分布式協(xié)調框架ZooKeeper
    • 什么是ZooKeeper
    • 搭建ZooKeeper環(huán)境
    • ZooKeeper的特性
    • 實現(xiàn)分布式鎖
  • 部署Flink HA高可用架構環(huán)境
 部署Flink HA環(huán)境 什么是HA？Flink HA的架構
第6章：Flink開發(fā)入門
  • Flink批處理開發(fā)
    • Java版本WordCount
    • Scala版本WordCount
  • Flink流處理開發(fā)
    • Java版本WordCount
    • Scala版本WordCount
  • 使用Flink Scala Shell
  • Flink的并行度分析
 搭建Flink開發(fā)環(huán)境并開發(fā)應用程序 掌握基本的Flink API編程
第7章：Flink DataSet API開發(fā)
  • Map、FlatMap與MapPartition
  • Filter與Distinct
  • Join操作
  • 笛卡爾積
  • First-N
  • 外鏈接操作
 基于DataSet API開發(fā)Flink離線計算應用 掌握常用的Flink DataSet API算子的作用
第8章：Flink DataStreaming API開發(fā)
  • DataSources
    • 基本的數(shù)據(jù)源示例
    • 自定義數(shù)據(jù)源
    • 內置的Connector
  • DataStream Transformation 轉換操作
  • Data Sinks
  • 集成Flink與Kafka
 基于DataSet Stream開發(fā)Flink離線計算應用 掌握常用的Flink DataStream API算子的作用
第9章：狀態(tài)管理和恢復
  • 狀態(tài)：State
    • Keyed State
    • Operator State
  • 檢查點：Checkpoint
    • 檢查點的配置：
    • state backend存儲模式
    • 修改State Backend的兩種方式
    • 示例
  • Restart Strategies（重啟策略）
 開發(fā)應用進行Flink的有狀態(tài)計算 理解并掌握Flink的狀態(tài)管理機制
第10章：Window和Time
  • 窗口：Window
    • Time Window示例
    • Count Window示例
  • Time：時間
  • WaterMark：水位線
    • Watermark的原理
    • Watermark的三種使用情況
    • 設置Watermark的核心代碼
    • 窗口的allowedLateness
   什么是Flink的窗口操作
第11章：Flink Table & SQL
  • Flink Table & SQL簡介
  • 開發(fā)Flink Table & SQL程序
  • 使用Flink SQL Client
 使用Flink SQL分析處理數(shù)據(jù) 掌握Flink的數(shù)據(jù)分析模塊
         
 
 
模塊八：大數(shù)據(jù)安全認證框架
章 節(jié) 練習 學習目標與案例
第1章：大數(shù)據(jù)安全框架
  • 大數(shù)據(jù)安全問題
  • 大數(shù)據(jù)安全管控措施
  • Kerberos安全認證機制
  • Sentry安全授權組件
    
 
（注：大綱還可根據(jù)需求進行調整）

主站蜘蛛池模板： 天天躁日日躁狠狠躁aab吃奶 | 久久久久久久久888 伊人青青视频 | 日本三级欧美三级人妇视频黑白配 | 写真片福利视频在线午夜波多 | 天天看高清谜片avhd101 | 亚洲综合在 | 国产乱国产乱300精品 | 人妻aⅴ中文字幕 | 天天操夜夜操狠狠操 | 一区二区三区四区在线免费视频 | 好男人影视社区在线www | 色综合久久久无码中文字幕波多 | 色婷婷一区二区三区亚洲国产精品 | 精品国产免费久久久久久尖叫 | 亚洲图片欧美小说 | 精品一卡2卡三卡4卡免费网站 | 国产精品va尤物在观看2021 | 四虎影院永久免费 | 无码人妻丰满熟妇啪啪网不卡 | 亚欧美日韩香蕉在线播放视频 | 久久一区二区三区国产精品 | 高清性欧美暴力猛交 | 中文字幕一区二区三区乱码图片 | 久久久久久久久久久大尺度免费视频 | 免费吃奶摸下激烈视频青青网 | 97精品依人久久久大香线蕉97 | 欧美久久一级 | av黄色片网站 | 韩国成人精品a∨在线观看 成年人视频在线网站 | 亚洲视频免费在线播放 | 极品粉嫩小泬白浆20PA片 | 中文天堂在线资源 | 日日婷婷夜日日天干A片 | 250pp亚洲情艺中心在线 | 欧洲精品视频一区二区 | 亚洲欧美日韩精品久久久 | 芒果视频91 | 人人妻人人妻人人人人妻人人 | 蜜桃一区二区在线观看 | 欧美精品综合A片在线观看 免费女人高潮流视频在线观看 | 国产一二三区在线播放 |