实战 \Spark Streaming实时流处理项目实战
收藏

Spark Streaming实时流处理项目实战

难度 中级
时长 15小时
学习人数 513
9.64分
¥ 388.00
  1. 课程介绍
  2. 组合套餐
  3. 课程章节
  4. 售前咨询 16
  5. 用户评价 28

Spark Streaming实时流处理项目实战

  1. 课程介绍
  2. 组合套餐
  3. 课程章节
  4. 售前咨询 16
  5. 用户评价 28
观看导学视频
Spark Streaming实时流处理项目实战
本课程从实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式鸿运国际hv128HBase、及当前最火爆的Spark Streaming打造实时流处理项目实战,让你掌握实时处理的整套处理流程,达到大数据中级研发工程师的水平!
Michael__PK
资深大数据架构师

基于Flume+Kafka+Spark Streaming打造企业大数据流处理平台

流行框架打造通用平台,直接应用于企业项目

处理流程剖析 日志产生器 使用Flume采集日志 将Flume收集到的数据输出到Kafka Spark Streaming消费Kafka的数据进行统计 Spark Streaming如何高效的读写数据到Hbase 本地测试和生产环境使用的拓展 Java开发Spark要点拓展

炫酷的可视化效果

SpringBoot构建web项目,Echarts和DataV强强联手,让你体验看得见的大数据

对这门课感兴趣,但大数据基础薄弱怎么办 1、缺乏Scala基础,直线跳转《Scala程序设计-基础篇》 2、缺乏Hadoop基础,直线跳转《10小时入门大数据》 3、Spark基础薄弱,直线跳转《大数据Spark SQL慕课网日志分析》

原理+场景,让你真正明白Spark Streaming

全面了解Spark Streaming的特性及场景应用,完成各个不同维度的统计分析

日志收集框架Flume Flume架构及核心组件 Flume&JDK环境部署 Flume实战案例
分布式消息队列Kafka Kafka架构及核心概念 / Zookeeper安装 Kafka单、多broker部署及使用 Kafka Producer Java API编程 Kafka Consumer Java API编程
1.入门 Spark Streaming概述及应用场景 Spark Streaming集成Spark生态系统使用 从词频统计功能着手入门Spark Streaming Spark Streaming工作原理(粗/细粒度)
2.核心 StreamingContext/Dstream Input DStreams和Receivers Transformation和Output Operations Spark Streaming处理socket/文件系统数据
3.进阶 updateStateByKey算子的使用 统计结果写入到MySQL鸿运国际hv128 窗口函数的使用、黑名单过滤 Spark Streaming整合Spark SQL操作
Streaming整合Flume Push和Pull两种方式介绍 与Flume Agent配置 本地、服务器环境联调 整合Spark Streaming应用开发
Streaming整合Kafka 版本选择详解 Receiver和Direct两种方式 本地、服务器环境联调 整合Spark Streaming应用开发及测试
渐进式学习让你彻底学会整套流程的开发 需求分析 → 数据清洗 → 数据统计分析 → 统计结果入库 → 数据可视化

学员专享增值服务

问答专区 讲师集中答疑 关于课程的问题都可在问答区随时提问
讲师会进行集中答疑
源码开放 整套代码下载 课程案例代码完全开放给你,你可以
根据所学知识自行修改、优化
开发环境 免费虚拟机环境 免费提供开箱即用的虚拟机环境
助你快速进入开发状态

适合人群及技术储备要求

本课程适合有编程基础,想转行投身大数据行业的工程师,对你的学习能力及基础要求如下: 1、熟悉常用Linux命令的使用 2、掌握Hadoop、Spark的基本使用 3、至少熟悉一门编程语言Java/Scala/Python

万事俱备 只等你来

  1. Echo鑫
    1.三门课了,老师讲的的确挺好的,通俗易懂,带领我们看官网,节省了我们很多理解的时间,并且提供笔记,这是我非常喜欢的,毕竟配置这种东西,是真心没法记住。另外老师提供的学习建议也很中肯。 2.我个人感觉大数据有点像运维+代码,相对于一些SSM项目的代码量来讲,目前处理的一些业务的代码块,都比较少,都是些简单demo,不知道接下来的两章实战代码量是否是真贴近实际,我也想知道数据处理这块标准的代码结构是怎样的。 3.减的一颗星,主要是老师您不在群里,对比其他课感觉互动少,没法获取多余的干货(不是答疑) 4.还是很期待后面老师出更加精彩的课程,毕竟对于老师您的讲课方式我还是挺喜欢的。
  2. 十里桃花舞丶
    跟着老师听完三门课,已经搞定实战代码,整理完两门课的笔记,正在整理第三门课的。收获很大,期待老师的下一门课程~收下我的膝盖!!
  3. hahaimooc
    老师讲的很好, 但是希望老师能出些实战的课程。 比如spark streaming和kafka整合的Exactly-once, 手工管理offset等。本门课程我给满分,期待老师实战的课程
查看全部28条用户评价
提问
数据加载中...
意见反馈 常见问题 APP下载
官方微信
hv128