Kafka代码实战--让你全面学习Kafka课程介绍 本训练营目标是以Java代码实战的方式学习Kafka。包括Kafka的安装配置、Producer API的使用、Consumer API的使用以及与第三方框架(Flume、Spark Streaming)的集成开发。对在大数据项目中经常用到的Kafka关键知识点,进行全方位、源代码级别的学习,使学员深入理解Kafka的内部机制。 从这个训练营中你能学到什么?- 理解kafka集群
- 理解Kafka的三大组件Producer、Broker、Consumer
- 理解Kafka发送消息的过程
- 精确控制消息的消费位置
- 实现最多一次、至少一次、仅有一次的消费语义
- 理解Kafka与Flume、Spark Streaming集成
- 开源大数据框架的学习方法
课程信息- 学习周期:课程有效期2个月, 2个月后实验文档一直可以看,但无法进行在线实验。
- 课程价格:当前优惠价 159 元。
- 企业团报:可获得更多支持服务,请点击购买咨询。
适合人群- 具有一定的Java基础,会使用简单的Linux Shell命令的同学。
实验列表- 第1节:Kafka,你好!
- 了解 MQ 消息系统的概念
- 理解 Kafka 消息系统的基本架构
- 安装单机版 Kafka 集群
- 使用 Shell 命令创建 Topic
- 使用Consumer、Producer命令行发送和接收消息
- 第2节:理解 Kafka 集群
- 理解 Zookeeper 和 Kafka 的关系
- 理解 broker、topic、producer、consumer、partition 等专有术语
- 第3节:理解 Kafka topic
- 使用 shell 命令修改 topic、删除 topic
- 使用 Java 调用 Kafka topic 相关 API
- 查看 Kafka 中消息的存储位置
- 第4节:客户端开发之Producer开发入门
- 开发 Producer 程序的基础知识
- 开发 Producer 程序发送消息到 Kafka 集群
- 学习创建一个 KafkaProducer 和 ProducerRecord 对象
- 学习使用默认 partitioner 和 serializer 发送消息
- 第5节:客户端开发之Producer开发进阶
- 画图展示 producer 发送消息到 Kafka 的过程。
- 查看 Kafka 源代码,从源码级别理解 producer发送消息的过程
- 开发自定义partitioner分区器
- 第6节:客户端开发之Consumer开发入门
- 理解consumer group概念
- 学习开发 consumer 程序的基本步骤
- 编程控制消费指定 offset 的消息
- 第7节:客户端开发之Consumer开发进阶
- 消息 offset 的同步/异步提交
- 按partition维度提交offset
- 按处理的消息量提交offset
- 第8节:Kafka整合Flume
- Flume 的安装和配置
- Flume 接收telnet命令行消息发送到 Kafka
- 第9节:Kafka企业级实战--发送/接收结构化数据
- 开发Producer发送结构化数据
- 开发Consumer读取结构化数据
- 第10节:kafka企业级实战--发送/接收非结构化 数据(图片/视频)
- 第11节:Kafka 企业级实战--Spark2.0 读取 Kafka 数据
- 使用Eclipse搭建 Spark2.0 开发环境
- 使用Spark Streaming读取 Kafka 数据并输出
|