1、搭建kafka,参考 Kafka集群部署
2、flume版本apache-flume-1.6.0-bin.tar.gz
3、Flume安装流程:
首先解压apache-flume-1.6.0-bin.tar.gz
修改配置文件
cp conf/flume-env.sh.template flume-env.sh vi flume-env.sh 修改配置项目 export JAVA_HOME=/usr/java/jdk1.7.0_67
3、连接kafka,新建配置文件xxx.conf (文件名随便,但启动时需要)
a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = avro a1.sources.r1.bind = sto1 a1.sources.r1.port = 41414 # Describe the sink a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.topic = testflume a1.sinks.k1.brokerList = sto1:9092,sto2:9092,sto3:9092 a1.sinks.k1.requiredAcks = 1 a1.sinks.k1.batchSize = 20 a1.sinks.k1.channel = c1 # Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 1000000 a1.channels.c1.transactionCapacity = 10000 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
4、启动集群
启动zk集群 A、启动Kafka集群。 bin/kafka-server-start.sh config/server.properties B、配置Flume集群,并启动Flume集群。 bin/flume-ng agent -n a1 -c conf -f conf/fl.conf -Dflume.root.logger=DEBUG,console
5、测试系统
kafka启动消费者,topic的名称不能变,且使用前可以不用手工创建 bin/kafka-console-consumer.sh --zookeeper sto1:2181, sto2:2181, sto3:2181 --from-beginning --topic testflume
启动消费者: bin/kafka-console-consumer.sh --zookeeper sto1:2181, sto2:2181, sto3:2181 --from-beginning --topic testflume 启动生产者 bin/kafka-topics.sh --zookeeper sto1:2181, sto2:2181, sto3:2181 --create --replication-factor 2 --partitions 1 --topic mylog_cmcc 查看topic列表: bin/kafka-topics.sh --zookeeper sto1:2181, sto2:2181, sto3:2181 --list 启动消费者 bin/kafka-console-consumer.sh --zookeeper sto1:2181, sto2:2181, sto3:2181 --from-beginning --topic mylog_cmcc bin/kafka-console-consumer.sh --zookeeper sto1:2181, sto2:2181, sto3:2181 --topic mylog_cmcc
java客户端代码 package com.sgb.flume; import org.apache.flume.Event; import org.apache.flume.EventDeliveryException; import org.apache.flume.api.RpcClient; import org.apache.flume.api.RpcClientFactory; import org.apache.flume.event.EventBuilder; import java.nio.charset.Charset; /** * Flume官网案例 * http://flume.apache.org/FlumeDeveloperGuide.html * @author root */ public class RpcClientDemo { public static void main(String[] args) { MyRpcClientFacade client = new MyRpcClientFacade(); client.init("sto1", 41414); for (int i = 10; i < 20; i++) { String sampleData = "Hello Flume!ERROR" + i; client.sendDataToFlume(sampleData); System.out.println("senddata" + sampleData); } client.cleanUp(); } } class MyRpcClientFacade { private RpcClient client; private String hostname; private int port; public void init(String hostname, int port) { // Setup the RPC connection this.hostname = hostname; this.port = port; this.client = RpcClientFactory.getDefaultInstance(hostname, port); } public void sendDataToFlume(String data) { Event event = EventBuilder.withBody(data, Charset.forName("UTF-8")); try { client.append(event); } catch (EventDeliveryException e) { client.close(); client = null; client = RpcClientFactory.getDefaultInstance(hostname, port); } } public void cleanUp() { client.close(); } }
java客户端执行时,可以看到数据从flume流向kafka,并最终显示在消费者。此时可以通过storm与kafka的代码取得数据进行内存运算。
相关推荐
搭建Hadoop集群,并使用flume+kafka+storm+hbase实现日志抓取分析,使用一个主节点master、两个slave节点
详细讲解flume+kafka+spark实验环境搭建和测试例子,资源不能一次上传多个。需要更多资源可以免费给大家,q:1487954071
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
flume+kafka 环境搭建详细文档,需要的同学自己下载一下。后期会在博客上做出具体讲解。需要其他文档的请留言。后续上传
flume+kafka+storm搭建 详细讲解大数据的消息平台的搭建。
apache-flume-1.8.0-bin.tar.gz apache-phoenix-4.13.0-HBase-1.3-bin.tar.gz hadoop-2.7.4.tar.gz hbase-1.3.1-bin.tar.gz jdk-8u144-linux-x64.tar.gz kafka_2.12-1.0.0.tgz scala-2.12.4.tar.gz scala-2.12.4.tgz...
flume及kafka及storm搭建.rarflume及kafka及storm搭建.rarflume及kafka及storm搭建.rar
存储模块:搭建和配置HDFS分布式存储系统,并Hbase和MySQL作为备用方案。 ETL模块:加载原始数据,清洗,加工,为模型训练模块 和 推荐模块 准备所需的各种数据。 模型训练模块:负责产生模型,以及寻找最佳的模型...
适合Hadoop开发搭建,里面有详细的内容仅供参考
分布式文件存储系统:HDFS 分布式计算框架:MapReduce 集群资源管理器:YARN 单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 ...
Kafka+Flume-ng搭建
直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,以后一些写错的点,在这边...
操作系统:CentOS 7.1 Java版本:1.8 Elasticsearch 6.2.4 Flume 1.8 一步一步的搭建一步一步写的
linux环境搭建+hadoop+zk+flume+kafka+mysql+hive+redis+es+Rmq+hbase+spark+storm+azkaban
技术层面,从全栈的角度系统梳理和详尽讲解了大数据的核心技术,包括Spark、Druid、Flume、Kafka等,让我们在纷繁复杂的技术中少走弯路;经验层面,为企业的大数据技术选型和大数据平台建设提供了成熟的解决方案;...
设计基于 Flume+Kafka 作为大数据采集模块,搭建 Hadoop+Spark 大数据平台。首先基于flink对数据进行预处理,利用hbase对数据进行去重,然后基于hive构建数据仓库,使用hdfs实现数据存储,基于sparkml的随机森林算法...
Kafka的搭建文档 及整合Flume
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】全套高可用环境搭建,还有自动化启动脚本。只需要复制粘贴命令,就可以完成。3台机器。相关资源可以留言发邮件,我发资料。cdh...