Flume HTTPSource 与 HTTP Sink 实践：构建实时数据接收网关与推送端点

发布时间：2026/8/31 1:04:23

Flume HTTPSource 与 HTTP Sink 实践：构建实时数据接收网关与推送端点 Flume HTTPSource 与 HTTP Sink 实践构建实时数据接收网关与推送端点Flume HTTPSource 与 HTTP Sink 概述Apache Flume 是一个分布式、可靠、可扩展的服务用于高效地收集、聚合和移动大量日志数据。在实时数据处理场景中Flume 的 HTTPSource 和 HTTP Sink 组件提供了通过 HTTP 协议进行数据接收和推送的能力。HTTPSource 允许 Flume 接收来自外部 HTTP 请求的数据适用于将 Web 应用、移动应用等产生的日志实时接入数据管道。HTTP Sink 则使 Flume 能够将处理后的数据通过 HTTP 协议发送到外部服务如 Elasticsearch、Kafka 或其他自定义 API 端点。这两种组件的结合使用可以构建灵活的数据处理网关实现数据的实时采集、转换和分发满足现代分布式系统中对实时数据流处理的需求。HTTPSource 实践构建实时数据接收网关HTTPSource 是 Flume 的一个内置 Source 组件通过 HTTP 协议接收数据。配置和使用 HTTPSource 接收 HTTP 请求需要以下步骤a. 在 Flume 配置文件中定义 HTTPSourceproperties# 定义源a1.sources r1a1.sources.r1.type org.apache.flume.source.http.HTTPSourcea1.sources.r1.bind 0.0.0.0a1.sources.r1.port 8080a1.sources.r1.handler org.apache.flume.source.http.JSONEventServleta1.sources.r1.handler.type jsona1.sources.r1.channels c1以上配置创建了一个监听在 0.0.0.0:8080 的 HTTPSource使用 JSONEventServlet 处理请求并将数据发送到通道 c1。b. 启动 Flume 代理bashflume-ng agent --conf ./conf --conf-file ./http-source.conf --name a1 -Dflume.root.loggerINFO,consolec. 使用 curl 或其他 HTTP 客户端发送数据bashcurl -X POST -H Content-Type: application/json -d {timestamp:2023-05-01T12:00:00, event:user_login, user:testuser} http://localhost:8080d. 验证数据是否被接收和处理配置一个 Memory Channel 和 Logger Sink 来验证数据流properties# 定义通道a1.channels c1a1.channels.c1.type memorya1.channels.c1.capacity 1000a1.channels.c1.transactionCapacity 100# 定义接收器a1.sinks k1a1.sinks.k1.type loggera1.sinks.k1.channel c1通过以上配置HTTPSource 接收到的数据将被发送到 Memory Channel最终通过 Logger Sink 输出到控制台。在实际应用中可以将 Logger Sink 替换为 HDFS、Kafka 或其他 Sink将数据持久化或进一步处理。HTTP Sink 实践构建实时数据推送端点HTTP Sink 是 Flume 的一个内置 Sink 组件通过 HTTP 协议发送数据到外部服务。配置和使用 HTTP Sink 需要以下步骤a. 在 Flume 配置文件中定义 HTTPSinkproperties# 定义源a1.sources r1a1.sources.r1.type execa1.sources.r1.command tail -F /var/log/flume/test.loga1.sources.r1.channels c1# 定义通道a1.channels c1a1.channels.c1.type memorya1.channels.c1.capacity 1000a1.channels.c1.transactionCapacity 100# 定义接收器a1.sinks k1a1.sinks.k1.type org.apache.flume.sink.http.HttpSinka1.sinks.k1.channel c1a1.sinks.k1.httpEndpoint http://localhost:8081/eventsa1.sinks.k1.httpMethod POSTa1.sinks.k1.contentType application/jsona1.sinks.k1.connectTimeout 30000a1.sinks.k1.requestTimeout 30000a1.sinks.k1.connectRetryDelay 10000a1.sinks.k1.defaultBackoff truea1.sinks.k1.maxBackoff 10000a1.sinks.k1.serializer org.apache.flume.sink.http.HttpServletRequestSerializer以上配置创建了一个 HTTPSink将数据通过 POST 请求发送到 http://localhost:8081/events使用 JSON 格式。b. 启动 Flume 代理bashflume-ng agent --conf ./conf --conf-file ./http-sink.conf --name a1 -Dflume.root.loggerINFO,consolec. 创建一个简单的 HTTP 服务来接收数据使用 Node.js 创建一个简单的 HTTP 服务javascriptconst http require(http);const server http.createServer((req, res) {if (req.method POST req.url /events) {let body ;req.on(data, chunk {body chunk.toString();});req.on(end, () {console.log(Received data:, body);res.writeHead(200);res.end(OK);});} else {res.writeHead(404);res.end(Not Found);}});server.listen(8081, () {console.log(Server running at http://localhost:8081/);});d. 验证数据是否被发送和接收向 /var/log/flume/test.log 文件中添加内容观察 Flume 是否将数据发送到 HTTP 服务以及 HTTP 服务是否接收到数据。完整实例构建实时数据流处理系统结合前面的 HTTPSource 和 HTTP Sink我们可以构建一个完整的实时数据流处理系统该系统接收来自 Web 应用的日志数据经过处理后将数据发送到 Elasticsearch 进行存储和分析。a. 配置 Flume 代理properties# 定义源a1.sources r1a1.sources.r1.type org.apache.flume.source.http.HTTPSourcea1.sources.r1.bind 0.0.0.0a1.sources.r1.port 8080a1.sources.r1.handler org.apache.flume.source.http.JSONEventServleta1.sources.r1.handler.type jsona1.sources.r1.channels c1# 定义通道a1.channels c1a1.channels.c1.type memorya1.channels.c1.capacity 1000a1.channels.c1.transactionCapacity 100# 定义接收器a1.sinks k1a1.sinks.k1.type org.apache.flume.sink.http.HttpSinka1.sinks.k1.channel c1a1.sinks.k1.httpEndpoint http://elasticsearch:9200/logs/_doca1.sinks.k1.httpMethod POSTa1.sinks.k1.contentType application/jsona1.sinks.k1.connectTimeout 30000a1.sinks.k1.requestTimeout 30000a1.sinks.k1.connectRetryDelay 10000a1.sinks.k1.defaultBackoff truea1.sinks.k1.maxBackoff 10000a1.sinks.k1.serializer org.apache.flume.sink.http.HttpRequestBodySerializerb. 启动 Flume 代理bashflume-ng agent --conf ./conf --conf-file ./flume.conf --name a1 -Dflume.root.loggerINFO,consolec. 使用 curl 发送数据bashcurl -X POST -H Content-Type: application/json -d {timestamp: 2023-05-01T12:00:00,level: INFO,message: User login,user: testuser,ip: 192.168.1.100} http://localhost:8080d. 验证数据是否被存储到 Elasticsearch使用 Elasticsearch 的 REST API 或 Kibana 检查数据是否被正确存储bashcurl -X GET http://elasticsearch:9200/logs/_search?pretty注意事项与最佳实践在使用 Flume 的 HTTPSource 和 HTTP Sink 时需要注意以下几点a.性能优化合理配置通道容量和事务大小避免数据丢失或性能瓶颈对于高并发场景考虑使用多通道或多个 Flume 代理实例b.错误处理配置适当的重试机制和超时设置实现监控和告警机制及时发现和处理数据流异常c.安全考虑对 HTTPSource 启用 HTTPS 和基本认证对敏感数据进行加密处理d.数据格式统一数据格式便于后续处理和分析考虑使用 Schema Registry 管理数据结构变更e.扩展性使用 Load Balance Channel 或 Fanout Channel 实现数据分流考虑使用 Flume NG 集群部署提高可靠性最小示例与注意事项HTTPSource 配置文件 (http-source.conf):# 定义源 a1.sources r1 a1.sources.r1.type org.apache.flume.source.http.HTTPSource a1.sources.r1.bind 0.0.0.0 a1.sources.r1.port 8080 a1.sources.r1.handler org.apache.flume.source.http.JSONEventServlet a1.sources.r1.handler.type json a1.sources.r1.channels c1 # 定义通道 a1.channels c1 a1.channels.c1.type memory a1.channels.c1.capacity 1000 a1.channels.c1.transactionCapacity 100 # 定义接收器 a1.sinks k1 a1.sinks.k1.type logger a1.sinks.k1.channel c1启动命令:flume-ng agent --conf ./conf --conf-file ./http-source.conf --name a1 -Dflume.root.loggerINFO,console发送数据:curl -X POST -H Content-Type: application/json -d {event:test} http://localhost:8080注意事项:确保防火墙开放了 Flume 监听的端口检查 Flume 版本HTTPSource 和 HTTP Sink 的类名可能随版本变化对于生产环境应考虑配置多个通道和备份接收器以提高可靠性监控 Flume 的内存使用情况避免内存溢出大数据量场景下考虑增加 batch-size 参数提高吞吐量数据流程图:POST请求接收事件传输数据HTTP请求HTTP客户端HTTPSourceChannelHTTPSink外部服务

相关新闻

相关新闻

8款专业AI写作辅助软件横向实测，本硕博避坑必备指南

8款专业AI写作辅助软件横向实测，本硕博避坑必备指南

前言：AI 写论文乱象频发，实测 8 款工具理清适配边界 每到毕业季，本科生、硕博生都会集中寻找 AI 论文辅助工具，市面各类写作软件层出不穷，但普遍存在几类硬伤：虚假参考文献、无法匹配本校格式、不支持公式代…

2026/8/31 0:59:23
少走弯路：盘点2026年深得人心的AI论文网站

少走弯路：盘点2026年深得人心的AI论文网站

一天写完毕业论文在2026年已不再是天方夜谭。2026年AI论文网站正以惊人的速度革新学术写作，覆盖选题构思、文献整理、内容生成、降重润色等全流程，实测提速效果炸裂，助你高效搞定论文。 一、全流程王者：一站式搞定论文全链路&…

2026/8/31 0:59:23
写作压力小了！盘点2026年顶流之选的AI论文平台

写作压力小了！盘点2026年顶流之选的AI论文平台

一天写完毕业论文在2026年已不再是天方夜谭。2026年最炸裂的AI论文平台，实测提速效果惊人，覆盖选题、写作、查重、排版全流程，让你高效搞定论文不再难。 一、全流程王者：一站式搞定论文全链路（一天定稿首选&#xff09…

2026/8/31 0:59:23

最新新闻

中级会计实务高效备考：固定答案的正确用法与冲刺策略

中级会计实务高效备考：固定答案的正确用法与冲刺策略

离中级会计考试还有两个月的时候，我在一个备考群里看到有人甩出一份资料，标题直接写着：中级会计实务100条固定答案，背完80过了。群里瞬间热闹起来，有人马上收藏，有人追问能不能分享，也有一个刚查…

2026/8/31 1:34:25
我如何梳理后端技术栈的演进路线与取舍逻辑

我如何梳理后端技术栈的演进路线与取舍逻辑

我先讲一个具体场景。一年前，我接手了一个遗留系统，技术栈是十年前定的：Java 8 Spring MVC 单体部署 MySQL 单库。团队天天加班，每次发布要停机两小时，线上偶发慢查询直接拖垮所有接口。老板说“重构”，…

2026/8/31 1:34:25
无需SDK：用TOML和Webhook构建Agent工作流引擎

无需SDK：用TOML和Webhook构建Agent工作流引擎

如果你想快速搭建一套 Agent 工作流，又不想为每个语言环境分别维护 SDK，那“只用 TOML 定义配置 通过 Webhook 通信”的设计会很值得参考。这个思路最早出现在 Show HN 的一条项目介绍上：An agent engine with no SDK, just TOML and webhoo…

2026/8/31 1:34:25
RAG完整业务流程：从Embedding到向量检索与LLM生成

RAG完整业务流程：从Embedding到向量检索与LLM生成

这次不聊花哨的框架对比，直接看 RAG（检索增强生成）的完整业务流程。很多同学学 RAG 的时候，总被一堆名词绕晕：Embedding、向量检索、切块、Rerank、知识库、召回率……概念好像都见过，真到自己搭一个能问答…

2026/8/31 1:34:25
网易Android提前批笔试备考指南：从基础到工程实践一次讲透

网易Android提前批笔试备考指南：从基础到工程实践一次讲透

看到这个标题，估计不少正在准备秋招的同学都会点进来。我也不卖关子，这篇内容就是围绕“网易2023校招笔试-Android开发工程师（提前批）”这个题目，把这类大厂提前批笔试到底在考什么、怎么准备、哪些地方最容易翻车&…

2026/8/31 1:34:25
CocosCreator3D微信小游戏3D跑酷Demo源码全解析

CocosCreator3D微信小游戏3D跑酷Demo源码全解析

简介：这是一份基于CocosCreator3D v1.0.0开发的微信小游戏完整源码，聚焦3D跑酷闯关玩法，面向计算机相关专业学生及初级游戏开发者，适用于课程设计、毕业设计、技术学习与项目立项演示。资源包含388个文件，涵盖53个Java…

2026/8/31 1:29:25

日新闻

花一半预算，用内存、固态与CPU升级让老工作站性能翻倍

花一半预算，用内存、固态与CPU升级让老工作站性能翻倍

很多人以为性能升级就是把整台机器换掉，预算不够就先忍着。我见过太多团队和个人，宁可花两万块买一台新工作站，也不愿意花几千块把手头机器的瓶颈拆出来解决。今天聊聊一件挺反常识的事：用大约初始投资一半的钱，通过精…

2026/8/31 0:04:20
GNSS有源陶瓷贴片天线：原理、选型与调试实战指南

GNSS有源陶瓷贴片天线：原理、选型与调试实战指南

做硬件的人大概都有过这种体验：辛辛苦苦把GNSS模组调通，定位数据却总是飘，或者干脆搜不到星。翻遍代码、核对完NMEA输出，最后发现问题出在头顶那颗不起眼的天线上。GNSS接收链路里，天线是最容易被低估的一环&#xff0…

2026/8/31 0:04:20
千兆以太网硬件设计实战：从PCB层叠到磁性元件选型的关键细节

千兆以太网硬件设计实战：从PCB层叠到磁性元件选型的关键细节

做硬件这么久，我越来越觉得千兆以太网是一个"看起来简单，做起来全是细节"的东西。原理图照着PHY芯片的参考设计抄，PCB按厂家推荐来画，几乎每个人都能很快跑通第一版，但真正到了量产、过EMC、跑长时间大压力吞…

2026/8/31 0:04:20

周新闻

显卡频繁报错掉卡？别先返修，驱动固件不兼容才是常见伪硬件故障

显卡频繁报错掉卡？别先返修，驱动固件不兼容才是常见伪硬件故障

很多机房运维遇到显卡掉卡、算力异常、报错中断，第一反应就是硬件出了问题，立刻安排拆机返修。但实际上，相当比例的故障并非硬件损坏，而是驱动版本、显卡固件、主板 BIOS、系统内核之间的不兼容冲突引发的 “伪硬件故障”。这类故…

2026/8/30 0:02:35
备战数据库管理工程师校招：索引、事务、备份恢复核心考点解析

备战数据库管理工程师校招：索引、事务、备份恢复核心考点解析

每年校招季我都会接触不少准备数据库方向笔试的同学，看到最多的状态就是：简历上写着“熟悉 MySQL”“了解索引优化”，一碰到数据库管理工程师的笔试卷，却在索引、事务、锁、备份恢复这些题目上翻车。网易这套 2018 校园招聘数据库…

2026/8/30 0:02:35
数字电路时序基石：深入理解建立时间与保持时间

数字电路时序基石：深入理解建立时间与保持时间

1. 这不是“背公式”的事：时间参数到底在约束什么你翻过数字电路教材，一定见过这两个词：建立时间（Setup Time）和保持时间（Hold Time）。它们常被并列写在触发器（Flip-Flop&#xff09…

2026/8/30 0:02:35

月新闻

实测才敢推 AI论文网站 2026最新测评与推荐

实测才敢推 AI论文网站 2026最新测评与推荐

2026年真正好用的AI论文网站，核心看生成的论文质量、低AI味、格式正确、学术适配四大指标。综合实测，千笔AI、ThouPen、豆包、DeepSeek、Grammarly 是当前最值得推荐的梯队，覆盖从免费到付费、从中文到英文、从文科到理工的全场景需求。一、综…

2026/8/30 9:08:20
2026必备！AI论文网站测评：最新推荐与深度对比

2026必备！AI论文网站测评：最新推荐与深度对比

2026年真正好用的AI论文网站，核心看生成的论文质量、低AI味、格式正确、学术适配四大指标。综合实测，千笔AI、ThouPen、豆包、DeepSeek、Grammarly 是当前最值得推荐的梯队，覆盖从免费到付费、从中文到英文、从文科到理工的全场景需求。 一、…

2026/8/30 16:24:17
摆脱论文困扰!盘点2026年全网爆红的的AI论文写作工具

摆脱论文困扰!盘点2026年全网爆红的的AI论文写作工具

一天写完毕业论文在2026年已不再是天方夜谭。2026年最炸裂、实测能大幅提速的AI论文写作工具，覆盖选题构思、文献整理、内容生成、格式排版等核心场景，真正帮你高效搞定论文难题。 一、全流程王者：一站式搞定论文全链路（一天定稿首…

2026/8/30 14:46:46