Flink 原理与实现:如何处理反压问题

  • 时间:
  • 浏览:4

目前主流的流避免系统 Storm/JStorm/Spark Streaming/Flink 没有 可能 提供了反压机制,不过虽然现各不相同。

Storm 是通过监控 Bolt 中的接收队列负载清况 ,不可能 超不足英文水位值就会将反压信息写到 Zookeeper ,Zookeeper 上的 watch 会通知该拓扑的所有 Worker 都进入反压清况 ,最后 Spout 停止发送 tuple。具体实现还没有 看一点 JIRA STORM-88

流避免系统没有 能优雅处在理反压(backpressure)疑问。反压通常产生于原来的场景:短时负载高峰导致 系统接收数据的速率单位单位 远高于它避免数据的速率单位单位 。一点日常疑问没有 导致 反压,类式,垃圾回收停顿不可能 会导致 流入的数据快速堆积,不可能 遇到大促或秒杀活动导致 流量陡增。反压不可能 没有 得到正确的避免,不可能 会导致 资源耗尽甚至系统崩溃。