Flink 状态后端（State Backend）是决定有状态算子如何存储、访问及持久化状态数据的核心组件。其原理在于结合本地内存/磁盘高速读写与远程分布式存储（Checkpoint），实现低延迟计算与高可靠容错。状态后端负责在运行期管理状态快照，在故障时恢复数据一致性

Flink 状态后端核心原理

本地状态管理 (Local Management):

• 在任务运行期间，状态数据存放在 TaskManager 的本地（内存或 RocksDB 磁盘）。
  -算子处理数据时直接读写本地状态，保证极低的操作延迟。

检查点持久化 (Remote Checkpointing):

• 当触发 Checkpoint 时，状态后端将本地状态的副本异步传输并持久化到分布式文件系统（如 HDFS、S3）中。
• 这保证了任务即使在节点宕机时，也能从持久化的快照中恢复状态。

状态一致性保证 (Consistency):

• 利用 Flink 的 Chandy-Lamport 分布式快照算法，状态后端配合 Barrier 机制，确保不同算子的状态在全局是一致的。

常见状态后端分类及适用场景

HashMapStateBackend (原 MemoryStateBackend):

• 原理： 状态数据以 Java 对象形式存储在 JVM 堆内存中，CheckPoint 时进行序列化并快照至远端。
• 特点： 读写速度最快。
• 适用： 状态较小、小规模作业、无状态或轻量状态场景。

EmbeddedRocksDBStateBackend (原 RocksDBStateBackend):

• 原理： 状态数据序列化后存储在本地 RocksDB 数据库（磁盘）中，CheckPoint 时将文件上传。
• 特点： 状态大小不受 JVM 内存限制，只需考虑磁盘容量，支持增量快照。
• 适用： 大状态、超大规模状态、高可靠性要求的场景。

状态后端的核心工作流程

• 初始化： TaskManager 启动时，状态后端根据配置初始化本地存储结构（内存表或 RocksDB 文件）。
• 算子读写： 数据流经算子，算子更新本地状态（此时无需交互网络）。
• 快照： 定期检查点触发，后台线程将本地状态数据传输至分布式文件系统。
• 恢复： 发生故障时，新启动的 TaskManager 从持久化系统读取快照，重建本地状态。

参考文献

Flink状态后端和CheckPoint机制
State Backends

转载自CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/bug4pie/article/details/159716472