Protobuf Gradle Plugin 的用例
近日尝试利用 Apache Ratis 这个项目包装一个 Raft 协议驱动的状态机,遇到了需要用 Protobuf 传输数据的场景。由于 Gradle 构建工具的门槛和 Java 语言项目的某些惯例碰到了使用上的问题,这里记录一下我在这个玩具项目当中的用例。
近日尝试利用 Apache Ratis 这个项目包装一个 Raft 协议驱动的状态机,遇到了需要用 Protobuf 传输数据的场景。由于 Gradle 构建工具的门槛和 Java 语言项目的某些惯例碰到了使用上的问题,这里记录一下我在这个玩具项目当中的用例。
本文中,我将忽略性能等实际问题,主要聊点 general 的东西,如基本概念、表达力,或者说“怎么把它变为可能”,而不是“怎么把它搞得快的飞起”。另外,我会尽量写的让不了解分布式系统或共识的读者也能看懂。不过,如果你已经对 Raft 或 Paxos 之类的共识算法有了概念,那当然还是更好。
今天学到了一点关于 Rust Enum 的冷知识,在开始阅读之前,大家可以猜一下下面的 Rust 代码在常见的 64 bit 机器上的输出是什么?
1 | struct A (i64, i8); |
在这个 Rust Playground 里可以看到结果。
流处理系统处理的数据往往是没有边界的:数据会一直从数据源输入,用户需要看到 SQL 查询的实时结果。与此同时,流处理系统中的计算节点可能出错、失败,可能根据用户的需求实时扩容、缩容。在这一过程中,系统需要能够高效地将计算的中间状态在节点之间转移,并持久化到外部系统上,从而保证计算的不间断进行。
本文介绍了工业界学术界中流处理系统状态存储的三种方案:存储完整状态 (Flink 等系统),存储共享状态 (以 Materialize / Differential Dataflow 为例),存储部分状态 (以 Noria (OSDI ‘18) 为例)。这些存储方案各有优势,可以为未来的流处理引擎开发提供一些借鉴意义。
近几天读完了 Bjarne Stroustrup 的 HOPL4 论文 Thriving in a Crowded and Changing World: C++ 2006–2020 经由 Boolan 组织翻译的中文版,相关文本内容托管在 GitHub 上,在线阅读。
不谈其中具体的技术细节,我从 Bjarne 反思 C++ 作为一门编程语言在几十年来如何发展,遇到的问题以及未来的方向的考虑的过程中得到了不少启发,这里做个转述和简短的评论。