Ericon 锐评

Comments on technical topics by Ericon members.

0%

近日尝试利用 Apache Ratis 这个项目包装一个 Raft 协议驱动的状态机,遇到了需要用 Protobuf 传输数据的场景。由于 Gradle 构建工具的门槛和 Java 语言项目的某些惯例碰到了使用上的问题,这里记录一下我在这个玩具项目当中的用例。

阅读全文 »

最近完成了 Databend 存储模块的大重构,在不阻塞现有功能开发的前提下,基本无痛的完成了功能的实现。本文总结了我个人的一些经验,期望能够带来一些启发。

阅读全文 »

本文中,我将忽略性能等实际问题,主要聊点 general 的东西,如基本概念、表达力,或者说“怎么把它变为可能”,而不是“怎么把它搞得快的飞起”。另外,我会尽量写的让不了解分布式系统或共识的读者也能看懂。不过,如果你已经对 Raft 或 Paxos 之类的共识算法有了概念,那当然还是更好。

阅读全文 »

今天学到了一点关于 Rust Enum 的冷知识,在开始阅读之前,大家可以猜一下下面的 Rust 代码在常见的 64 bit 机器上的输出是什么?

1
2
3
4
5
6
7
8
struct A (i64, i8);
struct B (i64, i8, bool);
fn main() {
dbg!(std::mem::size_of::<A>());
dbg!(std::mem::size_of::<Option<A>>());
dbg!(std::mem::size_of::<B>());
dbg!(std::mem::size_of::<Option<B>>());
}

在这个 Rust Playground 里可以看到结果。

阅读全文 »

流处理系统处理的数据往往是没有边界的:数据会一直从数据源输入,用户需要看到 SQL 查询的实时结果。与此同时,流处理系统中的计算节点可能出错、失败,可能根据用户的需求实时扩容、缩容。在这一过程中,系统需要能够高效地将计算的中间状态在节点之间转移,并持久化到外部系统上,从而保证计算的不间断进行。

本文介绍了工业界学术界中流处理系统状态存储的三种方案:存储完整状态 (Flink 等系统),存储共享状态 (以 Materialize / Differential Dataflow 为例),存储部分状态 (以 Noria (OSDI ‘18) 为例)。这些存储方案各有优势,可以为未来的流处理引擎开发提供一些借鉴意义。

阅读全文 »

近几天读完了 Bjarne Stroustrup 的 HOPL4 论文 Thriving in a Crowded and Changing World: C++ 2006–2020 经由 Boolan 组织翻译的中文版,相关文本内容托管在 GitHub 上,在线阅读。

不谈其中具体的技术细节,我从 Bjarne 反思 C++ 作为一门编程语言在几十年来如何发展,遇到的问题以及未来的方向的考虑的过程中得到了不少启发,这里做个转述和简短的评论。

阅读全文 »