Dataflow モデル、11年後：正しかった点と間違っていた点

11年前、Dataflow モデルの論文は大胆な主張をした。境界のない、順序が乱れたデータが新しい標準であり、システムはデータが完全になるのを待つべきではないと。そして、ウィンドウ処理、トリガー、ウォーターマーク、リトラクションという統一モデルを提案し、バッチ処理とストリーミング処理のエンジン間で、正確性、レイテンシ、コストのトレードオフを図った。今、VLDB Test of Time 賞を受賞した著者らは、自らの業績を採点する回顧録を発表した。

彼らによれば、中核となる基盤は時代に合っていた。イベント時間の優位性、完全性を待つことの無益さ、強力な一貫性は、今もなお正しい。しかし、分析インターフェースには重要な誤りがあった。ウィンドウ処理とトリガーは、運用上の関心事と絡み合い、その重要性以上に説明を支配した。トリガーは、ユーザーが直面すべきではなかった問題に対する過剰に設計された答えだった。そして、ストリーム中心の世界観は、より深い真実を見逃していた。ストリームとテーブルは、アクセスセマンティクスが異なるだけで、同じオブジェクトの2つの表現なのだ。

実際に論文の分析目標を達成したメカニズムは、データベースのプレイブックから進化したものだった。SQL、インクリメンタルビュー保守、明示的な鮮度契約を持つマテリアライズド・ビューだ。著者らは、データベースコミュニティが始めたことを完成させる代わりに、ストリーミングの仕組みに焦点を当てすぎたことを認めている。分析ストリーミングの複雑さをほぼ完全に消し去ることを。

回顧録ではまた、完全性の原則が2つの形態に分かれたことも探求している。ストリームが可視のままのウォーターマークと、そうでないスナップショット整合リフレッシュだ。後者は、ユーザーへの要求がはるかに少なく、はるかに多くのユーザーに届いた。著者らはウォーターマークを変更に対する宣言的制約に一般化し、バッチ対ストリーミングの議論はほとんど意味論的なものであるとし、低レイテンシの需要が従来の OLTP/OLAP の線に沿って二極化していることを観察し、分析はより緩やかな鮮度に委ねられている。彼らは、最初から使いたかった枠組みを採用している。残す、捨てる、もっと押し進める。そして、分析以外の分野でのストリーミングの最終的な消滅についても考察している。