ゆなす🧑‍💻☕🍷🍶🍾🍹🍺

132232 posts 2065 follows 1297 followers

読みは じゅなあず じゃなあす ゆなす のどれでもよいです。（じゅにあ とは読まないこと）
主に G+ の人

ゆなす🧑‍💻☕🍷🍶🍾🍹🍺 juners@oransns.com

つづき2 QT:
Snowflake + Fivetranか〜

“2021年には、Postgres WAL（Write Ahead Log）からSnowflakeへのデータの取り込みにFivetranというサードパーティツールを使用し、480のシャードごとに480の1時間ごとのコネクタを設定して同じ数の生Snowflakeテーブルに書き込むという単純なELTパイプラインを使用して…”
https://x.com/integrated1453/status/1813257677537153434?t=udE63ygXeO1wrj-JURpMcg&s=19

この規模になるとDWHとELTじゃなくて、専用データレイクとSparkクラスタの構築が必要という納得感のある話だった

逆にこの規模までいかないとSnowflake(DWH)とFivetran(ELT)で十分なのでは感が、今はあるな〜
https://x.com/integrated1453/status/1813258561897832708?t=EpwjYfKpefG3--GXwu9Ksg&s=19