talk-data.com

At first, streaming Postgres changes into Iceberg feels like a no-brainer. You spin up Debezium or Kafka Connect, point it at Iceberg, and it all looks boringly straightforward. The surprise comes once the pipeline hits production. Replication slots vanish and start filling up WAL space, LSNs don't line up and cause duplicates or gaps, and Iceberg sinks fail in ways that push back all the way to your primary database. Then you throw in schema changes, backfills, and compaction, and suddenly the \"boring\" pipeline becomes a source of late-night firefights. In this talk, I'll share real stories from running Postgres to Iceberg CDC pipelines in production. We'll look at the unexpected problems that show up, why they happen, and the strategies that actually helped keep things stable. If you've ever thought of Postgres -> Iceberg as just plumbing, this session will show you why it's not so boring after all.

En regardant certaines des premières pull requests dans le repository ClickHouse, vous verrez un fort accent mis sur l’intégration avec des systèmes externes. Au fil du temps, ClickHouse est devenu un puissant pont entre les data lakes et les data warehouses, prenant en charge les files d’attente, les bases de données et les object stores, avec une compatibilité pour plus de 60 formats d’entrée et de sortie. Cette polyvalence permet aux utilisateurs de bénéficier de la flexibilité d’un data lake tout en conservant les performances de requêtes en temps réel.

Dans cette session, nous discuterons de la manière dont nos utilisateurs exploitent ClickHouse et Iceberg, ainsi que de certaines fonctionnalités en cours de développement pour faciliter cette mouvance.