Apache Parquet

Apache Parquet е свободен колонен формат за съхранение на данни, оптимизиран за висока компресия, паралелна обработка и ефективно изпълнение на комплексни аналитични заявки в големи масиви от данни.

Архитектурни предимства

  • Колонно ориентирано четене: Позволява прочитане само на необходимите колони за дадена заявка, спестявайки до 90% от входно-изходните дискови операции.
  • Ефективна компресия (Snappy, ZSTD): Значително намаляване на размера на диска в сравнение с текстови формати като CSV и JSON.
  • Интеграция с локални енджини: Нативна съвместимост с модерни аналитични инструменти като DuckDB, Arrow, Spark и Trino.

Споменавания в статии