matsuu
.
@matsuu,
S3上にある650GBのデータをサーバ1台で高速に処理したいならPolarsが最速、続いてDuckDB、Daft、PySparkだったそうで。
---
650GB of Data (Delta Lake on S3). Polars vs DuckDB vs Daft vs Spark.
https://dataengineeringcentral.substack.com/p/650gb-of-data-delta-lake-on-s3-polars
#bookmarks