Polars 2.0预发布版本带来5倍性能提升,但可能改变行顺序
开源数据处理和分析库Polars即将发布的2.0版本承诺解决大数据集带来的查询缓慢和内存溢出问题。然而,上周发布的第一个候选版本引入了一个新特性:默认使用流式引擎执行LazyFrame查询,这可能导致返回的行顺序发生变化,影响依赖特定行顺序的代码。虽然这种变化带来了显著的内存使用和性能改进,但用户需要注意潜在的风险。Polars表示,在处理某些操作时,默认情况下不会保证行顺序,包括join、group_by和unpivot等操作。公司在2.0-rc版本的用户指南中明确指出迁移风险,并强调了这一改变可能对结果产生影响。
