pandas 中的 for 循环真的很糟糕吗？我什么时候应该关心？

简介

虽然 pandas 以其可加速计算的矢量化运算而闻名，但许多代码示例仍然包含循环。虽然文档建议避免对数据进行迭代，但本文探讨了 for 循环比矢量化方法提供更好性能的场景。

小数据上的迭代与矢量化

For对于小数据，for 循环的性能优于矢量化函数，因为后者处理轴对齐、混合数据类型和丢失数据所涉及的开销。采用优化迭代机制的列表推导式甚至更快。

混合/对象数据类型的操作

基于字符串的比较：

• 由于使用对象，pandas 中的字符串操作本质上很慢dtypes.
• 列表推导式在字符串比较方面明显优于矢量化方法。

访问字典/列表元素：

• 列表推导式擅长从字典或列表的列中提取值。
• Map 由于其依赖性而表现不佳

正则表达式操作

• 列表推导式通常比“向量化”str.contains、str. extract 和 str.extractall 函数。
• 预编译正则表达式模式并手动迭代可能会提供进一步的帮助

何时考虑 for 循环

对于小行 DataFrame：

• 由于开销减少，迭代比向量化函数更快。

混合数据类型：

• 向量化函数不具备处理混合数据类型的能力，这使得循环更加高效。

正则表达式：

• 预编译正则表达式模式并使用re.search或re.findall进行迭代可以改进性能。

结论

虽然矢量化函数提供了简单性和可读性，但在特定场景中考虑基于循环的解决方案非常重要。建议仔细测试以确定最适合您的性能要求的方法。