pandas 中的 for 迴圈真的很糟糕嗎？我什麼時候該關心？

簡介

雖然 pandas 以其可加速計算的向量化運算而聞名，但許多程式碼範例仍包含循環。雖然文件建議避免對資料進行迭代，但本文探討了 for 迴圈比向量化方法提供更好效能的場景。

小數據上的迭代與向量化

For對於小數據，for 循環的性能優於向量化函數，因為後者處理軸對齊、混合數據類型和遺失資料所涉及的開銷。採用最佳化迭代機制的列表推導式甚至更快。

混合/對象資料類型的操作

基於字串的比較：

• 由於使用對象， pandas 中的字串操作本質上很慢dtypes.
• 列表推導式在字串比較方面明顯優於向量化方法。

存取字典/列表元素：

• 列表推導式擅長從字典或列表的列中提取值。
• Map 由於其依賴性而表現不佳

正規表示式操作

• 列表推導式通常比「向量化”str.contains、str. extract 和str.extractall 函數。
• 預先編譯正規表示式模式並手動迭代可能會提供進一步的幫助

何時考慮for 循環

對於小行DataFrame：

• 由於開銷減少，迭代比向量化函數更快。

混合資料類型：

• 向量化函數不具備處理混合資料類型的能力，這使得循環更加有效率。

正規表示式：

• 預先編譯正規表示式模式並使用re.search或re.findall進行迭代可以改善效能。

結論

雖然向量化函數提供了簡單性和可讀性，但在特定場景中考慮基於循環的解決方案非常重要。建議仔細測試以確定最適合您的效能要求的方法。