Python 的字串記憶體分配之謎

Python 字串表現出一種奇怪的行為，即相同的字串可以共享記憶體或單獨儲存。了解這種行為對於優化 Python 程式中的記憶體消耗至關重要。

字串初始化和比較

最初，具有相同字元的兩個字串（例如 a == b）通常共享內存，如下所示由它們相同的 id 值證明。然而，這是不能保證的。

靜態字串的記憶體分配

當直接在Python程式中建立字串時，它通常會被分配到唯一的記憶體位置，即使是相同的字串存在於程式的其他地方。這確保了高效的字串比較並避免潛在的記憶體洩漏。

動態產生的字串的記憶體分配

動態產生的字串，例如使用 等運算子組合現有字串建立的字串，最初儲存在單獨的記憶體位置。然而，Python 在程式執行期間​​維護唯一字串的內部快取（稱為「Ucache」）。如果動態產生的字串與現有的 Ucache 條目匹配，則會將其移至 Ucache，與原始字串共用相同的記憶體空間。執行此最佳化是為了提高效率並防止潛在的記憶體洩漏。

檔案 I/O 之後的記憶體分配

當字串清單寫入檔案並隨後讀回記憶體時，每個字串字串被分配一個單獨的記憶體位置。這是因為 Python 將從檔案載入的資料視為新物件。原始的 Ucache 條目不再與載入的字串關聯，導致相同字串的多個副本儲存在記憶體中。

Ucache：Python 記憶體管理的一個黑暗角落

Python 維護了一個或更多 Ucache 以優化唯一字串的記憶體使用。 Python 解釋器如何填充和使用 Ucache 的機制沒有明確記錄，並且可能因 Python 實作而異。在某些情況下，動態產生的字串可能會根據啟發法或內部實作決策新增至 Ucache 中。理解這些錯綜複雜的問題需要進一步的研究和分析。

歷史背景

唯一化字串的概念並不新鮮。像 SPITBOL 這樣的語言自 20 世紀 70 年代以來就實現了這種技術，以節省記憶體並優化字串比較。

實現差異和權衡

Python 語言的不同實作以不同方式處理字串記憶體分配。實現可能有利於靈活性、速度或記憶體優化，從而導致行為變化。了解這些特定於實現的細微差別對於優化特定平台和場景的程式碼至關重要。

優化字串記憶體使用

要優化Python 中的記憶體使用，請考慮以下策略：

• 避免冗餘字串建立：使用變數引用現有字串，而不是重複建立副本。
• 使用intern 函數： intern 函數明確地將字串新增至 Ucache，確保它與其他相同的字串共享記憶體。
• 實現自己的常數池： 對於大型且經常使用的不可變對象，請考慮實現自訂常數池來管理物件唯一性。
• 注意檔案 I/O 的記憶體開銷： 請注意從檔案讀取大量字串清單的記憶體影響。