Pandas - 将大型数据帧切成块

当尝试处理超大数据帧时，常见的障碍是可怕的内存错误。一种有效的解决方案是将数据帧划分为更小的、可管理的块。这种策略不仅减少了内存消耗，而且有利于高效处理。

要实现这一点，我们可以利用列表理解或 NumPy array_split 函数。

列表理解

n = 200000  # Chunk row size
list_df = [df[i:i n] for i in range(0, df.shape[0], n)]

NumPy array_split

list_df = np.array_split(df, math.ceil(len(df) / n))

然后可以检索各个块使用：

list_df[0]
list_df[1]
...

要将块重新组装成单个数据帧，请使用 pd.concat:

# Example: Concatenating by chunks
rejoined_df = pd.concat(list_df)

按 AcctName 切片

要按 AcctName 值分割数据帧，请使用 groupby 方法：

list_df = []

for n, g in df.groupby('AcctName'):
    list_df.append(g)