Pandas - Découper de grandes trames de données en morceaux

Lorsque vous tentez de traiter des trames de données surdimensionnées, un obstacle courant est la redoutable erreur de mémoire. Une solution efficace consiste à diviser la trame de données en morceaux plus petits et gérables. Cette stratégie réduit non seulement la consommation de mémoire, mais facilite également un traitement efficace.

Pour y parvenir, nous pouvons exploiter soit la compréhension de liste, soit la fonction NumPy array_split.

Compréhension de liste

n = 200000  # Chunk row size
list_df = [df[i:i n] for i in range(0, df.shape[0], n)]

NumPy array_split

list_df = np.array_split(df, math.ceil(len(df) / n))

Des morceaux individuels peuvent ensuite être récupérés en utilisant :

list_df[0]
list_df[1]
...

Pour réassembler les morceaux en une seule trame de données, utilisez pd.concat :

# Example: Concatenating by chunks
rejoined_df = pd.concat(list_df)

Découpage par AcctName

Pour diviser la trame de données par valeurs AcctName, utilisez la méthode groupby :

list_df = []

for n, g in df.groupby('AcctName'):
    list_df.append(g)