schnelle Interpunktionsentfernung mit Pandas

Interpunktionsentfernung ist eine gemeinsame Textreinigungsaufgabe. Während Pandas Str.Replace eine weit verbreitete Methode ist, ist sie möglicherweise nicht ausreichend für große Datensätze. Diese Option bietet eine verbesserte Leistung gegenüber Str.Replace.

str.translate: verwendet die c-implementierte Str.Translate-Funktion, die zu signifikanten Geschwindigkeitsverbesserungen führt. zeigt die beste Aufführung, gefolgt von regex.sub und dann str.replace.

Die Leistungslücke erweitert sich mit zunehmender Datensatzgröße. DataFrame.
• str.translate erfordert eine spezielle Handhabung, wenn die Daten Zeichen enthalten, die durch den Standard -Interpunktionsausschluss ausgeschlossen werden können. Import Re # Regex.sub df ['text'] = [re.comPile (r '[^\ w \ s]') .sub ('', x) für x in df ['text']. Tolist ()]] # Str.Translate punct = '! "#$%& \' ()*,-./:; & lt; = & gt;?@[\\]^_` {|} ~ ' transtab = str.maketrans (dict.fromkeys (punkt, '')) df ['text'] = '|' .join (df ['text']. tolist ()). Übersetzer (tranStab) .split ('|')