La suppression rapide de ponctuation avec des pandas

La suppression de ponctuation est une tâche de nettoyage de texte courante. Bien que Pandas Str.replace soit une méthode largement utilisée, elle peut ne pas être suffisamment performante pour les grands ensembles de données.

Alternatives à str.replace:

• regex.sub: utilise le module RE pour effectuer la substitution regex. Cette option offre des performances améliorées sur str.replace.
• str.translate: utilise la fonction Str.translate en C, entraînant des améliorations de vitesse importantes. présente la meilleure performance, suivie de regex.sub puis str.replace.

str.translate nécessite une manipulation spéciale lorsque les données contiennent des caractères qui peuvent être exclus par l'exclusion de ponctuation par défaut. Importer RE # Regex.sub df ['text'] = [re.Compile (r '[^ \ w \ s]') .sub ('', x) pour x dans df ['text']. Tolist ()] # Str.translate punct = '! "# $% & \' () *, -. / :; & lt; = & gt ;? @ [\\] ^ _` {|} ~ ' Transtab = str.maketrans (dict.fromkeys (punct, '')) df ['text'] = '|' .join (df ['text']. tolist ()). tradlate (transtab) .split ('|')