eliminación de puntuación rápida con pandas

La eliminación de puntuación es una tarea de limpieza de texto común. Si bien Pandas str.replace es un método ampliamente utilizado, puede no ser suficiente para grandes conjuntos de datos.

a str.replace:

• ]s.sub:
str.translate:
• utiliza la función c-implemented str.translate, resultando en mejoras de velocidad significativas. exhibe el mejor rendimiento, seguido de regex.sub y luego str.replace. la brecha en el rendimiento se amplía con el tamaño de datos de datos aumentando.

consideraciones:

• str.translate requiere un manejo especial cuando los datos contienen caracteres que pueden ser excluidos por la exclusión de puntuación predeterminada.

import pandas como pd importar # Regex.sub df ['text'] = [recompile (r '[^\ w \ s]') .sub ('', x) para x en df ['text']. tolist ()] # str.translate punc = '! "#$%& \' ()*,-./:; & lt; = & gt ;?@[\\]^_` {|} ~ ' transtab = str.maketrans (dict.fromkeys (punt, '')) df ['text'] = '|' .Join (df ['text']. tolist ()). traduce (transtab) .split ('|')