Como lidar com pares substitutos em Unicodes Python

Em Python, pares substitutos são usados ​​para representar caracteres Unicode além do plano multilíngue básico (BMP ). Esses pares consistem em dois pontos de código substitutos que são usados ​​para codificar um único caractere Unicode.

Ao trabalhar com strings unicode Python que contêm pares substitutos, você pode encontrar erros relacionados à codificação substituta. Esses erros ocorrem porque o Python lida com pares substitutos de maneira diferente dependendo do contexto.

Tratando pares substitutos

Para converter um par substituto em uma string normal, você tem várias opções:

• Use o módulo json:

  • Carregue o string em um objeto JSON usando json.loads(). O módulo JSON manipulará automaticamente a conversão de pares substitutos em caracteres Unicode.

• Codifique e decodifique com o método encode():

  • Codifique a string usando um codec que suporte pares substitutos, como "utf-16" ou "utf-16-le".
  • Decodifique a string codificada usando o mesmo codec.

  • Exemplo:

    emoji = "This is \ud83d\ude4f, an emoji."
    encoded = emoji.encode("utf-16")
    decoded = encoded.decode("utf-16")
    print(decoded)  # Output: "This is ?, an emoji."

• Use o manipulador de erros surrogatepass:

  • Se você encontrar um erro durante a codificação ou decodificação, poderá usar o manipulador de erros surrogatepass para ignorar o substituto pair.

  • Exemplo:

    encoded = emoji.encode("utf-16", "surrogatepass")
    decoded = encoded.decode("utf-16")
    print(decoded)  # Output: "?"

Observe que a abordagem escolhida dependerá do contexto específico e do formato de saída desejado.