Wie man Surrogate-Paare in Python-Unicodes behandelt

In Python werden Surrogate-Paare verwendet, um Unicode-Zeichen außerhalb der Basic Multilingual Plane (BMP) darzustellen ). Diese Paare bestehen aus zwei Ersatzcodepunkten, die zum Codieren eines einzelnen Unicode-Zeichens verwendet werden.

Bei der Arbeit mit Python-Unicode-Zeichenfolgen, die Ersatzpaare enthalten, können Fehler im Zusammenhang mit der Ersatzcodierung auftreten. Diese Fehler treten auf, weil Python je nach Kontext unterschiedlich mit Ersatzzeichenpaaren umgeht.

Umgang mit Ersatzzeichenpaaren

Um ein Ersatzzeichenpaar in eine normale Zeichenfolge umzuwandeln, haben Sie mehrere Möglichkeiten:

• Verwenden Sie den JSON Modul:

  • Laden Sie die Zeichenfolge mit json.loads() in ein JSON-Objekt. Das JSON-Modul übernimmt automatisch die Konvertierung von Ersatzzeichenpaaren in Unicode-Zeichen.

• Kodieren und dekodieren mit der encode()-Methode:

  • Kodieren Sie die Zeichenfolge mit einem Codec, der Ersatzpaare unterstützt, z. B. „utf-16“ oder "utf-16-le".
  • Dekodieren Sie die codierte Zeichenfolge mit demselben Codec.

  • Beispiel:

    emoji = "This is \ud83d\ude4f, an emoji."
    encoded = emoji.encode("utf-16")
    decoded = encoded.decode("utf-16")
    print(decoded)  # Output: "This is ?, an emoji."

• Verwenden Sie den Surrogatepass-Fehlerbehandler:

  • Wenn beim Kodieren oder Dekodieren ein Fehler auftritt, können Sie den Surrogatepass-Fehlerhandler verwenden, um ihn zu ignorieren Ersatzpaar.

  • Beispiel:

    encoded = emoji.encode("utf-16", "surrogatepass")
    decoded = encoded.decode("utf-16")
    print(decoded)  # Output: "?"

Beachten Sie, dass der von Ihnen gewählte Ansatz vom spezifischen Kontext und dem gewünschten Ausgabeformat abhängt.