Journalisation multitraitement en Python

Lors de l'utilisation du module multitraitement de Python, il est important de prendre en compte les pratiques de journalisation pour éviter les erreurs causées par plusieurs processus écrivant dans le même descripteur de fichier simultanément. Par défaut, l'enregistreur compatible multitraitement fourni par mp.get_logger() garantit des mécanismes de verrouillage appropriés dans sys.stderr.

Cependant, les modules qui ne sont pas compatibles multitraitement peuvent nécessiter des modifications pour utiliser la journalisation compatible multitraitement. Pour éviter ces changements, envisagez des approches alternatives :

Gestionnaire de journalisation personnalisé

Une approche consiste à créer un gestionnaire de journaux personnalisé qui envoie les journaux au processus parent via un canal. Cela permet aux modules d'utiliser le module de journalisation standard pendant que le processus parent gère la journalisation réelle. Voici une implémentation :

from logging.handlers import RotatingFileHandler
import multiprocessing, threading, logging, sys, traceback

class MultiProcessingLog(logging.Handler):
    def __init__(self, name, mode, maxsize, rotate):
        logging.Handler.__init__(self)

        self._handler = RotatingFileHandler(name, mode, maxsize, rotate)
        self.queue = multiprocessing.Queue(-1)

        t = threading.Thread(target=self.receive)
        t.daemon = True
        t.start()

Le gestionnaire reçoit les enregistrements de journal des processus enfants et les écrit dans un fichier à l'aide du gestionnaire de fichiers fourni. Cela garantit une journalisation centralisée sans qu'il soit nécessaire d'apporter des modifications aux modules dépendants.