Обработка больших файлов с помощью PHP без исчерпания памяти

Чтение и обработка больших файлов в PHP может быть сложной задачей из-за ограничений памяти. Функция file_get_contents() может вызвать ошибку «Память исчерпана» при работе с большими файлами, которые потребляют больше памяти, чем разрешено.

Понимание распределения памяти

При использовании file_get_contents( ), весь файл считывается и сохраняется в памяти в виде строки. Для больших файлов это может превысить выделенную память и привести к ошибке.

Альтернативный подход: чтение фрагментированных файлов

Чтобы избежать этой проблемы, рассмотрите возможность использования альтернативных методов, таких как как fopen() и fread() для чтения файла по частям. Это позволяет обрабатывать меньшие части файла за раз, эффективно управляя использованием памяти. Вот функция, реализующая этот подход:

function file_get_contents_chunked($file, $chunk_size, $callback)
{
    try {
        $handle = fopen($file, "r");
        $i = 0;
        while (!feof($handle)) {
            call_user_func_array($callback, [fread($handle, $chunk_size), &$handle, $i]);
            $i  ;
        }
        fclose($handle);
        return true;
    } catch (Exception $e) {
        trigger_error("file_get_contents_chunked::" . $e->getMessage(), E_USER_NOTICE);
        return false;
    }
}

Пример использования

Чтобы использовать эту функцию, определите обратный вызов, который обрабатывает чанк, и укажите необходимые параметры:

$success = file_get_contents_chunked("my/large/file", 4096, function ($chunk, &$handle, $iteration) {
    /* Do something with the chunk */
});

Дополнительные соображения

Другая оптимизация заключается в том, чтобы избегать использования сложных регулярных выражений, которые могут потреблять значительный объем памяти при применении к большим входным данным. Вместо этого рассмотрите возможность использования собственных строковых функций, таких как strpos, substr и Explosion.