Оптимизация перехода между строками в больших текстовых файлах: альтернативный подход

При обработке больших текстовых файлов со строками различной длины зачастую неэффективно последовательно читайте каждую строку, чтобы достичь определенного номера строки. Пример кода, приведенный в вопросе, иллюстрирует этот подход, требующий потенциально медленной итерации по всему файлу. Однако существует альтернативный метод, который оптимизирует переход через строку за счет использования рассчитанного списка смещений. включает однократное чтение файла для создания списка смещений строк. Каждое смещение отмечает начальную позицию определенной строки. Сохранив эти смещения, вы можете напрямую перейти к нужной строке, не обрабатывая предыдущие.

Вот улучшенный фрагмент кода:

# Прочтите файл и создайте список смещений строк. line_offset = [] смещение = 0 с open(filename, "rb", 0) как файл: для строки в файле: line_offset.append(смещение) смещение = len(строка) # Переход на определенную строку (в данном примере строка 141978) file.seek(line_offset[141977]) # Отрегулируйте индекс, поскольку строки имеют нулевой индекс # Обработайте целевую строку по желанию DoSomethingWithThisLine(line)

Используя список смещений строк, вы можете напрямую перейти к целевой строке, что значительно сокращает время обработки и повышает эффективность.