大規模な MySQL 選択をチャンクで取得する

数百万行を超える大規模な MySQL SELECT クエリに直面した場合、パフォーマンスを最適化して回避することが重要になります。記憶違い。効果的なアプローチの 1 つは、データセット全体を一度に取得するのではなく、データを分割して取得することです。

これを実現するには、LIMIT 機能を利用できます。開始行（オフセット）と取得する行数（制限）を指定することで、扱いやすいセグメントでデータを取得できます。たとえば、次のクエリは最初の 1,000 行を返します:

SELECT * FROM MyTable ORDER BY whatever LIMIT 0,1000

1,000 行の後続のチャンクを取得するには、オフセットとそれに応じて制限:

SELECT * FROM MyTable ORDER BY whatever LIMIT 1000,1000 -- rows 1,001 - 2,000
SELECT * FROM MyTable ORDER BY whatever LIMIT 2000,1000 -- rows 2,001 - 3,000

ただし、データの一貫性を確保するために、一時テーブルを作成し、そこに元のクエリ結果を設定することをお勧めします。これにより、データが時間内に凍結され、処理中の変更が防止されます。その後、一時テーブルをチャンク単位でクエリできます。

CREATE TEMPORARY TABLE MyChunkedResult AS (
  SELECT *
  FROM MyTable
  ORDER BY whatever
);

-- retrieve row chunks
SELECT * FROM MyChunkedResult LIMIT 0, 1000;
SELECT * FROM MyChunkedResult LIMIT 1000,1000;
SELECT * FROM MyChunkedResult LIMIT 2000,1000;

最後に、不要なストレージの使用を避けるために、終了したら一時テーブルを削除することを忘れないでください:

DROP TEMPORARY TABLE MyChunkedResult;