io.Copy() でスパース ファイルが巨大になる

問題

io.Copy() を使用してスパース ファイルをコピーすると、ファイルが膨らむことがよくあります

スパースの性質を理解するFiles

io.Copy() は生のバイトを転送します。これにより、スパース ファイル内のホール (実際にはデータが存在しないスペース) の存在がマスクされます。この情報には、read(2) などの標準のシステムコールではアクセスできません。そのため、io.Copy() はファイルの疎性を維持できません。

問題への取り組み

これに対処するには、syscall パッケージと手動処理を使用してさらに詳しく調べる必要があります。特別な SEEK_HOLE および SEEK_DATA 値を持つ Lseek(2) システム コールを使用して、ファイル内のホールを操作できます。

実装

1. syscall.Seek() を使用してファイル内の位置を制御します。ファイル。
2. ターゲットに固有の SEEK_HOLE 値と SEEK_DATA 値を決定します。 platform.
3. データを含む領域から読み取り、ホール領域を無視します。

スパース ファイル転送に関する考慮事項

転送中にファイルのスパース性を維持したい場合異動の場合、状況はさらに複雑になります。 Fallocate(2) を使用すると、サポートされているファイルシステム上でホールの作成を試みることができます。ただし、FAT ファミリなど、一部のファイル システムには本質的にホール サポートがありません。

追加メモ

1. ソース ディレクトリと宛先ディレクトリが同じファイル システム上に存在するかどうかを確認してください。その場合、コピーの代わりに syscall.Rename() または os.Rename() を使用すると、ファイルのサイズと属性を保存できます。
2. tar ファイルでのスパース ファイル処理の詳細については、Go 問題 #13548 を参照してください。