Za předpokladu, že se vaše otázka týká deduplikace dat, existuje několik souborových systémů, které to v Linuxu podporují:
- ZFS s online deduplikací (takže data jsou deduplikována při ukládání), ale s extrémními požadavky na paměť, které znesnadňují použití této funkce v praxi;
- Btrfs s „pouze“ deduplikací mimo pásmo, i když s úzce integrovanými procesy, které po uložení dat poskytují přiměřeně rychlou deduplikaci;
- SquashFS, ale ten pravděpodobně nesplňuje vaše požadavky, protože je pouze pro čtení.
XFS má v určitém okamžiku získat deduplikaci a Btrfs má také získat online deduplikaci.
Sledujte srovnání systému souborů na Wikipedii, abyste viděli, kdy se to změní.
Souborový systém S3QL má deduplikaci na úrovni bloků. Je propagováno jako řešení cloudového úložiště S3, ale také velmi dobře funguje na místním úložišti.
Zde je příklad z části našeho zálohovacího/archivačního serveru
s3qlstat /path/to/some/archives
Directory entries: 12430247
Inodes: 6343756
Data blocks: 1357349
Total data size: 12.4 TB
After de-duplication: 3.84 TB (30.92% of total)
After compression: 3.71 TB (29.84% of total, 96.52% of de-duplicated)
Database size: 1.29 GiB (uncompressed)
Cache size: 0 bytes, 0 entries
Cache size (dirty): 0 bytes, 0 entries
Queued object removals: 0
Základní úložiště, které tento souborový systém používá
df -h /var/s3ql/part-of-archive
Filesystem Size Used Avail Use% Mounted on
/dev/sde 6.0T 3.8T 2.0T 66% /var/s3ql/part-of-archive
To mi říká, že základní úložiště využívá o něco méně než 4 TB, ale že ukládá přibližně 12 TB deduplikovaných dat. (Moje archivy obsahují poměrně hodně duplicitních bloků. Nepřekvapivě doufám.) Kompresní vrstva je zde zakázána; pokud bych používal skutečné úložiště S3, nechal bych ho povolené.
Databáze SQLite, která spravuje samotný souborový systém, má jen něco málo přes 1 GB, což je poměrně velká velikost, ale protože ji používám spíše pro archivaci než pro produkční produkci s vysokou poptávkou, je použití v pořádku.