Řešení 1:
Můžete použít zpool status -D poolname příkaz.
Výstup by vypadal podobně jako:
[email protected]:/volumes# zpool status -D vol1
pool: vol1
state: ONLINE
scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013
DDT entries 2459286, size 481 on disk, 392 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 2.23M 35.6G 19.0G 19.0G 2.23M 35.6G 19.0G 19.0G
2 112K 1.75G 1005M 1005M 240K 3.75G 2.09G 2.09G
4 8.03K 129M 73.8M 73.8M 35.4K 566M 324M 324M
8 434 6.78M 3.16M 3.16M 4.61K 73.8M 35.4M 35.4M
16 119 1.86M 811K 811K 2.33K 37.3M 15.3M 15.3M
32 24 384K 34.5K 34.5K 1.13K 18.1M 1.51M 1.51M
64 19 304K 19K 19K 1.63K 26.1M 1.63M 1.63M
128 7 112K 7K 7K 1.26K 20.1M 1.26M 1.26M
256 3 48K 3K 3K 1012 15.8M 1012K 1012K
512 3 48K 3K 3K 2.01K 32.1M 2.01M 2.01M
1K 2 32K 2K 2K 2.61K 41.7M 2.61M 2.61M
2K 1 16K 1K 1K 2.31K 36.9M 2.31M 2.31M
Total 2.35M 37.5G 20.1G 20.1G 2.51M 40.2G 21.5G 21.5G
Důležitá pole jsou Celkem přidělené bloky a Celkem odkazované bloky. Ve výše uvedeném příkladu mám nízký deduplikační poměr. 40,2G je uloženo na disku v 37,5G prostoru. Nebo 2,51 milionu bloků v prostoru o velikosti 2,35 milionu bloků.
Chcete-li získat skutečnou velikost tabulky, viz:
Položky DDT 2459286, velikost 481 na disku, 392 v jádře
2459286*392=964040112 bajtů Vydělením 1024 a 1024 získáte:919,3 MB v paměti RAM .
Řešení 2:
Po přečtení původního e-mailového vlákna a @ewwhite's Odpověď, která to objasnila, si myslím, že tato otázka potřebuje aktualizovanou odpověď, protože výše uvedená odpověď pokrývá pouze polovinu.
Jako příklad použijeme výstup na mém fondu. Použil jsem příkaz zdb -U /data/zfs/zpool.cache -bDDD My_pool . V mém systému jsem potřeboval extra -U arg k vyhledání souboru mezipaměti ZFS pro fond, který FreeNAS ukládá na jiném místě než normálně; můžete nebo nemusíte to udělat. Obecně vyzkoušejte zdb bez -U nejprve a pokud se zobrazí chyba souboru mezipaměti, použijte find / -name "zpool.cache" nebo podobně k vyhledání souboru, který potřebuje.
Toto byl můj skutečný výstup a interpretoval jsem jej níže:
DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
DDT histogram (aggregated over all DDTs):
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Co to všechno znamená a zjištění skutečné velikosti tabulky odstranění:
Výstup zobrazuje dvě podtabulky, jednu pro bloky, kde existuje duplikát (DDT-sha256-zap-duplicate ) a jeden pro bloky, kde neexistuje duplikát (DDT-sha256-zap-unique )/. Třetí tabulka pod nimi uvádí celkový součet obou těchto položek a pod tím je souhrnný řádek. Podíváme-li se pouze na „celkové“ řádky a souhrn, dostaneme to, co potřebujeme:
Velikost DDT pro všechny bloky, které se objevují více než jednou ("DDT-sha256-zap-duplicate") :
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")Velikost DDT pro bloky, které jsou jedinečné ("DDT-sha256-zap-unique") :
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")Celkové statistiky DDT pro všechny položky DDT, duplicitní + jedinečné ("Histogram DDT agregovaný přes všechny DDT") :
allocated referenced (= disk space actually used) (= amount of data deduped into that space) ______ ______________________________ ______________________________ blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE Total 5.16M 638G 576G 578G 6.64M 803G 712G 715GShrnutí :
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Udělejme pár čísel.
-
Počet bloků funguje takto: Počet položek souvisejících s duplicitními bloky =771295, počet položek souvisejících s jedinečnými bloky =4637966, celkový počet položek v tabulce DDT by měl být 771295+4637966 =5409261. Počet bloků v milionech (tedy binárních milionech!) by tedy byl 5409261 / (1024^2) =5,158 milionu. V souhrnu najdeme celkem 5,16 milionů bloků .
-
Potřebná RAM funguje takto: Každý z 771295 záznamů pro duplicitní bloky zabírá 165 bajtů v paměti RAM a 4637966 záznamů pro jedinečné bloky každý zabírá 154 bajtů v paměti RAM, takže celková RAM potřebná pro tabulku odstranění souborů právě teď =841510439 bajtů =841510439 / (1024) MBytes =803 MB =0,78 GB RAM .
(Použitou velikost na disku lze vypočítat stejným způsobem pomocí údajů o velikosti na disku. Je zřejmé, že ZFS se snaží využívat diskové I/O efektivně a využívá toho, že místo na disku zabírá DDT 'normálně problém. Takže to vypadá, že ZFS jednoduše přiděluje celý 512 bajtový sektor pro každou položku, nebo něco v tomto smyslu, místo pouhých 154 nebo 165 bajtů, aby byla efektivní. To nemusí zahrnovat žádnou povolenku pro více kopie uložené na disku, což ZFS obvykle dělá.) -
Celkové množství uložených dat a výhody jejich odstranění: Z celkových statistik DDT je uloženo 715 Gbytů ("715G") dat pomocí pouhých 578 GB ("578G") přiděleného úložiště na discích. Náš poměr úspory místa při odstranění duplicitních dat je tedy (715 GB dat) / (578 GB využitého místa po odstranění duplicit) =1,237 x, což nám říká souhrn ("dedup =1,24").