GNU/Linux >> Znalost Linux >  >> Linux

Jak rychleji Gzipovat velké (100 GB+) soubory v Linuxu

Uživatelé Linuxu a správci systému nikdy nezklamou cestu s rutinami správy souborů. Jak linuxový systém, programy a uživatelské soubory rostou z megabajtů na gigabajty, je vždy potřeba komprimovat nebo komprimovat některé soubory vázané na operační systém.

[ Také by se vám mohlo líbit:Jak vytvořit velký 1GB nebo 10GB soubor v Linuxu ]

Výhody komprimování nebo komprimace těchto souborů jsou následující:

  • Na svém počítači se systémem Linux můžete ušetřit a vytvořit další úložný prostor.
  • Protože Linux bude mít další úložný prostor pro práci, jeho efektivita se zlepší.
  • Komprimované soubory se snáze přenášejí do jiných počítačových prostředí a systémů.
  • Zkomprimování nebo komprimace souborů poskytuje výhodu šifrování dat.

Většina uživatelů Linuxu zná Gzip jako efektivní prostředek pro kompresi velkých souborů nebo vytváření souborů zip z mírně větších souborů. Gzip je předinstalovaný téměř ve všech distribucích operačního systému Linux.

Jeho dostupnost ve vašem systému Linux můžete zkontrolovat pomocí následujícího příkazu:

$ gzip --version

Jak komprimovat soubor pomocí Gzip v Linuxu

Chcete-li komprimovat jednoduchý soubor pomocí Gzip , stačí spustit příkaz podobný následujícímu:

$ gzip linuxshelltips_v2.txt

Při odkazování na výše uvedený gzip byste měli být na stejné cestě jako soubor, který potřebuje komprimovat nebo komprimovat příkaz.

Jak komprimovat velké soubory pomocí Gzip v Linuxu

Pomocí Gzip pro kompresi souborů v Linuxu je rychlý a efektivní, dokud nezačnete pracovat s velkými soubory. Komprese 100 GB+ souborů přes Gzip trvá zbytečné hodiny, než se celý proces komprese úspěšně dokončí, i když má počítač nedostatečně výkonný hardware s minimálními specifikacemi CPU, jako je Core (TM) i3-2350M CPU @2,30 GHz. Co když nemáte tolik času ve svých rukou?

Gzip je vázán na jeden úkol, což znamená, že dokáže dokonale provést jednu úlohu komprese souboru najednou. Zabývá se pouze soubory a bude ignorovat komprimované adresáře.

Navzdory těmto omezením aplikace nemusí před čtením extrahovat soubory komprimované gzip. Jeho závislost na jediném jádru procesoru však způsobuje, že komprese velkých souborů trvá hodiny.

Alternativy Gzip pro vysokou kompresi v Linuxu

I když název tohoto článku řeší potřebu rychlého komprimování velkých souborů s vysokou kompresí pomocí Gzip , museli jsme řešit nevýhody Gzip abyste přijali lepší alternativy.

Pigz – Komprimujte 100GB+ soubory s vysokou kompresí

Na rozdíl od Gzip který je orientovaný na jedno jádro, Pigz je vícejádrový a také zkomprimuje vaše cílové soubory na “.gz” přípona souboru.

Při práci s velkými soubory, jako je 100 GB+, má výhodu vylepšené doby komprese . Vzpomeňte si na Pigz jako vícevláknová verze Gzip.

Nainstalujte Pigz v Linuxu

Odkaz na jeden z následujících Pigz instalační příkazy ve vztahu k vaší distribuci operačního systému Linux.

$ sudo apt-get install pigz     [On Debian, Ubuntu and Mint]
$ sudo yum install pigz         [On RHEL/CentOS/Fedora and Rocky Linux/AlmaLinux]
$ sudo emerge -a sys-apps/pigz  [On Gentoo Linux]
$ sudo pacman -S pigz           [On Arch Linux]
$ sudo zypper install pigz      [On OpenSUSE]    
Komprese 100GB+ souborů pomocí Pigz

Zvažte následující statistiku souborů o velikosti 100 GB+:

$ stat LinuxShellTipsBackup.iso

Od tohoto souboru (LinuxShellTipsBackup.iso ) splňuje kritérium 100 GB+ , tj. 164 GB , měli bychom to zkusit komprimovat pomocí Pigz .

Použití příkazu by mělo být podobné jako u Gzipu.

$ Pigz -9 -k -p4 LinuxShellTipsBackup.iso

Možnosti příkazu:

  • -9 :Poskytuje nejlepší kompresi (vysoká komprese).
  • -k :Zachová původní soubor.
  • -p4 :Říká Pigz, aby používal 4 procesorová jádra, protože je orientovaný na více jader.

Více jader procesoru urychluje proces komprese. Počet procesorových jader, která se rozhodnete použít, by měl záviset na vlastnostech procesoru vašeho počítače, např. Core i3, Core i5, Core i7.

Výsledná velikost komprese souboru je 156 GB z původních 164 GB . Pokud se rozhodneme neponechat původní soubor, budeme mít 8 GB (164B–156GB ) dalšího úložiště.

Další dobrá věc je, že stále můžete otevírat a procházet archivované soubory, aniž byste je museli nutně extrahovat.

$ stat LinuxShellTipsBackup.iso.gz

Chcete-li soubory dekomprimovat nebo extrahovat, použijte některý z následujících příkazů:

$ unpigz LinuxShellTipsBackup.iso.gz
or
$ pigz -d LinuxShellTipsBackup.iso.gz

Porovnání rychlosti komprese Pigz vs Gzip

Porovnejme jejich rychlost komprese s o něco menším souborem.

Pro Pigz,

$ time pigz file.mp4

Pro Gzip,

$ time gzip file.mp4

.

Pigz vyhrává s rychlejší dobou komprese i bez určení počtu procesorových jader, která se mají použít.

Pozoruhodný trik komprimování velkých souborů (100 GB+ ) je zajistit, aby aplikace zipování, kterou používáte, podporuje vícejádrové nebo vícevláknové zpracování. Takové programy (např. Pigz ) omezit nebo snížit efekt úzkého hrdla spojený s kompresí velkých souborů.


Linux
  1. Jak přejmenovat soubory v Linuxu

  2. Jak najít velké soubory linux pomocí příkazů find a du

  3. Jak gzipovat adresář v Linuxu

  1. Jak komprimovat a dekomprimovat soubory v Linuxu

  2. Jak komprimovat více souborů v systému Linux

  3. Jak gzipovat všechny nebo konkrétní soubory v Linuxu

  1. Jak najít soubory v Linuxu

  2. Jak rozbalit soubory v Linuxu

  3. Najděte velké soubory v Linuxu