GNU/Linux >> Znalost Linux >  >> Linux

Třídit --paralelní neprobíhá paralelizace

sort nevytváří vlákno, pokud to nepotřebuje, a pro malé soubory je to prostě příliš mnoho. Nyní bohužel sort zachází s dýmkou jako s malým souborem. Pokud chcete vložit dostatek dat do 24 vláken, budete muset určit, že chcete třídit, aby se používala velká vnitřní vyrovnávací paměť (třídění to dělá automaticky, když jsou prezentovány velké soubory). To je něco, co bychom měli zlepšit na upstreamu (alespoň v dokumentaci). Takže budete chtít něco jako:

(export LC_ALL=C; grep -E  <files> | sort -S1G --parallel=24 -u | wc -m)

Poznámka:Nastavil jsem LC_ALL=C pro všechny procesy, protože všechny budou mít z těchto dat užitek).

BTW můžete sledovat vlákna řazení pomocí něčeho jako:

watch -n.1 ps -C sort -L -o pcpu

Linux
  1. Jak třídit soubory v Linuxu pomocí příkazu Sort

  2. .o soubory vs. .a soubory

  3. wc gzip soubory?

  1. Awk jednolinky a skripty, které vám pomohou třídit textové soubory

  2. Jak najít největší adresáře nebo největší soubory?

  3. Třídit textové soubory s více řádky jako řádek

  1. Jak najít a seřadit soubory na základě data a času úpravy v Linuxu

  2. Jak najít velké soubory linux pomocí příkazů find a du

  3. Bash Script k řazení souborů do abecedních složek na Readynas Duo V1?