Chci si stáhnout celý zdrojový kód HTML X webovou stránku, avšak zkroucení odkazu X vrátí částečný zdrojový kód HTML, protože webová stránka vyžaduje posouvání zobrazit další obsah. Zdá se, že zvlnění nepřejde přes „posun dolů“.
Zatím to mohu udělat pouze ručně:
1) Přejít na požadovanou webovou stránku
2) Provedením následujícího příkazu v konzole prohlížeče se automaticky posouvá (načte každý objekt):
var scroll =setInterval(function(){ window.scrollBy(0,1000); }, 2000);
3) Zkopírujte celý zdrojový kód HTML z prvku inspect
Otázkou tedy je, jak mohu spustit curl příkaz, takže před výstupem na terminál seškrábe celý obsah webové stránky (roluje, dokud nenačte všechny objekty), aby se dosáhlo stejného výsledku jako výše uvedené kroky? Pokud ne pomocí curl , možná wget ?
Přijatá odpověď:
curl není plnohodnotný prohlížeč a podle mého nejlepšího vědomí nepodporuje spouštění JavaScriptu. K načítání souborů používá HTTP/FTP; to je vše. Chcete-li otestovat funkčnost, která závisí na skriptování nebo jiných nástrojích, kterých se holý požadavek HTTP nemůže dotknout, budete se muset podívat na podrobnější testovací sadu, jako je Selenium.