Wget-apuohjelmalla voit ladata verkkosivuja, tiedostoja ja kuvia verkosta Linux-komentorivillä.
Voit käyttää yksittäistä wget-komentoa ladatessasi sivustosta tai asettamaan syöttötiedoston ladataksesi useita tiedostoja useilta sivustoilta.
Manuaalisen sivun mukaan wget voidaan käyttää myös silloin, kun käyttäjä on kirjautunut ulos järjestelmästä. Voit tehdä tämän käyttämällä nohup-komentoa.
Wget-apuohjelma yrittää ladata uudelleen myös silloin, kun yhteys putoaa, ja jatkaa siitä, mistä se jäi pois mahdollisuuksien mukaan, kun yhteys palaa.
Voit ladata koko verkkosivustoja wgetin avulla ja muuntaa linkit paikallisiin lähteisiin, jotta voit tarkastella verkkosivustoa offline-tilassa.
Wgetin ominaisuudet ovat seuraavat:
- Lataa tiedostoja HTTP-, HTTPS- ja FTP-tiedostoilla
- Jatka lataamista
- Muunna absoluuttiset linkit ladatuissa verkkosivuissa suhteellisiin URL-osoitteisiin, jotta verkkosivustoja voidaan tarkastella offline-tilassa
- Tukee HTTP-välityspalvelimia ja evästeitä
- Tukee pysyviä HTTP-yhteyksiä
- Taustalla voi toimia myös silloin, kun et ole kirjautunut sisään
- Toimii Linuxissa ja Windowsissa
Kuinka ladata verkkosivustoa wgetin avulla
Tässä oppaassa näytän sinulle, kuinka voit ladata henkilökohtaisen blogin.
wget www.everydaylinuxuser.com
Kannattaa luoda oman kansion koneellasi käyttämällä mkdir-komentoa ja siirtyä sitten kansioon cd-komennolla .
Esimerkiksi:
mkdir everydaylinuxuser
cd everydaylinuxuser
wget www.everydaylinuxuser.com
Tulos on yksi index.html-tiedosto. Tämä tiedosto on melko hyödytön, koska sisältö on edelleen vedetty Googlelta, ja kuvat ja tyylitiedostot ovat edelleen kaikki Googlessa.
Voit ladata koko sivuston ja kaikki sivut käyttämällä seuraavaa komentoa:
wget -r www.everydaylinuxuser.com
Tämä lataa sivut rekursiivisesti korkeintaan 5 tasolle.
5 tasoa syvä ei ehkä riitä saada kaiken sivustosta. Voit käyttää -l-kytkintä asettamalla haluamasi tasojen määrän seuraavasti:
wget -r -l10 www.everydaylinuxuser.com
Jos haluat ääretöntä rekursiota, voit käyttää seuraavaa:
wget -r -l inf www.everydaylinuxuser.com
Voit myös korvata inf 0: llä, mikä tarkoittaa samaa.
On vielä yksi ongelma. Saatat saada kaikki sivut paikallisesti, mutta kaikki sivun linkit osoittavat edelleen alkuperäiseen paikkaansa. Näin ollen ei ole mahdollista napsauttaa paikallisesti sivujen linkkien välillä.
Voit kiertää tämän ongelman käyttämällä -k-kytkintä, joka muuntaa kaikki sivun linkit osoittamaan niiden paikallisesti ladatun vastaavan seuraavasti:
wget -r -k www.everydaylinuxuser.com
Jos haluat saada täydellisen peilin verkkosivustosta, voit yksinkertaisesti käyttää seuraavaa kytkintä, joka poistaa tarpeen käyttää -r -k- ja -l-kytkimiä.
wget -m www.everydaylinuxuser.com
Siksi jos sinulla on oma verkkosivusto, voit tehdä täydellisen varmuuskopion käyttämällä tätä yksinkertaista komentoa.
Suorita wget kuin taustakomento
Voit saada wgetin toimimaan taustakomennonaan, jolloin voit päästä työsi loppupäässä, kun tiedostot ladataan.
Käytä vain seuraavaa komentoa:
wget -b www.everydaylinuxuser.com
Voit tietenkin yhdistää kytkimet. Wget-komennon suorittaminen taustalla peilaamalla sivuston käytät seuraavaa komentoa:
wget -b -m www.everydaylinuxuser.com
Voit yksinkertaistaa tätä edelleen seuraavasti:
wget -bm www.everydaylinuxuser.com
hakkuu
Jos käytät wget-komentoa taustalla, et näe mitään normaaleja viestejä, jotka se lähettää näytölle.
Voit saada kaikki viestejä, jotka lähetetään lokitiedostoon, jotta voit tarkistaa edistyksen milloin tahansa käyttämällä häntä-komentoa .
Voit lähettää tietoja wget-komennosta lokitiedostoon käyttämällä seuraavaa komentoa:
wget -o / path / to / mylogfile www.everydaylinuxuser.com
Päinvastoin, tietenkin, ei tarvitse kirjata lainkaan, eikä näyttöä ole. Kaikkien lähdön jättämiseksi käytä seuraavaa komentoa:
wget -q www.everydaylinuxuser.com
Lataa useista sivustoista
Voit määrittää syöttötiedoston ladattavaksi monista eri sivustoista.
Avaa tiedosto suosikkieditorilla tai jopa kissa-komennolla ja aloita vain luetella sivustot tai linkit ladattavaksi tiedoston jokaisesta rivistä.
Tallenna tiedosto ja suorita seuraava wget-komento:
wget -i / path / to / inputfile
Sen lisäksi, että varmuuskopioit oman verkkosivuston tai jos löydät jotain ladataksesi lukea junaa, on epätodennäköistä, että haluat ladata koko sivuston.
Olet todennäköisesti lataamassa yksittäisen URL-osoitteen kuvilla tai lataamalla tiedostoja, kuten zip-tiedostoja, ISO-tiedostoja tai kuvatiedostoja.
Tässä mielessä et halua kirjoittaa tyyppiä tulostiedostoon, koska se vie aikaa:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Jos tiedät, että perus-URL-osoite on aina sama, voit syöttää vain seuraavat tiedostot:
- file1.zip
- file2.zip
- file3.zip
Tämän jälkeen voit antaa perus-URL-osoitteen osana wget-komentoa seuraavasti:
wget -B http://www.myfileserver.com -i / path / to / inputfile
Yritä uudelleen vaihtoehtoja
Jos olet määrittänyt tiedostojen jonon, joka on ladattavissa syöttötiedostossa ja jätät tietokoneesi koko yön, lataat tiedostot, jotka ovat melko ärsyttäviä, kun tulet alas aamulla ja huomaat, että se on juuttunut ensimmäiseen tiedostoon on yrittänyt koko yön.
Voit määrittää uudelleentarkastusten määrän seuraavalla kytkimellä:
wget -t 10 -i / polku / to / inputfile
Haluat ehkä käyttää edellä mainittua komentoa yhdessä -T-kytkimen kanssa, jonka avulla voit määrittää aikakatkaisun sekunteina seuraavasti:
wget -t 10 -T 10 -i / path / to / inputfile
Yllä oleva komento yrittää uudelleen 10 kertaa ja yrittää muodostaa yhteyden 10 sekunnin ajan tiedoston jokaiselle linkille.
Se on myös melko ärsyttävää, kun olet osittain ladannut 75% 4 gigatavun tiedostosta hitaalla laajakaistayhteydellä vain, jos yhteys poistuu.
Voit käyttää wgetia uudelleen, mistä se lopetti lataamisen, käyttämällä seuraavaa komentoa:
wget -c www.myfileserver.com/file1.zip
Jos käytät palvelinta, isäntä ei ehkä pidä siitä liikaa ja voi joko estää tai vain tappaa pyyntösi.
Voit määrittää odotusajan, joka määrittää kuinka kauan odottaa kunkin haun välillä seuraavasti:
wget -w 60 -i / path / to / inputfile
Yllä oleva komento odottaa 60 sekuntia jokaisen latauksen välillä. Tämä on hyödyllistä, jos lataat paljon tiedostoja yhdestä lähteestä.
Jotkut web-isännät saattavat kohdata taajuuden kuitenkin ja estävät sinut joka tapauksessa. Voit tehdä odotusajan satunnaisesti, jotta se näyttäisi käyttämästä ohjelmaa seuraavasti:
wget - satunnainen-odottaa -i / path / to / inputfile
Latausrajoitusten suojaaminen
Monet Internet-palveluntarjoajat käyttävät edelleen latausrajoituksia laajakaistan käyttöön, varsinkin jos asut kaupungin ulkopuolella.
Voit halutessasi lisätä kiintiön niin, että et puhalta tätä latausrajaa. Voit tehdä sen seuraavalla tavalla:
wget -q 100m -i / path / to / inputfile
Huomaa, että -q-komento ei toimi yhden tiedoston kanssa.
Joten jos lataat tiedostoa, joka on 2 gigatavua kokoa, -q 1000m ei lopeta tiedoston lataamista.
Kiintiötä sovelletaan vain silloin, kun se latautuu rekursiivisesti sivustolta tai kun syötetiedostoa käytetään.
Turvautuminen
Jotkin sivustot edellyttävät, että kirjaudut sisään, jotta voit käyttää sisältöä, jonka haluat ladata.
Voit määrittää käyttäjätunnuksen ja salasanan seuraavilla kytkimillä.
wget - user = käyttäjänimi --password = salasanasi
Huomaa monikäyttöjärjestelmästä, jos joku suorittaa ps-komennon he voivat nähdä käyttäjänimesi ja salasanasi.
Muut latausasetukset
Oletusarvon mukaan -r-kytkin lataa sisällön rekursiivisesti ja luo hakemistoja sen mukaan.
Voit hakea kaikki tiedostot yhdelle kansiolle seuraavalla kytkimellä:
wget -nd -r
Päinvastoin on pakottaa luomaan hakemistoja, jotka voidaan saavuttaa käyttämällä seuraavaa komentoa:
wget -x -r
Kuinka ladata tietyt tiedostotyypit
Jos haluat ladata rekursiivisesti sivustolta, mutta haluat ladata vain tietyntyyppisen tiedoston, kuten mp3-kuvan tai kuvan, kuten png, voit käyttää seuraavaa syntaksia:
wget -A "* .mp3" -r
Tämän käänteinen on jättää tietyt tiedostot huomiotta. Ehkä et halua ladata suoritustiedostoja. Tässä tapauksessa käytät seuraavaa syntaksia:
wget -R "* .exe" -r
Cliget
On olemassa Firefox-lisäosa nimeltä cliget. Voit lisätä tämän Firefoxiin seuraavalla tavalla.
Käy osoitteessa https://addons.mozilla.org/en-US/firefox/addon/cliget/ ja napsauta "Lisää Firefox" -painiketta.
Napsauta asennuspainiketta, kun se tulee näkyviin. Sinun on käynnistettävä Firefox uudelleen.
Jos haluat käyttää cligetia, käy sivulla tai tiedostossa, jonka haluat ladata ja napsauta hiiren kakkospainikkeella. Näkyviin tulee kontekstivalikko, jota kutsutaan nimellä cliget ja vaihtoehtoja "kopioida wget" ja "copy to curl".
Napsauta "copy to wget" -vaihtoehtoa ja avaa pääteikkuna ja napsauta sitten napsauta ja liitä. Asianmukainen wget-komento liitetään ikkunaan.
Pohjimmiltaan tämä säästää sinun täytyy kirjoittaa komento itse.
Yhteenveto
Wget-komento on valtava määrä vaihtoehtoja ja kytkimiä.
Sen vuoksi on syytä lukea wgetin manuaalista sivua kirjoittamalla seuraavat tiedot pääteikkunaan:
mies wget