wget ja nettihakemiston downloadaus

[JHirvi]

Yritän ladata koneelleni nettisivuston osan, mutta en millään saa talteen kuin etusivun index.html.

Olen yrittänyt esim.
wget -r http://www.greenspot.fi/jussihirvi/miel ... ia_luento/
...ja
wget -mk http://www.greenspot.fi/jussihirvi/miel ... ia_luento/

Kohdehakemistoon tulee hakemistohierarkia alkaen tasolta http://www.greenspot.fi. Mutta varsinaisista sivuista tallentuu vain index.html. Wget ei siis seuraa linkkejä.

Mikä neuvoksi?

[JHirvi]

Outo juttu, että esimerkiksi

wget -r http://www.greenspot.fi/webhotelli/

toimii...

Tuossa aiemmin mainitussa hakemistossani täytyy olla jotain outoa, mutten millään keksi mitä. Liian pitkät tiedostonimet?? Tuskinpa.

[Stargazers]

Erilainen serverin konffaus luultavasti.

Koetas tällaista:

Koodi: Valitse kaikki

wget -r -l 2 -e robots=off http://www.greenspot.fi/jussihirvi/mielenekologia_luento/

Tuo -l 2 meinaa että miten syvältä leveliltä ottaa, ilman sitä se tuntuu hakevan hyvin paljon kaikkea muutakin röhnää sinne...

EDIT: Näyttää olevan siellä sivulla html:ssä määritelty tagit jotka estää wgetin käytön suoraan ilman tuota robots offia:

Koodi: Valitse kaikki

<META NAME="ROBOTS" CONTENT="NOINDEX">
<META NAME="ROBOTS" CONTENT="NOFOLLOW">

[JHirvi]

Onnistuin tallentamaan sivuston graafisella SiteSucker-ohjelmalla, kun laitoin preferensseihin "ignore robots.txt exclusions".

Ongelmahakemistossani oli
<META NAME="ROBOTS" CONTENT="NOINDEX">
<META NAME="ROBOTS" CONTENT="NOFOLLOW">

...eikä wgetiä nähtävästi saa mitenkään jättämään näitä huomiotta. Harmi ettei wget osannut valittaa tuosta.

[Stargazers]

...eikä wgetiä nähtävästi saa mitenkään jättämään näitä huomiotta. Harmi ettei wget osannut valittaa tuosta.

Tuo -e robots=off kyllä tuntui sen tekevän ainakin itselläni.

[JHirvi]

No enpä huomannut vastaustasi - ratkaisit jutun ennen minua.

Kyllä, -e robots=off tosiaan toimii - testasin.