Miten varmistan, että palvelin vastaa?

[April]

En ollut aivan varma, mistä saisin apua ongelmaani, joten kokeilen tätä palstaa.

Halusin kokeilla Googlen Web Master Toolseja. Omien nettisivujeni statistiikka kiinnostaisi. Ongelmaksi muodostui kuitenkin se, ettei sivujen vahvistus onnistu. Google on kyllä ottanut sivut indeksiinsä, mutta ei pysty lukemaan robots.txt-tiedostoa.

Virheilmoitus on:

Löysimme robots.txt-tiedoston, mutta sen lataaminen ei onnistunut.


Kun siirryimme sivustoosi, löysimme robots.txt-tiedoston. Emme kuitenkaan pystyneet lukemaan kyseistä tiedostoa palvelimen aikakatkaisun vuoksi. Varmista, että palvelin vastaa ja yritä uudelleen. Huomaa, että uuden robots.txt-tiedoston käsittely voi kestää jopa päivän.

Mitä voin tehdä, jotta ongelma ratkeaisi? Tuo ongelma on toistunut jo puolisentoista viikkoa.

Tässä on vielä se lyhyt rivi, mitä robots.txt pitää sisällään:

User-agent: *

Eli sivuilla ei ole mitään, mitä ei saisi indeksoida.

Jos nämä tiedot olivat puutteellisia ongelman ratkaisua varten, niin yritän antaa lisää tietoa, kun kysytte.

[Sälli]

En ole tuosta syntaksista mitenkään varma, mutta esim. Wikipediassa lukee näin:

This example allows all robots to visit all files because the wildcard "*" specifies all robots:

Koodi: Valitse kaikki

User-agent: *
Disallow:

Ehkä siis kannattaisi kokeilla myös tuon tyhjän Disallow-rivin kanssa?

[April]

Poistin koko robots-tiedoston, koska Googlen ohjeiden mukaan sitä ei tarvita, mikäli sivuilla ei ole rajoituksia. Seuraava virhetyyppi: vahvistustiedostoa ei voida lukea palvelimen aikakatkaisun vuoksi. Sivujen vahvistustiedosto on meta-osassa (vaihtoehto olisi ollut erillinen html-tiedosto).

Miten varmistan, jotta palvelin vastaa?

[Sälli]

Miten varmistan, jotta palvelin vastaa?

Kirjoittamalla osoitteen selaimen osoiteriville. Valitsemalla View Source voit sitten vielä tarkistaa, että se varmistustagi on mukana.

Toi Web Master Tools on mulle ihan vieras palvelu. Jos olet kiinnostunut nimenomaan statistiikoista, suosittelisin Google Analyticisia.

[April]

Kiitos, hyvä vinkki. Alunperin mietinkin, kumpaa kokeilisin, kun tarjoutui tilaisuus omien sivujen muodossa. Silloin pikavilkaisulla web master toolsit vaikuttivat nopeammalta ja yksinkertaisemmalta kokeilua varten. Analyticsin asentaminen kävi kuitenkin paljon nopeammin ja nyt sitten vain tietoja odottamaan...

[ziggysd]

Miten varmistan, jotta palvelin vastaa?

Oletettavasti se vastaa, kun kirjoitat osoitteen selaimeen? Sen jälkeen kannattaa kokeilla, että vastaako se robotti-user-agentille.

Esim terminaalissa:
curl -A "googlebot/2.1" http://omadomain.com/robots.txt
Joskus serverit on configuroitu niin, että tuollaiselle kyselylle ei vastata, mutta selaimelta näyttävälle kyselylle vastataan:
curl -A "Mozilla/4.0" http://omadomain.com/robots.txt