Általános információ

A „robots.txt” szövegfájl alapvetően csak egy egyszerű szöveges fájl, amelyet bármilyen szövegszerkesztővel, például NotePad-el készíthet
. A Webhelyek gyökérkönyvtárában található, amely a Keresőmotorok robotjai és pókjai vagy a robotok számára meghatározza a kívánt weblapokat és fájlokat, vagy nem akarják, hogy feltérképezzenek vagy indexeljenek. A webhely tulajdonosok általában arra törekszenek, hogy a keresőmotorok észrevegyék őket, de vannak olyan esetek, amikor erre nincs szükség vagy nincs szükség. Például, ha érzékeny adatokat tárol, vagy sávszélességet szeretne megtakarítani azáltal, hogy nem indexeli a nehéz oldalakat a képekkel.

Ha egy bejáró belép egy webhelyre, akkor egy /robots.txt nevű fájlt kér. Ha ilyen fájlt talál, a bejáró ellenőrzi a webhely indexálására vonatkozó utasításokat

MEGJEGYZÉS: csak egy robots.txt fájl lehet a webhely számára. Az addon vagy altartományokhoz tartozó robots.txt fájlt a megfelelő dokumentum gyökérkönyvtárába kell helyezni.

Hogyan hozzunk létre egy "robots.txt" fájlt?

A robotok txt fájlt a webhely gyökérmappájába hozzuk létre: "yourwebsite.com/robot.txt".
Bármelyik szövegszerkesztő segítségével robotok szöveges fájljait készítheti vagy szerkesztheti

A robotok alapvető szintaxisa a txt fájlban

>> User-agent: [A robot neve, amelyre ezeket a szabályokat írja]
>> Disallow: [oldal, mappa vagy elérési út, ahol elrejteni]
>> Allow: [oldal, mappa vagy elérési út, ahova szeretné megzavar]

1. példa

Ha engedélyezni szeretne minden feltérképezést, akkor használja ezt a kódot (Összes keresőmotor)
>> User-agent: *
>> Disallow:

2. példa

Ha nem akarja, hogy mindent feltérképezzen (Minden keresőmotor)
>> User-agent: *
>> Disallow: /

3. példa

Ha le akarja tiltani az adott mappát (Minden keresőmotor)
>> User-agent: *
>> Disallow: / mappa neve /

4. példa

Ha le akarja tiltani az adott fájlt (Minden keresőmotor)
>> User-agent: *
>> Disallow: /fájlnév.html

5. példa

Ha le szeretné tiltani egy mappát, de engedélyezni szeretné egy fájl feltérképezését abban a mappában (Összes keresőmotor)
>> User-agent: *
>> Disallow: / folderxyz /
>> Allow: /folderxyz/anyfile.html

6. példa

Csak egy adott robothoz férjen hozzá a weboldalhoz
>> User-agent: *
>> Disallow: /
>> User-agent: Googlebot
>> Disallow:

7. példa

Egy robot kizárása
>> User-agent: BadBotName
>> Disallow: /

8. példa

Ha engedélyezni szeretné a webhelytérkép-fájl feltérképezését
>> User-agent: *
>> Webhelytérkép: http://www.az domain.com/sitemap.xml

9. példa

PHP-Fusion Robots.txt alapértelmezett fájl
>> User-agent: *
>> Disallow: /config.php
>> Disallow: /administration/
>> Disallow: /includes/
>> Disallow: /locale/
>> Disallow: /themes/
>> Disallow: /print.php

Tipp - Ne tiltsa le azokat a robotok txt fájljában található fájlokat, amelyeket botoknak szeretne feltérképezni vagy különösen elrejteni. Ezzel mindenkinek elmondja ezeket a fájlokat, azt javasoljuk, hogy tegyék egy mappába és rejtsék el azt a mappát
Egyéb gyakori hibák a gépelési hibák - helytelenül írt könyvtárak, felhasználói ügynökök, hiányzó kettőspontok a User-agent és a tiltás után, stb. Amikor a robots.txt fájlok egyre bonyolultabbá válnak, és könnyű a hibát véteni.
Van néhány hasznos tipp: http://tool.motoricerca.info/robots-checker.phtml