Robots.txt

Ce este fisierul robots.txt? WordPress

Fisierul “robots.txt” trasmite crawlerilor (robotilor, botilor) diferitelor motoare de cautare ce pot accesa si ce nu pot accesa dintr-un website. Acest fisier trebuie incarcat in folderul principal al website-ului. Crearea unui robots.txt cu continut incorect poate duce la neindexarea anumitor pagini sau chiar mai rau excluderea webiste-ului din motoarele de cautare.

La ce ajuta fisierul robots.txt?

Cand ajung pe o pagina web, crawlerii motoarelor de cautare vor cauta instructiunile din robots.txt pentru a vedea ce au voie si ce nu au voie sa indexeze. Exista cazuri in care dorim ca unele continuturi sa nu fie gasite (spre exemplu sistemul de administrare al siteului, un folder cu imagini etc) sau nu vrem sa dam accesul pe site anumitor spideri. Toate aceste lucruri le putem seta din fisierul “robots.txt”

Cum arata un fisier “robots.txt“?

Depinde de ce anume vrem de la el.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Acest format de “robots.txt” nu are aproape nici o restrictie, nici pentru fisiere nici pentru spideri, in afara de interzicerea accesului in wp-admin si wp-includes.

Generator online pentru fisiere “robots.txt”

Tags: fisierul robots.txt pentru wordpress, ce este robot.txt wordpress, wordpress generator online robots.txt