Jag har en fråga angående robots.txt

Robots.txt bestämmer vilka delar av en hemsida som ska vara sökbara av sökmotorer som t ex Google.

Vi har ställt in robots.txt så att alla sidor på din hemsida är sökbara. Vi har även regler i robots.txt som ser till att de delar av hemsidan som inte ska vara sökbara inte är det.

Du kan se hur just din robots.txt ser ut genom att besöka http://www.dinhemsida.se/robots.txt

De delar som har "Disallow" i filen har det av en anledning. Det är helt naturligt att Google säger att vissa delar av hemsidan inte går att genomsöka. Dock så är det endast delar som inte innehåller någon vettig information (javascript och annan systeminformation).

Det går inte att ändra i vår robots.txt. Det du kan göra:
Du kan avpublicera sidan. Då finns det inget för google att besöka när de försöker indexera sidan och den kommer då försvinna efter ett tag. Vill man ta det steget högre, kan man ta bort domännamnet från domänhanteraren. Lägg då först till ett subdomän och ta sedan bort domännamnet ur domänhanteraren.

Article was last updated: 2015-02-04