Wat is robots.txt?

Een robots.txt is een klein textbestand waarin staat welke pagina’s en bestanden een zoekmachine al dan niet mag crawlen. Je geeft dus instructies mee aan de bots van zoekmachines, om aan te geven welke pagina’s van je website in de zoekresultaten mogen verschijnen.

Waar moet het staan?

Het robots.txt bestand dient in de root van je domein te staan. Je kan dit controleren door achter je domeinnaam robots.txt in te typen.

Waarom een robots.txt gebruiken?

Voor veel websites is het bestand overbodig: zij willen dat al hun pagina’s geïndexeerd worden. Er zijn echter meerdere redenen waarom je robots.txt moet gebruiken in het kader van SEO.

Het belangrijkste doel is pagina’s uit te sluiten die je liever niet in de zoekmachines wil laten vertonen. Meestal wil je zo problemen op het gebied van duplicate content oplossen. Het heeft immers geen zin om compleet dezelfde pagina’s in de zoekresultaten te laten vertonen, en Google zal je hier ook voor afstraffen op vlak van SEO.

Hoe werkt het?

Er zijn enkele standaardregels en commando’s voor het gebruik van een robots.txt.

  • User-agent: hiermee geef je aan voor welke bot(s) de regels opgaan. “User-agent: *” betekent dat de regels onder die sectie voor elke bot gelden.
  • Disallow: prefix die aangeeft welke delen van je website niet toegankelijk zijn voor de bot.
  • Allow: bepaalde sub-mappen of files mogen wel gecrawled worden.
  • Sitemap: hiermee geef je aan waar je sitemap zich bevindt. De URL van je sitemap in je robots.txt plaatsen is een goede best practice.

Let op: 

  • Het bestand is voor iedereen toegankelijk. Sla daarom geen wachtwoorden of andere belangrijke of persoonlijke informatie hierin op.
  • Bots kunnen zo geprogrammeerd zijn dat ze het bestand negeren. Malware en ander virus-achtige software zal je website dus alsnog crawlen.

Relevante artikels

Man working on a laptop with the word translate on the computer screen
2 min

Je website instant vertalen met Weglot

Heb je ooit overwogen om je markt uit te breiden naar het buitenland? Dan heb je misschien al gedacht om je website te vertalen, maar vertalingen van topkwaliteit …
verschillende sociale media
5 min

7 tips voor goede social media posts in 2021

Hoe maak je goede social media posts? Hoe vaak moet je posten op Facebook? Wanneer post je best? En wat is goede content? Lees onze 7 tips!
Seo what to do and not to do
5 min

SEO-checklist: what to do and not to do

Zoekmachineoptimalisatie (Search Engine Optimization) is het vindbaar maken van je website. Het legt de focus op organische zoekresultaten, anders dan bij bijvoorbeeld SEA (Search Engine Advertising) waar je …

Search

Contact

Contact

Contact

Dazzle BV
Kerkstraat 106
9050 Gent

+32 9 395 45 65
info@dazzle.be

BE 0873.618.820

Nieuwsbrief

Schrijf je nu in voor onze maandelijkse nieuwsbrief en kies je favoriete onderwerpen.

>>>