Wat is robots.txt?

Een robots.txt is een klein textbestand waarin staat welke pagina’s en bestanden een zoekmachine al dan niet mag crawlen. Je geeft dus instructies mee aan de bots van zoekmachines, om aan te geven welke pagina’s van je website in de zoekresultaten mogen verschijnen. Waar moet het staan? Het robots.txt bestand dient in de root van je domein te staan. Je kan […]