Een robots.txt voor Magento 2 bevat instructies voor botjes om de juiste pagina’s te indexeren en irrelevante pagina’s uit te sluiten. Dit is belangrijk voor een goede zoekmachine optimalisatie (SEO) en ongewenst verkeer van botjes tegen te gaan.
In Magento 2 kun je de robots.txt beheren vanuit de admin of handmatig in de pub map plaatsen. Zo kun je de robots.txt aanpassen via de admin:
- Ga naar content > design > configuration.
- Klik op “edit” bij de juiste website.
- Open het tabje “Search Engine Robots”.
- Plaats de gewenste robots.txt in het tekstveld en sla op.
Heb je nog geen robots.txt dan raden we aan om te starten met onderstaand voorbeeld.
User-agent: * Disallow: /index.php/ Disallow: /checkout/ Disallow: /catalogsearch/ Disallow: /review/ Disallow: /catalog/product_compare/ Disallow: /catalog/category/view/ Disallow: /catalog/product/view/ Disallow: /sendfriend/ Disallow: /customer/ Disallow: /customize/ Disallow: /newsletter/ Disallow: /wishlist/ Disallow: /cgi-bin/ Disallow: /*?product_list_order= Disallow: /*&product_list_order= Disallow: /*?product_list_dir= Disallow: /*&product_list_dir= Disallow: /*?product_list_mode= Disallow: /*&product_list_mode= Disallow: /*?product_list_limit= Disallow: /*&product_list_limit= Disallow: /*?price= Disallow: /*&price=