Een bestand robots.txt toevoegen of bijwerken
In dit artikel wordt beschreven hoe u het bestand robots.txt kunt maken, bewerken, uploaden en valideren voor elk domein dat wordt gehost in Microsoft Dynamics 365 Commerce.
Onverwacht of ongericht verkennen van uw site door zoekmachines kan een groot aantal fouten '404 Pagina niet gevonden' veroorzaken. Deze fouten kunnen de prestaties beïnvloeden, omdat de site reageert op alle aanvragen voor pagina's die niet bestaan. Om dit probleem te helpen oplossen, moet u ervoor zorgen dat uw domein altijd een actueel en geldig bestand robots.txt heeft, zodat webcrawlers alleen naar relevante pagina's op uw site kunnen zoeken.
Geldt voor
Dit artikel heeft betrekking op de volgende configuraties:
- Versie: Commerce 10.0.16 of hoger
- Onderdeel: business-to-consumer (B2C) of business-to-business (B2B)
- Functiegebied: prestaties van commerciële websites
Vereisten
U bent een systeembeheerder in uw Commerce-exemplaar.
Afhankelijk van uw situatie hebt u een bestand robots.txt op uw computer gemaakt of een kopie gedownload:
- Als u nog niet eerder een bestand robots.txt voor uw domein hebt geüpload, maakt u een nieuw bestand op uw computer door de standaard voor uitsluiting van robotste volgen. Gebruik het voorbeeldbestand robots.txt verderop in dit artikel als uitgangspunt.
- Als u eerder een bestand robots.txt voor uw domein hebt geüpload, downloadt u het bestaande bestand.
Uit te voeren stappen
Volg deze stappen om een bestand robots.txt te bewerken en uploaden.
- Open uw lokale kopie van het bestand robots.txt.
- Bewerk het bestand zodat het alle vermeldingen Niet toestaan bevat in het voorbeeldbestand robots.txt dat volgt.
- Controleer of het bestand correct is geformatteerd volgens de standaard voor uitsluiting van robots.
- Upload het bestand naar uw site door de instructies in Een bestand robots.txt uploaden te volgen.
Inhoud van voorbeeldbestand robots.txt
User-agent: *
Disallow: /signin
Disallow: /cart
Disallow: /*refiners=
Disallow: /*sorting=
Disallow: /*search?
Disallow: /*search=
Disallow: /*.woff
Disallow: /*.woff2
Disallow: /*skip=
Valideren
Gebruik de volgende methode om te valideren dat het bestand is toegevoegd:
- Beschrijving of doel: valideer dat uw bestand robots.txt beschikbaar is voor uw domein.
- Stappen om uit te voeren: open in een webbrowser de pagina op <uw_domein>/robots.txt.
- Resultaat doorgeven: u kunt uw bestand robots.txt bekijken.