robots.txt est un fichier de configuration qui décris la manière dont les spiders ou crawlers doivent explorer un site web et ses contenus.Les robots crawlers jouent un rôle important sur certains aspect du SEO,puis permet d’indexer uniquement les contenus utiles. Cependant, vous pouvez de même interdit le crawl et l’indexation de certains contenu (articles,documents,média) sensible. A travers cet article L’essentiel du Google Dork,je vous montre comment avoir accès a des données très sensibles a partir d’une simple recherche google. Notons que le fichier robots.txt doit être accessible par tous,c’est l’une des raisons pour laquelle il se localise sur la racine du site.Si vous faites http://exemple.site/robots.txt vous allez lire clairement les contenu de ce fichier et ceci est valable pour tous les site web.
Comment configurer le fichier robots.txt?
Le fichier robot.txt est essentiellement dédie à la technologie web. Selon la technologie web utilisé pour la conception de votre site, vous allez autorisé ou non les User-Agent (bot) a explorer votre site. Il existe néanmoins des outils pour générer automatiques des fichiers robots.txt mais ils ne prennent pas en compte tous les Bots et aspects possible. Voici quelque actuels pour mieux commencer.
- User-agent: * Cette ligne permet de définir dans le fichier les agents. Un agent peut être autoriser ou non a crawler le site. le symbole * signifie que vous appelez vous les robots du web.Vous pouvez toutefois spécifié le robot LISTE DES ROBOTS GOOGLE
- Disallow: L’attribut Disallow: permet de ne pas autoriser un robot à crawler le site ou une partie du site(articles,catégories,thèmes,documents,média)
- Allow: L’attribut Allow: permet d’autoriser un robot à crawler le site ou une partie du site.(articles,catégories,thèmes,documents,média)
- Sitemap: Vous avez la possibilité de soumettre votre plan de site
- Crawl-Delay: 10 Optimiser les performances de votre serveur en limitant les temps d’exécutions des crawls a 10 secondes
Comment configurer avec WordPress ?
Sur WordPress vous avez deux possibilité.Soit vous créez manuellement, soit vous générez automatiquement le fichier a partir d’une extensions.Je vous recommande Yoast SEO dans ce cas. N’oublié surtout pas que vous devez soumettre votre site à Google avant la configuration. Dans le menu de l’extension Yoast SEO,identifiez » Outils » puis cliqué sur « Éditeur de fichiers ».
Templates robots.txt
Source: https://github.com/jonasjacek/robots.txt/blob/master/robots.txt
# so.com chinese search engine
User-agent: 360Spider
User-agent: 360Spider-Image
User-agent: 360Spider-Video
# google.com landing page quality checks
User-agent: AdsBot-Google
User-agent: AdsBot-Google-Mobile
# google.com app resource fetcher
User-agent: AdsBot-Google-Mobile-Apps
# bing ads bot
User-agent: adidxbot
# apple.com search engine
User-agent: Applebot
user-agent: AppleNewsBot
# baidu.com chinese search engine
User-agent: Baiduspider
User-agent: Baiduspider-image
User-agent: Baiduspider-news
User-agent: Baiduspider-video
# bing.com international search engine
User-agent: bingbot
User-agent: BingPreview
# bublup.com suggestion/search engine
User-agent: BublupBot
# commoncrawl.org open repository of web crawl data
User-agent: CCBot
# cliqz.com german in-product search engine
User-agent: Cliqzbot
# coccoc.com vietnamese search engine
User-agent: coccoc
User-agent: coccocbot-image
User-agent: coccocbot-web
# daum.net korean search engine
User-agent: Daumoa
# dazoo.fr french search engine
User-agent: Dazoobot
# deusu.de german search engine
User-agent: DeuSu
# duckduckgo.com international privacy search engine
User-agent: DuckDuckBot
User-agent: DuckDuckGo-Favicons-Bot
# eurip.com european search engine
User-agent: EuripBot
# exploratodo.com latin search engine
User-agent: Exploratodo
# facebook.com social network
User-agent: Facebot
# feedly.com feed fetcher
User-agent: Feedly
# findx.com european search engine
User-agent: Findxbot
# goo.ne.jp japanese search engine
User-agent: gooblog
# google.com international search engine
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-Mobile
User-agent: Googlebot-News
User-agent: Googlebot-Video
# so.com chinese search engine
User-agent: HaoSouSpider
# goo.ne.jp japanese search engine
User-agent: ichiro
# istella.it italian search engine
User-agent: istellabot
# jike.com / chinaso.com chinese search engine
User-agent: JikeSpider
# lycos.com & hotbot.com international search engine
User-agent: Lycos
# mail.ru russian search engine
User-agent: Mail.Ru
# google.com adsense bot
User-agent: Mediapartners-Google
# mojeek.com search engine
User-agent: MojeekBot
# bing.com international search engine
User-agent: msnbot
User-agent: msnbot-media
# orange.com international search engine
User-agent: OrangeBot
# pinterest.com social networtk
User-agent: Pinterest
# botje.nl dutch search engine
User-agent: Plukkie
# qwant.com french search engine
User-agent: Qwantify
# rambler.ru russian search engine
User-agent: Rambler
# seznam.cz czech search engine
User-agent: SeznamBot
# soso.com chinese search engine
User-agent: Sosospider
# yahoo.com international search engine
User-agent: Slurp
# sogou.com chinese search engine
User-agent: Sogou blog
User-agent: Sogou inst spider
User-agent: Sogou News Spider
User-agent: Sogou Orion spider
User-agent: Sogou spider2
User-agent: Sogou web spider
# sputnik.ru russian search engine
User-agent: SputnikBot
# ask.com international search engine
User-agent: Teoma
# twitter.com bot
User-agent: Twitterbot
# wotbox.com international search engine
User-agent: wotbox
# yacy.net p2p search software
User-agent: yacybot
# yandex.com russian search engine
User-agent: Yandex
User-agent: YandexMobileBot
# search.naver.com south korean search engine
user-agent: Yeti
# yioop.com international search engine
User-agent: YioopBot
# yooz.ir iranian search engine
User-agent: yoozBot
# youdao.com chinese search engine
User-agent: YoudaoBot
# crawling rule(s) for above bots
Disallow:
# disallow all other bots
User-agent: *
Disallow: /User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/js
Disallow: /trackback
Disallow: /category/*/*
Disallow: */trackback
Disallow: /?s=*
Disallow: /*.php$
Disallow: /*?*
Disallow: /*?
Disallow: /*~*
Disallow: /*~
