# ============================================================ # robots.txt — Rouch Énergies # Dernière mise à jour : 2026-10-08 # Objet : Contrôle du crawl, protection des ressources sensibles, # gestion des bots IA (citation autorisée, entraînement interdit) # ============================================================ # ------------------------------------------------------------ # 1. Directives générales # ------------------------------------------------------------ User-agent: * Allow: /core/ Allow: /profiles/ # Répertoires techniques Joomla (non destinés au crawl) Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /layouts/ Disallow: /libraries/ Disallow: /logs/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ Disallow: /site_content/ Disallow: /stories/documents/ # ------------------------------------------------------------ # 2. Pagination des blogs de catégories (évite le contenu dupliqué) # ------------------------------------------------------------ # Empêche l’indexation des pages 2, 3, 4 des blogs de catégorie # (URLs générées automatiquement : ?start=10, 20, 30) Disallow: /*.html?start=10 Disallow: /*.html?start=20 Disallow: /*.html?start=30 # ------------------------------------------------------------ # 3. Pages internes non pertinentes pour l’indexation # ------------------------------------------------------------ Disallow: /recherche.html?q=$ # ------------------------------------------------------------ # 4. Politique IA (2026) # ------------------------------------------------------------ # Citation autorisée SI utile au référencement FR # Entraînement interdit pour TOUS les bots # Les bots "Extended" sont dédiés à la collecte massive pour entraînement IA # IA PERTINENTES POUR LE MARCHÉ FRANÇAIS (citation autorisée) # ------------------------------------------------------------ # --- OpenAI (USA) --- User-agent: GPTBot Allow: / User-agent: GPTBot-Extended Disallow: / # --- Anthropic (USA) --- User-agent: ClaudeBot Allow: / User-agent: ClaudeBot-Extended Disallow: / # --- Mistral AI (France) --- User-agent: MistralBot Allow: / User-agent: MistralBot-Extended Disallow: / # --- Perplexity (USA) --- User-agent: PerplexityBot Allow: / User-agent: PerplexityBot-Extended Disallow: / # --- Google IA (USA) --- User-agent: Googlebot Allow: / User-agent: Google-Extended Disallow: / # IA EUROPÉENNES (citation autorisée — utile pour visibilité EU) # ------------------------------------------------------------ # --- Aleph Alpha (Allemagne) --- User-agent: AlephAlphaBot Allow: / User-agent: AlephAlphaBot-Extended Disallow: / # --- LightOn (France) --- User-agent: LightOnBot Allow: / User-agent: LightOnBot-Extended Disallow: / # --- Stability AI (UK) --- User-agent: StabilityBot Allow: / User-agent: StabilityBot-Extended Disallow: / # IA SCIENTIFIQUES / OPEN-SOURCE (citation utile, entraînement interdit) # ------------------------------------------------------------ # --- Semantic Scholar (USA — recherche scientifique) --- User-agent: SemanticScholarBot Allow: / User-agent: SemanticScholarBot-Extended Disallow: / # --- Common Crawl (source majeure pour IA open-source) --- User-agent: CCBot Allow: / User-agent: CCBot-Extended Disallow: / # --- OpenWebText (open-source) --- User-agent: OpenWebTextBot Allow: / User-agent: OpenWebTextBot-Extended Disallow: / # IA NON PERTINENTES POUR LE MARCHÉ FRANÇAIS # (citation inutile — entraînement interdit — accès bloqué) # ------------------------------------------------------------ # --- Chine : Baidu / Alibaba / Tencent --- User-agent: BaiduBot Disallow: / User-agent: BaiduBot-Extended Disallow: / User-agent: QwenBot Disallow: / User-agent: QwenBot-Extended Disallow: / User-agent: HunyuanBot Disallow: / User-agent: HunyuanBot-Extended Disallow: / # --- Corée : Naver HyperCLOVA --- User-agent: HyperClovaBot Disallow: / User-agent: HyperClovaBot-Extended Disallow: / # --- Japon : Rakuten AI --- User-agent: RakutenAIBot Disallow: / User-agent: RakutenAIBot-Extended Disallow: / # IA CYBERSÉCURITÉ (pas d’intérêt SEO — accès bloqué) # ------------------------------------------------------------ User-agent: GreyNoiseBot Disallow: / User-agent: GreyNoiseBot-Extended Disallow: / User-agent: RecordedFutureBot Disallow: / User-agent: RecordedFutureBot-Extended Disallow: / # IA "FANTÔMES" / STARTUPS (non documentées — accès bloqué) # ------------------------------------------------------------ User-agent: DataForAIBot Disallow: / User-agent: DataForAIBot-Extended Disallow: / User-agent: LLMResearchBot Disallow: / User-agent: LLMResearchBot-Extended Disallow: / # ------------------------------------------------------------ # 5. Sitemaps # ------------------------------------------------------------ Sitemap: https://www.rouchenergies.fr/sitemap.xml Sitemap: https://www.rouchenergies.fr/sitemap-videos.xml # ============================================================ # Fin du fichier # ============================================================