Forum nom de domaine  
  #1 (permalien)  
Ancien 31/05/2016, 13h24
Avatar de Nitaky
Nitaky (Déconnecté)
Yoda
 
Inscrit : mars 2008
Messages: 1 596
Chats: 365
Arrow Comment connaitre toutes les pages d'un site?

Bonjour les zamigos

Je cherche comment peut on connaitre toutes les pages d'un site donné par exemple monsite.com ou site.monsite.com, même les pages non indexé par google? y'a t'il un moyen efficace?
Comme :
site.monsite.com/index.php
site.monsite.com/contact.php
site.monsite.com/help.php
etc.

Merci d'avance
__________________
www.Nitaky.com

Chine.tv : Ce TOP Domaine est en vente!
Informatique.tv - Monde.tv
Nitaky.com : Immobilier Virtuel !
info@nitaky.com
Répondre en citant
  #2 (permalien)  
Ancien 31/05/2016, 14h37
Avatar de kate
kate (Déconnecté)
Super Modérateur
 
Inscrit : mars 2008
Lieu: nord
Messages: 5 290
Chats: 11
Par défaut Re : Comment connaitre toutes les pages d'un site?

Tu peux construire ton propre crawler Ou utiliser un logiciel comme httrack.
Il y a des limitations:
  • les pages qui ne sont pas linkés quelque part ne seront pas découvertes. Le principe d'un crawler est de partir d'une page, parser le contenu à la recherche d'hyperliens et visiter ces pages de manière récursive
  • les moteurs de recherche comme google respectent généralement les directives robots.txt, donc si le webmaster a décidé d'exclure certaines pages, le moteur en tiendra compte et ne les affichera pas. Tu as donc intérêt à examiner le fichier robots.txt s'il existe
  • il y a aussi le listing de répertoire qui est autorisé sur certains sites (souvent involontairement), ça permet de découvrir des fichiers parfois sensibles. Et donc des fichiers non linkés.
  • de nos jours, les sites sont dynamiques, les pages sont générées à la demande à partir de contenu résident dans une DB, donc même si tu avais accès aux sources en FTP, ça ne t'apprendrait pas grand'chose
En soi, l'indexation de sites est un art, utile à maîtriser pour des audits de sécurité aussi.

Dans ton cas, le mieux serait de tenter le coup avec httrack ou wget. NB: par défaut, ils honorent aussi les directives robots.txt, et il y a des limitations dont il faut être conscient.
__________________
NameNewsletter.com - Noms de domaine disponibles | ZoneFiles.net - ccTLD & gTLD droplists
Répondre en citant
  #3 (permalien)  
Ancien 31/05/2016, 14h50
Avatar de technique
technique (Déconnecté)
Admin Technique
 
Inscrit : mars 2008
Lieu: Point Place, Wisconsin
Messages: 993
Entrées dans le blog: 21
Chats: 989
Par défaut Re : Comment connaitre toutes les pages d'un site?

Hello,

Impossible à ma connaissance. Tu peux faire du prédictif (genre wp-admin.php) pour les CMS les plus utilisés. Ou lire dans le robots.txt si tu es curieux

J'utilise robtex de temps en temps
__________________
Mon test à moi
Répondre en citant
  #4 (permalien)  
Ancien 03/06/2016, 12h15
Avatar de Didier
Didier (Déconnecté)
Membre senior
 
Inscrit : novembre 2012
Messages: 126
Chats: 120
Par défaut Re : Comment connaitre toutes les pages d'un site?

Hello hello,

Toutes les solutions déjà données plus recherche si il y a un sitemap et avec l'api de wayback et quelques modif aussi tu peux avoir bcp d'info sur les ressources d'un site.
Et comme l'évoque kate des outils d'audit de sécurité sont capables de faire cela.

Dernière modification de Didier, 03/06/2016 à 12h25
Répondre en citant
  #5 (permalien)  
Ancien 08/06/2016, 18h01
Avatar de Nitaky
Nitaky (Déconnecté)
Yoda
 
Inscrit : mars 2008
Messages: 1 596
Chats: 365
Par défaut Re : Comment connaitre toutes les pages d'un site?

Merci les champions pour vos réponses
En réalité je suis un peu nul dans certain niveau technique d'où j'ai pas tout compris malgré mes recherches, ça donne l’impression que c'est possible mais comment? c'est assez compliqué!!!
__________________
www.Nitaky.com

Chine.tv : Ce TOP Domaine est en vente!
Informatique.tv - Monde.tv
Nitaky.com : Immobilier Virtuel !
info@nitaky.com
Répondre en citant
Répondre

Outils du sujet
Affichage du sujet Noter ce sujet
Noter ce sujet:

Règles des messages
Vous ne pouvez pas créer de sujets
Vous ne pouvez pas répondre aux sujets
Vous ne pouvez pas importer de fichiers joints
Vous ne pouvez pas modifier vos messages

BB codes : Activé
Smileys : Activé
BB code [IMG] : Activé
Code HTML : Désactivé
Trackbacks are Activé
Pingbacks are Activé
Refbacks are Activé


Sujets similaires
Sujet Auteur du sujet Forum Réponses Dernier message
Comment désindexer des dizaines de milliers de pages qui n'existent plus ? domaine1 Développement 7 06/01/2016 13h58
Dons de domaine (connaitre-son-ip.net,...) Adato Dons et échanges 0 24/04/2014 18h47
Outil pour connaitre tous les domaines expertsref Infos 2 07/02/2010 09h34


Fuseau horaire : GMT +1. Il est 20h16.

Forum protégé par le Code de la propriété littéraire et artistique.