Comment récupérer des données dans un site web

[Invité le_sayan]

Bonjour,

j'aimerais récupérer des informations sur un site web de façon automatique et j'aurais besoin de vos conseils.

Voilà, par exemple je voudrais obtenir le chiffre d'affaire d'une liste d'entreprise ( avec leur numéro SIRET ), d'après le site www.societe.com.

Avez vous une idée s'il existe déjà un moyen simple de le faire, ou sinon à quel type de programmation dois-je m'atteler ?

Merci par avance.

[KewlCat]

Tu en as beaucoup à récupérer ou pas ?

De la réponse à cette question va dépendre la "qualité" des solutions disponibles...

 

C'est pas gagné qu'un parser HTML écrit à l'arrache soit efficace sur de gros volumes...

[le_sayan]

Le problème n'est pas tant le nombre.

Je veux juste automatiser ce que je fais à la main, afin que ce soit plus rapide/pratique lorsque j'ai besoin de récupérer une info.

[KewlCat]

Au final, où vas-tu intégrer cette info ? (savoir si on peut intégrer la récupération des données directement dans l'application qui doit la recevoir)

De quelle(s) plate-forme(s) disposes-tu ? (savoir de quelle manière on pourrait développer l'outil et à quel endroit on peut le mettre à ta disposition)

Quelles vont être les données en entrée ? Uniquement le code SIRET ? Autre ? (savoir s'il faut d'abord automatiser la recherche sur societe.com avant de tomber sur la page qui donne les infos des sociétés)

 

A priori il s'agit juste de consulter une (ou des) page(s) web et étudier leur contenu pour ressortir le CA de la société demandée. Ca peut se faire plus ou moins facilement avec à peu près n'importe quel langage un minimum évolué...

 

Par exemple : est-ce que tu disposes de Java sur ta machine ?

 

-- edit --

A priori, en passant par la recherche il va falloir passer par les étapes suivantes :

- charger http://www.societe.com/cgi-bin/liste?nom=[nom_ou_siren_de_la_societe]

- chercher un ou des liens vers /societe/[nom_de_la_societe]-[siren_de_la_societe].html

- charger les pages correspondantes (les détails de chaque société)

- parcourir ces pages à la recherche de "Chiffre d'affaires" et afficher le nombre qui suit

- ???

 

Si le SIRET suffit à tomber sur la bonne société à coup sûr, on doit pouvoir se passer d'une étape 2 trop lourde (il n'y aura qu'un seul lien dans la page, donc pas à se prendre la tête). En revanche, pour ce qui est de la présentation du résultat... il faut nous en dire plus...

[le_sayan]

Alors, au final je vais intégrer l'info sur un bête document excel, l'idéal serait access, mais je ne le maitrise pas encore assez. Les données en entrée sont uniquement le numero de siret ( c'est un numéro unique, donc ca suffit pour identifier une entreprise).

Pour les langages de programmation, je ne suis pas super chaud pour le java ( je tatouille à peine le C et je me noie en ce moment sous le VB ).

La difficulté je pense, c'est qu'il n'existe pas une correspondance logique entre le siret et le lien web ( c'est le site qui interroge sa base de données avec le siret, et ensuite qui donne le lien, on ne peux donc pas le connaitre au préalable). Il faudrait donc dans un premier temps récupérer de façon automatique ce lien généré par le site pour dans un second temps travailler dessus car ensuite, l'accès au bilan de la société est plutôt immédiat.