Robot Web

Un robot est une application qui parcourt le WEB en vue de réaliser certains traitements : indexation de pages, récupération d'informations (adresses mails)... Le but de ce projet est de réaliser une application qui récupère le contenu d'une page WEB, en récupère les liens, puis visites les pages concernées. Les visites du robot se limiteront a‘ un nombre de sites prédéfinis. Un classement des pages sera généré en fonction du nombre de liens pointant vers les sites web. Ce classement pourra être consulte’ via une interface WEB (vous devez écrire le serveur WEB correspondant). La réalisation d'une base contenant le nombre de pages pointant vers un même lien sera un plus appréciable. Il sera également possible de produire un graphe de liens. Références : fonctionnement du PageRank Google.

Pour commencer

Consultez le site web : https://dev.art-dambrine.ovh

Prerequis

Vous devez avoir une machine linux :

• apache
• php (et ses extensions dont curl)
• java JRE 11 pour lancer le programme java
• MySQL (structure disponible - SAV_DATABASE_ROBOT.sql)

Installation - deploiement

Guide d'installation pas à pas :)

1/ Téléchargez ce dépôt robot-web-website

2/ Installez Java JRE 11

sudo add-apt-repository ppa:openjdk-r/ppa
sudo apt update
sudo apt install openjdk-11-jre

3/ Téléchargez le robot depuis le projet

https://gitea.art-dambrine.ovh/art.dambrine/robot-web-java

NOTE: Recompilez le code java du robot avec vos accès BDD

NOTE : Faites de même avec le code php du site vous aurez à renseigner les infos BDD (prendre bdd.php.dist et le renommer en bdd.php) ainsi que l'url de votre robot java pour les tests curl et les notifs (get_avancement.php, robot.php ..) vérifiez bien que toutes les url correspondent à votre site.

ASTUCE : Faites un search and replace sur la chaîne de caractère "https://art-dambrine.ovh".

Testez votre robot java

Cf. README du projet robot-web-java

java -cp mysql-connector-java.jar:RobotIndex.jar robotindex.RobotIndex 

Auteurs

• Seth Bio Yara - https://www.linkedin.com/in/sethbioyara
• Arthur Dambrine - https://art-dambrine.ovh

Remerciements

• Mme Aby & M Dailly pour nous avoir proposé ce sujet
• M Sarroche pour l'accompagnement