Des modifications sont à apporter aux crawlers. Il faut les rendre plus “intelligent” pour qu’ils soient plus performant en terme de temps d’exécution mais surtout pour éviter de crawler des informations déjà en base.
Les points importants à prendre en compte sont les suivants :
- Pour les crawlers Ebay, ne mettre à jour que le nouveau prix si le produit existe dans la base (ce qui semble déjà être le cas)
- Pour les produits Ebay, mettre à jour l’image affichant la réduction si le nouveau prix à changé
- Pour les autres crawlers, ne rien faire si le produit est déjà dans la base
- Si pour un produit l’image est inconnue, mettre à jour cette image
- détecter les problèmes lors du téléchargement des images (erreur 404, timeout, …), afin de ne pas se retrouver avec une image vide
