Ce crawler permet d'indexer le contenu des flux RSS et ainsi de pouvoir générer automatiquement des documents.
Cliquer sur l'image pour la visualiser en grand
- Téléchargement des articles avec le texte complet même sur les flux RSS ne contenant que le texte d'introduction
- Planification du crawler en minutes (la collecte automatique peut s'effectuer toutes les 30 minutes, 900 minutes...)
- Téléchargement des images
- Suppression/remplacement automatique de contenu par mot-clé ou par Regex
- Filtre mot-clé (blacklist et mot-clé obligatoirement présent)
- Dédoublonnage automatique même site
- Ajout automatique du nom et du lien de la source sur les articles
Ce crawler repose intégralement sur le composant open-source et gratuit FeedGator compatible Joomla.