Raclage d'écran avec Node.js

Regardons comment nous pouvons contourner ce problème!

Entrez PhantomJS

PhantomJS peut charger des pages Web et imiter un navigateur Webkit sans interface graphique.

Ma méthode préférée pour extraire les informations de ces sites consiste à utiliser PhantomJS. PhantomJS se décrit comme un "Webkit sans tête avec une API JavaScript. En termes simples, cela signifie que PhantomJS peut charger des pages Web et imiter un navigateur Webkit sans interface graphique. En tant que développeur, nous pouvons faire appel à des méthodes spécifiques fournies par PhantomJS exécuter du code sur la page. Comme il se comporte comme un navigateur, les scripts de la page Web sont exécutés comme dans un navigateur classique..

Pour obtenir des données de notre page, nous allons utiliser PhantomJS-Node, un super petit projet open-source qui relie PhantomJS à NodeJS. Sous le capot, ce module exécute PhantomJS en tant que processus enfant..

Installer PhantomJS

Avant de pouvoir installer le module PhantomJS-Node NPM, vous devez installer PhantomJS. L’installation et la construction de PhantomJS peuvent être un peu difficiles, cependant.

Tout d’abord, rendez-vous sur PhantomJS.org et téléchargez la version correspondant à votre système d’exploitation. Dans mon cas, c'était Mac OSX.

Après le téléchargement, décompressez-le à un endroit tel que /Applications/. Ensuite, vous voulez l'ajouter à votre CHEMIN:

sudo ln -s /Applications/phantomjs-1.5.0/bin/phantomjs / usr / local / bin /

Remplacer 1.5.0 avec votre version téléchargée de PhantomJS. Sachez que tous les systèmes n’auront pas / usr / local / bin /. Certains systèmes auront: / usr / bin /, /poubelle/, ou usr / X11 / bin au lieu.

Pour les utilisateurs de Windows, consultez le court tutoriel ici. Vous saurez que vous êtes tous configurés lorsque vous ouvrez votre terminal et écrivez Phantomjs, et vous n'obtenez aucune erreur.

Si vous ne souhaitez pas éditer votre CHEMIN, Prenez note de l'endroit où vous avez décompressé PhantomJS et je montrerai une autre façon de le configurer dans la section suivante, bien que je vous recommande de modifier votre CHEMIN.

Installation de PhantomJS-Node

Configurer PhantomJS-Node est beaucoup plus facile. Si vous avez installé NodeJS, vous pouvez l’installer via npm:

npm installer fantôme

Si vous n'avez pas édité votre CHEMIN à l'étape précédente, lors de l'installation de PhantomJS, vous pouvez accéder au fantôme/ répertoire tiré par npm et éditez cette ligne phantom.js.

ps = child.spawn ('phantomjs', args.concat ([__ dirname + '/shim.js', port]));

Changer le chemin en:

ps = child.spawn ('/ chemin / vers / phantomjs-1.5.0 / bin / phantomjs', args.concat ([__ nomrépertoire + '/shim.js', port]));

Une fois que cela est fait, vous pouvez le tester en exécutant ce code:

 var phantom = require ('phantom'); phantom.create (function (ph) return ph.createPage (function (page) return page.open ("http://www.google.com"), function (status) console.log ("google ouvert?" , status); return page.evaluate ((function () return document.title;), function (result) console.log ('Le titre de la page est' + result); return ph.exit ();); );););

Exécuter ceci sur la ligne de commande devrait afficher les éléments suivants:

ouvert google? succès Le titre de la page est Google

Si vous avez cela, vous êtes prêt et prêt à partir. Si non, postez un commentaire et je vais essayer de vous aider!

Utiliser PhantomJS-Node

Pour vous faciliter la tâche, j’ai inclus un fichier JS, appelé phantomServer.js dans le téléchargement qui utilise certaines API de PhantomJS pour charger une page Web. Il attend 5 secondes avant d'exécuter du JavaScript qui gratte la page. Vous pouvez l'exécuter en allant dans le répertoire et en émettant la commande suivante dans votre terminal:

 noeud phantomServer.js

Je vais donner un aperçu de la façon dont cela fonctionne ici. Premièrement, nous avons besoin de PhantomJS:

 var phantom = require ('phantom');

Ensuite, nous implémentons certaines méthodes de l'API. À savoir, nous créons une instance de page, puis appelons le ouvrir() méthode:

 phantom.create (function (ph) return ph.createPage (function (page) // A partir de maintenant, nous pouvons utiliser les méthodes de l'API de PhantomJS. return page.open ("http://tilomitra.com/repository/screenscrape /ajax.html ", fonction (statut) // La page est maintenant ouverte console.log (" site ouvert? ", statut););););

Une fois la page ouverte, nous pouvons injecter du JavaScript dans la page. Injectons jQuery via le page.injectJs () méthode:

 phantom.create (function (ph) return ph.createPage (function (page) return page.open ("http://tilomitra.com/repository/screenscrape/ajax.html", fonction (statut) console.log ("site ouvert?", statut); page.injectJs ('http://ajax.googleapis.com/ajax/libs/jquery/1.7.2/jquery.min.js', function () // jQuery Loaded // Nous pouvons utiliser des choses comme $ ("body"). Html () ici););););

jQuery est maintenant chargé, mais nous ne savons pas encore si le contenu dynamique de la page a été chargé. Pour en tenir compte, je mets généralement mon code de grattage dans un setTimeout () fonction qui s'exécute après un certain intervalle de temps. Si vous souhaitez une solution plus dynamique, l’API PhantomJS vous permet d’écouter et d’émuler certains événements. Allons avec le cas simple:

 setTimeout (function () return page.evaluate (function () // Obtenez ce que vous voulez de la page en utilisant jQuery. // Un bon moyen est de renseigner un objet avec toutes les commandes jQuery dont vous avez besoin, puis de renvoyer l'objet. . var h2Arr = [], // tableau qui contient tout le html pour les éléments h2 pArr = []; // tableau qui contient tout le html pour les éléments p // Remplit les deux tableaux $ ('h2'). each (function () h2Arr.push ($ (this) .html ());); $ ('p'). each (function () pArr.push ($ (this) .html ()); // Renvoyer ces données return h2: h2Arr, p: pArr, function (result) console.log (result); // Déconnectez les données. Ph.exit ();) 5000);

Mettre tout cela ensemble, notre phantomServer.js Le fichier ressemble à ceci:

 var phantom = require ('phantom'); phantom.create (function (ph) return ph.createPage (function (page) return page.open ("http://tilomitra.com/repository/screenscrape/ajax.html", fonction (statut) console.log ("site ouvert?", statut); page.injectJs ('http://ajax.googleapis.com/ajax/libs/jquery/1.7.2/jquery.min.js', function () // jQuery Loaded . // Attend un peu que le contenu AJAX soit chargé sur la page, ici nous attendons 5 secondes. SetTimeout (function () return page.evaluate (function () // Obtenez ce que vous voulez de la page en utilisant jQuery Une bonne méthode consiste à renseigner un objet avec toutes les commandes jQuery dont vous avez besoin, puis à le renvoyer. Var h2Arr = [], pArr = []; $ ('h2'). Each (function () h2Arr.push ($ (this) .html ());); $ ('p'). each (function () pArr.push ($ (this) .html ());); return h2: h2Arr, p: pArr;, fonction (résultat) console.log (résultat); ph.exit (););, 5000);););););););

Cette implémentation est un peu rudimentaire et désorganisée, mais elle en fait ressortir le sens. En utilisant PhantomJS, nous sommes en mesure de gratter une page qui a un contenu dynamique! Votre console devrait afficher les éléments suivants:

 → noeud phantomServer.js a ouvert le site? success h2: ['Article 1', 'Article 2', 'Article 3'], p: ['Lorem ipsum dolor sit amet, consectetur adipiscing elit.', 'Ut sed nulla turpis, in faucibus ante. Vivamus ut malesuada est. Curabitur vel enim eget purus pharetra tempor id in tellus. ',' Curabitur euismod hendrerit quam ut euismod. Ut leo sem, viverra nca gravida nec, tristique nec arcu. ' ]

Conclusion

Dans ce didacticiel, nous avons examiné deux méthodes différentes pour effectuer un scraping Web. Si vous extrayez une page Web statique, nous pouvons tirer parti de YQL, qui est facile à configurer et à utiliser. D'autre part, pour les sites dynamiques, nous pouvons tirer parti de PhantomJS. C'est un peu plus difficile à configurer, mais offre plus de fonctionnalités. Rappelez-vous: vous pouvez aussi utiliser PhantomJS pour les sites statiques!

Si vous avez des questions sur ce sujet, n'hésitez pas à demander ci-dessous et je ferai de mon mieux pour vous aider.