background preloader

ImportXml & ImportHtml: Scraper avec Google Spreadsheet

ImportXml & ImportHtml: Scraper avec Google Spreadsheet
Scraper, selon wikipedia c’est « extraire du contenu de sites Web, via un script ou un programme, dans le but de le transformer pour permettre son utilisation dans un autre contexte ». Extraire des données c’est déjà bien, mais dans un tableau google spreadsheet, c’est encore mieux. Pourquoi Scraper des données disponibles sur le web ? Pour 2 raisons principales: un simple copier coller ne conserve pas toujours la mise en formeen scrapant les données, on peut actualiser très facilement la récupération de données issues de multiples sources Quelques exemples d’utilisations: Extraire les résultats de recherche de Google ou Twitter pour découvrir les concurrents sur son domaine, ou juste mesurer son positionnementExtraire un tableau depuis wikipedia pour en exploiter les donnéesExtraire la liste des annonces (titre, prix, etc.) d’un résultat de recherche sur leboncoinTraduire ses flux RSS en françaisetc. ImportHtml: importer facilement des tableaux et des listes Syntaxe: Exemple d’utilisation:

http://deux.io/importxml-importhtml-importfeed-tutorial/

Related:  PythonScrapingOutils en ligneEducationRSS

Hello Swift Le Swift est un langage de programmation présenté en 2014 par Apple. Il a été créé pour simplifier le développement d'applications pour les environnements d'Apple (iOS, OS X, tvOS, watchOS), car les nouveaux développeurs, non habitués à Objective C, trouvent souvent celui-ci trop dur à appréhender. En 2015, Apple présente Swift 2.0, une version finalisée et stable du langage. Swift est open-source depuis novembre 2015. #Le playground

Quelle techno pour faire du web scraping ? En Ruby j'utilise le Nokogiri3 gem, très efficace.Lorsque la structure du site est complexe j'utilise l'extension Chrome de Kimono4 pour identifier les common patterns/css selectors qui m'intéressent. Demo : Après avoir rajouté gem 'nokogiri' et fait tourner bundle install, créer une rake task (sur Rails créer un fichier: /lib/tasks/scrape.rake).Par exemple pour récupérer tous les sujets de discussion de Human Coders (NB: je ne fais pas ça généralement, mais la démo me paraissait intéressante!): namespace :scrape_human_coders do desc "Scraping list of topics" task :get_topics => :environment do require 'open-uri' require 'nokogiri' url = " document = open(url).read html_doc = Nokogiri::HTML(document) topics_format = "#main-outlet .topic-list a" html_doc.css(topics_format).each_with_index do |topic, index| if topic['href'][1] == "t" puts topic.text end end endend

CréaDona : des albums pour les scolaires en quelques clics CréaDona est un nouveau logiciel pédagogique gratuit qui permet de créer des albums en toute simplicité. Description d’un concept innovant avec l'un de ses créateurs Julien Moreau. © Pixine Avec CréaDona, créer des albums n’est plus qu’un jeu d’enfant. En effet, ce nouveau logiciel permet aux élèves et à leurs professeurs de créer de véritables livrets en seulement quelques clics.

ImportXml & ImportHtml: Scraper avec Google Spreadsheet Scraper, selon wikipedia c’est « extraire du contenu de sites Web, via un script ou un programme, dans le but de le transformer pour permettre son utilisation dans un autre contexte ». Extraire des données c’est déjà bien, mais dans un tableau google spreadsheet, c’est encore mieux. Pourquoi Scraper des données disponibles sur le web ? Pour 2 raisons principales: un simple copier coller ne conserve pas toujours la mise en formeen scrapant les données, on peut actualiser très facilement la récupération de données issues de multiples sources Requète Get et Post en Python - Choix-Libres : Web log d'un utilisateur/administrateur GNU/Linux Bonjour, Besoin de récupérer une page html ? remplir un formulaire ? les deux ? Ce billet est fait pour vous

15 outils de curation incontournables Que ce soit dans le cadre d’une veille ou pour organiser le flux incessant d’informations qui nous submerge tous, les outils de curation sont devenus des services indispensables. La curation est plus qu’une mode passagère, elle s’inscrit dans un mouvement de fond sur le web pour répondre à l’infobesité et au surf permanent. La curation est aussi un bon moyen pour promouvoir une marque , sa réputation en ligne ou encore pour générer du traffic vers son site en ligne. Les outils et services de curation sont très nombreux. Trop nombreux ? En tout cas voici une sorte de curation des outils de curation 😉

Comment créer une bibliothèque numérique libre et gratuite ? Autoformation Comment mettre en place une bibliothèque numérique libre et gratuite ? C’est un nouveau module d’autoformation réalisé par Christophe Rhein et mis en ligne sur le portail Canopé de Limoges (ex-CRDP Limousin) après le fabricolage proposé en septembre : Comment monter une bibliobox ? Objectif de ce module d’autoformation Il s’agit de réaliser une bibliothèque numérique libre et gratuite comprenant 3000 livres du domaine public qui seront téléchargeables au format epub par les apprenants.

Crème de la Crème - Blog Rédigé par Clément Galopin, Data Consultant. NB : cet article demande quelques bases en HTML et en CSS, notamment sur les concepts de balise et de classes. Ces bases peuvent néanmoins s'acquérir très rapidement, notamment en consultant le site La digitalisation de la société et l'essor du e-commerce engendrent chez les webmarketeurs et les managers un besoin croissant d'accéder à l'information en temps réel.

Culture, éducation Dans le cadre de la semaine des médias à l’école 2017 en Suisse Romande (qui s’est tenue début avril 2017), E-Media.ch, portail romand de l’éducation aux médias propose un des fiches pratiques afin de mettre en place des activités pédagogiques qui impliquent les enfants et les adolescents. Ces dossiers qui invitent à l’action au sein des établissements scolaires et EPN (espaces publics numériques) proposent de décoder les médias (Presse écrite, radio, TV et Internet) avec des actions créatives qui mobilisent une analyse critique des médias. Pour une éducation numérique et une citoyenneté pensée de l’Internet, plusieurs activités sont proposées qui allient le ludique à la réflexion dont les suivantes (avec des fiches pratiques téléchargeables en PDF et diffusées sous licences Creative Commons). (suite…)

3 outils en ligne pour créer des quiz et QCM avec smartphones En situation pédagogique, créer un quiz ou un QCM (questionnaire à choix multiples) avec un smartphone, une tablette ou un ordinateur puis faire que chaque apprenant puisse y répondre en direct via son smartphone/tablette constitue un réel plus. Le concept de BYOD (Bring your own device / Apportez vos appareils personnels), traduit par AVEC (Apportez Votre Equipement Personnel de Communication) permet d’évaluer ainsi des séquences d’apprentissage, de poser des questions en amont ou en aval d’une activité, d’un atelier. Evaluer avec des quiz ou QCM en direct : 3 outils en ligne sélectionnés

Créer un flux RSS pour une page Scoop.it – 2 méthodes Comme vous l’aurez probablement remarqué, Scoop.it a eu la riche idée de supprimer le flux de ses pages de curation. Bien pratiques, ces flux permettaient d’éviter d’avoir a se créer un compte Scoop.it pour suivre les découvertes des uns et des autres et permettaient surtout de centraliser sa veille dans un agrégateur de flux. Heureusement il y a toujours des services qui permettent de créer des flux sur des pages HTML qui n’en disposent pas (ou plus). Test avec Feedity J’ai d’abord utilisé Feedity que je connais bien et qui propose un mode graphique très simple d’utilisation. J’ai choisi comme exemple (et parce que j’aime les mises en abîme) de surveiller l’incontournable page RSSCircus proposée par Serge Courrier (@secou).

5 outils collaboratifs en ligne gratuits et sans inscription - Les Outils Collaboratifs Dans la gamme des outils collaboratifs en ligne, vous avez de plus en plus de solutions complètes pour répondre à tout type de besoins. A côté des mastodontes, il y a aussi des outils simples et gratuits pour des besoins occasionnels que vous pouvez utiliser sans même avoir besoin de vous inscrire ni d’installer quoi que ce soit sur votre ordinateur. Voici une petite sélection de cinq de ces outils. 5 outils collaboratifs pour des besoins de tous les jours. Appear.in Un formidable outil collaboratif gratuit déjà présenté ici qui permet de mettre en place une vidéoconférence dans votre navigateur en deux clics trois mouvements. Aucune inscription nécessaire, il suffit de se rendre sur le site, de créer une salle de tchat et de partager l’url unique fournie par Appear.in Lien: Appear.in

Related: