Introduction au Scraping Le « scraping » de données est un ensemble de techniques utilisées pour extraire des contenus du Net. Ce sujet clé pour le datajournalisme avait été abordé une première fois par la bande dans un tutorial sur wget. Dans cette brève intro, on va aborder les bases de la technique du scraping à proprement parler. Cet texte fait suite à un atelier qui s'est tenu le 9 juin 2015 au Schrödinger's Cat, à Bruxelles, dans le cadre des #Data-Crypto Parties de l'AJPro et de l'Ihecs. Euh... juste une question, scraper, ça sert à quoi ? Les applications sont très nombreuses. Ces données peuvent également être moulinées et réutilisées sur le web pour créer des tableaux de bord, des graphiques et toutes sortes d'informations statistiques. Un autre emploi du scraping, qui peut se révéler très utile pour les journalistes, est de réaliser la "photo" d'une page web à un moment précis. Les outils du scrapeur Il existe d’innombrables techniques pour scraper des informations sur le Net. De quoi a-t-on besoin?
Spreadsheets - Berkeley Advanced Media Institute Tutorial: Spreadsheets Introduction A spreadsheet is a software program you use to easily perform mathematical calculations on statistical data and, such as totaling long columns of numbers or determining percentages and averages. And if any of the raw numbers you put into your spreadsheet should change – if you obtain final figures to substitute for preliminary ones, for example – the spreadsheet will update all the calculations you’ve performed based on the new numbers. You also can use a spreadsheet to generate data visualizations like charts to display the statistical information you’ve compiled on a website. You can use free applications like Google Docs to create a spreadsheet. You also can purchase Microsoft’s Excel spreadsheet program to run on your computer. Both spreadsheets programs work in similar ways. Excel has far more sophisticated tools and features. Spreadsheet Layout To create a new spreadsheet in Google Docs, sign into your Google Docs account. Just below A1 is A2. Numbers or
OpenRefine The Migrants Files [APP] Mémorial des morts aux frontières de l’Europe Plus de 14 000 réfugiés sont "morts aux frontières" de l'Europe depuis 1988. Afin de mesurer l'ampleur de cette "guerre aux migrants", OWNI propose un mémorial, sous forme de carte interactive. Plus de 5 000 réfugiés ont débarqué à Lampedusa, île italienne située entre Malte et la Tunisie, depuis le début de l’année. Dans un communiqué, United for Intercultural Action, une ONG de défense des droits des migrants et des réfugiés, rappelle de son côté que depuis 1993, 857 réfugiés au moins sont morts en tentant de rejoindre Lampedusa. Des garde-côtes tunisiens ont été vus en train d’éperonner délibérément un bateau ironiquement nommé “Liberté 302″ et transportant 120 passagers jusqu’à le scinder en deux; les corps de 5 migrants ont à ce jour été récupérés, mais il en manque encore des dizaines. La majeure partie, plus de 11 000, sont morts avant même d’entrer sur le territoire européen, dont 4 696 en Afrique. 14 000 en Europe, plus 4 500 aux Comores 235 migrants tués par les policiers
« Ces gens-là sont morts, ce ne sont plus des migrants », par Jean-Marc Manach Le 3 octobre 2013, un chalutier transportant cinq cent réfugiés venant pour majorité de l’Erythrée et de la Somalie tombait en panne à deux kilomètres de l’île italienne de Lampedusa. Espérant alerter les secours, un passager mit le feu à une couverture. Le bateau s’embrasa, certains passagers sautèrent dans l’eau, d’autres se ruèrent sur l’un des côtés du navire, qui se retourna. Cette tragédie, qui fit plus de trois cent soixante morts, fut largement relayée dans les médias. Jamais on n’avait autant parlé des risques pris – et des drame vécus – par tous ces réfugiés qui cherchent à gagner l’Europe au péril de leur vie. Une équipe de journalistes européens révèle aujourd’hui que plus de vingt-trois mille hommes, femmes et enfants sont « morts aux frontières » de l’Europe, depuis l’an 2000, soit plus de 50 % de plus que les estimations dont on disposait jusqu’alors.
577 députés - Assemblée nationale Accueil > 577 députés 577 députés Navigation Accès direct Choisissez un député Choisissez un députéM. Recherche d'un député par son nom Recherche d'un député par sa circonscription d'élection Recherche multicritère Notices et portraits des députés Répartition des députés Rattachement des députés à un groupement ou parti politique Sites Internet des députés Organismes extraparlementaires Liste des députés chargés d'une mission Contentieux électoral Portraits Mme Joëlle HuillierSocialiste, écologiste et républicainIsère (10ème circonscription) Situez votre député dans l'Hémicycle Autres législatures
Les camemberts auxquels vous avez échappé ;) Après avoir “augmenté” des articles de PCINpact, Owni a décidé d’aider Mediapart à développer son potentiel de datajournalisme, et de datavisualisations. #dataLOL Ce 13 juin 2012, @mediapart publiait en effet sur Twitter ce petit gazouillis : Preuve à l’appui : En consultant l’article d’où était issu ce petit camembert, consacré au “triomphe des énarques” (23 des nouveaux ministres ont choisi un énarque comme directeur de cabinet), nous découvrons qu’il est copyrighté du nom de l’un des journalistes de Mediapart, mandaté pour datavisualiser les données rassemblées par les trois auteurs du papier. Désireux de contribuer au rayonnement du journalisme de données “made in France“, @Owni a donc décidé de proposer @mediapart ces quelques déclinaisons (sous Creative Commons /-), interactives (ou non /-) de ce camembert qui, nous l’espérons, restera dans l’histoire comme le premier jet d’une collaboration fructueuse entre nos deux rédactions. On aurait pu, aussi, opter pour un compteur automobile :
Data Visualization: Basics Tutorial: Data Visualization: Basics Introduction Data visualizations, frequently referred to as information graphics, are a powerful tool that will inform and educate your readers. A better solution is to use simple graphics that can be created in minutes and delivered for free using web tools. What is a database? Before starting, download the sample spreadsheets and unzip. Using Google Docs Google offers a free office suite that you access with free registration. Go to google.com Login to Google Accounts Navigate to Google Docs Note the Create New and Upload buttons. Click on the create New button and select Spreadsheet. Make a pie chart The pie chart is the most ubiquitous of charts. It is a circle divided into segments. Save your spreadsheet and call it “Pie Chart.” Fill in the data as shown below. Let’s add a Google gadget to make an interactive pie chart that you can embed in your site. A new window will appear in your spreadsheet. This is the range of cells you selected earlier. 1. 2.
Silk + Import.io: Instantly Transform Web Pages... - Silk Recognize the page in the image below? Of course you do. This is the Apple Watch page from Apple.com. It’s a beautiful page. But it is not just that. Underneath lies a table of data that looks a lot like a spreadsheet. What if you want to use that data trapped in the Apple carousel to build your own gallery or a chart, or a sortable table of Apple Watch data? Sounds too good to be true? And, just like you saw in the video, here is all the watch data in Silk gallery. OK, we hope this blew your mind. So how does this really work? Cool, Apple Watch. How about pagination? Will this work on all Web pages?
Vers un fichage généralisé des “gens honnêtes” Pour lutter contre l'usurpation d'identité, qui représente moins de 15 000 faits constatés chaque année, le projet de carte d'identité biométrique sécurisée propose de ficher 45 millions de Français. La future carte d’identité, débattue au Parlement ce 7 juillet, reposera sur la création d’un “fichier des gens honnêtes” (sic) répertoriant les noms, prénoms, sexe, dates et lieux de naissance, adresses, tailles et couleurs des yeux, empreintes digitales et photographies de 45 millions de Français voire, à terme, de l’ensemble de la population. L’expression “fichier des gens honnêtes” a été utilisée par François Pillet, sénateur (UMP) du Cher et rapporteur de la proposition de loi sur la protection de l’identité (voir le dossier), adoptée en première lecture au Sénat, et qui sera discutée à l’Assemblée le 6 juillet: Pour atteindre l’objectif du texte, il faut une base centralisant les données. “Zorro n’étant pas disponible…” A quoi sert une carte d’identité ? Disproportionné, peut-être.