NEW THINGS. Data Visualization. Visual programming. Hacks and hackers gather to write the first Data Journalism Handbook. The following post is from Federica Cocco, a freelance journalist and the former editor of Owni.eu, a data-driven investigative journalism site based in Paris. She has also worked with Wired, Channel 4 and the Guardian. It is cross posted on DataDrivenJournalism.net and on the Data Journalism Blog. Ravensbourne College is an ultramodern cubist design school which abuts the O2 arena on the Greenwich peninsula. It is perhaps an unusual and yet apt setting for journalists to meet. Members of the Open Knowledge Foundation and the European Journalism Centre saw this as a perfect opportunity to herd a number of prominent journalists and developers who, fuelled by an unlimited supply of mocacchinos, started work on the first Data Journalism Handbook. The occasion was the yearly Mozilla Festival, which acts as an incubator to many such gatherings.
In data journalism, most people are self-taught, and many find it hard to keep up-to-date with every tool produced by the industry. Slides and replay from "R and Hadoop" webinar. Data Driven Journalism. Originally published by Andy Kirk on Visualising Data, 1 May 2011. This article is republished with permission. This is the fourth part of a multi-part series designed to share with readers an inspiring collection of the most important, effective, useful and practical data visualisation resources. The series will cover visualisation tools, resources for sourcing and handling data, online learning tutorials, visualisation blogs, visualisation books and academic papers. Your feedback is most welcome to help capture any additions or revisions so that this collection can live up to its claim as the essential list of resources.
This fourth part presents a broad range of visualisation resources that can be used for representing data via maps. This is a rapidly evolving subset of the population of visualisation resources, one that seems to be constantly introducing us to new tools and clever technologies to bring innovation to the representation of geographical data. Google Maps & Google Earth. Data journalism :: Datenjournalismus. Coding for Journalists 101: Go from knowing nothing to scraping Web pages. In an hour. Hopefully. | Dan Nguyen pronounced fast is danwin.
UPDATE (12/1/2011): Ever since writing this guide, I’ve wanted to put together a site that is focused both on teaching the basics of programming and showing examples of practical code. I finally got around to making it: The Bastards Book of Ruby. I’ve since learned that trying to teach the fundamentals of programming in one blog post is completely dumb. Also, I hope I’m a better coder now than I was a year and a half ago when I first wrote this guide. Check it out and let me know what you think: Who this post is for His Girl Friday You’re a journalist who knows almost nothing about computers beyond using them to connect to the Internets, email, and cheat on Facebook scrabble. Anyone who has taken a semester of computer science will scoff at how I’ve simplified even the basic fundamentals of programming…and they’d be right…but my goal is just to get you into the basics to write some useful code immediately.
Thankfully, coding is something that provides immediate success and failure. Tags. Reporters' Lab // How a conference taught me I know nothing. The Chicago Tribune's Brian Boyer removes his costume panda head before demonstrating PANDA, an open-source database system developed by Investigative Reporters and Editors. | Photo by Tyler Dukes It was the lightning talks that set my head spinning.
I’m a bit new to the world of data journalism, and up until that point, my first time at the annual Computer-Assisted Reporting conference had stopped just short of overwhelming. But after a few mile-a-minute presentations in this particular session , I only had one clear thought: There’s so much to know, and not enough time to learn it. Luckily, Politifact developer and University of Nebraska-Lincoln journalism professor Matt Waite gave the audience a little bit of reassuring advice gleaned from Zen Buddhism: It’s bad to be an expert.
That seems like the perfect mantra for attending this conference. In the spirit of that advice, here’s a collection of the top tools I picked up from the conference. Evernote // Project tracking QGIS // Mapping. Computational and Data Journalism. Tools for innovation. Parallel R with Hadoop - New York Open Statistical Programming Meetup (New York, NY. RevolutionAnalytics/RHadoop. Revolution Analytics Partner: Cloudera. Master pro (M2) Statistique et économétrie. FOAD - Master 2 Droit - Economie - Gestion - Spécialité : Statistiques et Econométrie. Interfaces mobiles : nouveaux usages, nouvelles ergonomies. L'ergonomie sur les tablettes est en constante évolution. Les nouveaux usages d'aujourd'hui définissent les standards de demain. Dans ces conditions, comment faire une application ou un site mobile qui marche ? Miratech a déjà mené plus de 400 tests utilisateurs sur des interfaces mobiles (applications ou sites mobiles, sur tablettes ou sur smartphones).
À travers quelques extraits, nous verrons qu'il suffit pour l'instant de respecter deux règles importantes : règle n° 1 : soignez l'intuitivité ; règle n° 2 : les règles du Web s'appliquent encore (presque) toutes au mobile. Faire comprendre de façon intuitive comment fonctionne le site ou l'application▲ Les interfaces mobiles sont pour la plupart tactiles. Si un élément est cliquable, le curseur de la souris se transforme en main ; si une page est longue, un ascenseur apparaît ; si une action prend du temps, un sablier s'affiche… L'image ci-dessous est tirée de Jobintree, une application de recherche d'emploi. Intuitivité des icônes▲ SparkleShare – Un clone de Dropbox open source qui fonctionne ! Bon on commence tôt ce matin, car j'ai enfin trouvé un remplaçant open source qui fonctionne et qui roxx à Dropbox !
Merci MrBoo ! L'outil s'appelle SparkleShare et va vous permettre enfin de synchroniser vos documents entre plusieurs ordinateurs, en utilisant votre propre serveur. Pour fonctionne SparkleShare a besoin d'un serveur Git. Vous pouvez configurer le votre ou alors utiliser celui de Gnome, ou Github...etc. Au niveau des clients, SparkleShare existe pour Linux et Mac (et très bientôt Windows). Comme j'ai un serveur chez OVH qui ne sert pas à grand chose, avec un bon paquet de place dessus, j'ai fait un petit test. Tout d'abord, il vous suffit d'installer Git sur le serveur : sudo apt-get install git-core openssh-server Ensuite, il suffit d'initialiser un dépôt : git init --bare MON_DEPOT.git Après, c'est au niveau de SSH que ça se passe.
Une fois la clé SSH en place, il suffit de lancer SparkleShare et de saisir les infos relative au serveur ou à votre compte Github, Gnome...etc. SparkleShare - Sharing work made easy. Muse home page. Web Scraping projects and jobs listing - page 1 - WorkingBase.com. Subsonic – Créez votre propre clone de Deezer. _2F_, super modo sur le forum, m'a fait découvrir ce matin Subsonic, un outil gratuit qui va faire plaisir à tous les fans de musique !
Subsonic permet en effet de se faire son propre clone de Deezer (ou un spotify web) hébergé à la maison. Vous pouvez ainsi partager votre musique sur le net, en donner l'accès qu'à quelques personnes et l'écouter depuis n'importe où avec votre navigateur ou les applications clientes Air, iPhone ou Android disponibles. Subsonic support les MP3, OGG, AAC et d'autres formats audio mais aussi les formats vidéo avec un peu de bidouille et une install de ffmpeg (voir le forum pour plus d'infos sur le stream vidéo) Toutes vos playlists peuvent être exportées / importées dans un grand nombre de formats (M3U, PLS, XSPF..etc) et il est même possible d'importer des podcasts de manière automatique (via un flux RSS).
Pour couronner le tout, vous aurez même le droit à quelques stats et il est possible de changer le look et la langue de l'interface... Le Guide des Gamers. Lifehacker, tips and downloads for getting things done. Introduction aux scripts shell. Changer son adresse IP par script ou batch (XP, Vista) Partie 3 : Admin-Network.fr. Publié le 14 août 2009Classé dans réseau | 4 commentaires Si vous ne les avez pas lu, il serait bien de lire d’abord les deux premières parties : - Première Partie - Deuxième Partie Pour commencer, si vous ne savez pas créer un fichier batch voici la méthode la plus simple : Aller sur le bureau de votre ordinateur ou dans un répertoire quelconque, faites un clique-droit puis « Nouveau »-> »Document texte ». Donnez le nom que vous souhaitez et changez l’extension « .txt » en « .bat ». Pour créer et éditer des fichier batch je vous conseille vivement d’utiliser le logiciel « PowerBatch » qui est disponible dans la rubrique Logiciels.
Nous allons donc copier les lignes de code suivantes directement dans le bloc note ou PowerBatch, on sauvegarde et on lance le fichier .bat (Attention sous Windows Vista il faut lancer le fichier en tant qu’administrateur via un clique-droit sur le fichier) et on admire le résultat : netsh interface IP add DNS « Connexion au réseau local » 208.67.220.220 index=2. Parallel and batch. Brent Ozar PLF. Installer Arduino sous Windows XP. La plate-forme Arduino permet de se familiariser avec l'informatique embarquée pour un coût modeste et avec une grande simplicité d'utilisation.
L'environnement de programmation Arduino est disponible pour Linux, Mac OS X et Windows. Cette dernière famille de systèmes d'exploitation, même si elle est loin d'avoir ma préférence, reste souvent celle dont dispose les utilisateurs qui se lancent sur Arduino. Pour ceux qui ne sont pas encore sensibles aux charmes de Linux, voici donc comment installer Arduino sous Windows XP. Télécharger le logiciel Télécharger le logiciel — La première étape pour utiliser Arduino est de se rendre à l'adresse pour télécharger l'environnement de développement.
Copier le contenu de l'archive — Le fichier que vous avez téléchargé est une archive ZIP. Ne fermez surtout par la fenêtre, sinon vous ne pourrez pas Coller le dossier à l'étape suivante! Coller le dossier du logiciel — Collez le dossier où vous le souhaitez. Voir aussi. Chicoree. Comprendre Hadoop en moins de 5 minutes « Java EE performance. Dans ce tutorial, nous allons découvrir Hadoop au travers de son système de fichiers distribués et son mécanisme de Map/Reduce.
Comprendre les grands concepts de Hadoop Comprendre le HDFS et le mécanisme de Map/Reduce Hadoop est un projet Open Source écrit en java, distribué par la fondation Apache. Ce framework est adapté dans le stockage et le traitement par lots de très grandes quantités de données (à partir du pétaoctet). Son système de fichiers HDFS permet de distribuer le stockage des données et de faire des analyses très performantes sur ces données grâce au modèle MapReduce permettant de distribuer une opération sur plusieurs nœuds dans le but de paralléliser leur exécution.
Le HDFS est le système de fichiers utilisé par Hadoop. Pour plus d’informations sur l’architecture et la configuration du HDFS vous pouvez consultez la très bonne documentation de Hadoop: Il suffit d’invoquer la commande: . Voici quelques exemples de commandes utiles: </b></i>*} Data Extraction. Data Extraction and Web Scraping A key activity in web automation is the extraction of data from websites, also known as web scraping or screen scraping. Whether it is price lists, stock information, financial data or any other type of data, iMacros can extract this data for you and either re-use the data or store it in a file or database. iMacros can write extracted data to standard text files, including the comma separated value (.csv) format, readable by spreadsheet processing packages. Also, iMacros can make use of the powerful scripting interface to save data directly to databases.
The Extract command Data extraction is specified by an EXTRACT parameter in the TAG command. TAG POS=1 TYPE=SPAN ATTR=CLASS:bdytxt&&TXT:* EXTRACT=HTM This means that the syntax of the command is now the same as for the TAG command, with the type of extraction specified by the additional EXTRACT parameter. Creation of Extraction Tags Extraction Wizard Text Extraction Wizard Extraction from Framed Websites Example: Apache Hadoop. Apache Hadoop is an open-source software framework for storage and large-scale processing of data-sets on clusters of commodity hardware. Hadoop is an Apache top-level project being built and used by a global community of contributors and users.[2] It is licensed under the Apache License 2.0. The Apache Hadoop framework is composed of the following modules: Hadoop Common – contains libraries and utilities needed by other Hadoop modulesHadoop Distributed File System (HDFS) – a distributed file-system that stores data on commodity machines, providing very high aggregate bandwidth across the cluster.Hadoop YARN – a resource-management platform responsible for managing compute resources in clusters and using them for scheduling of users' applications.Hadoop MapReduce – a programming model for large scale data processing.
Apache Hadoop is a registered trademark of the Apache Software Foundation. History[edit] Hadoop was created by Doug Cutting and Mike Cafarella[5] in 2005. Architecture[edit] Interfacer R et MS Excel. MongoDB. Connecting to a MongoDB database from R using Java. It would be nice if there were an R package, along the lines of RMySQL, for MongoDB. For now there is not – so, how best to get data from a MongoDB database into R? One option is to retrieve JSON via the MongoDB REST interface and parse it using the rjson package. Assuming, for example, that you have retrieved your CiteULike collection in JSON format from this URL: - and saved it to a database named citeulike in a collection named articles, you can fetch the first 5 articles into R like so: That works, but you may not want to use the MongoDB REST interface: for example, it may be slow for large queries or there might be security concerns.
MongoDB has both C and Java drivers. Not to be deterred, I took the approach that has served me well my whole professional life: wing it, using what I could glean from Google searches and the Web. 1. 2. The Java class files are located in com/mongodb. 3. Next, I added the MongoDB classes to the classpath: Progress, no errors, it’s all good. Success! RMongo: Accessing MongoDB in R « Tommy Chheng : Programming Blog. I recently created RMongo, a database access layer to MongoDB in R as an R package. To install RMongo: install.packages(“RMongo”) If that does not work, try downloading it from and run: install.packages("~/Downloads/RMongo_XX.XX.XX.tar.gz", repos=NULL, type="source") I tried to mimic the RMySQL commands in RMongo.
Below are some example commands. library(RMongo) #ask for help ? #connect to a database mongo results names(results) [1] “X_id” “name” “nutrient_definition_id” “description” > results X_id name nutrient_definition_id 1 4cd0f8e31e627d4e6600000e Adjusted Protein 257 2 4cd0f9061e627d4e6600001a Sodium 307 > results results X_id name nutrient_definition_id 1 4cd0f9061e627d4e6600001a Sodium 307 > dbDisconnect(mongo) RMongo is very alpha at this point.
Please report any bugs or necessary improvements. Like this: Like Loading... Drivers. Connecting to a MongoDB database from R using the C API for MongoDB. Today, Neil posted an article titled" Connecting to a MongoDB database from R using Java". In the current post, I'll show how to use the C API for MongoDB to fetch some MongoDB data from R. The code will be somehow similar to my previous post "A stateful C function for R: parsing Fasta sequences". OK, First, let's add a few values in mongo: The C code contains 3 functions. The first function mongoRconnect connects to the MongoDB server and put the pointer into a R variable. SEXP mongoRconnect() { mongo_connection* conn; /* ptr */ mongo_connection_options opts[1]; mongo_conn_return status; conn=(mongo_connection*)malloc(sizeof(mongo_connection)); strcpy( opts->host , "127.0.0.1" ); opts->port = 27017; status = mongo_connect( conn, opts ); return R_MakeExternalPtr(conn, R_NilValue, R_NilValue); } The second method mongoRdiconnect closes the connection: The last method mongoRquery scans the database test.dbsnps and inserts the name of the snps into an R array: This C code is then be called from R:
How can R and Hadoop be used together. Open-source 'R' gets Hadoop integration | Software, Interrupted. Translate SQL to MongoDB MapReduce. Centre pour les logiciels et les téléchargements. Using Revolution R Enterprise With Apache Hadoop for 'Big Analytics' Downloads · RevolutionAnalytics/RHadoop Wiki.
Hadoop Tutorial. Getting Started with Hadoop and Map Reduce. Apache Hadoop. 10 tools that can help data journalists do better work, be more efficient. Hadoop Tutorial. R Graphical Manual. Revolution R: R for Big Data & Large Data Analysis. Package rseedcalc. Statconn. Welcome to Apache™ Hadoop™! Géolocalisation en HTML5. Tutoriel Vidéo jQuery : Créer une carte interactive. Tutoriel Vidéo Javascript : Particules 3D Three.js. Créer une carte interactive! GoogleMaps plugin | Joomla Gadgets.
Sign Up for the Google Maps API - Google Maps API. PlaceFinder. Apache CouchDB: The Apache CouchDB Project. Cloud computing. Electrical Engineering and Computer Science | 6.00 Introduction to Computer Science and Programming, Fall 2008. CS101 Introduction to Computing Principles. Stanford's JavaScript-based Computer Science 101 Materials Available Online for Free. Dart: Structured web apps | DartLang.org. cURL – Split a file and download simultaneously from multiple locations. 7 Free JavaScript E-Books and Tutorials. Eloquent JavaScript: A Modern Introduction to Programming. Free Hosting.
Télécharger HTTrack Website Copier 3.45-3 - HTTrack Website Copier - Aspirateur de sites web libre (GNU GPL) [Tuto] Utiliser Tor comme proxy. Data Mining and Screen Scraping from ScrapeGoat.com. Data Mining Community's Top Resource. Data Mining sous R - Le package rattle. Kaggle, we're making data science a sport. Poll: R GUIs you use frequently.
Intro to AI - Introduction to Artificial Intelligence - Oct-Dec 2011. Coop Ecto: le "co-working" pour briser l’isolement. Bespoke Mobility. Technology, Computer Software Conferences | Conference Hound. 127872.pdf (Objet application/pdf) Guerre des données/1 – Facebook contre Plaxo. Crawling, Mining, Scraping. Facebook, Google And Plaxo Join The DataPortability Workgroup.