background preloader

What is big data?

What is big data?
Big data is data that exceeds the processing capacity of conventional database systems. The data is too big, moves too fast, or doesn’t fit the strictures of your database architectures. To gain value from this data, you must choose an alternative way to process it. The hot IT buzzword of 2012, big data has become viable as cost-effective approaches have emerged to tame the volume, velocity and variability of massive data. The value of big data to an organization falls into two categories: analytical use, and enabling new products. The past decade’s successful web startups are prime examples of big data used as an enabler of new products and services. The emergence of big data into the enterprise brings with it a necessary counterpart: agility. What does big data look like? As a catch-all term, “big data” can be pretty nebulous, in the same way that the term “cloud” covers diverse technologies. Volume This volume presents the most immediate challenge to conventional IT structures. Variety

Big Data – Part 1: Big What? - Passion for code Big Data is a topic which I find very exciting. Data provides knowledge; it provides insight; it highlights trends; lets us glimpse the future; helps us to understanding the past. Data allows us to learn from our mistakes. It allows us to make expert decisions at difficult times. It can keep loved ones alive whether through mission critical air traffic control systems or cutting edge medical research. However, data can only enable us to do these things if it contains the correct fields, or collection of fields, which influenced any given scenario. Over a series of posts I’m going to explore Big Data. For this, the first post in the series, I will take a high level look at what Big Data is. What is Big Data? There are a number of competing definitions of what Big Data is however, at the point of writing this post, there doesn’t seem to be one universally accepted definition. It is also worth noting that many consider that data volume in itself is not the sole indicator of Big Data. Summary

30 free programming eBooks - citizen428.blog() Since this post got quite popular I decided to incorporate some of the excellent suggestions posted in the comments, so this list now has more than 50 books in it. BTW: I’m not very strict on the definition of “ebook”, some of them are really just HTML versions of books. [UPDATED: 2012-01-18] Learning a new programming language always is fun and there are many great books legally available for free online. Lisp/Scheme:Common Lisp: A Gentle Introduction to Symbolic ComputationHow to Design ProgramsInterpreting Lisp (PDF, suggested by Gary Knott)Let Over LambdaOn LispPractical Common LispProgramming in Emacs LispProgramming Languages. Ruby:The Bastards Book of Ruby (suggested by Dan Nguyen)Clever Algorithms (suggested by Tales Arvelos)Data Structures and Algorithms with Object-Oriented Design Patterns in RubyLearn Ruby the Hard WayLearn to ProgramMacRuby: The Definitive GuideMr. Erlang:Concurrent Programming in ErlangLearn You Some Erlang for Great Good

Big Data ou comment transformer une grosse contrainte en énorme opportunité Le Big Data sera à n’en pas douter le thème majeur de l’industrie informatique en 2012. IDC estime ainsi que, d’ici à 2015, ce marché grossira à un rythme 7 fois supérieur à la croissance des dépenses informatiques dans leur ensemble. L’émergence rapide de ce phénomène n’est que logique ; elle est la conséquence directe de la propension du monde actuel à générer toujours plus de données. Selon un autre cabinet d’études – Gartner -, le volume de données produit dans le monde augmentera ainsi de 800 % au cours des 5 prochaines années. Comme le résume très bien Edd Dumbill (dans son article « What is Big Data ? Des informations fiables pour nourrir l’intuition des décideurs Pour les organisations, il s’agit donc, en première lecture, d’une contrainte opérationnelle. Ce tableau brossé à grand trait, couplé à la volonté des entreprises d’exploiter les informations disponibles à l’extérieur de leurs murs, suffit à disqualifier les architectures analytiques actuelles.

Qu’est-ce que Big Data ? Comprendre Big Data en 8mns et en vidéo Le phénomène Big Data n’en est déjà presque plus un tant sont nombreux les articles, dossiers et interviews sur le sujet. L’approche Big Data a un impact très fort sur de nombreux secteurs d’activités et en particulier le commerce traditionnel et le commerce électronique. Après avoir présenté une première vidéo sur les impacts de Big Data en matière de protection de vos données personnelles, je vous propose d’écouter un de ceux qui en parlent le mieux, il s’agit de Bruno Walther – cofondateur de CaptainDash, la startup qui propose un dashboard analytique basé sur un framework Big Data / Hadoop. Comprendre le Big Data avec CaptainDash Voici quelques extraits de la présentation de Bruno pour compléter la vidéo, ainsi que les deux exemples cités en fin d’interview et qui montrent à eux seuls l’intérêt d’utiliser Big Data quand on est responsable marketing. Big Data : pour quoi faire ? Big Data rend obsolète tous les systèmes d’information existants Exemple d’usages de Big Data et révélations

The Foamy Rules for Rabid Tools The brother-in-law lives in the ‘burbs and needed five trees removed. Not big trees — 10 to 15 feet tall, six-inch trunks. Not a problem. I live on the edge of a redwood forest in Northern California. There are sturdy oaks, playful maples, lovely madrones, weed-like bay laurels, and, of course, giant redwoods. But the pleasure of living in a forest has a tax. You need a chainsaw. Then there’s Marty. Last, there’s the Rocket. Even if you’ve never handled a chainsaw, you’ve probably used a handsaw. When Marty and I showed up, we dropped all five trees, cut up the trunks and branches, and stacked them into disposable piles in an hour. The lesson: the correct tool is exponentially more productive. That’s a long introduction to say an obvious thing, but I’m going to make it even longer. Context shapes perspective, so thanks to the contents of his garage, he knows of no universe where there are chainsaws. The lesson again: the correct tool is going to make you exponentially more productive. No.

Data Mining Open source : la Business Intelligence et le progiciel libre Les outils Data Mining Open Source Définition Data Mining Open Source Le data mining est un terme générique pour désigner une famille d'outils d'analyse particulièrement adaptés à l'exploitation des grandes masses de données. Les produits Open source Le chapitre Définition du Data Mining, intégré dans le dossier analyse des données, précise le rôle du data mining, son utilisation et le déroulement du projet. Weka Waikato Environment for Knowledge Analysis Collection d'outils de Data Mining et techniques connexes développées en Java par l'Université de Waikato, New-Zeland (collaboration du CERN)Weka se connecte aux bases SQL en utilisant le JDBC (Java Database Connectivity), développement Java oblige. Rapid Miner Rapid Miner, anciennement YALE (Yet Another Learning Environment), est un produit open source de data mining écrit en Java. Voir aussi Knime sur le site : www.knime.org Orange sur le site : orange.biolab.si A lire donc Data MiningPractical Machine Learning Tools And Techniques de I.H.

Big Data : 7 points clés pour comprendre un phénomène vertigineux 1. Volume, vélocité, variété des données Le Big Data recouvre des applications cherchant à analyser des données pour en tirer du sens. Elles répondent à la règle dite des 3V : volume, vélocité, variété. Les volumes passent en effet du téra-octet au péta-octet, à cause de leurs types (vidéos, photos, sons...) et de leur génération en masse par des populations entières (réseaux sociaux, mobiles). "De plus, elles sont aussi produites par des machines telles que des GPS, bornes RFID, caméras ou capteurs de température", ajoute Romain Chaumais, cofondateur d'Ysance. Deuxième V, la vélocité spécifie une notion de temps réel. "Le troisième V évoque la variété des données dont 80 % sont non structurés : fichiers log de sites web, sons, vidéos, contenus de blogs ou de réseaux sociaux", énumère Isabelle Carcassonne (photo), directeur marketing business & analytics optimization chez IBM. 2. 3. 4. "Ces applications étaient impossibles à des coûts raisonnables il y a deux ans. 5. 6. 7.

Johnathan Chung - Google+ - Over 200 Free Online Educational Resources (v.2.3) … Over 200 Free Online Educational Resources (v.2.3) Warning: Very long post. Please open in a new browser tab. Here is decades' worth of knowledge freely available online for those who love to learn. Links that fit under multiple categories are listed only once. What are your favorite sites to learn from? (View the original post for any future updates: I. Khan A Academic Earth - Online courses from the world's top sc TED - Technology, Entertainment, & MIT Open Cour Stanford Engineering Ever Open Yale C About U. - Collection of free online courses from About. Wikiv YouTube The Open University - Study at the V. VI. BigData Le Big Data prend d’assaut les boutiques Le Big Data va certainement révolutionner le secteur de la distribution. Et ca risque bien d’aller bien au delà de la « simple » analyse des tickets de caisse. Lire la suite Manager une entreprise par les données, est-ce vraiment plus efficace ? Prendre des décisions rationnelles, basées sur des données fiables, les plus fidèles possibles d’un marché, ça semble tomber sous le sens. Lire la suite Publié dans Etude Marqué avec BigData, CPM, Dashboard Big Data : Au secours, les réacs prennent la parole Le Big Data a-t-il déjà atteint sa traversée du désert, sa phase de désillusion telle que la définit Gartner ? Lire la suite Publié dans Humeur Marqué avec BigData, in memory Mini chiffres sur Big Data Une nouvelle étude IDC Big Data que vient de balancer Hitachi Data Systems sur tous les téléscripteurs est intéressante car elle compare les motivation des divers pays européens vis-à-vis du Big Data. Lire la suite Publié dans Annonce, Etude Marqué avec BigData

REGARDS SUR LE NUMERIQUE: Blog - Les nouveaux habits du journalisme dans le monde du déluge des données RSLNmag est édité par Microsoft et se consacre à l’analyse et au décryptage du monde numérique.. C'est un peu un volet parallèle de notre enquête sur l'opendata : à l'heure de l'abondance des données, la manière dont se fabrique l'information évolue également forcément, pour s'adapter à ce nouveau contexte. Explications, avec une actualité, et le décryptage d'exemples venus de l'étranger. 1. L’actu du jour : un nouveau site de « datajournalisme » en France Un site de « datajournalisme » pour fêter ses trois ans. Mediapart, site d’info en ligne lancé le 16 mars 2008, a annoncé ce jeudi 10 mars, lors d’une conférence de presse, le lancement de « FrenchLeaks », un site dédié à la « diffusion de documents d’intérêt public ». FrenchLeaksse revendique à la fois « base documentaire » - les documents en question étant « soit […] trouvés par les journalistes de Mediapart, soit […] transmis par des sources via FrenchLeaks » - et « instrument d’alerte » - pour « permet[tre] à des sources de […] transmettre, en toute sécurité et confidentialité, des documents d’intérêt public. »

Related: