background preloader

Big Data : faire du sens à grande échelle

Big Data : faire du sens à grande échelle
Après l'open-data la nouvelle tendance tout droit venue des US sera-t-elle le « big data » ? D’un récent voyage dans la Silicon Valley (merci aux amis du Orange Institute), je rentre avec une conviction : tout ce que nous connaissions du web va changer à nouveau avec le phénomène des big data. Il pose à nouveau, sur des bases différentes, presque toutes les questions liées à la transformation numérique. En 2008, l’humanité a déversé 480 milliards de Gigabytes sur Internet. Ces données ne sont pas toutes des œuvres. Naviguer dans ce nouveau web demande une nouvelle science. Qu’est-ce qui change avec les big data ? L’actualité de la semaine nous a donné une petite illustration de ce qui se passe à grande échelle. On sent bien que l’on est tout près d’un phénomène d’émergence. Les outils sont-ils prêts ? Ce qui est fascinant avec la Silicon Valley, c’est qu’une telle perspective y devient immédiatement un carburant pour la recherche et la création. Il commence à avoir des résultats concrets.

Sense Networks MacroSense has been transforming raw location data into actionable intelligence since 2006. The MacroSense technology platform is central to Sense Networks’ scientific approach to analyzing vast amounts of mobile location data and applying it to useful and engaging products and services. Background Mobile location data offers a completely new view of consumer behavior based on places people go. Sense Networks’ founders – leading computer science professors at MIT and Columbia University – were fascinated by the prospect that one could understand human behavior through looking at location data, understanding the patterns of where people go and how much they move around. We saw that mobile phone usage was growing at double digit rates every year, and soon everyone would have one. Did You Know? MacroSense processes billions of records in hours compared with days or longer for traditional methods. Key Features Powerful Analytics through Machine Learning Real-time Analysis Privacy-Friendly

Les data en forme Tournée hebdomadaire de veille "ddj" pour l'équipe des journalistes de données d'OWNI. Du lourd, de la big data, au menu de deux magnifiques applications. Et un soupçon de déception quand même. En guise d’amuse-gueule, un petit article [EN] sur le design informationnel, où l’on voit bien – à travers le livre Graphic Methods for Presenting Facts de 1917, notamment – que nos infographies d’aujourd’hui n’ont rien de révolutionnaire. On en profite ici pour dire bonjour à Karen, grande veilleuse parmi les veilleurs, pour qui la plupart des liens de journalisme graphique que nous vous fournissons chaque semaine ne sont pas inconnus. DataWOW Alors que nous sommes en train de finaliser pour la présidentielle française un très beau joujou dont nous sommes très fiers et que nous avons hâte de vous montrer, nous ne pouvons pas manquer l’occasion cette semaine de faire honneur à deux applications de très haut niveau. Datacheap Datacoq Dataworld Databowl

Qu’est-ce que le Big Data Qu’est-ce que le Big Data ? Publié le 30 | 01 | 2012 [Article rédigé en collaboration avec Mathieu Millet] LGA (Lise Gasnier) : C’est le big buzz de 2011 qui ne manquera pas de faire du bruit cette année encore! Il désigne les ensembles de données aux volumétrie et complexité telles qu’il faut repenser les moyens de leur gestion. Le volume de ces données se mesure désormais en pétaoctets (1015 octets). croissance rapide et soutenue,formats hétérogènes,peu ou pas de structuration (comme par exemple pour les images, vidéos, pages web et emails),des sources variées. Les Big data sont par exemple des : données transactionnelles (commandes, paiements etc.).logs,clickstreams,événements géolocalisés,contenus de réseaux sociaux,données comportementales,relevés de compteurs intelligents,appels au service client. Par extension, le terme désigne, au-delà des données, les moyens humains ou technologiques extraordinaires mis en œuvre pour les traiter. Lire aussi les articles :

Big Data Ready to Use Big Data Connectors Talend provides an easy-to-use graphical environment that allows developers to visually map big data sources and targets without the need to learn and write complicated code. Running 100% natively on Hadoop, Talend Big Data provides massive scalability. Once a big data connection is configured the underlying code is automatically generated and can be deployed remotely as a job that runs natively on your big data cluster - HDFS, Pig, HCatalog, HBase, Sqoop or Hive. Big Data Distribution and Big Data Appliance Support Talend's big data components have been tested and certified to work with leading big data Hadoop distributions, including Amazon EMR, Cloudera, IBM PureData, Hortonworks, MapR, Pivotal Greenplum, Pivotal HD, and SAP HANA. Open Source Using the Apache software license means developers can use the Studio without restrictions. Pull Source Data from Anywhere Including NoSQL Support for Google BigQuery Specifications: Big Data

L'ère du peta-octet a sonnée On est entré dans l'ère du péta-octet ! Et alors me direz vous ... ben ça devrait changer la face du monde rien qu'un peu. On récapitule 1 Giga c'est bcp d'octet, un DVD Blu Ray c'est entre 20 & 50 Go. On achète des disques durs à 1 Tera octets pour quelques dizaines d'euros soit 1000 Giga ou 20 DVD-BR. Au niveau du prix c'est pas grand chose, 1Tera en ligne c'est 18€/mois chez OVH. Le vrai changement c'est le Peta-Octet maintenant. On est capable de faire des calculs sur des bases de données qui font des dizaines de peta-octet, stockées sur plusieurs centaines de servers. C'est vertigineux ! Mais comment ne pas être englouti dans une telle masse de donnée, car trouver l'aiguille dans la botte de foin c'est un euphémisme dans cette situation. Devinez où les investissements des VC Américains se font en ce moment : dans le Big Data !!!. Mais la conséquence pour nous c'est que le moindre de nos faits et gestes est enregistré, analysé.

Related: