background preloader

Big Data

Facebook Twitter

Le traitement de Big Data, un sérieux défi pour les entreprises. Alors que les entreprises se développent et génèrent de plus en plus de données, la capacité à les traiter et à les interpréter pourrait être un obstacle à leur utilisation. Big Data. Sous cette formule un peu pittoresque se cache un phénomène préoccupant pour les entreprises: la multiplication de paquets de données à un niveau tel qu'il devient impossible de les gérer avec les outils actuels de gestion de bases de données.

Ces informations hétérogènes, pas toujours structurées, sont difficiles à stocker, à retrouver et à partager. Ne serait-ce que la gestion des millions de photos téléchargées sur Facebook, pour ne citer qu’un exemple. Pourtant, exploiter cette masse de données est un atout pour les entreprises, notamment pour déceler les tendances d’un marché.

Un manque de spécialistes de la gestion de Big Data Pour les entreprises qui cherchent à améliorer la gestion de leur masse d'informations, les analystes compétents ne sont pas légion. Quantum dévoile des systèmes big data et améliore la dédup de ses DXi. Bien connu pour ses solutions de sauvegarde et de stockage sur disques et sur bandes, Quantum a revu cet été plusieurs de ses offres, notamment dans le domaine du big data et de la déduplication. A l'occasion du salon IBC 2011 à Amsterdam, le 13 septembre dernier, Quantum a présenté les produits de la gamme StorNext dédiée au partage et à l'archivage de fichiers volumineux. Comme nous l'a précisé Gabriel Chaher, vice-président EMEA chez Quantum, « pour faire du big data, il ne suffit pas de le dire comme chez certains concurrents.

Il est nécessaire de concilier trois éléments : gros volume, gros fichiers et rapidité d'accès ». Reposant sur le système de fichiers maison hérité du rachat d'Adic, SNFS (StorNext File System), la gamme StorNext se compose de plusieurs éléments : les contrôleurs de métadonnées (M330), les passerelles scale-out NAS (G300 Scale-Out Gateway) et les systèmes de stockage (QM1200, QS1200 et QD6000). Des solutions big data 100% Quantum. OpenWorld 2011 : Avec Exalytics, Oracle analyse des To de données en mémoire. Il fallait s'attendre à ce qu'Oracle concocte une réponse aux appliances analytiques in memory de SAP. C'est chose faite avec la machine Exalytics qui intègre, de façon parallélisée, la base de données en mémoire TimesTen, la suite BI d'Oracle et la base multidimensionnelle Essbase. Le tout logé dans une armoire équipée de quatre Xeon 10 coeurs pouvant accueillir en mémoire de 5 à 10 To de données compressées transmis depuis une machine Exadata.

Des réponses quasi instantanées aux requêtes et une interface de visualisation interactive pour accélérer l'analyse. Après les machines Exadata et Exalogic Elastic Cloud, combinant matériel et logiciels pour optimiser la gestion des bases de données (pour l'une) et des applications sous Java (pour l'autre), on se doutait qu'Oracle n'en resterait pas là. Exalytics fonctionne avec ExadataLa machine Exalytics associe elle aussi de façon étroite le matériel et le logiciel, de façon à optimiser les échanges de données et leur traitement. Big data, au-delà du concept un nouvel axe de développement stratégique. 0inShare Benoit CAYLA, Consultant avant-vente, Informatica France Une chose est certaine : la presse, les éditeurs ou les analystes se sont emparés du sujet et il est difficile aujourd’hui de surfer sur le web sans voir apparaître un éléphant pour nous rappeler ce que certains n’hésitent plus à appeler: un tsunami ou un déluge de données.

Plusieurs questions se posent alors : Tout d’abord quel est le périmètre de ce nouveau phénomène informatique ? Et surtout quelle est sa réelle maturité ? Deuxièmement peut-on définir sa taxonomie et surtout comment pourrions-nous déterminer les solutions ou tendances technologiques qui en émergerons ? Bref à quel phénomène exact avons-nous à faire et comment allons-nous pouvoir orienter et préparer les Systèmes d’Informations existants pour prendre en compte cette nouvelle problématique ? Ensuite il est intéressant de se demander quel nouvel usage pourrons-nous envisager et comment tirer parti de tout cela sans tout bouleverser. Autres articles. Les apports d'Oracle NoSQL Database.

L'intégration d'une base NoSQL estampillée Oracle dans l'appliance Big Data annoncée sur OpenWorld 2011 a suscité des interrogations sur la nature de celle-ci. Fallait-il voir Berkeley DB Java Edition derrière cette base NoSQL ? Oui, mais pas seulement, répond Charles Lamb, un ancien de Sleepycat, l'éditeur originel de BDB. Quand Oracle a présenté sa solution Big Data Appliance (alliant matériel et logiciel), sur OpenWorld 2011 début octobre, il a précisé qu'il la livrait avec « R », le langage d'analyse statistique Open Source, ainsi qu'avec une base de données NoSQL maison. A l'évocation de cette dernière, la plupart des regards ont convergé vers Berkeley DB. En février dernier, Oracle avait effectivement expliqué comment la base Open Source (en 2006, il avait racheté la société Sleepycat Software qui la gérait) pouvait être utilisée comme une solution NoSQL (voir «Using Oracle Berkeley DB as a NoSQL Data Store »).

(Oracle NoSQL Database/Source Oracle - cliquer ici pour agrandir) Petit-déjeuner débat. Rank-and-file data analysis skills the key to Big Data success? - Arik Johnson. Big data. Un article de Wikipédia, l'encyclopédie libre. Une visualisation des données créée par IBM[1] montre que les big data que Wikipedia modifie à l'aide du robot Pearle ont plus de signification lorsqu'elles sont mises en valeur par des couleurs et des localisations[2]. Croissance et Numérisation de la Capacité de Stockage Mondiale de L'information[3].

Dans ces nouveaux ordres de grandeur, la capture, le stockage, la recherche, le partage, l'analyse et la visualisation des données doivent être redéfinis. Certains supposent qu'ils pourraient aider les entreprises à réduire les risques et faciliter la prise de décision, ou créer la différence grâce à l'analyse prédictive et une « expérience client » plus personnalisée et contextualisée. Dimensions des big data[modifier | modifier le code] Le Big Data s'accompagne du développement d'applications à visée analytique, qui traitent les données pour en tirer du sens[15].

Ces analyses sont appelées Big Analytics[16] ou «broyage de données». Recorded Future -- Big Data From The Internet Sees Into The Future. Prêt pour l'entreprise, Hadoop stimule la demande de compétences (mise à jour) L'intérêt croissant des entreprises pour Hadoop et pour les technologies qui lui sont associées stimule la demande de professionnels disposant de compétences pour gérer des « Big Data ». Sur la conférence Hadoop World, qui s'est tenue à New York au début de ce mois, les analystes et responsables IT présents ont à plusieurs reprises souligné que l'accès à des compétences spécialisées constituerait l'une des principales difficultés des entreprises souhaitant opter pour Hadoop.

Et celles qui disposeront des bonnes compétences bénéficieront d'un sérieux avantage sur les autres. Parmi les conférenciers présents à New York, les responsables IT de la banque JP Morgan Chase et du groupe d'enchères en ligne eBay, ont profité de l'occasion pour indiquer à leur auditoire qu'ils recrutaient dans ce domaine, ont rapporté nos confrères de Computerworld. L'intérêt suscité par Hadoop est aussi en train de créer une demande pour des professionnels de cette plateforme, ajoute James Kobielus. Le Monde n’est que « Big Data » : Les données mondiales vont plus que doubler tous les 2 ans et devraient atteindre, 1,8 zettaoctets en 2011, selon la nouvelle étude IDC - EMC. Big Data : est-ce que le déluge de données va rendre la méthode scientifique obsolète.

Nous voici entré dans l’ère des Big Data des ensembles de données tellement gigantesques qu’ils nécessitent de nouveaux outils techniques et scientifiques pour les comprendre et en tirer du sens. Un déluge de données qui pose des questions profondes sur leur collecte, leur interprétation, leur analyse… Dans ce siècle des réseaux, la science des algorithmes, censée extraire le sens de ces amas d’information doit apprendre à comprendre ce qu’elle analyse. L’enjeu des Big Data nous adresse des questions scientifiques, mais aussi politiques et éthiques. Les Big Data, c’est le dossier de la semaine d’InternetActu qui commence par un retour sur un article fondateur de 2008 qui posait les bases de la révolution à venir. « Il y a soixante ans, les ordinateurs ont rendu l’information lisible.

Il y a vingt ans, l’internet l’a rendu accessible. Image : La fin de la théorie scientifique ? Hubert Guillaud. IA Ventures. Décisionnel : 90 % des données des entreprises sont inexploitables. L'humanité a produit environ 1,3 milliard de Go de données numériques en 2010, soit plus que la totalité des informations produites par l'homo sapiens entre la préhistoire et 2003. IBM met en garde les entreprises contre ce déluge informationnel en invoquant une nouvelle "loi" de l'informatique : "plus la puissance de calcul des ordinateurs progresse et plus les entreprises deviennent bêtes. " En 2011, "les entreprises les plus chanceuses sont capables d'analyser 7 % de leurs données tout au plus", a expliqué Jeff Jonas, directeur scientifique du département Entity & Analytics chez IBM, lors du salon Information on Demand (IOD) qui se tenait la semaine dernière à Las Vegas.

Dit autrement, 90 % des données du système d'information de l'entreprise ne permettent pas de prendre des décisions. Pour IBM, la capacité à faire parler ces données en temps réel est cruciale pour rester compétitif. Big Blue entend inverser cette tendance en adaptant ses outils décisionnels au "big data".

Company - Report - Big data: The next frontier for innovation, competition, and productivity - May 2011. The amount of data in our world has been exploding, and analyzing large data sets—so-called big data—will become a key basis of competition, underpinning new waves of productivity growth, innovation, and consumer surplus, according to research by MGI and McKinsey's Business Technology Office. Leaders in every sector will have to grapple with the implications of big data, not just a few data-oriented managers.

The increasing volume and detail of information captured by enterprises, the rise of multimedia, social media, and the Internet of Things will fuel exponential growth in data for the foreseeable future. MGI studied big data in five domains—healthcare in the United States, the public sector in Europe, retail in the United States, and manufacturing and personal-location data globally. Big data can generate value in each. 1. 2.

Podcast Distilling value and driving productivity from mountains of data 3. 4. 5. 6. 7. Overcoming the Insight Deficit | Executive Guidance for 2011 | The Corporate Executive Board. Big Data Summit Nov 8 - Nov 9, 2011 - Strategic Insight for Business Technology Leaders. Big Data : avec le rachat de Gluster, Red Hat s'attaque au stockage des données non structurées::Gestion des données. Red Hat se renforce dans la gestion du Big Data et dans les données non structurées en annonçant le rachat de Gluster pour 136 millions de dollars en numéraire. Gluster, une société localisée en Californie, développe une solution logicielle de stockage Open Source adaptée à la problématique des données non-structurées, comme les emails, les vidéos, les documents, nous rappelle Red Hat.

La société développe notamment un système de stockage scalable baptisé GlusterFS qui permet d'associer un pool de système de stockage à des ressources informatiques scalables, de haute performance et centralisées. Il s'agit en clair de donner la possibilité aux entreprises de s'attaquer au problème du stockage dans un environnement Big Data, avec leur solution de stockage existante, et ce à moindre coût, évidemment - Open Source oblige. Red Hat compte ainsi adapter l'offre de Gluster tant on permise qu'au sein de son offre de Cloud Public. Ses investissements dans ce secteur. Gigaom_putting-big-data-to-work.pdf (Objet application/pdf)

10 Lessons Learned By Big Data Pioneers -- InformationWeek. How can you prepare for the big data era? Consider this expert advice from IT pros who have wrestled with the thorny problems, including data growth and unconventional data. 1 of 11 What does it take to make the most of big data, as in tens, if not hundreds of terabytes of information? That depends on your needs and priorities. Ad-delivery firm Interclick found a fast platform that helps it be more productive while also delivering near-real-time insight.

Harvard Medical School learned that data can grow even when obvious measures such as patient counts and years of data studied remain constant. comScore, the digital-media measurement giant, has twelve years of experience taking advantage of data compression by way of a column-store database. In fact, it uses sorting techniques to optimize compression and reduce processing demands. Yahoo, eHarmony, Facebook, NetFlix, and Twitter have discovered that Hadoop is an ideal, low-cost platform for processing unstructured data. More Insights. Lance sur le marché une offre unique de reporting, une première du genre, pour les données volumineuses au format natif.

Paris, le 25 janvier 2011 - Jaspersoft lance aujourd’hui une vaste gamme de logiciels permettant de prendre en charge une grande variété de sources de données volumineuses pour les rapports de Business Intelligence (BI). Les entreprises stockent de plus en plus leurs données dans des centres de gestion de données tels que Hadoop, des bases de données NoSQL, ainsi que des bases de données d’analyse massivement parallèles (Massively Parallel Processing, MPP) en raison de leurs avantages en termes de coûts et d’adaptabilité par rapport aux bases de données traditionnelles.

Ce vaste support Big Data, pour les données volumineuses, vient renforcer la flexibilité de l’architecture Jaspersoft et son avantage concurrentiel par rapport aux éditeurs traditionnels de BI : simplicité d’intégration, personnalisation, possibilité de déploiement sur site ou dans un environnement mutualisé. Connectivité et outils d’interrogation pour les systèmes Big Data A propos de Jaspersoft Corporation Ballou PR.

The Big Business of 'Big Data' GE Appliances & Lighting, via Business WireA GE data center. Is Big Data a Bubble? In case you’re in a hurry: Of course it is. And that is good. Longer version: Last week there were several events that convinced me that one of the great tech bubbles inflating right now is around what people have agreed to call “Big Data.” Basically the term reflects the fact that its now so easy to digitize and put on the Internet all kinds of information — things as diverse as the measurements of passive sensors, most or all the world’s books, 200 million tweets a day and most of the world’s significant financial transactions — that the data is growing enormously.

Big Data is really about, however, the benefits we will gain by cleverly sifting through it to find and exploit new patterns and relationships. Other companies look at air and soil data to write insurance about crop production. Sometimes there were overreaching conclusions. Mr. “We have all the data we need. Correction: October 24, 2011. Competing through data: Three experts offer their game plans - McKinsey Quarterly - Marketing & Sales - Digital Marketing. The ability to generate and analyze massive amounts of data today demands that executives rethink the role of information in business and even the nature of competitive advantage.

In this interactive video, Massachusetts Institute of Technology (MIT) professor Erik Brynjolfsson explores intriguing new research about the relationship among data, analytics, productivity, and profitability. Jeff Hammerbacher, cofounder of the data-oriented start-up Cloudera, describes what it takes to harness the “big data” that companies collect.

Finally, Butler University men’s basketball coach Brad Stevens explains how he uses data to help his squad punch above its weight. McKinsey’s Michael Chui and Frank Comes conducted the interviews. Click on the interactive video to view them, or read them in edited text format below. Interactive The data advantage Most great revolutions in science are preceded by revolutions in measurement. Becoming data driven Required skills Think of it this way. The new landscape. Hadoop. Are you ready for the era of ‘big data’? - McKinsey Quarterly - Strategy - Innovation. Seizing the potential of ‘big data’ - McKinsey Quarterly - Strategy - Strategy in Practice. Big Data : Making sense at scale. Are you ready for the era of ‘big data’? - McKinsey Quarterly - Strategy - Innovation.

Big Data, Big Noise, Big Trouble? | CIO Dilemma. Big Data : la nécessité d’un débat. Big Data : les progrès de l’analyse des données. Home: Strata New York 2011 - O'Reilly Conferences, September 22 - 23, 2011, New York, NY. Les innovations des technologies Big Data par Brian Gentile ¿ Chronique Solutions. Le Big Data, un levier incontournable pour monétiser les données comportementales. Big Data : on n’attire pas les mouches avec du vinaigre. Big data - un oeil sur les organisations. OpenWorld 2011 : Oracle bâtit une solution pour traiter les Big Data. Les technologies de l'IBM Watson appliquées au big data. EMC World 2011 : Cloud et Big Data à la croisée des chemins. La gestion des "Big Data" est aussi un défi économique. "Il n'y a pas dans l'absolu de problème des infrastructures physiques" DocView (Objet application/pdf)