Le traitement de Big Data, un sérieux défi pour les entreprises. Alors que les entreprises se développent et génèrent de plus en plus de données, la capacité à les traiter et à les interpréter pourrait être un obstacle à leur utilisation.
Big Data. Sous cette formule un peu pittoresque se cache un phénomène préoccupant pour les entreprises: la multiplication de paquets de données à un niveau tel qu'il devient impossible de les gérer avec les outils actuels de gestion de bases de données. Ces informations hétérogènes, pas toujours structurées, sont difficiles à stocker, à retrouver et à partager. Quantum dévoile des systèmes big data et améliore la dédup de ses DXi. Bien connu pour ses solutions de sauvegarde et de stockage sur disques et sur bandes, Quantum a revu cet été plusieurs de ses offres, notamment dans le domaine du big data et de la déduplication.
A l'occasion du salon IBC 2011 à Amsterdam, le 13 septembre dernier, Quantum a présenté les produits de la gamme StorNext dédiée au partage et à l'archivage de fichiers volumineux. Comme nous l'a précisé Gabriel Chaher, vice-président EMEA chez Quantum, « pour faire du big data, il ne suffit pas de le dire comme chez certains concurrents.
Il est nécessaire de concilier trois éléments : gros volume, gros fichiers et rapidité d'accès ». OpenWorld 2011 : Avec Exalytics, Oracle analyse des To de données en mémoire. Il fallait s'attendre à ce qu'Oracle concocte une réponse aux appliances analytiques in memory de SAP.
C'est chose faite avec la machine Exalytics qui intègre, de façon parallélisée, la base de données en mémoire TimesTen, la suite BI d'Oracle et la base multidimensionnelle Essbase. Le tout logé dans une armoire équipée de quatre Xeon 10 coeurs pouvant accueillir en mémoire de 5 à 10 To de données compressées transmis depuis une machine Exadata. Des réponses quasi instantanées aux requêtes et une interface de visualisation interactive pour accélérer l'analyse.
Après les machines Exadata et Exalogic Elastic Cloud, combinant matériel et logiciels pour optimiser la gestion des bases de données (pour l'une) et des applications sous Java (pour l'autre), on se doutait qu'Oracle n'en resterait pas là. Exalytics fonctionne avec ExadataLa machine Exalytics associe elle aussi de façon étroite le matériel et le logiciel, de façon à optimiser les échanges de données et leur traitement.
Big data, au-delà du concept un nouvel axe de développement stratégique. 0inShare Benoit CAYLA, Consultant avant-vente, Informatica France Une chose est certaine : la presse, les éditeurs ou les analystes se sont emparés du sujet et il est difficile aujourd’hui de surfer sur le web sans voir apparaître un éléphant pour nous rappeler ce que certains n’hésitent plus à appeler: un tsunami ou un déluge de données.
Plusieurs questions se posent alors : Tout d’abord quel est le périmètre de ce nouveau phénomène informatique ? Et surtout quelle est sa réelle maturité ? Deuxièmement peut-on définir sa taxonomie et surtout comment pourrions-nous déterminer les solutions ou tendances technologiques qui en émergerons ? Les apports d'Oracle NoSQL Database. L'intégration d'une base NoSQL estampillée Oracle dans l'appliance Big Data annoncée sur OpenWorld 2011 a suscité des interrogations sur la nature de celle-ci.
Fallait-il voir Berkeley DB Java Edition derrière cette base NoSQL ? Oui, mais pas seulement, répond Charles Lamb, un ancien de Sleepycat, l'éditeur originel de BDB. Quand Oracle a présenté sa solution Big Data Appliance (alliant matériel et logiciel), sur OpenWorld 2011 début octobre, il a précisé qu'il la livrait avec « R », le langage d'analyse statistique Open Source, ainsi qu'avec une base de données NoSQL maison.
A l'évocation de cette dernière, la plupart des regards ont convergé vers Berkeley DB. En février dernier, Oracle avait effectivement expliqué comment la base Open Source (en 2006, il avait racheté la société Sleepycat Software qui la gérait) pouvait être utilisée comme une solution NoSQL (voir «Using Oracle Berkeley DB as a NoSQL Data Store »). Petit-déjeuner débat. Rank-and-file data analysis skills the key to Big Data success? - Arik Johnson. Big data. Un article de Wikipédia, l'encyclopédie libre.
Une visualisation des données créée par IBM[1] montre que les big data que Wikipedia modifie à l'aide du robot Pearle ont plus de signification lorsqu'elles sont mises en valeur par des couleurs et des localisations[2]. Croissance et Numérisation de la Capacité de Stockage Mondiale de L'information[3]. Dans ces nouveaux ordres de grandeur, la capture, le stockage, la recherche, le partage, l'analyse et la visualisation des données doivent être redéfinis.
Certains supposent qu'ils pourraient aider les entreprises à réduire les risques et faciliter la prise de décision, ou créer la différence grâce à l'analyse prédictive et une « expérience client » plus personnalisée et contextualisée. Dimensions des big data[modifier | modifier le code] Le Big Data s'accompagne du développement d'applications à visée analytique, qui traitent les données pour en tirer du sens[15]. Volume[modifier | modifier le code] Big Data From The Internet Sees Into The Future. Prêt pour l'entreprise, Hadoop stimule la demande de compétences (mise à jour) L'intérêt croissant des entreprises pour Hadoop et pour les technologies qui lui sont associées stimule la demande de professionnels disposant de compétences pour gérer des « Big Data ».
Sur la conférence Hadoop World, qui s'est tenue à New York au début de ce mois, les analystes et responsables IT présents ont à plusieurs reprises souligné que l'accès à des compétences spécialisées constituerait l'une des principales difficultés des entreprises souhaitant opter pour Hadoop. Et celles qui disposeront des bonnes compétences bénéficieront d'un sérieux avantage sur les autres. Parmi les conférenciers présents à New York, les responsables IT de la banque JP Morgan Chase et du groupe d'enchères en ligne eBay, ont profité de l'occasion pour indiquer à leur auditoire qu'ils recrutaient dans ce domaine, ont rapporté nos confrères de Computerworld. L'intérêt suscité par Hadoop est aussi en train de créer une demande pour des professionnels de cette plateforme, ajoute James Kobielus.
Le Monde n’est que « Big Data » : Les données mondiales vont plus que doubler tous les 2 ans et devraient atteindre, 1,8 zettaoctets en 2011, selon la nouvelle étude IDC - EMC. Big Data : est-ce que le déluge de données va rendre la méthode scientifique obsolète. Nous voici entré dans l’ère des Big Data des ensembles de données tellement gigantesques qu’ils nécessitent de nouveaux outils techniques et scientifiques pour les comprendre et en tirer du sens.
Un déluge de données qui pose des questions profondes sur leur collecte, leur interprétation, leur analyse… Dans ce siècle des réseaux, la science des algorithmes, censée extraire le sens de ces amas d’information doit apprendre à comprendre ce qu’elle analyse. L’enjeu des Big Data nous adresse des questions scientifiques, mais aussi politiques et éthiques. Les Big Data, c’est le dossier de la semaine d’InternetActu qui commence par un retour sur un article fondateur de 2008 qui posait les bases de la révolution à venir. « Il y a soixante ans, les ordinateurs ont rendu l’information lisible. Il y a vingt ans, l’internet l’a rendu accessible. Image : La fin de la théorie scientifique ?
IA Ventures. Décisionnel : 90 % des données des entreprises sont inexploitables. L'humanité a produit environ 1,3 milliard de Go de données numériques en 2010, soit plus que la totalité des informations produites par l'homo sapiens entre la préhistoire et 2003.
IBM met en garde les entreprises contre ce déluge informationnel en invoquant une nouvelle "loi" de l'informatique : "plus la puissance de calcul des ordinateurs progresse et plus les entreprises deviennent bêtes. " En 2011, "les entreprises les plus chanceuses sont capables d'analyser 7 % de leurs données tout au plus", a expliqué Jeff Jonas, directeur scientifique du département Entity & Analytics chez IBM, lors du salon Information on Demand (IOD) qui se tenait la semaine dernière à Las Vegas. Dit autrement, 90 % des données du système d'information de l'entreprise ne permettent pas de prendre des décisions. Company - Report - Big data: The next frontier for innovation, competition, and productivity - May 2011. Overcoming the Insight Deficit. Big Data Summit Nov 8 - Nov 9, 2011 - Strategic Insight for Business Technology Leaders.
Big Data : avec le rachat de Gluster, Red Hat s'attaque au stockage des données non structurées. Red Hat se renforce dans la gestion du Big Data et dans les données non structurées en annonçant le rachat de Gluster pour 136 millions de dollars en numéraire.
Gluster, une société localisée en Californie, développe une solution logicielle de stockage Open Source adaptée à la problématique des données non-structurées, comme les emails, les vidéos, les documents, nous rappelle Red Hat. La société développe notamment un système de stockage scalable baptisé GlusterFS qui permet d'associer un pool de système de stockage à des ressources informatiques scalables, de haute performance et centralisées.
Il s'agit en clair de donner la possibilité aux entreprises de s'attaquer au problème du stockage dans un environnement Big Data, avec leur solution de stockage existante, et ce à moindre coût, évidemment - Open Source oblige. Red Hat compte ainsi adapter l'offre de Gluster tant on permise qu'au sein de son offre de Cloud Public. Ses investissements dans ce secteur. Gigaom_putting-big-data-to-work.pdf (Objet application/pdf) 10 Lessons Learned By Big Data Pioneers. How can you prepare for the big data era? Consider this expert advice from IT pros who have wrestled with the thorny problems, including data growth and unconventional data. 1 of 11 What does it take to make the most of big data, as in tens, if not hundreds of terabytes of information?
That depends on your needs and priorities. Ad-delivery firm Interclick found a fast platform that helps it be more productive while also delivering near-real-time insight. Lance sur le marché une offre unique de reporting, une première du genre, pour les données volumineuses au format natif. Paris, le 25 janvier 2011 - Jaspersoft lance aujourd’hui une vaste gamme de logiciels permettant de prendre en charge une grande variété de sources de données volumineuses pour les rapports de Business Intelligence (BI). Les entreprises stockent de plus en plus leurs données dans des centres de gestion de données tels que Hadoop, des bases de données NoSQL, ainsi que des bases de données d’analyse massivement parallèles (Massively Parallel Processing, MPP) en raison de leurs avantages en termes de coûts et d’adaptabilité par rapport aux bases de données traditionnelles.
Ce vaste support Big Data, pour les données volumineuses, vient renforcer la flexibilité de l’architecture Jaspersoft et son avantage concurrentiel par rapport aux éditeurs traditionnels de BI : simplicité d’intégration, personnalisation, possibilité de déploiement sur site ou dans un environnement mutualisé. The Big Business of 'Big Data' Competing through data: Three experts offer their game plans - McKinsey Quarterly - Marketing & Sales - Digital Marketing.
The ability to generate and analyze massive amounts of data today demands that executives rethink the role of information in business and even the nature of competitive advantage. In this interactive video, Massachusetts Institute of Technology (MIT) professor Erik Brynjolfsson explores intriguing new research about the relationship among data, analytics, productivity, and profitability.
Hadoop. Un article de Wikipédia, l'encyclopédie libre. Hadoop a été créé par Doug Cutting et fait partie des projets de la fondation logicielle Apache depuis 2009. Historique[modifier | modifier le code] En 2004, Google publie un article présentant son algorithme basé sur des opérations analytiques à grande échelle sur un grand cluster de serveurs, le MapReduce, ainsi que son système de fichier en cluster, le GoogleFS.
Are you ready for the era of ‘big data’? - McKinsey Quarterly - Strategy - Innovation. The top marketing executive at a sizable US retailer recently found herself perplexed by the sales reports she was getting. A major competitor was steadily gaining market share across a range of profitable segments. Despite a counterpunch that combined online promotions with merchandizing improvements, her company kept losing ground. When the executive convened a group of senior leaders to dig into the competitor’s practices, they found that the challenge ran deeper than they had imagined. The competitor had made massive investments in its ability to collect, integrate, and analyze data from each store and every sales unit and had used this ability to run myriad real-world experiments. At the same time, it had linked this information to suppliers’ databases, making it possible to adjust prices in real time, to reorder hot-selling items automatically, and to shift items from store to store easily.
Seizing the potential of ‘big data’ - McKinsey Quarterly - Strategy - Strategy in Practice. Big Data : Making sense at scale. D'un récent voyage dans la Silicon Valley (merci aux amis du Orange Institute), je rentre avec une conviction : tout ce que nous connaissions du web va changer à nouveau avec le phénomène des big data. Il pose à nouveau, sur des bases différentes, presque toutes les questions liées à la transformation numérique. En 2008, l’humanité a déversé 480 milliards de Gigabytes sur Internet. Are you ready for the era of ‘big data’? - McKinsey Quarterly - Strategy - Innovation. Big Data, Big Noise, Big Trouble? Big Data : la nécessité d’un débat. Big Data : les progrès de l’analyse des données. La démultiplication des outils de collecte de données (comme le web ou nos téléphones mobiles qui enregistrent très facilement nos déplacements, mais également nos actions, nos relations…) et l’amélioration des outils d’analyses de données offrent aux entreprises des moyens marketing de plus en plus inédits, estime Lee Gomes pour la Technology Review.
Et de donner un exemple simple et frappant : celui des Giants de San Francisco, l’équipe de baseball américain championne du monde et championne de la ligue nationale, qui a mis en place une tarification dynamique mise au point par Qcue, permettant de modifier le prix des billets en fonction de la demande, et ce, jusqu’à la dernière minute. L’idée étant d’adapter les tarifs à la demande pour éviter la mévente et mieux exploiter les phénomènes d’enchères (qui profitent plutôt au marché noir). Home: Strata New York 2011 - O'Reilly Conferences, September 22 - 23, 2011, New York, NY. Find out more about Strata 2012, happening February 28 - March 1 in Santa Clara, California. If you weren't able to attend, you can still get a taste of Strata New York with the Strata Conference New York 2011: Complete Video Compilation .
Les innovations des technologies Big Data par Brian Gentile ¿ Chronique Solutions. Le Big Data, un levier incontournable pour monétiser les données comportementales. Big Data : on n’attire pas les mouches avec du vinaigre. Big data - un oeil sur les organisations. OpenWorld 2011 : Oracle bâtit une solution pour traiter les Big Data. Les technologies de l'IBM Watson appliquées au big data. EMC World 2011 : Cloud et Big Data à la croisée des chemins.
La gestion des "Big Data" est aussi un défi économique. "Il n'y a pas dans l'absolu de problème des infrastructures physiques" DocView (Objet application/pdf)