Pourquoi et comment Intel investit-il sur le Big Data ? Que vient faire Intel dans le Big data ? Intel étudie toutes les technologies émergentes comme le cloud computing, le Big Data, la virtualisation, etc. Outre la recherche et l’application à nos matériels, nous accompagnons également nos clients en développant des solutions logicielles autour de ces technologies. Dans le cadre du Big Data, nous avons élaboré une plate-forme pour répondre aux demandes des entreprises. En fait, nous travaillons depuis 2004 sur ces technologies. Hadoop est l’exemple même de la solution open source Big Data qu’Intel considère comme un levier pour développer des technologies, afin de se positionner sur des marchés et mieux vendre ses solutions. Intel Distribution for Hadoop intègre au mieux plusieurs composants open source qui font partie de ce projet Apache. Quelle place Hadoop va-t-il se forger au sein des datawarehouses ? Ces solutions Big Data représentent une grande innovation dans le domaine des datawarehouses. Voir aussiQuiz Silicon.fr – Inside Intel !
L’embarras du choix - Comment choisir la bonne plate-forme pour Big Data / Hadoop ? Cette année, le big data est devenu un sujet pertinent dans beaucoup d’entreprises. Bien qu'il n’y ait pas de définition standard du terme “big data”, Hadoop est de facto un standard pour le traitement big data. Presque tous les grands éditeurs de logiciels tels que IBM, Oracle, SAP et même Microsoft utilisent Hadoop. Alternatives de plates-formes Hadoop L’illustration suivante montre différentes alternatives de plates-formes Hadoop. Dans le paragraphe qui suit, nous nous attarderons sur les différentes alternatives en commençant par Apache Hadoop. Apache Hadoop La version courante du projet Apache Hadoop (version 2.0) inclut ces modules : Hadoop Common: les utilitaires communs qui supportent les autres modules d’Hadoop. C’est très facile à installer et l’installation se fait de manière autonome sur un système local (il suffit de dézipper, puis de mettre à jour certaines variables d’environnement et de commencer à l’utiliser). Problème 1: installation d’un cluster complexe Apache : Package :
Big Data : Teradata étend son portefeuille Hadoop Teradata a longtemps pensé que le positionnement concurrent de son offre de data warehouse suffisait à répondre à l’émergence du Big Data. Mais c’était sans compter sur les attentes du marché. C’est pourquoi lors de Teradata Universe 2013 le fabricant lançait quelques pistes vers le Big Data (lire « Teradata Universe 2013 : l’opportunité Big Data »). L’engagement de Teradata sur le Big Data analytique est désormais consommé. Teradata a tout d’abord souhaité se placer au plus près des sources de Hadoop, le projet open source Apache Hadoop. Les quatre solutions Teradata Hadoop - Aster Big Analytics Appliance Cette première solution repose sur la nouvelle génération d’architecture unifiée Unified Data Architecture de Teradata. - Appliance for Hadoop Cette appliance reprend les mêmes fonctionnalités que la précédente, mais sans Aster. - Commodity avec Dell Chris Twogood - Commodity Software only Les apports de Teradata et de Hortonworks Voir aussi
HADOOP, HIVE, Map Reduce avec PHP : part 1 Lorsque l’on commence à débattre sur le «BIG DATA», on finit toujours par discuter du stockage. «Hadoop», de par son architecture et son fonctionnement, n’impose aucune contrainte technique sur le stockage de la donnée. Intégrant nativement le concept de Map & Reduce, «Hadoop» est un candidat sérieux pour les besoins de stockage massif et d’extraction qu’impose le «BIG DATA». Facebook a retenu «Hadoop» comme entrepôt de données pour ses calculs de statistiques marketing. Dans un précédent article consacré à «CASSANDRA», nous avions conclu «qu’une architecture permettant l’extraction, la manipulation et l’interprétation socio-économique de données massives, était composée de plusieurs maillons technologiques». Architecture technique Hadoop Le schéma ci-dessus décrit l’architecture technique d’une entreprise de e-commerce vendant des produits alimentaires pour animaux. Installation du framework HADOOP Un nombre important de projets OpenSources s’appuyant sur le framework ont vu le jour :
Lafourchette optimise les réservations avec la BI - Le Monde Informatique toute l'actualité "Projets" Edition du 25/06/2013 - par Bertrand Lemaire Le site de réservations de restaurants Lafourchette.com multiplie les études sur sa fréquentation. Il optimise ainsi son taux de conversion. Le site de réservations de restaurants Lafourchette.com sert à la fois les restaurateurs et leurs clients. Il s'agit en effet d'optimiser le taux de conversion achats/visites. L'acquisition de clients s'effectue par les méthodes classiques (SEO, SEM, affiliation...). Une nouvelle source d'études, pour le site, réside actuellement dans les notes attribuées aux restaurants. L'objectif est aussi, à terme, de recommander un restaurant selon l'occasion : un restaurant optimal pour un rendez-vous romantique ne sera pas nécessairement le même qu'un restaurant pour une grande réunion familiale ou un rendez-vous d'affaires.
#BigData : Un marché qui devrait atteindre 25 milliards de dollars d'ici fin 2016 Si le Big Data a de plus en plus le vent en poupe c’est pour une raison très simple : il va devenir vital pour quasiment toutes les entreprises dans tous les secteurs d’activité d’ici la fin de la décennie. La rédaction de Maddyness vous invite à décrypter les informations clés à connaître sur ce secteur qui devrait atteindre les 25 milliards de dollars de chiffre d’affaires d’ici la fin 2016, selon le cabinet IDC. Un potentiel énorme Si le terme de « Big Data » faisait encore peur il y a peu, il est véritablement en train de s’immiscer dans un grand nombre de DSI et plus généralement dans de nombreuses sociétés. Et le potentiel du secteur ne s’arrête pas là puisque même les poids lourds du numérique et/ou de l’informatique sont encore très loin d’avoir exploité la totalité des possibilités du Big Data. Pour en savoir plus sur l’avenir, les enjeux et les perspectives de la Data, RDV le 5 Février prochain à la Gaité Lyrique pour la 7ème édition de la Startup Keynote.
Big Data : les promesses d'IBM aux Pays-Bas pour lutter contre les inondations Le ministère néerlandais des Eaux (Rijkswaterstaat), l’Office des eaux des Pays-Bas (Defland), l’institut des sciences Deltares et l’université de Delft travaillent tous à protéger une population qui pour 55% vit dans des zones inondables lors d'événements extrêmes. La gestion des eaux et la prévention des inondations aux Pays-Bas représente un budget annuel de 7 milliards d'euros, et on prévoit que d'ici 2020 ces coûts s'alourdiront encore de 1 à 2 milliards si rien n'est fait, commente IBM dans un communiqué. L'entreprise y annonce le lancement du Digital Delta, "un programme d’innovation révolutionnaire permettant d’exploiter les informations issues du Big Data afin de transformer le système de gestion des eaux et des inondations aux Pays-Bas". Réduction des coûts Il se concentrera sur la façon d’intégrer et d’analyser l’ensemble des données relatives à l’eau afin de contribuer à une meilleure gestion des eaux face aux phénomènes météorologiques. Les bénéfices encore à démontrer
Réseau de neurones artificiels Un article de Wikipédia, l'encyclopédie libre. Un réseau de neurones artificiels est un modèle de calcul dont la conception est très schématiquement inspirée du fonctionnement des neurones biologiques. Les réseaux de neurones sont généralement optimisés par des méthodes d’apprentissage de type probabiliste, en particulier bayésien. Ils sont placés d’une part dans la famille des applications statistiques, qu’ils enrichissent avec un ensemble de paradigmes [1] permettant de créer des classifications rapides (réseaux de Kohonen en particulier), et d’autre part dans la famille des méthodes de l’intelligence artificielle auxquelles ils fournissent un mécanisme perceptif indépendant des idées propres de l'implémenteur, et fournissant des informations d'entrée au raisonnement logique formel. En modélisation des circuits biologiques, ils permettent de tester quelques hypothèses fonctionnelles issues de la neurophysiologie, ou encore les conséquences de ces hypothèses pour les comparer au réel.
Mathias Herberts, pionnier du Big Data en France A l'origine d'un des tous premiers cluster Hadoop français au sein du Crédit Mutuel Arkéa, Mathias Herberts est reconnu dans la communauté française du Big Data comme l'un des plus grands experts du domaine. Mathias Herberts est reconnu dans la communauté du Big Data comme un pionnier de la discipline, et l'un des plus grands experts français du domaine. Dès 2009, il déploie pour le Crédit Mutuel Arkéa l'une des toutes premières plates-formes de Big Data digne de ce nom en France. Le 4 avril dernier, à l'occasion du salon Big Data Paris, le Crédit Mutuel Arkéa reçoit le premier prix des Trophées de l'Innovation Big Data. Suite à un passage chez Google, c'est le déclic Mais comment l'idée de proposer un tel projet a-t-elle germé dans la tête de Mathias Herberts ? Il décide alors de revenir au Crédit Mutuel Arkéa avec la conviction que la technologie et la donnée peuvent venir influencer l'organisation de l'entreprise. Des composants reversés à la communauté
Cinq étapes pour se préparer au traitement des big data (crédit photo : D.R.) On parle beaucoup de « big bata » ces temps-ci. Un peu trop au goût de certains. Les acteurs IT et les experts qui s'y réfèrent les présentent néanmoins comme un actif stratégique clé des prochaines années. C'est sans doute le bon moment pour réfléchir aux orientations à prendre. Manipuler de larges volumes de données n'est pas une nouveauté pour les départements informatiques, mais derrière le battage fait sur la question, les big data diffèrent vraiment du datawarehouse, du datamining et de l'analyse décisionnelle qui les ont précédées, souligne Beth Stackpole, de Computerworld, dans un article publié cette semaine. Les données sont générées de plus en plus vite, la plupart étant désormais récupérées sous leur forme brute. Une fois cet état des lieux engagé, les équipes informatiques devraient entreprendre des projets très ciblés qui pourraient être utilisés pour montrer quels résultats on peut obtenir, plutôt que d'opter pour des projets en mode big-bang.
Big Data : l’exploitation des données au cœur des préoccupations des DSI La gestion des masses de données non structurées est devenue essentielle pour les entreprises. Stocker ses volumes de données multiples et variées est capital mais c’est surtout le bon usage, la bonne exploitation de ces données qui intéresse aujourd’hui les DSI. Avec les bons outils d’analyse, la data devient la source d’une information qui supporte, facilite et accélère les décisions, une promesse qui ne laisse pas les entreprises indifférentes. Impossible de l’ignorer, le concept de Big data s’invite dans toutes les discussions. Et pour cause le volume de données que les entreprises sont amenées à gérer devrait littéralement exploser dans les années à venir. On estime qu'à l'horizon 2020, il sera multiplié par 44 et atteindra près de 40 zettaoctets contre 1,2 zettaoctets géré dans la planète en 2011, un zettaoctet correspondant à 10 puissance 21 octets ! Le Big data doit apporter une réponse à ce que doit être la « donnée utile ».