background preloader

Big Data

Facebook Twitter

Expert Magazine Panorama des technologies Big Data. Big Data : le mot est sur toutes les lèvres, dans toutes les DSI et toutes les directions marketing. Même les médias grand public y consacrent des sujets à une heure de grande écoute. Il est de notoriété publique que certains grands acteurs du Web, qu’ils soient américains ou français, ont réussi à transformer d’énormes quantités de données non structurées en informations valorisables, directement pour leur métier ou auprès de leurs partenaires et clients. Toutes les entreprises que nous avons pu rencontrer autour de ce sujet le sentent bien : elles possèdent quelques pierres qui n’attendent que d’être taillées et polies pour révéler leur vraie valeur. Mais par quel bout entame-t-on un projet Big Data ? Avant tout, il faut bien comprendre que l’écosystème dit « Big Data » est extrêmement riche et varié, et que les projets open ou commerciaux fleurissent chaque semaine.

Les caractéristiques communes de tout projet Big Data - Un coût mesuré : c’est un corollaire de la scalabilité. Conclusion. Jaspersoft installe sa BI dans le cloud de Microsoft, Azure. Spécialisé dans le développement de solutions décisionnelles open source, l’américain Jaspersoft déclare aujourd’hui rendre disponible sa suite sur Windows Azure, l’offre de cloud public de son compatriote Microsoft. « Microsoft est très heureux de pouvoir compter sur Jaspersoft, leader reconnu du décisionnel open source, désormais disponible sur Windows Azure, déclare Jean Paoli, président de Microsoft Open Technologies (filiale de Microsoft).

L’ouverture et la flexibilité de la suite décisionnelle Jaspersoft est une excellente option open source pour les développeurs Azure. » L’annonce n’a en soi rien d’étonnant. Dès 2011, Brian Gentile, président-directeur général de Jaspersoft, déclarait que les tarifs appliqués, le cloud computing et le big data seraient au cœur de la transformation de l’informatique décisionnelle (voir « Jaspersoft veut révolutionner le monde de la BI »). Mise à jour : Jaspersoft nous indique que le paiement sous Azure ne s’effectue pas à l’heure comme sous AWS. Le Big Data analytique mal appréhendé par les entreprises françaises. Avec l’édition 2013 de son étude européenne “Business Intelligence Maturity Audit” (biMA), Steria a cherché à répondre à un problème intéressant : les entreprises françaises sont-elles prêtes pour le Big Data ?

Bien entendu, il est essentiellement question ici de Big Data analytique, nouveau cheval de bataille de l’informatique décisionnelle. L’étude biMA fait ressortir que 42% des entreprises françaises estiment que le Big Data permettra d’améliorer leurs processus de planification et de prévisions et 34% la connaissance et la maitrise de leur activité.

À contrario, seules 7% des personnes interrogées (au niveau européen cette fois-ci) déclarent que le Big Data analytique est un sujet très important pour elles. Les résultats de l’étude ont de quoi laisser dubitatif. Oui, le Big Data peut aider les entreprises à gérer leur business et – donc – à maximiser leurs bénéfices, mais, non, le sujet n’est pas considéré comme essentiel… Curieux. Et que dire des raisons invoquées ? Big Data : ces entreprises qui en profitent le plus. Les entreprises de la distribution et de l'industrie profitent déjà à plein du Big Data. Mais celles appartenant aux secteurs de la santé, des télécoms, de la banque-assurance et du secteur public mènent également de beaux projets. Très bien implantées au sein des entreprises informatiques et du Web comme ebay, Amazon, Facebook ou encore Twitter, les technologies Big Data (Hadoop en tête) entrent en force dans les secteurs traditionnels de l'économie.

Et les entreprises françaises n'échappent pas à ce phénomène : SFR, Renault ou encore Crédit Mutuel Arkea sont autant d'exemples saillants en la matière. L'Etat y croit également dur comme fer et a annoncé un plan de soutien de grande envergure pour notamment former plusieurs dizaines de milliers de datascientists en France. Les apports du Big Data sont bien connus : analyse rapide des sources de données hétérogènes en masse, accélération des prises de décision, développement de nouveaux services clients...

Big Data : La jungle des différentes distributions open source Hadoop. En 2004, Google a publié un article présentant son algorithme de calcul à grande échelle, MapReduce, ainsi que son système de fichier en cluster, GoogleFS. Rapidement (2005) une version open source voyait le jour sous l’impulsion de Yahoo. Aujourd’hui il est difficile de se retrouver dans la jungle d’Hadoop pour les raisons suivantes : Ce sont des technologies jeunes.Beaucoup de buzz et de communication de sociétés qui veulent prendre le train Big Data en marche.Des raccourcis sont souvent employés (non MapReduce ou un équivalent n’est pas suffisant pour parler d’Hadoop).Beaucoup d’acteurs différents (des mastodontes, des spécialistes du web, des start-up, …).

Dans une distribution Hadoop on va retrouver les éléments suivants (ou leur équivalence) HDFS, MapReduce, ZooKeeper, HBase, Hive, HCatalog, Oozie, Pig, Sqoop, … Dans cet article on évoquera les trois distributions majeures que sont Cloudera, HortonWorks et MapR, toutes les trois se basant sur Apache Hadoop. Le cœur : Hadoop kernel MapR. Big data : Teradata renforce sa division Claraview avec Lunexa. Les dirigeants du cabinet de conseils Lunexa, Alex Macievich, Jagrit Malhotra et David Cole (de gauche à droite). Crédit D.R. Les experts BI de Claraview, division de Teradata, récupèrent avec le rachat du cabinet Lunexa des consultants et des outils dans les domaines du web analytics et du marketing numérique, pour intervenir sur les analyses big data. Le spécialiste de l'analyse de données Teradata vient de racheter Lunexa, un cabinet de consultants en business intelligence et datawarehouse d'une cinquantaine de personnes, créé en 2004 et installé à San Francisco.

Celui-ci sera intégré à sa division Claraview, qui constitue le centre d'excellence BI de Teradata, et lui apportera ses compétences en intégration de données, architecture, outils décisionnels, analyses marketing et big data sur le marché américain. Lunexa accompagne notamment ses clients avec ses propres outils sur les projets de web analytics et de marketing numérique. Les data scientists, des ressources clés pour Teradata. Hadoop : Teradata partage la vision Open Source de Hortonworks. L’Appliance for Hadoop de Teradata, sous Suse Linux 11, est équipée de processeurs Xeon à huit cœurs, de liens Infiniband et de 152 To de stockage non compressé. Pour décliner ses solutions autour de Hadoop, Teradata a travaillé avec Hortonworks et tire parti de HCatalog. Il propose deux appliances haut de gamme et deux solutions pour lancer des projets de big data sur des matériels plus standards. Hasard du calendrier, l'étape parisienne du CTO Roadshow de Teradata, fin juin, a coïncidé avec l'annonce, par le fournisseur américain, de son portefeuille d'offres pour Hadoop.

Celui-ci est constitué de quatre solutions : deux appliances Teradata (dont l'une, hybride, exploite Aster Database), une offre réalisée avec Dell, fournie par le constructeur texan (Commodity Offering for Hadoop) et une version uniquement logicielle. Sur la mise en oeuvre d'Hadoop, Teradata avait initialement noué un partenariat avec Cloudera, qu'il poursuit. Un réel risque de fragmenter Hadoop. Cloudera, l'état de l'art d'Hadoop et du Big Data analytique. Mike Olson, CEO de Cloudera Palo Alto : Nous avons raté l’information de quelques heures… Alors que nous rencontrions Mike Olson, le CEO de Cloudera installé dans les anciens locaux de Box.net, celui-ci ne pouvait encore nous révéler que quelques heures plus tard il annoncerait officiellement la levée de 65 millions de dollars en Series E auprès de Accel Partners. Une plateforme open source autour d’Hadoop Créé en 2008 par un trio d’ingénieurs – Jeff Hammerbacher de Facebook, Christophe Bisciglia de Google et Amr Awadallah de Yahoo!

– Cloudera a investi le monde Hadoop, plateforme open source de gestion de très gros volumes de données structurées et non structurées, avant même que l’expression Big Data ne se généralise. À l’époque, la start-up avait déjà séduit Greylock Partners, Ignition Partners, In-Q-Tel et Meritech Capital Partners qui lui avaient permis de lever 5 millions de dollars en Series A, juste pour lancer ses développements ! Nous sommes la première société dans le Big Data…

Valley : outil de recherche Cloudera Big Data Hadoop. Reportage réalisé dans le cadre du IT Press Tour 2013 (juin 2013) Retour chez Cloudera, l’une des trois premières distributions historiques du big data Hadoop, que nous retrouvons une nouvelle fois dans ses locaux, au centre de San Francisco. Une start-up, qui a su séduire les investisseurs – Cloudera a levé 65 millions de dollars ! – en imposant sa distribution Hadoop basée sur le cœur open source du projet de la fondation Apache – auquel elle contribue largement -, un cœur étendu via des développements en partie propriétaires. Lire « Cloudera, l’état de l’art d’Hadoop et du Big Data analytique ». Peter Cooper-Ellis – vice-président Engineering de Cloudera Cloudera Impala Justin Erickson, Director Product Management de Cloudera Fin 2012, Cloudera annonçait Impala, un moteur de requêtes SQL interactif pour Hadoop. Les avantages d’Impala ? Cloudera Search Doug Cutting, le ‘père’ de Hadoop et de Lucene Cloudera voit « Hadoop comme le point central de la donnée ».

Que le monde est petit ! Big Data : Teradata étend son portefeuille Hadoop. Teradata a longtemps pensé que le positionnement concurrent de son offre de data warehouse suffisait à répondre à l’émergence du Big Data. Mais c’était sans compter sur les attentes du marché. C’est pourquoi lors de Teradata Universe 2013 le fabricant lançait quelques pistes vers le Big Data (lire « Teradata Universe 2013 : l’opportunité Big Data »). L’engagement de Teradata sur le Big Data analytique est désormais consommé. Teradata a tout d’abord souhaité se placer au plus près des sources de Hadoop, le projet open source Apache Hadoop.

Il s’est donc tourné vers Hortonworks, l’auteur de la distribution Hadoop la plus communautaire, pour construire son offre. Jean-Marc Bonnet, directeur du centre d’excellence Teradata, avait déjà évoqué ce choix avec nous (lire « Big Data n’est pas une opportunité, c’est une réponse au marché »). Et aujourd’hui cette stratégie aboutit à l’annonce de 4 solutions Hadoop signées Teradata. Les quatre solutions Teradata Hadoop - Aster Big Analytics Appliance. Pourquoi et comment Intel investit-il sur le Big Data ? Que vient faire Intel dans le Big data ? Intel étudie toutes les technologies émergentes comme le cloud computing, le Big Data, la virtualisation, etc. Outre la recherche et l’application à nos matériels, nous accompagnons également nos clients en développant des solutions logicielles autour de ces technologies.

Dans le cadre du Big Data, nous avons élaboré une plate-forme pour répondre aux demandes des entreprises. En fait, nous travaillons depuis 2004 sur ces technologies. Hadoop est l’exemple même de la solution open source Big Data qu’Intel considère comme un levier pour développer des technologies, afin de se positionner sur des marchés et mieux vendre ses solutions.

Intel Distribution for Hadoop intègre au mieux plusieurs composants open source qui font partie de ce projet Apache. Quelle place Hadoop va-t-il se forger au sein des datawarehouses ? Ces solutions Big Data représentent une grande innovation dans le domaine des datawarehouses. Voir aussiQuiz Silicon.fr – Inside Intel ! Un bon film, c'est d'abord un paquet de données ? Frogz Wednesday, August 21, 2013 12:29 PM GMT Vous voulez faire un bon film à 150 millions de dollars ? Alors mettez-y : un mariage dans un bateau de croisière, un ex jaloux... non non, pas comme ça, le mariage ! Les précédents films qui en ont mis un en scène l'ont présenté... comme cela, voilà, et ça avait super bien marché. Imiter les recettes des films à succès ? Du moins, c'est SAP, une société de conseil en intelligence économique spécialisée - justement !

"L'analyse prédictive peut donner aux réalisateurs la possibilité de prendre de meilleures décisions et avoir une meilleure idée des recettes de leurs films avant même qu'ils ne soient produits. Alors, demain, le grand public pourra-t-il massivement cofinancer des films pensés pour lui par un super-ordinateur, jusque dans les moindres détails ? L'idée qu'avec suffisamment de données sur le passé et le présent, on puisse prévoir le futur n'est pas le plus récent des mythes liés à la révolution numérique. Nice et Cisco inaugurent le « premier boulevard connecté », laboratoire urbain de l’Internet des objets.

ICC 2013: une grande artère de Nice devient terrain d’expérimentation. Pollution, bruit, trafic routier, de multiples paramètres seront analysés et les données récoltées seront diffusées en open data. L’éclairage, la propreté notamment sont des services qui doivent en être améliorés. Crédit ville de Nice Ce mardi à Innovative City Convention (ICC), Christian Estrosi, député et maire de Nice (UMP), et président de la métropole Nice Côte d’Azur (46 communes), observait que l’interconnexion permet de gérer les risques, les déchets, les transports et autres aspects, « une véritable révolution » qui « rend la ville plus aimable ». Rappelant à quelle vitesse le téléphone portable et l’électronique embarquée dans les voitures se sont répandus, il estimait que bien des innovations présentées pendant ces deux jours à Nice « seront et sont déjà créatrices d’emplois. Dans cinq ou sept ans, ces technologies feront partie de notre quotidien. » 200 capteurs installés Mobilité Éclairage public À lire aussi.

RSA met le Big Data au service de la sécurité. La division sécurité du spécialiste du stockage EMC a lancé début juin RSA Silver Tail 4.0, solution de détection de menaces web en temps réel. À cette occasion, Philippe Fauchay, directeur France de RSA, fait le point sur la relation entre Big Data et sécurité informatique. EMC rachète régulièrement de nouvelles entreprises, dont Silver Tail fin 2012, et leur intégration est un processus bien rodé.

En effet, nous veillons à préserver la dynamique d’innovation de ces entreprises, tout en exploitant au maximum l’effet de levier de l’ensemble de l’organisation EMC. Dans le cas de Silver Tail, l’intégration a été d’autant plus facile que cette solution vient compléter l’offre EMC/RSA existante de lutte contre la fraude en ligne. Quels sont les atouts techniques et fonctionnels de RSA Silver Tail 4.0 ? Silver Tail fonctionne avec un moteur d’analyse comportementale des sessions web pour mieux protéger les sites (bancaires, marchands…) contre les attaques et la fraude. Voir aussi. Le Nouvel Observateur s'adapte aux comportements des lecteurs - Le Monde Informatique. Toute l'actualité "Projets" Edition du 26/08/2013 - par Bertrand Lemaire Les contenus web et des newsletters des publications du groupe de presse s'adaptent désormais au profil comportemental voire individuel des lecteurs.

Le groupe Nouvel Observateur est un groupe de presse qui édite, outre le titre homonyme, Challenges, Sciences et Avenir, Rue89... Sur le web, il totalise 8 millions de visiteurs uniques par mois. La plupart des internautes surfent sans être identifiés sur le site. Mais le groupe de presse souhaitait mettre en avant, pour chacun, les contenus les plus susceptibles de lui convenir. Pour y parvenir sans investir lourdement, le groupe a choisi une déployer une solution SaaS proposée par IBM et intégrée par la SSII Micropole, IBM Marketing Center. Le coût du projet n'a pas été spécifié. Lafourchette optimise les réservations avec la BI - Le Monde Informatique. Data Paris décortique la sociologie parisienne des stations de métro. Big Data : les promesses d'IBM aux Pays-Bas pour lutter contre les inondations. Big Data : l’exploitation des données au cœur des préoccupations des DSI. Big Data : un marché de 46 milliards de dollars en 2018. Big Data : comment se lancer sans se ruiner.

Cinq idées fausses sur le Big Data. Spécial Big Data : que recouvre 'Big Data' et la gestion de données ? Deux leviers sont nécessaires à l’amélioration de la qualité des Big Data. Croissance: le Big Data moins efficace que le gaz de schiste. Mathias Herberts, pionnier du Big Data en France. Tribune : La consolidation dans le big data est engagée.

Big Data Hadoop: le fondateur d'Hortonworks quitte le navire. Le Big Data dépayse l'industrie du voyage. VirtualScale : « Le Big data sur des piles open source » « L’Open Data et l‘intégration dans le Cloud » ou l’avenir du Big Data. Big data : 7 tendances qui vont faire évoluer votre activité. Big Data : vos données au service de votre santé. Mouloud Dey (SAS): «SAS ne veut pas devenir un Amazon bis» Cisco et NetApp verticalisent l'architecture unifiée FlexPod. Excel s’ouvre au décisionnel et au big data. Blue Coat affrontera les menaces complexes avec Solera Networks. L'Open Data Center Alliance se penche sur le SDN, le big data et le stockage. VMware et MapR espèrent simplifier la gestion des big data.