background preloader

Big Data : premiers pas avec MapReduce, brique centrale d'Hadoop

Big Data : premiers pas avec MapReduce, brique centrale d'Hadoop
Le modèle MapReduce est conçu pour lire, traiter et écrire des volumes massifs de données. Des bonnes feuilles issues de l'ouvrage Big Data chez Eni. MapReduce est un modèle de programmation conçu spécifiquement pour lire, traiter et écrire des volumes de données très importants. Un programme Hadoop met généralement en œuvre à la fois des tâches de type map et des tâches de type reduce. MapReduce implémente les fonctionnalités suivantes : Parallélisation automatique des programmes Hadoop. Gestion transparente du mode distribué. Tolérance aux pannes. Plus généralement, MapReduce simplifie grandement la vie du développeur Hadoop, en lui masquant une bonne partie du fonctionnement interne de Hadoop. Ainsi, lorsqu'il écrit le code du mapper (cf. section suivante), le développeur Hadoop travaille comme s'il ne devait traiter qu'un seul enregistrement. 3. Un programme Hadoop se divise généralement en trois parties : Le mapper est chargé de lire les données stockées sur disque et les traiter. 4. etc.

http://www.journaldunet.com/developpeur/outils/mapreduce.shtml

Related:  Big DataterrybrunierBig DataData Viz

RH, pourquoi (et comment) Big Data va révolutionner votre façon de recruter Tribune publié le 16/05/2013 Pas étonnant que la gestion des talents connaisse un essor aussi spectaculaire que celui que l'on observe aujourd'hui ! Pour la plupart des entreprises, la maximisation de leur R.O.p.I. (Return On People Investment) est devenu l'un des leviers les plus efficaces pour renforcer leur compétitivité. Ca c'est pour la théorie. Mais en pratique... Big Data : comparatif des technos, actualités, conseils... Pour faire face à l'explosion du volume des données, un nouveau domaine technologique a vu le jour : le Big Data. Inventées par les géants du web, ces solutions sont dessinées pour offrir un accès en temps réel à des bases de données géantes. Comment définir le Big Data, et quelle est sa promesse ?

"Le Big data va créer des milliers d'emplois" Le Big data est encore méconnu du grand public. Et pourtant, sa maîtrise peut autant définir le contenu de votre programme télé que votre emploi. La récolte, ainsi que le traitement et l'analyse, de tout type de données numérisées est considéré comme le principal défi informatique de la décennie 2010-2020 et beaucoup d'entreprises en ont fait leur priorité de recherche et développement. Pour en comprendre les enjeux, Le Journal du Dimanche, en partenariat avec la banque Oddo et le cabinet Deloitte, a réuni mardi dernier une centaine d'acteurs économiques pour débattre du sujet, à l'occasion de la seconde édition des Matins de l'économie.

MapReduce Les termes « map » et « reduce », et les concepts sous-jacents, sont empruntés aux langages de programmation fonctionnelle utilisés pour leur construction (map et réduction de la programmation fonctionnelle et des langages de programmation tableau). MapReduce permet de manipuler de grandes quantités de données en les distribuant dans un cluster de machines pour être traitées. Ce modèle connaît un vif succès auprès de sociétés possédant d'importants centres de traitement de données telles Amazon.com ou Facebook. La science débat de l’avenir d’Homonumericus ! Sommes-nous en train de passer à une autre civilisation ? On évoque, presque naturellement désormais, en plus de nos smartphones et tablettes, beaucoup d’objets connectés tels que les Google Glass, ou encore les voitures conduites par des systèmes technologiques, sans que l’humain ne pose les mains sur le volant ! Loin de toute science-fiction, il est aujourd’hui possible d’évoluer dans un environnement augmenté, intelligent, comme les maisons auxquelles nous sommes connectés, presque sans nous en rendre compte. « Science et Société » mises en perspectives avec une question : Homonumericus sera-t-il libre ?

Votre première installation Hadoop Cet article est pensé pour vous aider à affronter le baptême du feu : l’installation de la plate-forme. Quelle distribution choisir ? La première question à se poser lorsque l’on choisit sa distribution Hadoop est celle du support. Jean-Pierre Claris de Florian Un article de Wikipédia, l'encyclopédie libre. Pour les articles homonymes, voir Florian. Jean-Pierre Claris de Florian Watch_Dogs WeAreData Dans Watch_Dogs, la ville de Chicago est gérée par le ctOS, un système de contrôle informatisé hautement perfectionné. Ce réseau utilise les données qui lui sont transmises pour contrôler l’ensemble des infrastructures urbaines et résoudre les problèmes complexes liés à la circulation routière, la lutte contre la délinquance, la gestion de l’électricité, etc. Mais aujourd’hui, cette situation n’a plus rien de fictif : les villes « intelligentes » sont une réalité. Chaque jour, une quantité incalculable de données sont recueillies et traitées avant d’être rendues publiques et accessibles à tous. Watch_Dogs WeareData est le premier site Internet à rassembler en un même endroit les données publiques de Paris, Londres et Berlin. Chacune de ces villes a été recréée sur une carte en 3D, de manière à permettre aux utilisateurs du site de découvrir en temps réel comment les villes modernes d’aujourd’hui organisent et traitent ces données.

Ingénieurs IT : quelles formations pour le Big Data ? 4,4 millions d'emplois créés d'ici à 2015. C'est ce que prévoit le cabinet Gartner pour le secteur du Big Data, en pleine expansion. Avec, à la clé, de nouveaux métiers et de nouvelles formations. En école d'ingénieursVous avez obtenu le titre d'ingénieur et vous souhaitez vous spécialiser ?

La logique du manager de demain pour créer de la performance durable Le manager de demain réveillera l´envie d´entreprendre Tout lasse, tout casse, tout passe. Le moteur du management moderne était la conquête de l’espace et du temps par soucis de domination et de planification. Cette logique arrive aujourd´hui à saturation. Khartis - cartographie thématique Le contenu de ce site internet est fourni par : Sciences Po 27 rue Saint-Guillaume 75337 Paris Cedex 07 Tel. : 01 45 49 50 50 Fax. : 01 42 22 31 26 webmestre@sciencespo.fr Directeur de la publication : Frédéric Mion, administrateur de la Fondation nationale des sciences politiques et directeur de l’Institut d’études politiques de Paris.

Related: