Hadoop en 5 questions Quel est le principe de fonctionnement de cette infrastructure de traitement massif de données ? Quelles sont ses principales briques ? Quid des premières applications ? Décryptage. 1 - Qu'est ce qu'Hadoop ? Il s'agit d'un framework Open Source conçu pour réaliser des traitements sur des volumes de données massifs, de l'ordre de plusieurs petaoctets (soit plusieurs milliers de To). Hadoop a été conçu par Doug Cutting en 2004. Yahoo! 2 - Quel est le principe de fonctionnement de ce framework de traitement intensif ? Dans une logique d'architecture Hadoop, cette liste est découpée en plusieurs parties, chaque partie étant stockée sur une grappe de serveurs différente. 3 - Quelles en sont les différentes briques ? Poursuivons notre exemple. Les réseaux sociaux Facebook, Twitter et Linkedin repose sur Hadoop En aval, la distribution et la gestion des calculs est réalisé par MapReduce. Map qui s'applique sur une liste d'éléments. 4 - Au-delà de Yahoo!
Que signifie Hadoop? - Définition par WhatIs.com Hadoop est une infrastructure de programmation gratuite qui repose sur Java et qui prend en charge le traitement de jeux de données volumineux au sein d'environnements informatiques distribués. Hadoop fait partie intégrante du projet Apache parrainé par l'Apache Software Foundation. Hadoop permet d'exécuter des applications sur des systèmes dotés de milliers de noeuds impliquant des centaines de téraoctets. Son système de fichiers distribué favorise un taux élevé de transfert de données entre les noeuds et permet un fonctionnement ininterrompu du système en cas de défaillance d'un d'entre eux. Hadoop s'inspire de Google MapReduce, une infrastructure logicielle qui consiste à fragmenter une application en de nombreux petits composants. Doug Cutting, le créateur d'Hadoop, a baptisé l'infrastructure du nom de l'éléphant en peluche de son fils. Les systèmes d'exploitation privilégiés sont Windows et Linux, mais Hadoop fonctionne également avec BSD et OS X.
Les 20 meilleurs outils de datavisualisation au banc d’essai Que vous soyez absolument novice ou codeur amateur, il existe aujourd’hui sur le web une impressionnante palette d’outils (presque) gratuits pour réaliser des datavisualisations. Banc d’essai. Note : j’ai volontairement éliminé les outils (a) entièrement payants (b) trop moches pour être utilisés dans des rédactions (c) en Flash. Ce billet n’est consacré qu’aux outils de “visualisation”, et non de scraping ou de traitement des données (un autre billet suivra bientôt). ↑1 » Pour les novices/pressés : le clé-en-mains Ces outils gratuits ou freemium permettent de générer des graphiques ultra-rapidement en copiant-collant des données d’un tableur. Le meilleur – Datawrapper : Simple d’utilisation, sobre, rapide, Datawrapper est tout à fait satisfaisant pour la plupart des visualisations courantes. Les + : la possibilité de personnaliser les couleurs, de mettre en évidence une série, la navigation par onglets entre les différentes séries. Les challengers : Ils ne nous ont pas convaincu : Sources :
L'ARCEP adopte des lignes directrices relatives à la tarification des réseaux d'initiative publique L'ARCEP adopte des lignes directrices relatives à la tarification des réseaux d'initiative publique Paris, le 7 décembre 2015 Pour donner de la visibilité aux collectivités territoriales qui investissent dans la fibre, l'Autorité adopte le 7 décembre 2015 des lignes directrices concernant la tarification des réseaux d'initiative publique (" RIP "). L'intervention des collectivités territoriales est primordiale pour permettre le déploiement de la fibre sur les zones les moins denses du territoire et prévenir l'apparition d'une fracture numérique. L'Autorité a tenu le plus grand compte du cadre européen, et notamment des règles européennes en matière d'aides d'Etat, de manière à sécuriser dans la durée les projets portés par les collectivités territoriales. La consultation publique menée par l'Autorité du 6 octobre 2015 au 6 novembre 2015 sur le projet de lignes directrices détaillant ces mesures a suscité une large mobilisation du secteur.
Data Warehouse, Entrepôt de données Qu'est-ce qu'un Data Warehouse ? Définition du Data Warehouse Le Data Warehouse, ou entrepôt de données, est une base de données dédiée au stockage de l'ensemble des données utilisées dans le cadre de la prise de décision et de l'analyse décisionnelle. Le Data Warehouse est exclusivement réservé à cet usage. Il est alimenté en données depuis les bases de production grâce notamment aux outils d'ETL Extract Transform Load. Les 4 caractéristiques du Data Warehouse Le Data Warehouse n'est pas une simple copie des données de production. "Subject oriented, integrated, nonvolatile, time variant collection of data in support of management decisions. Orienté sujet Au coeur du Data warehouse, les données sont organisées par thème. Data Warehouse Open Source L'Infocentre, l'ancêtre des bases de données décisionnelles L’infocentre était un SGBDR présentant une copie de travail d’une partie de la base de production, mise à jour périodiquement. Livre recommandé The Data Warehouse Lifecycle Toolkit R.
OLAP - Informatique décisionnelle Fonctions essentielles Un système d'information décisionnel assure quatre fonctions fondamentales : la collecte des données, l'intégration, la diffusion et la présentation et enfin l'administration. Collecte : La collecte (parfois appelée datapumping) est l'ensemble des tâches consistant à détecter, à sélectionner, à extraire et à filtrer les données brutes issues des bases de production. Les sources de données, étant souvent hétérogènes, cette fonction est la plus délicate à mettre en place. La collecte des données se font donc à l'aide d'outils de type ETL (extract-transform-load pour extraction-transformation-chargement). Intégration : L'intégration consiste à concentrer les données collectées dans un espace unifié : l'entrepôt de données. Administration : C'est la fonction transversale qui supervise la bonne exécution de toutes les autres.
Réseaux sociaux : faites les bons choix ! Les moyennes et grosses collectivités territoriales ont, dans leur grande majorité, commencé à adapter leur communication aux moyens disponibles. Selon le baromètre Ideose, plus de la moitié d’entre elles possèdent notamment un compte Facebook. Idem concernant Twitter. Mais toutes n’ont pas une utilisation approfondie de ces outils et beaucoup se limitent à ces deux-là, alors qu’il en existe une multitude offrant divers avantages. Surpuissant Facebook La spécificité de Facebook, celle qui doit en faire un réseau social central dans la communication des collectivités territoriales, tient évidemment à son nombre d’utilisateurs. Selon les chiffres présentés par Facebook en septembre dernier, il existe plus de 30 millions d’utilisateurs actifs – des personnes qui interagissent au moins une fois dans le mois – en France. Le deuxième avantage concerne les usages développés par les utilisateurs. Utiliser efficacement Facebook suppose de respecter quelques bonnes pratiques. Ceux qui montent
Projet de loi République numérique : publication de l’avis de la CNIL | CNIL La CNIL s'est prononcée, lors de la séance plénière du 19 novembre 2015, sur l’avant projet de loi, dans sa version alors envisagée par le Gouvernement. Le projet de texte soumis en première lecture à l’Assemblée nationale comporte de nombreuses modifications, qui tiennent notamment compte de l’avis de la CNIL. Une nécessaire cohérence avec les autres textes en préparation La CNIL relève tout d’abord que ce projet de loi intervient alors que le projet de règlement du Parlement européen et du Conseil relatif à la protection des données personnelles et à la libre circulation de ces données, est en cours de finalisation. Ce texte, d’application directe, doit assurer l’unification du droit européen et apporter un standard élevé de protection pour les citoyens européens avec notamment un renforcement de leurs droits. Des droits renforcés, à harmoniser avec le droit européen De manière générale, la Commission salue le renforcement des droits des citoyens.
La campagne Orange "E-Cleaning Days" contre les mails inutiles Du 16 novembre au 11 décembre se déroule la campagne de communication Orange sur la gestion des mails, « E-Cleaning Days : moins d’e-mails stockés, moins d’énergie gaspillée. » À l’occasion de la COP21 le groupe souhaite sensibiliser le grand public sur l’énergie gaspillée des datas stockées ou échangées, en commençant par une donnée connue de tous : le mail. Cette communication pédagogique tous médias invite les collaborateurs Orange et chaque citoyen à adopter des gestes verts simples : Trier ses mails dès réceptionSupprimer les mails les plus lourdsSe débarrasser des spamsVider les éléments supprimés © Orange – E-Cleaning days : les gestes verts à adopter pour bien gérer vos mails En complément nous ajoutons ces gestes qui peuvent aussi devenir des réflexes pour un usage responsable : Se désabonner des e-newsletters et e-mailings qui n’intéressent pasAppeler son correspondant au bout de 3 échanges de mails infructeux ! © Orange / Ademe – Schéma de transmission et stockage d’un mail.
République Numérique - La République numérique en actes Aménagement Numérique des Territoires La libération des données publiques (open data) (vitrine.Libération des données publiques (open data)) - CNFPT Par Pascal LandoDernière mise à jour : octobre 2016 La quantité de données et d’informations gérées et générées par les collectivités publiques est très impor-tante, et grandit de manière exponentielle à mesure que les outils informatiques se répandent dans tous les secteurs (extranet, wikis, GED, téléservices, téléprocédures, etc.). D’autre part, ces informations sont de natures et de formes très variées. Ainsi, depuis l’avènement de l’informatique et de son déploiement massif dans toutes les administrations, le volume de données est devenu colossal, les domaines couverts très nombreux. 1.1. Depuis quelques années, la transparence et l’aspect participatif sont devenus des maître-mots en matière de gestion des collectivités territoriales. C’est dans ce contexte qu’en juin 2013, une charte sur l'Open Data a été signée par les chefs d’États du G8. 1.2. 1.3. Les bénéfices attendus de la mise en œuvre de la mouvance Open data au niveau des collectivités territo-riale sont nombreux. 2.1. 2.2.
Interface techniciens - utilisateurs - décideurs (vitrine.Interface techniciens - utilisateurs - décideurs) - CNFPT Par Pascal LandoDernière mise à jour : octobre 2016 Techniciens informatiques, utilisateurs d’applications et décideurs sont partie intégrante du système d’information de la collectivité. Les rapports qu’entretiennent ces différents acteurs de la collectivité sont régis par la structure du système d’information dans lequel ils évoluent. Un système d’information, généralement abrégé « SI » est un ensemble organisé de ressources permet-tant de collecter, regrouper, classifier, traiter et diffuser de l'information dans un environnement donné. La notion de SI est donc plus vaste que le domaine des logiciels informatiques, contrairement à certaines idées reçues : les logiciels et outils informatiques ne sont qu’une des composantes des systèmes d’information. 1.1. La gouvernance, au sens large, décrit de quelle manière un système est dirigé et contrôlé. Une bonne gouvernance de SI passe par : Des standards peuvent aider les organisations à optimiser leur gouvernance (ex. : ITIL, COBIT…). 1.2.