background preloader

Big data/Open data

Facebook Twitter

Données le vertige. Des flots d’octets, un océan de données, un déluge de connaissances… A mesure qu’Internet tisse sa toile, le volume d’informations numérisées n’en finit plus d’exploser. D’ici huit ans, cette masse vertigineuse de «datas» sera 50 fois supérieure à ce qu’elle est aujourd’hui, prédit le cabinet d’études IDC. Et il faudra dix fois plus de serveurs informatiques pour espérer gérer cette déferlante. Pas par crainte d’être submergés, mais plutôt pour être en mesure de retrouver, d’extraire et d’exploiter cette nouvelle manne. Il y a vingt ans, nous stockions encore nos fichiers sur des disques durs de quelques mégaoctets (1 Mo équivaut à 1 000 000 d’octets, soit 106 octets, 1 octet valant 8 bits ; le bit est l’unité de base en informatique, à savoir un 0 ou un 1). Photo: Emmanuel Pierrot.Vu pour Libération «Capteurs».

C’est là qu’intervient une nouvelle discipline : le «big data». Mesagraph fournit ainsi à Canal + une modélisation de son audience à partir des conversations sur Twitter. Le Web a 20 ans et pèse déjà très lourd dans l'économie. Le Web a 20 ans et pèse déjà très lourd dans l'économie La "Toile" fête ses vingt ans. La filière Internet représente près de 3 % du PIB mondial. Un poids qui devrait s'accroître, au regard des évolutions attendues, comme le développement des objets connectés. Le Web "grand public" a vingt ans.

Le 6 août 1991, le scientifique londonien Tim Berners-Lee ouvrait la première page Web, dans laquelle il expliquait son invention : basé sur le système d'interconnexion informatique Internet, le World Wide Web, par la suite surnommé Web, devait d'abord permettre l'échange d'informations entre les membres de l'Organisation européenne pour la recherche nucléaire, à laquelle appartenait Berners-Lee. Ce dernier a ensuite étendu ce système de partage d'informations au monde entier et à tout type de sujet, et ce gratuitement. Vingt ans plus tard, la percée et l'apport du Web sont phénoménaux. Nul doute que le poids du Web dans l'économie va s'accroître encore, au regard de ses évolutions attendues. Le déluge de données va-t-il rendre la méthode scientifique obsolète ? Le déluge de données va-t-il rendre la méthode scientifique obsolète ? Nous voici entrés dans l'ère des Big Data des ensembles de données tellement gigantesques qu'ils nécessitent de nouveaux outils techniques et scientifiques pour les comprendre et en tirer du sens.

Un déluge de données qui pose des questions profondes sur leur collecte, leur interprétation, leur analyse... Dans ce siècle des réseaux, la science des algorithmes, censée extraire le sens de ces amas d'informations doit apprendre à comprendre ce qu'elle analyse. L'enjeu des Big Data nous adresse des questions scientifiques, mais aussi politiques et éthiques. Les Big Data, c'est le dossier de la semaine d'InternetActu qui commence par un retour sur un article fondateur de 2008 qui posait les bases de la révolution à venir. Selon Chris Anderson, nous sommes à la fin de la science, de la science telle que nous la connaissons. Le Monde Noter cet article : Vous serez certainement intéressé par ces articles : Envoyer à un ami. Intel et Facebook s'allient pour développer les serveurs photoniques de demain. Intel et Facebook s'allient pour développer les serveurs photoniques de demain Intel vient de s'allier avec Facebook pour concevoir la prochaine génération de serveurs utilisés pour stocker les bases de données.

Dans le cadre de cette collaboration, ces entreprises ont également dévoilé un prototype construit par Quanta Computer qui repose sur une nouvelle architecture innovante utilisant des modules photoniques. Selon Justin Rattner, responsable de ce projet chez Intel, "Cette nouvelle architecture photonique, basée sur large bande passante de 100 Gbps, va sensiblement améliorer la capacité des réseaux, tout en diminuant leur consommation d'énergie et leur maintenance. " Cette nouvelle architecture est l'aboutissement de plus de 10 ans de recherche pour concevoir des composants en silicium à base de dispositifs photoniques, qu'il s'agisse de lasers, de modulateurs et de détecteurs, et pour articuler de manière plus efficace électronique et photonique.

Phys.Org Noter cet article : Google transforme ses datacenters en galeries d'art. Crédit: D.R Des dizaines de photographies postées sur le site de Google montrent ses datacenters sous un autre angle. Les photos des datacenters que Google vient de publier pourraient avoir leur place dans une galerie d'art plutôt que dans un manuel technique. A l'intérieur de la rubrique «Dans les coulisses d'Internet », la firme de Moutain View a publié des dizaines d'images en couleur qui dépeignent une partie de la technologie, des endroits et des personnes qui garantissent le fonctionnement de ces services. Il existe une ou deux photos qui montrent la façon d'opérer de ses centres de calcul, comme la prise de vue d'une vaste bibliothèque de bandes de sauvegarde dans une usine de Caroline du Sud, où des bras robotisés qui stockent les bandes et les récupèrent quand celles-ci sont nécessaires.

Google a fait appel au photographe Connie Zhou, une artiste née à Shanghai, spécialisée dans l'architecture et les intérieurs, pour réaliser ce reportage. Centres de données – Google Centres de données. Retour Lorsque vous consultez un site Web de Google (comme en ce moment), vous accédez à l'un des réseaux de serveurs les plus puissants au monde. Mais à quoi ressemble ce réseau en réalité ? Voici l'occasion de voir Internet de l'intérieur. Qui se cache dans les coulisses de la vaste toile mondiale que nous appelons Internet ? Des petits génies ? Certainement. Mais aussi des accros aux marathons de zombies, des amateurs de jeux de société et des fans de voitures anciennes. Que faut-il pour héberger le Web dans de bonnes conditions ? Chez Google, nous nous efforçons depuis des années d'optimiser la conception de nos centres de données afin de réduire notre empreinte écologique.

Dans notre centre de données de Pryor en Oklahoma, nous avons tissé des liens étroits avec la communauté des Indiens Cherokee. L'une des raisons pour lesquelles nous avons choisi la ville de Lenoir en Caroline du Nord tient à son passé de ville manufacturière dans l'industrie du meuble. Big Data : les progrès de l’analyse des données. Nous voici entré dans l’ère des Big Data des ensembles de données tellement gigantesques qu’ils nécessitent de nouveaux outils techniques et scientifiques pour les comprendre et en tirer du sens. Un déluge de données qui pose des questions profondes sur leur collecte, leur interprétation, leur analyse… Dans ce siècle des réseaux, la science des algorithmes, censée extraire le sens de ces amas d’information doit apprendre à comprendre ce qu’elle analyse.

L’enjeu des Big Data nous adresse des questions scientifiques, mais aussi politiques et éthiques. Les Big Data, c’est le dossier de la semaine d’InternetActu. Après un retour sur l’article fondateur de Chris Anderson, regardons un peu ce que les Big Data permettent d’envisager. Vers le commerce algorithmique La tarification dynamique est bien connue des sociétés de transports qui vous proposent des tickets moins chers si vous réservez longtemps avant la date de votre voyage. Image : le déluge de données vu par The Economist. Du rôle prédictif des données à la gouvernementalité algorithmique. Sur Place de la Toile, le 12 décembre dernier, Xavier de la Porte recevait Guillaume Main, consultant et statisticien, qui s’occupe du site Statosphère ; Erick Alphonse, maître de conférences au Laboratoire d’Informatique de Paris-Nord (LIPN) et responsable d’Idaaas, une société qui construit des modèles prédictifs, notamment via PredictiveDB, un logiciel prédictif et Antoinette Rouvroy, chercheuse au Fonds national de la Recherche scientifique, qui travaille sur les formes de pouvoir induites par l’usage des données.

Réécouter l’émission en ligne, ou parcourez le transcript augmenté de liens. Il y a de multiples formes de données, rappelle en préambule Xavier de la Porte : données sociales, messages, commentaires, celles qu’on publie chez les autres ou que les autres publient sur soi. Il y a bien sûr les données comportementales : celles qui mesurent ce que vous faites sur l’internet, les données géographiques, les données publiques, les données privées. Erick Alphonse : Oui. Big Data, grande illusion. La cause serait entendue : après le cloud computing et l'internet des objets, les "big data" constitueraient la prochaine "révolution" apportée par le numérique. Alan Mitchell, cofondateur et directeur de la stratégie du cabinet britannique Ctrl-Shift, n'est pas d'accord. Pour lui, les Big Data auraient presque un côté contre-révolutionnaire : le chant du cygne d'une informatique productiviste, centralisatrice, centrée sur les grandes organisations.

"Les Big Data se fondent entièrement sur la statistique : dégager des schémas et des tendances à partir de grandes collections de données. La statistique fournit une manière extraordinairement puissante et utile de remettre en questions les suppositions et les inférences que les cerveaux humains produisent naturellement – et souvent de manière erronée. C'est formidable. "Mais le principal déficit que rencontre notre société ne réside pas dans la capacité de traiter un grand nombre de données, bien au contraire. Et pourquoi pas ? La mine d'or du Big Data. LE MONDE ECONOMIE | • Mis à jour le | Par Julie Battilana, professeure associée à la Harvard Business School L'explosion du volume des données informatiques, du fait du développement de l'Internet et des nouvelles technologies de l'information, a ouvert de nouveaux horizons aux entreprises. Certaines utilisent déjà une partie de ces données pour prédire le comportement des consommateurs et améliorer leur offre de produits et services.

C'est le cas, par exemple, de Google, Facebook, Amazon, Microsoft, Walmart et LinkedIn, qui ont investi dans l'analyse de données informatiques ces dernières années. Quand elles ne mènent pas elles-mêmes ces analyses en interne, les entreprises peuvent les sous-traiter à des sociétés spécialisées, qui fleurissent aujourd'hui dans le monde entier. C'est donc un véritable marché, désigné par le vocable anglo-saxon "Big Data", qui a émergé autour de l'exploitation de la masse de données informatiques disponibles.

Vertigineux "big data" Chaque seconde, la masse de données créées sur Internet par les smartphones, ordinateurs et tablettes explose. Appelé "big data" par les experts du Web, cet amas colossal est un marché prodigieux. LE MONDE | • Mis à jour le | Par Sarah Belouezzane et Cécile Ducourtieux Photos, vidéos, sons, chiffres, textes... Depuis la démocratisation de l'Internet haut débit, ce sont des milliards de données qui sont déversées par les particuliers, les entreprises et même l'Etat sur la Toile. Les spécialistes appellent ça le "big data", littéralement "grosse donnée"... Ce vocable est un peu "marketing" : depuis dix-huit mois, pas une semaine ne passe sans un séminaire ou une nouvelle offre big data sur la planète high-tech. Tous les jours, ce sont 118 milliards de mails qui sont envoyés à travers le monde, 2,45 milliards de contenus différents qui sont postés sur Facebook.

Les humains ne sont pas les seuls responsables de ce déluge d'informations. La mia Cura Open Source / My Open Source Cure. 13 Sett. 2012 Stiamo per cominciare a caricare tutti i vostri meravigliosi contributi! Appariranno qui sul sito, insieme a formare la Cura. In più ci sono alcune notizie sul formato DICOM in cui erano memorizzati i dati delle analisi. Francesco Ponzin mi ha aiutato con gli estratti del CD. Il formato DICOM è, tecnicamente, un formato aperto. Nel senso che è documentato e condiviso tra gli operatori professionali. In pratica, i file che ho ricevuto erano codificati in maniera un po' particolare (stiamo per pubblicare un tutorial in merito).

Cosa che mi ha spinto a fare un hack per portarli in formati più maneggevoli. Di fatto io, nonostante non sia uno "sprovveduto tecnologico", ho avuto diverse difficoltà ad usare il formato, ad aprirlo, a distribuirlo, a "farci delle cose". Siamo testimoni, di giorno in giorno, dei benefici che vengono portati dal fatto che i dati aperti vengono usati con creatività, magari anche secondo modalità che non erano state previste inizialmente. Open Data, la conférence autour des enjeux stratégiques de l’ouverture des données publiques.

#praTIC : typologie des visualisations du web. J’ai eu le plaisir de participer aujourd’hui à la journée PraTIC sur le thème Spatialité et Temporalité du Web, organisée par l’Atelier de Vidéomatique du Laboratoire Paragraphe (UP8), en partenariat avec l’école des Gobelins. Map Marquer - Noun Project Le thème de mon intervention était : Visualisation interactive de données, nouveaux outils et nouvelles mécaniques cognitives pour comprendre le web. Ma présentation interroge les différentes façons de visualiser le web en tant que paysage informationnel. Elle s’appuie sur le constat de Jonathan Stray : nous n’avons pas de carte des contenus sur le web. Ce qui nous pose un irrémédiable problème d’appréhension de la complexité du monde. I have met people who have never seen a world map. Les moteurs recherche de Google (ou autres) nous permettent de chercher et d’accéder aux contenus. Néanmoins, s’il n’existe pas de carte globale de l’information sur le web, il existe de nombreuses visualisations du web, et de ses ressources.

Actuvisu Blog. ActuVisu. Visualisation de l'information. Faites parler les données. DonnéesPubliques. Donn'Economie : quand algorythme et donnée font changer l'économie [Les Signaux Numériques 2012] Avenir du journalisme. De quoi OWNI est-il le laboratoire? » Article » OWNI, Digital Journalism. OWNI mode d'emploi : comment envisageons-nous notre métier et quel écosystème nous permet, tous les jours, de faire carburer la soucoupe ?

En bonus, une galerie photo pleine de gentils aliens /-) Si nous expérimentons et revendiquons « sérendipité » et « bêta permanente », la soucoupe OWNI n’en est pas moins l’espace commun d’une intuition, devenue conviction partagée : l’information indépendante de qualité a un coût que ne peuvent ou ne devraient financer seuls ou majoritairement ni les annonceurs, ni l’État, ni le consommateur final – l’audience – au prix alors de péages ou de contraintes allant à l’encontre de la libre circulation de l’information mais aussi de la définition de ce que devrait être un « beau média » : un média qui chercherait avant tout à délivrer « une information de qualité dans le meilleur des contextes possibles ». 15h45 : Y a-t-il un geek pour stopper Leguillaume? Nous ne sommes pas une « breaking news organisation » OWNI est un groupe de médias innovants. Le datajournalisme en 10 sites.

Journalisme graphique. La Cantine Numérique Rennaise - Big Data - Signaux numériques 2011. 2012 sera l’année du « big data » Openlab. Données publiques / Open Data. Big Data : Making sense at scale. D'un récent voyage dans la Silicon Valley (merci aux amis du Orange Institute), je rentre avec une conviction : tout ce que nous connaissions du web va changer à nouveau avec le phénomène des big data. Il pose à nouveau, sur des bases différentes, presque toutes les questions liées à la transformation numérique. En 2008, l’humanité a déversé 480 milliards de Gigabytes sur Internet. En 2010, ce furent 800 milliards de Gygabytes, soit, comme l’a dit un jour Eric Schmidt, plus que la totalité de ce que l’humanité avait écrit, imprimé, gravé, filmé ou enregistré de sa naissance jusqu’en 2003.

Ces données ne sont pas toutes des oeuvres. Outre les blogs, les textes, les vidéos (35 millions sont regardées sur Youtube chaque minute) ou le partage de musique, il y a désormais les microconversations, les applications géolocalisées, la production de données personnelles, la mise en ligne de données publiques, les interactions de l’Internet des objets... Le web était globalement transactionnel. Opendata. Avons-nous besoin d’Info Labs. Big Data, grande illusion. Les enjeux de l’extension de l’Open Data au monde de l’entreprise.