background preloader

Data Science et Big Data

Facebook Twitter

Cinq étapes pour se préparer au traitement des big data. (crédit photo : D.R.)

Cinq étapes pour se préparer au traitement des big data

On parle beaucoup de « big bata » ces temps-ci. Un peu trop au goût de certains. Les acteurs IT et les experts qui s'y réfèrent les présentent néanmoins comme un actif stratégique clé des prochaines années. C'est sans doute le bon moment pour réfléchir aux orientations à prendre. Manipuler de larges volumes de données n'est pas une nouveauté pour les départements informatiques, mais derrière le battage fait sur la question, les big data diffèrent vraiment du datawarehouse, du datamining et de l'analyse décisionnelle qui les ont précédées, souligne Beth Stackpole, de Computerworld, dans un article publié cette semaine. Les données sont générées de plus en plus vite, la plupart étant désormais récupérées sous leur forme brute. Une fois cet état des lieux engagé, les équipes informatiques devraient entreprendre des projets très ciblés qui pourraient être utilisés pour montrer quels résultats on peut obtenir, plutôt que d'opter pour des projets en mode big-bang.

Lire-comment-starbucks-s-appuie-sur-le-big-data-pour-trouver-de-meilleurs-emplacements-le-monde-informatique-60308. Le logiciel Atlas qui s’appuie notamment sur le SIG ArgGIS d’Esri sert à Starbucks pour choisir ses implantations de boutiques, comme ici dans la ville de Nanning en Chine.

lire-comment-starbucks-s-appuie-sur-le-big-data-pour-trouver-de-meilleurs-emplacements-le-monde-informatique-60308

(crédit : D.R.) En couplant son outil de planification d'ouverture de boutiques au système d'information géographique ArcGIS d'Esri, la chaîne de restauration américaine Starbucks s'est dotée d'une arme de développement commercial d'une redoutable efficacité. Le bon placement au meilleur emplacement. Telle est la devise que pourrait adopter le géant Starbucks qui a mis en place un processus permettant de mieux cerner les endroits où poser ses nouveaux points de ventes. A l'heure d'Internet, nombreuses sont les entreprises à trop se concentrer sur la mise en place de stratégies numériques, or l'e-commerce compte encore seulement pour 17% de l'ensemble des ventes du secteur de la distribution aux Etats-Unis. Présentation de trois solutions MDM Open Source - Le blog des experts IT. 1.Présentation de Talend Open MDM Afin de compléter son panel d’offre SOA, l’éditeur Français Talend a développé une offre MDM se basant en repartant de son désormais fameux studio ETL.

Cette offre permet de construire un entrepôt de données via la modélisation d’un Data Model puis de gérer les évènements pouvant survenir sur les données (création, modification ou suppression d’une propriété ou d’une entité). Voici notre analyse sur la solution Talend Open MDM : Facilité de prise en main : 7/10 Reposant sur Eclipse et sur le Framework ETL Talend la prise en main de cette solution MDM est rapide pour la grande communauté de développeurs Talend.

Complétude de l’offre : 6/10 La solution Talend MDM n’offre pas dans sa version gratuite (Talend Open Studio for MDM) les fonctionnalités de Master Data Quality, Intendance des données, services d’accès et services de consolidation. Maturité de l’offre : 6/10 Taille de la communauté : 8/10. Big Data : comparatif des offres Hadoop en mode cloud. Big Avec sa capacité de montée en charge potentiellement infinie et ses ressources facturées à l'usage, le cloud est le modèle idéal pour le Big Data.

Big Data : comparatif des offres Hadoop en mode cloud

Tour d'horizon de cinq offres Hadoop en mode cloud. Dans leurs prévisions 2015, les analystes d'IDC considèrent que 90% des données qui seront générées par les objets connectés seront stockés dans le Cloud. Celui-ci, par sa capacité à fournir une, 10, 100 ou 1000 machines virtuelles à la demande, en quelques secondes, se prête à merveille aux applications Big Data. 7 prédictions sur les big data en entreprise - Les Echos. Politique Quand Manuel Valls évoque un "apartheid" en France + VIDEOS - Lors de ses vœux à la presse, Manuel Valls a promis ce mardi un combat contre les inégalités pour refonder « la citoyenneté ».

7 prédictions sur les big data en entreprise - Les Echos

Des challenges Big Data pour inciter grands groupes et PME à innover ensemble via. 01net le 03/12/14 à 14h42 Le pôle de compétitivité Cap Digital vient de lancer l'un des premiers challenges big data visant à rapprocher grands comptes et startups pour innover ensembler.

Des challenges Big Data pour inciter grands groupes et PME à innover ensemble via

Au moins 55 de ces challenges seront organisés sur trois ans avec des entreprises comme Vinci Energie, ou EDF. Ils sont tous financés dans le cadre du Programme des investissements d’avenir (PIA). Au total ce sont environ 60 millions d’euros qui sont investis par l’État dans les technologies de big data. Pôles de compétitivité et accélérateurs en organisateurs des challenges Ces concours sont destinés aux startups à qui l’on donne accès, pour l’occasion, à des données de grandes entreprises ou d’entités publiques.

. « L’objectif de ces challenges est de construire une démarche de partenariat entre grands comptes, PME et startups. Sans titre. Le mainframe IBM z13 a été conçu pour le traitement des transactions mobiles.

sans titre

Big Blue affirme que son système z13 peut traiter jusqu'à 2,3 milliards de transactions par jour et suivre ainsi la montée en puissance des opérations réalisées depuis un terminal mobile. Hier mardi, IBM a dévoilé son mainframe z13 pour aider ses clients à traiter les milliards de transactions réalisées chaque jour par les utilisateurs de smartphones et tablettes et détecter en quasi-temps réel les fraudes éventuelles. Si Big blue n'avait pas sorti de nouveau mainframe depuis trois ans, la compagnie continue d'investir sur une plate-forme qui est encore largement utilisée par les banques, les compagnies aériennes et d'autres grandes entreprises, même si les ventes accusent une baisse régulière tous les ans.

Le z13 exploite des processeurs et des E/S plus rapides avec la capacité d'adresser jusqu'à 10 To de mémoire vive - soit trois fois plus que son prédécesseur. #BigData : Un marché qui devrait atteindre 25 milliards de dollars d'ici fin 2016. Si le Big Data a de plus en plus le vent en poupe c’est pour une raison très simple : il va devenir vital pour quasiment toutes les entreprises dans tous les secteurs d’activité d’ici la fin de la décennie.

#BigData : Un marché qui devrait atteindre 25 milliards de dollars d'ici fin 2016

La rédaction de Maddyness vous invite à décrypter les informations clés à connaître sur ce secteur qui devrait atteindre les 25 milliards de dollars de chiffre d’affaires d’ici la fin 2016, selon le cabinet IDC. Un potentiel énorme. Les data scientists ne plébiscitent pas toujours Hadoop. Les fournisseurs de distribution Hadoop viennent compléter le framework Open Source pour remédier à ses limites.

Les data scientists ne plébiscitent pas toujours Hadoop

Qui dit projet big data ne dit pas forcément Hadoop. La plateforme Open Source ne convient pas à tous les types d'analyse, notamment complexes avec des traitements peu parallélisables, souligne l'enquête Paradigm4Data Scientist qui montre que 35% des data scientists interrogés ayant testé Hadoop ou Spark les ont abandonnés. Si le framework Hadoop est presque toujours cité dès qu'il est question de traiter des big data, l'attention dont il fait l'objet ne signifie pas qu'il convienne à tous les projets. De fait, son utilisation ne fait pas toujours l'unanimité dans les entreprises qui l'ont déjà mis à l'épreuve. Certes, sa disponibilité en Open Source réduit son coût d'adoption, mais sa mise en oeuvre peut malgré tout exiger beaucoup de ressources et de temps, notamment lorsqu'il s'agit d'associer les données gérées dans la plate-forme avec celles des systèmes existants.

Big Data, pourquoi les entreprises françaises peinent à se lancer - L'Express L'Expansion. Amazon, engagé dans une démarche d'anticipation des achats de ses clients, les innombrables initiatives de Google ou Facebook en la matière : en dehors de ces ogres du web, et de quelques pionniers français comme Crédit Mutuel/Arkéa, les exemples concrets de Big Data ne sont pas légions.

Big Data, pourquoi les entreprises françaises peinent à se lancer - L'Express L'Expansion

Dans son étude "(Big) data : où en sont les entreprises françaises? " Ernst & Young a élaboré un "indice de maturité Data". Sa conclusion? 17% des entreprises françaises sont vraiment matures dans l'exploitation de leurs données clients. Parce que le concept reste à l'état théorique? Le Big Data décolle enfin en France ! Jeudi 1 janvier 2015 Un véritable changement de perception et une prise de conscience massive des enjeux économiques et structurels du Big Data caractérisent 2014 mais des progrès restent à faire.

Le Big Data décolle enfin en France !

Tel est le principal constat dressé par EMC et IDC qui ont réalisé cette année la deuxième édition du Big Data Index, leur baromètre visant à appréhender la perception du Big Data et le niveau de maturité des entreprises françaises. La première édition, dévoilée en 2012, avait mis en exergue le manque de compréhension et d'initiatives Big Data au sein des équipes informatiques. 43% des Directions Informatiques ont un projet Big Data en 2014. 143 millions de dollars pour créer une conscience artificielle omniprésente. 01net. le 09/12/14 à 16h44 Après Elon Musk et ses démons, c’est Stephen Hawking qui a tiré la sonnette d’alarme, avec toujours la même crainte : les intelligences artificielles ne deviendront-elles pas trop intelligentes pour nous, au point de vouloir nous asservir ou même nous détruire ?

Une bonne base pour un scénario de SF, mais pas une crainte justifiée selon Babak Hodjat. Co-fondateur de Sentient, une start-up de San Francisco, Babak Hodjat a récolté 143 millions au total, dont 103,5 millions fin novembre dernier, pour créer une intelligence artificielle distribuée. Un IA à l’échelle du monde Distribuée ? Pour lire la vidéo, cliquez ici. Ainsi, Nigel Duffy, directeur technique de Sentient, projette une progression de cette technologie qui utilisera des dizaines de millions de processeurs différents. Une IA au service du monde De l’intelligence à la conscience… Big data : rendre une ville intelligente, c'est possible - Les Echos. SolutionsConnect 2013 : le DSI, clé pour le Big Data. A l’occasion de l’ouverture mercredi 28 août du IBM SolutionsConnect 2013, Ambuj Goyal, General Manager, IBM Software Storage Networking, est revenu sur les enjeux des DSI dans la bonne gestion du Big Data et de leurs infrastructures. Tout en reconnaissant la montée en puissance d’un nouvel écosystème dans les infrastructures, Ambuj Goyal a orienté une grande partie de son intervention sur le rôle fondamental du DSI dans l’intégration des données et des infrastructures dans les entreprises.

Très clairement, il a décrit le paysage technologique actuel avec d’un coté des acteurs traditionnels (IBM, SAP, Oracle) et de l’autre, des nouveaux entrants comme Google, Amazon dont le positionnement est affirmé sur le cloud public. Open Data vs Big Data : le match des buzzwords. Qui, dans la famille « Data », gagne le match médiatique du buzzword le plus tendance ? Verdict avec Google et Twitter. Pas un jour sans que ces mots ne s’affichent sur votre Timeline Twitter, pas une semaine sans qu’un article ne les mentionne, pas un expert qui n’annonce pas les incroyables « disruptions » à venir : pas de doute, l’Open Data et le Bigdata sont les deux mots qui illustrent les révolutions technologiques et citoyennes à venir.

Deux outils permettent de photographier cette data-vague : nous avons utilisé Google Trends et Topsy, outil d’analyse de Twitter afin de mesurer l’occurrence de ces deux mots à la fois en terme de recherche et en mentions. Et surprise à quelques semaines près les deux mesures convergent : le Big Data a pris l’avantage dès la fin d’année 2011.