background preloader

Cluster Computing

Facebook Twitter

Storm, distributed and fault-tolerant realtime computation. The Scala Programming Language. Spark | Lightning-Fast Cluster Computing. Spark, an alternative for fast data analytics. Spark is an open source cluster computing environment similar to Hadoop, but it has some useful differences that make it superior in certain workloads—namely, Spark enables in-memory distributed datasets that optimize iterative workloads in addition to interactive queries.

Spark is implemented in the Scala language and uses Scala as its application framework. Unlike Hadoop, Spark and Scala create a tight integration, where Scala can easily manipulate distributed datasets as locally collective objects. Although Spark was created to support iterative jobs on distributed datasets, it's actually complementary to Hadoop and can run side by side over the Hadoop file system. This behavior is supported through a third-party clustering framework called Mesos. Spark cluster computing architecture Although Spark has similarities to Hadoop, it represents a new cluster computing framework with useful differences.

Spark also introduces an abstraction called resilient distributed datasets (RDDs) . $ . $ . Elastic Compute Cloud (Amazon EC2) Découvrez gratuitement AWS Le niveau gratuit d'AWS inclut 750 heures par mois d'utilisation d'instances Micro Linux et Windows durant un an. Pour rester dans le cadre du niveau gratuit, vous devez uniquement utiliser des instances EC2 Micro. Voir les détails relatifs au niveau gratuit d'AWS » Amazon Elastic Compute Cloud (Amazon EC2) est un service Web qui fournit une capacité de calcul redimensionnable dans le cloud. Il est conçu pour faciliter l'accès aux ressources informatiques à l'échelle du Web, pour les développeurs. L'interface simple du service Web d'Amazon EC2 vous permet d'obtenir et de configurer la capacité avec un minimum de friction. Elle fournit un contrôle complet de vos ressources informatiques et vous permet d'exécuter votre application sur l'environnement informatique d'Amazon qui a fait ses preuves.

Amazon EC2 vous permet d'augmenter ou de diminuer la capacité en quelques minutes, pas quelques heures ou quelques jours. AWS Free Usage Tier. EC2 Pricing.