Product -- Design, Automate, Collaborate, Regulate | Scalr. AWS re: Invent DAT 102: Introduction to Amazon DynamoDB. 비트윈 시스템 아키텍처 - VCNC Engineering Blog. VCNC는 커플을 위한 모바일 앱 비트윈을 서비스하고 있습니다. 비트윈은 사진, 메모, 채팅, 기념일 등 다양한 기능을 제공하며, 오픈 베타 테스트를 시작한 2011년 11월부터 현재까지 연인 간의 소통을 돕고 있습니다. 그동안 비트윈 시스템 아키텍처에는 많은 변화가 있었으며 다양한 결정을 하였습니다. 비트윈 아키텍처를 발전시키면서 배우게 된 여러 가지 노하우를 정리하여 공유해보고자 합니다. 그리고 저희가 앞으로 나아갈 방향을 소개하려 합니다. 소프트웨어 스택 Java: 비트윈 API서버는 Java로 작성되어 있습니다. 비트윈은 AWS의 Tokyo리전에서 운영되고 있습니다. EC2: 비트윈의 여러 부가적인 서비스를 위해 다양한 종류의 인스턴스를 사용 중이지만, 메인 서비스를 운용하기 위해서는 c1.xlarge와 m2.4xlarge 인스턴스를 여러 대 사용하고 있습니다.
현재의 아키텍처 처음 클로즈드 베타 테스트때에는 사용자 수가 정해져 있었기 때문에 하나의 인스턴스로 운영되었습니다. HTTP 요청은 하나의 ELB를 통해 여러 서버로 분산됩니다. 미래의 아키텍처 현재 아키텍처에 단점을 보완하기 위한 해결 방법을 생각해보았습니다. Haeinsa는 HBase상에서 트렌젝션을 제공하기 위해 개발 중인 프로젝트입니다. 기본적인 것은 위에서 언급한 구조와 동일하지만 몇 가지 기능이 설정을 추가하면 Multi-AZ 구성이 가능합니다. 특정 커플에 대한 모든 정보는 하나의 HBase Row에 담기게 됩니다. 프리젠테이션 다음은 2월에 있었던 AWS 유저 그룹 세미나에서 발표했던 자료 입니다. Where NoSQL, cloud computing and free texting converge. Viber Media, provider of iPhone and Android apps that let users talk and text for free over 3G and Wi-Fi networks, is built upon a foundation of the MongoDB NoSQL database running atop the Amazon Web Services cloud.
A press release issued Tuesday by commercial MongoDB entity 10gen explains how Viber’s service works and how its infrastructure operates: Viber enables users to talk and text for free with other Viber users without having to sign up, create a separate account, or log in. Once the app is launched, the user simply enters his or her cell number and is automatically part of the community. MongoDB manages the intercommunity data exchange that enables users to call and text one another. Each time a Viber user connects a cell phone to the network, MongoDB receives call-related information. Viber has been using MongoDB on Amazon Web Services (AWS) since early 2011, and its deployment has grown to 130 nodes in under six months. AWS Start-Up Challenge 2011 Finalists and Semi-Finalists. Here’s a quick quiz: What does a social gaming site for young women have in common with a cancer research app?
Not sure? Then how about this: What does a mobile video app have in common with a car sharing service? Still at a loss? Fear not - we have uncovered the answer after weeks spent learning about start-ups around world. These start-ups are among the finalists selected for the fifth annual AWS Start-Up Challenge. To pick the finalists, our team of AWS judges and top tier VCs spent countless hours scrutinizing the entrants and selected finalists from the Americas, Asia, and Europe. Without further ado, we’re delighted to introduce you to this year’s winners! Finalists: BooshakaDeputy.comFantasy ShopperFlixLabGetaroundIntervention InsightsLocalytics The finalists have been invited to San Jose for the Grand Finale on November 10th. For those of you not in the San Jose area, you may also register to watch the event online starting at 6:30 pm Pacific time. Booshaka Deputy.com Fantasy Shopper.
2013/02/26/skype-competitor-viber-hits-175-million-users-up-from-140-million-in-december/ Messaging startup Viber, which lets users of most smartphone platforms send free texts, calls and messages via its app, is continuing to ramp up its user-base. Speaking at the Mobile World Congress trade show in Barcelona today, CEO Talmon Marco announced the startup now has 175 million users. Viber has been around since early 2011, but growing rapidly in the past 12 months. In December it passed 140 million users, saying it was adding new users at a rate of 400,000 per day. Back in September, it hit 100 million users, after hitting 70 million users in May and 50 million in February. Viber’s app supports iOS, Android, S40, Symbian, Windows Phone and BlackBerry. The messaging space is very fragmented globally, but for some context, Line — a messaging app popular in Japan — passed the 100 million user mark last month. “Sometimes services take off because of pure luck… sometimes it’s timing.
Billing services could be another area where OTT players could partner with carriers, Marco added. AWS 아키텍처 센터. Amazon’s physical hardware and EC2 compute unit « Huan Liu's Blog. Ever wonder what hardware is running behind Amazon’s EC2? Why would you even care? Well, there are at least a couple of reasons. Side-by-side comparisons. Amazon express their machine power in terms of EC2 compute units (ECU) and other cloud providers just express it in terms of number of cores. The observation below is only based on what we see in the N. Our observation is based on a combination of “hints” from several different tools and methods, including the following: The “cpuid” instruction is supported by all x86 CPU manufacturers, and it is designed to report the capabilities of the CPU. We look at several fields in the “cpuid” output. Intel processor specifications With the model numbers reported by “cpuid”, we could look up their data sheet to determine the exact specification of a processor, including how many cores per socket, how many sockets per system, and its cache size etc.
/sys/devices/system/cpu/cpu? This is a file in the Linux file system. Performance benchmark Like this: Top 10 Things to Know About Amazon RDS - So you’ve finally caught on with the hype, and you’re seriously considering using Amazon RDS for your database needs. Here are ten things you ought to know before you take the leap: 10. Amazon RDS uses a patched version of MySQL 5.1.38. While several discussions within MySQL forums allude to a growing concern that Amazon may not have the required expertise for upgrading and maintaining patched versions of MySQL, the fact still remains that Amazon has enough resources to just buy them from other vendors who do. The patch enables MySQL to scale dynamically in the cloud, besides adding other features. 9. EC2, EBS, and RDS: Connecting the dots. 8. 7. 6. 5. 4. 3. 2. This is, of course, available only at an extra cost! 1. Amazon ec2 - How to download an EC2 X.509 certificate with an IAM User account.
Amazon SQS vs. RabbitMQ » NSONO.NET. Heads Up: This post is quite old. Friends don't let friends make business decisions based on four-year-old blog posts. We've been using Amazon SQS where I work for awhile. We have a fairly heavy (though, that's relative: we're a small company) cloud application that makes use of a bunch of the Amazon services (SimpleDB, S3, EC2) and, when we needed a message queue, SQS was just there for us. It was convenient, simple, and reasonably quick to code at. Our application has now grown to a point where 'convenient' doesn't quite cut it anymore. Performance and cost are starting to seriously matter - and SQS is a pretty serious point of pain. Here's the core problem: with Amazon SQS, the message consumer is forced to poll the queue in order to determine whether or not a message is available.
In our use case, we face relatively long periods in which queues are idle (no messages) followed by bursts of activity that are time-critical (well, ok, not critical, but time-sensitive). Pros: Cons: Cloud Database. Architecting Scalable Applications in the Cloud. As an architect in the Professional Services group, I get the opportunity to talk to a lot of RightScale customers. And I enjoy it very much since I get to learn about all their cool new ideas and the technologies and applications they are bringing to the cloud. Over the course of the last several years and hundreds of customer conversations, a few common threads of discussion always come up.
New topics also arise (for example, since the public cloud outages over the last 18 months or so, a lot more discussion has focused around disaster recovery architectures), but there are a few key items that I consistently advise our customers on. This post is the first in a series on these common conversations that revolve around the techniques for building scalable and highly available applications in the cloud.
In customer scoping calls, I like to start at the top of the architecture and work my way down, and I am going to follow that same process in this blog series. Best Practices in Evaluating Elastic Load Balancing : Articles & Tutorials. Abstract To best evaluate Elastic Load Balancing you need to understand its architecture. This article describes the features and unique architecture of the Amazon Web Services (AWS) Elastic Load Balancing service. It provides you with best practices, so that you can avoid common pitfalls when you test and evaluate Elastic Load Balancing.
The intended audience for this whitepaper is developers who have minimal experience using Elastic Load Balancing, but it will be especially relevant if you have used software or hardware load balancers in the past. Overview of Elastic Load Balancing Elastic Load Balancing automatically distributes incoming application traffic across multiple Amazon Elastic Compute Cloud (Amazon EC2) instances. You can build fault tolerant applications by placing your Amazon EC2 instances in multiple Availability Zones.
Elastic Load Balancing also detects the health of EC2 instances. Architecture of the Elastic Load Balancing Service and How It Works DNS Resolution. The “Elastic” in “Elastic Load Balancing”: ELB Elasticity and How to Test it. Update March 2012: Amazon published their own official guide to ELB’s architecture and building and testing applications that use it. The official material is very consistent with the presentation offered here, more than two and a half years prior. Elastic Load Balancing is a long-anticipated AWS feature that aims to ease the deployment of highly-scalable web applications.
Let’s take a look at how it achieves elasticity, based on experience and based on the information available in the AWS forums (mainly this thread). The goal is to understand how to design and test ELB deployments properly. ELB: Two Levels of Elasticity ELB is a distributed system. Why does Amazon use a DNS name? Here is the step-by-step flow of what happens when a client requests a URL served by your application: The client looks in DNS for the resolution of your web server’s name, www.mydomain.com. As you can see, there are two levels of elasticity in the above protocol. How ELB Distributes Traffic How to Test ELB. Netflix가 가지고 있는 기술과 문화. 그 유명한 '블록버스터' 비디어 대여점을 망하게 한 Netflix는 미국에서 VOD와 DVD 우편 대여 서비스를 제공하는 회사로, AWS를 가장 잘 사용하는 모범 사례로 높은 평가를 받고 있다.
그래서 AWS를 운영하거나 하고자 하는 회사들은 참고할만한 좋은 사례가 바로 Netflix이다. 그리고, Netflix는 기술 블로그를 운영중에 있기 때문에 거기에서 좋은 정보를 얻을 수 있기 때문에 자주 방문하는 습관을 가지는 것도 좋다. Netflix는 기술 뿐만 아니라, 기업의 문화에도 신경을 많이 쓰고 있다. 기업이 건강하고 지속성을 유지하기 위해서는 기업 문화도 상당히 중요하다고 생각한다. 그래서 Netflix의 기업 문화도 한번 살펴봤다. 서비스 규모 창업자이자 CEO : 리드 헤이스팅스(Reed Hastings)회원 수 : 2,500만명트래픽 : 피크타임에 미국 인터넷 트래픽의 30%이상을 점유함800개 이상의 디바이스들에 대해 스트리밍을 지원함API 요청 수는 417억 RPM = 약 15,000 RPS(2012.1월 기준) 아키텍처 Netflix는 자체 데이터 센터를 가지고 있었고 그 데이터 센터를 증축을 하느냐 아니면, 외부(클라우드) 환경을 빌려서 사용하느냐의 갈림길에서 어떻게 AWS로 가게 되었는지의 과정을 설명한다. 1.
Web 어플리케이션(Java + Tomcat)의 이중화 구성 : 버그 하나로 전체 시스템 영향 범위.Oracle RAC로 구성된 데이터 베이스 : Scale Out 문제점, 스키마 변경 시 서비스 중지됨.단일 데이터 센터에 입주 : 지역 분산이 안되어 있음.완전한 백업은 없었음. 2. Faster : Netflix 데이터 센터보다 빠른 응답 시간을 가져야 함.Scalable : Netflix 데이터 센터의 용량의 한계에 얽매이지 않음.Available : 여러 데이터 센터에 분산되어 가용성 확보 되어야 함.Productive : 자동화 및 도구를 사용한 민첩한 개발이 가능한 환경이어야 함. 정리해 보면, 사용한 기술 1. 공개한 오픈 소스. Amazon 클라우드 (EC2 등) 에 대한 소개. 아마존 EC2는 아마존 클라우드 서비스의 가장 대표적인 Iaas 서비스 컴포넌트이다. 아마존은 하드웨어 서버를 가상화해 그 하드웨어 자원을 사용자에게 제공하고, 사용자는 그 위에 운영체제와 소프트웨어를 설치해 클라우드 서비스를 이용한다는 개념이다. 아마존 EC2 아마존에서는 사전에 Pre configure 된 운영체제 이미지를 제공해, 사용자로 하여금 원하는 이미지와 소프트웨어를 직접 선택할 수 있게 하거나 또는 사용자가 직접 시스템에 대한 이미지를 AMI(Amazon Machine Image)라는 형태로 올려서 사용할 수 있도록 한다. 아마존에서 제공하는 Pre configure 된 이미지들은 <표 1>과 같다. <표 1> Pre configure 된 이미지 <표 1>에서 보는 것과 같이 자바, 닷넷, Ruby on Rails와 같은 프로그래밍 플랫폼과 오라클, MySQL, DB2와 같은 데이터베이스는 물론이고, Media Server와 같은 스트리밍 서비스와 WebSphere Portal과 같은 애플리케이션 서비스도 제공한다.
기본적으로 아마존 EC2는 하드웨어를 가상화하기 때문에 원하는 운영체제와 원하는 소프트웨어를 대부분 인스톨 할 수 있다. 하지만 가상화된 하드웨어 자원에 대해서만 서비스를 제공하고 그 위에 설치되는 운영체제와 소프트웨어에 대한 서비스는 제공하지 않는다. 따라서 기존 온 프라미스 방식의 운영방식에 비해서 하드웨어 자원을 임대해 쓴다는 점 외에 소프트웨어 비용에 대한 문제와 운영관점 상의 문제가 그대로 남아있어 걸림돌로 작용할 수 있다. 아마존 SDB(Simple DB) 아마존 SDB 서비스는 Key-Value 타입의 데이터를 저장하기 위한 데이터 저장소 서비스다. No-SQL인 카산드라(Cassandra)나 하둡(Hadoop) 기반의 HBase와 유사하게 Key-Value 타입의 데이터를 저장하고, 대용량 데이터의 저장 및 빠른 검색을 지원하며 Value에 들어가는 데이터 형에는 제약이 없다는 점이 특징이다.
아마존 Auto Scaling. Amazon 클라우드 서비스 (AWS)에 대한 소개. Amazon 클라우드 서비스는 상용화되고 성숙된 Iaas 방식의 Public 클라우드 서비스중의 하나이다. 여기서는 Amazon 클라우드 서비스의 각각의 기능에 대해서 간략하게 소개한다. Amazon EC2 Amazon EC2는 Amazon 클라우드 서비스의 가장 대표적인 Iaas 서비스 컴포넌트이다. Amazon은 하드웨어 서버를 가상화 하여, 가상화된 하드웨어 자원을 사용자에게 제공하고, 사용자는 그 위에 OS와 소프트웨어를 설치하여 클라우드 서비스를 사용하는 개념이다. Amazon에서는 Pre configure된 OS 이미지를 제공해서 사용자로 하여금 원하는 이미지와 소프트웨어를 선택할 수 있도록 하고, 또는 AMI (Amazon Machine Image)라는 형태로 사용자가 직접 시스템에 대한 이미지를 올려서 사용할 수 있도록 한다. Amazon에서 제공하는 Pre configure된 이미지들은 다음과 같다. 위의 표에서 보는 것과 같이 Java,.NET,Ruby on Rails와 같은 다양한 프로그래밍 플랫폼과 Oracle, MySQL,DB2 과 같은 다양한 데이터 베이스는 물론이고 Media Server와 같은 Streaming Service와, WebSphere Portal과 같은 애플리케이션 서비스도 제공할 수 있는 구조가 된다. 기본적으로 EC2는 하드웨어를 가상화하기 때문에 원하는 OS와 원하는 소프트웨어를 대부분 Install할 수 있는 장점을 가지고 있기 때문에 플랫폼에 대한 수용력이 높다. Amazon SDB (Simple DB) Simple DB 서비스는 Key-Value 타입의 데이터를 저장하기 위한 데이터 저장소 서비스이다. Amazon SimpleDB의 특징중의 하나는 Geo Replication이 가능하다는 것이다. Amazon S3 (Simple Storage Service) SDB가 Key-Value 페어로된 간단한 형식의 작은 크기의 데이터 저장을 위해 디자인 되었다면 S3는 대용량 Blob 데이터에 대한 저장을 위해서 디자인 되었다.
Blog: What is an ECU? CPU Benchmarking in the Cloud. NOTE: This post has been updated after it's original writing. The original CPU performance metrics did not accurately depict performance on multi-core servers. The updated post utilizes an improved method of calculating CPU performance that applies more weight to multi-core aware benchmarks (see benchmarks description below for more info). Over the past couple of months we've spent some time benchmarking about 150 different cloud server configurations with 20 different vendors. This included all 8 AWS EC2 instances types (m1.small - m2.4xlarge) in all 4 regions (32 servers total for EC2). The benchmark suite we ran includes about 100 different benchmarks from synthetic benchmarks measuring raw CPU performance such as Unixbench and Geekbench to higher level application benchmarks such as mysql-bench, pgbench, tpcc-mysql and blog bench.
Benchmark Setup Benchmark Methodology Example CCU Evaluation Table Example CCU Calculation EC2 Discrepancies Benchmarks Results Amazon EC2 Rackspace Cloud GoGrid. Fast Forward - Provisioned IOPS for EBS Volumes. The I/O ImperativeAs I noted earlier this month, modern web and mobile applications are highly I/O dependent, storing and retrieving lots of data in order to deliver a rich and personalized experience. In order to give you the I/O performance and the flexibility that you need to build these types of applications, we've released several new offerings in the last few months: For seamless, managed, scaling of NoSQL workloads, we recently introduced DynamoDB, an SSD-backed NoSQL database with read and write times measured in single-digit milliseconds, with very modest variance from request to request. DynamoDB makes it easy to scale up from 20 to 200,000 or more reads and writes per second and to scale back down again based on your application's requirements.
The response to DynamoDB has been incredible, and it has become (as Werner noted) our fastest-growing service. We know that you want more options for your I/O intensive applications, and we're happy to oblige. Here You Go What Are IOPS?