background preloader

빅데이터 동향

Facebook Twitter

NoSQL Data Modeling Techniques | Highly Scalable Blog. NoSQL databases are often compared by various non-functional criteria, such as scalability, performance, and consistency. This aspect of NoSQL is well-studied both in practice and theory because specific non-functional properties are often the main justification for NoSQL usage and fundamental results on distributed systems like the CAP theorem apply well to NoSQL systems.

At the same time, NoSQL data modeling is not so well studied and lacks the systematic theory found in relational databases. In this article I provide a short comparison of NoSQL system families from the data modeling point of view and digest several common modeling techniques. I would like to thank Daniel Kirkdorffer who reviewed the article and cleaned up the grammar. To explore data modeling techniques, we have to start with a more or less systematic view of NoSQL data models that preferably reveals trends and interconnections. Key-Value storage is a very simplistic, but very powerful model.

Conceptual Techniques. "ECONOMIST!" Oreilly.Analyzing.the.Analyzers.Jun.2013. 국비닷컴이 알려주는 알찬 국비지원무료교육정보 : 네이버 블로그. Jaso extends j2ee :: 빅데이터와 한국 시장. 빅데이터 대한 많은 이야기가 나오고 있습니다. 다양한 회사들이 빅데이터를 외치고 있습니다. 빅데이터 시장에 어떤 회사들이 있는지 정리해 보았습니다.개인적인 의견이며 글에 많은 오류가 있을 수 있음을 인정합니다. 댓글로 남겨주세요. 흔히 시장을 분석할때 Value Chain을 그립니다. 그림1. [그림 수정 되었습니다]- 데이터 생산자전통적인 데이터 분석 시장에서 데이터 생산자는 기업 자기 자신이었습니다. . - 데이터 소비자 기업 내부 데이터의 경우 분석 결과에 대한 소비자 역시 기업 자신이 됩니다. . - 데이터 가공 솔루션(장비 등) 제공자기업 시장에서는 오라클, IBM, HP, 테라데이터 등과 같은 BI/DW 솔루션 공급자가 이 역할을 주로 수행했으며 공개된 데이터에 분석 솔루션은 뚜렷한 솔루션이 없고 자체 개발을 하거나 국내 검색 솔루션 제공 업체가 이 역할을 수행하고 있습니다. 다음은 국내 시장에서 빅데이터에 관심을 보이거나 빅데이터 시장으로 진입을 하려는 업체들을 부분해 보았습니다. - 포털포털의 주 서비스이면서 수익원인 검색은 이미 과거부터 빅데이터였습니다.

. - 디바이스 생산 회사삼성전자, LG전자의 경우 과거에는 하드웨어를 만들어서 공급하는 것이 시장에서의 역할이었기 때문에 데이터를 다루는 것은 기업 내부 시스템의 데이터 위주 였습니다. . - 외산 벤더빅데이터라는 용어가 작년 초반을 거쳐 하반기에 폭풍같이 이슈화 되면서 가장 발빠르게 움직이고 있습니다. . - 국내 벤더국내 소프트웨어를 개발하고 배포하는 회사 자체가 별로 없다 보니 빅데이터 관련해서 뚜렷한 솔루션 벤더는 없는 상황입니다. - SI 사업자국내 SI 사업자는 두가지로 관점에서 빅데이터를 바라보고 있는 것 같습니다. . - 기존 국내 검색/분석 업체 다음소프트, 솔트룩스, 다이퀘스트 등과 같은 기존 국내 검색/분석 업체로 국내 업체로 가장 활발하게 빅데이터를 이용하여 시장에 참여하려는 시도를 하고 있습니다. . . - 정부최근 가장 활발하게 빅데이터 대한 토론이나 정책을 수립하고 있습니다. 그림2. 빅데이터 세계로의 입문. 한빛미디어 네트워크에 올라온 ‘빅 데이터(big data)란 무엇인가? 빅 데이터 세계로의 입문’이란 글을 공유합니다. 빅 데이터는 전통적인 데이터베이스 시스템 처리 용량을 넘어서는 데이터다. 빅 데이터는 아주 크고, 매우 빨리 변하며, 기존 데이터베이스 아키텍처의 구조에 맞지 않는다. 이 데이터에서 가치를 얻으려면, 그것을 처리할 다른 방법을 택해야 한다. 2012년 인기 있는 IT 유행어(buzzword)인 빅 데이터는 가능한 것(viable)이 되었는데, 이는 비용 대비 효율 높은 접근 방법이 나타나 대량 데이터의 부피, 속도, 그리고 가변성을 잘 다루었기 때문이다. 한 기관에 빅 데이터의 가치는 분석적 사용과 신제품 조력(enabling)의 두 범주로 나뉜다.

지난 10년간 성공한 웹 스타트업은 빅 데이터를 새로운 제품과 서비스를 가능하게 한 도구로써 이용한 주요한 예다. 산업에서 빅 데이터가 떠오르는 것은 필연적 상대(counterpart)를 가져온다. 빅 데이터는 어떻게 생겼는가? “클라우드”가 다양한 기술을 포함한 용어인 것처럼, 포괄적 용어 “빅 데이터”는 아주 모호할 수 있다. 문제를 명확히 하기 위해, 부피(volume), 속도(velocity), 가변성(variability), V로 시작하는 세 가지가 빅 데이터의 각각 다른 면을 특징짓는데 흔히 사용된다. 부피(Volume) 많은 양의 정보를 처리하는 능력에서 얻는 이익이 빅 데이터 분석의 주요 매력이다. 부피는 전통적 IT 구조에 가장 직접적 도전이다. 데이터 부피가 전통적 관계형 데이터베이스 인프라가 다룰 수 있는 것보다 크다면, 처리 옵션은 크게 Greenplum 같은 데이터웨어하우스(data warehouse) 혹은 데이터베이스의 대량 병렬 처리 아키텍처와 아파치 하둡 기반의 솔루션으로 나뉜다. 하둡의 핵심은 다수 서버에 걸친 분산 컴퓨팅 문제를 위한 플랫폼이라는 점이다. HDFS에 데이터를 로드MapReduce 작업, 그리고HDFS에서 결과 추출 속도(Velocity) 왜 그럴까? D.J. [국내] 민간기업의 빅데이터 활용 현황.

[슬라이드] 도커의 탄생 배경, 기초, 설치, 기본 사용법 | 마이크로소프트웨어 — IT 전문 미디어.