서버리스 데이터 분석
AWS 서버리스 데이터 분석 시스템 아키텍쳐#
아래 유튜브 영상을 보고 관심이 생겨 글을 작성하게 되었다.
서버리스 데이터 분석 시스템 구축 | Part 1. 개념 및 워크 플로우
- Sungmin Kim.
- Solutions Architect, AWS
데이터로 어떤 작업을?#
- 네트워크 분석
- 추천
- 머신러닝
- 그 외...
What is Architecting
어떤 문제를 풀기위해서 다양한 방법들이 있을텐데, 다양한 장단점들을 Trade-off 해서 밸런싱하는것이 아키텍팅의 중심이라고 생각할 수 있다.
꼭 어떤 방법론이나 적용법이 가장 좋은 방법이라고 단정지을 순 없다.
데이터#
데이터만 가지고 가치가 있는것이 아니라 데이터를 가지고 원하는 결과 및 인사이트를 내기위하여 과정들이 필요하다.
3+1 Vs of Big Data
과거에 비해서 분석시스템이 만들기가 더 어려워졌을까?
그것은 빅데이터의 4가지 특성#
- 어마어마게 커진
Volume - 생산되는 속도의 차이
Velocity - 데이터의 다양성
Variety - 원하는 가치
Value
이런 복잡성 때문에 현대에 와서는 데이터분석 시스템이 복잡해지고 구축해지기 어려운 점이 있다.
Structured, Unstructred, and Semi-Structured#
데이터의 다양한 모양 및 구조
- Structred Data
- RDB에 잘 정의되있는 데이터
- Unstructred Data
- 동영상, 텍스트 데이터
- Semi-Structured Data
- CSV 데이터, JSON 데이터
Data Temperature Spectrum#
- Hot data
- 빠른 빈도로 데이터 요청
- 응답시간이 빨라야 함
- 데이터의 양은 적음
- In-Memory DB 사용
세션값 요청
- Cold data
- 많은 양의 데이터 요청
- 응답시간은 좀 높아도 괜찮음
연말에 정산되는 데이터
- Warm data
- 상시적으로 사용하는 데이터
- 적당한 응답시간
모든 데이터를 동일한 스토리지, 분석 솔루션으로 처리하기 보다는 목적에 맞는 데이터의 온도에 따라 나누어서 적용하는게 바람직하다.
Simpilfy Big Data Processing#
아주 단순한 과정을 표현하자면
- 데이터 수집
- 데이터 저장
- 분석 및 프로세싱
- 데이터 소비 및 활용
중요한 점#
- 데이터의 처리 속도
- 데이터의 볼륨의 처리 가능량
- 전체적인 프로세스의 비용
Business Intelligence System#
CRM & CDC#
주기적으로 변경되는 데이터 저장
WEB#
쇼핑몰 등에서 클릭하는 데이터등을 저장
IoT#
사물 인터넷의 센서 데이터를 모아서 저장
BI-Architecture#
- 모바일, 데스크탑등의 접근
- Amazon RDS 서비스를 통한 데이터 저장
- QuickSight 서비스를 통한 데이터 시각화
QuickSight#
- 빠른 응답의 BI 서비스
- 세션당 요금이 청구
- 보다 쉽게 적용가능한 머신러닝 적용가능
- 데이터를 시각화해주는 서비스
서버리스 데이터 분석을 통해..#
AWS의 추상화된 서비스를 잘 연계해서 사용하면 보다 복잡하고 여러 기술들을 요구하는 BI 시스템에 대해 보다 쉽게 구축이 가능하다.
아주 간단한 예시외에도 여러 인프라 및 아키텍쳐를 통해 원하는 데이터를 분석하고 보다 미래에 있을 상황 및 수요를 어느정도 정확도 있게 예측하고 대비 가능하지 않을까라고 생각해본다.