Skip to main content

서버리스 데이터 분석

AWS 서버리스 데이터 분석 시스템 아키텍쳐#

아래 유튜브 영상을 보고 관심이 생겨 글을 작성하게 되었다.

서버리스 데이터 분석 시스템 구축 | Part 1. 개념 및 워크 플로우

  • Sungmin Kim.
  • Solutions Architect, AWS

데이터로 어떤 작업을?#

  • 네트워크 분석
  • 추천
  • 머신러닝
  • 그 외...

What is Architecting

어떤 문제를 풀기위해서 다양한 방법들이 있을텐데, 다양한 장단점들을 Trade-off 해서 밸런싱하는것이 아키텍팅의 중심이라고 생각할 수 있다.

꼭 어떤 방법론이나 적용법이 가장 좋은 방법이라고 단정지을 순 없다.

데이터#

데이터만 가지고 가치가 있는것이 아니라 데이터를 가지고 원하는 결과 및 인사이트를 내기위하여 과정들이 필요하다.

3+1 Vs of Big Data

과거에 비해서 분석시스템이 만들기가 더 어려워졌을까?

그것은 빅데이터의 4가지 특성#

  • 어마어마게 커진 Volume
  • 생산되는 속도의 차이 Velocity
  • 데이터의 다양성 Variety
  • 원하는 가치 Value

이런 복잡성 때문에 현대에 와서는 데이터분석 시스템이 복잡해지고 구축해지기 어려운 점이 있다.

Structured, Unstructred, and Semi-Structured#

데이터의 다양한 모양 및 구조

Data Structured

  • Structred Data
    • RDB에 잘 정의되있는 데이터
  • Unstructred Data
    • 동영상, 텍스트 데이터
  • Semi-Structured Data
    • CSV 데이터, JSON 데이터

Data Temperature Spectrum#

Data Spectrum

  • Hot data
    • 빠른 빈도로 데이터 요청
    • 응답시간이 빨라야 함
    • 데이터의 양은 적음
    • In-Memory DB 사용

세션값 요청

  • Cold data
    • 많은 양의 데이터 요청
    • 응답시간은 좀 높아도 괜찮음

연말에 정산되는 데이터

  • Warm data
    • 상시적으로 사용하는 데이터
    • 적당한 응답시간

모든 데이터를 동일한 스토리지, 분석 솔루션으로 처리하기 보다는 목적에 맞는 데이터의 온도에 따라 나누어서 적용하는게 바람직하다.

Simpilfy Big Data Processing#

Data Spectrum

아주 단순한 과정을 표현하자면

  1. 데이터 수집
  2. 데이터 저장
  3. 분석 및 프로세싱
  4. 데이터 소비 및 활용

중요한 점#

  • 데이터의 처리 속도
  • 데이터의 볼륨의 처리 가능량
  • 전체적인 프로세스의 비용

Business Intelligence System#

Business Intelligence System

CRM & CDC#

주기적으로 변경되는 데이터 저장

WEB#

쇼핑몰 등에서 클릭하는 데이터등을 저장

IoT#

사물 인터넷의 센서 데이터를 모아서 저장

BI-Architecture#

bi-architecture-system

  • 모바일, 데스크탑등의 접근
  • Amazon RDS 서비스를 통한 데이터 저장
  • QuickSight 서비스를 통한 데이터 시각화

QuickSight#

  • 빠른 응답의 BI 서비스
  • 세션당 요금이 청구
  • 보다 쉽게 적용가능한 머신러닝 적용가능
  • 데이터를 시각화해주는 서비스

aws-quicksight

서버리스 데이터 분석을 통해..#

AWS의 추상화된 서비스를 잘 연계해서 사용하면 보다 복잡하고 여러 기술들을 요구하는 BI 시스템에 대해 보다 쉽게 구축이 가능하다.

아주 간단한 예시외에도 여러 인프라 및 아키텍쳐를 통해 원하는 데이터를 분석하고 보다 미래에 있을 상황 및 수요를 어느정도 정확도 있게 예측하고 대비 가능하지 않을까라고 생각해본다.