[OLAP] Open Source OLAP DBMS

1. DuckDB

• 개요: DuckDB는 가볍고 로컬에서 실행 가능한 OLAP 데이터베이스로, 데스크탑 환경에서 대용량 데이터를 분석하는 데 최적화된 경량 OLAP 엔진입니다. 내장형 데이터베이스로 로컬 파일(CSV, Parquet 등)을 직접 쿼리하는 데 강점을 지니고 있습니다.

특징:

• 컬럼 기반 저장소: 데이터를 컬럼 단위로 저장하여, 대규모 데이터셋에 대해 빠른 분석 쿼리를 실행할 수 있습니다.
• 내장형 DB: 파일 시스템에 저장되지 않고 메모리에서 처리되며, 별도의 서버가 필요 없습니다.
• 다양한 파일 형식 지원: CSV, Parquet, Arrow 등의 파일을 직접 쿼리할 수 있습니다.
• 데스크탑 환경 최적화: 데이터 분석에 최적화된 데스크탑 기반의 OLAP 솔루션.

장점:

• 빠르고 경량화된 쿼리 처리.
• 파이썬, R, Julia 등 여러 언어와 자연스럽게 통합 가능.
• CSV, Parquet 등의 파일을 로드하지 않고도 직접 쿼리 가능.

단점:

• 분산 처리 기능이 없어 대규모 분산 환경에서는 적합하지 않음.
• 서버리스 모델이므로 클러스터 기반의 고가용성 지원 부족.

사용 사례:

• 로컬 환경에서의 데이터 분석.
• CSV, Parquet 파일 기반의 분석 작업.
• 머신러닝 및 데이터 사이언스 작업의 사전 데이터 처리.

2. ClickHouse

• 개요: ClickHouse는 고성능, 분산형 컬럼 기반 OLAP DB로 실시간 데이터 분석과 대규모 데이터 처리에 매우 효율적입니다. 주로 로그 분석, 웹 애플리케이션의 실시간 데이터 처리 등에 사용됩니다.

clickhouse

특징:

• 분산 아키텍처: 수평 확장을 통해 대규모 데이터를 분산 처리할 수 있으며, 여러 노드에서 데이터를 병렬로 처리.
• 컬럼 기반 저장소: 분석 쿼리에 최적화된 컬럼 기반 스토리지 구조를 사용하여 빠른 성능 제공.
• 높은 처리 속도: 수십 억 건의 데이터를 초 단위로 처리할 수 있어 빠른 쿼리 성능을 보장.
• 대규모 데이터 처리: 수십 TB의 데이터까지 확장 가능하며, 주로 로그 분석 및 사용자 행동 데이터 분석에 활용됨.

장점:

• 분산 아키텍처로 인해 뛰어난 확장성과 성능.
• 대규모 데이터를 실시간으로 처리 가능.
• 사용이 간단한 SQL 인터페이스 제공.

단점:

• 복잡한 설정과 운영 요구.
• 복잡한 분산 처리 시 성능 튜닝 필요.
• OLTP 작업에 적합하지 않음(분석에 최적화).

사용 사례:

• 실시간 로그 분석(예: 웹 서버 로그).
• 실시간 사용자 행동 분석.
• 광고 클릭률 및 사용자 트래픽 분석.

<참고자료>

Click House Tutorial

• The UK property prices dataset | ClickHouse Docs

3. Apache Druid

• 개요: Apache Druid는 실시간 데이터 스트리밍 및 대규모 데이터 분석에 특화된 오픈 소스 분산형 OLAP 데이터베이스입니다. Druid는 빠른 질의 응답 시간과 높은 처리량을 제공하며, 로그 분석, 사용자 행동 추적, 대시보드 실시간 분석 등 대규모 실시간 데이터 처리와 분석에 자주 사용됩니다. 특히, 타임 시리즈 데이터를 처리하는 데 강점을 가지고 있습니다.

특징:

1. 실시간 데이터 처리: Druid는 실시간으로 데이터를 수집하고, 거의 실시간으로 쿼리가 가능하도록 데이터를 인덱싱하고 분석할 수 있습니다.
2. 분산형 아키텍처: Druid는 분산형으로 설계되어 있어, 대규모 클러스터에서 데이터 처리를 수행하고, 수평적으로 확장 가능합니다. 이는 대규모 데이터셋을 처리하는 데 매우 유용합니다.
3. 타임 시리즈 데이터 최적화: Druid는 시간 기반의 데이터를 효율적으로 처리할 수 있도록 설계되어 있어, 타임 시리즈 데이터 분석에 매우 적합합니다. 예를 들어, 로그 데이터나 IoT 센서 데이터와 같은 대규모 연속 데이터의 분석에 사용됩니다.
4. 컬럼형 저장소: Druid는 컬럼 기반으로 데이터를 저장하며, 데이터 압축 및 빠른 검색 성능을 제공합니다. 컬럼 기반 저장 덕분에 대규모 데이터에 대한 집계 연산을 빠르게 수행할 수 있습니다.
5. 빠른 질의 성능: Druid는 고성능 질의 엔진을 제공하여 수백 테라바이트 이상의 데이터를 빠르게 쿼리할 수 있으며, 실시간 대시보드 같은 요구 사항에 적합합니다.
6. 고가용성: 여러 노드를 활용해 데이터를 저장하고 처리할 수 있으며, 고가용성과 장애 복구를 지원합니다.
7. ETL 기능: Druid는 ETL(Extract, Transform, Load) 기능을 제공하여 데이터를 효율적으로 처리하고, JSON, CSV, Apache Kafka와 같은 다양한 데이터 소스로부터 데이터를 수집합니다.

아키텍처:

Druid는 분산형 컴포넌트를 기반으로 한 아키텍처를 가지고 있습니다.

• Historical Nodes: 오래된 데이터를 저장하고, 쿼리에 응답하는 노드입니다.
• Middle Manager Nodes: 실시간 데이터 수집, 처리, 인덱싱을 담당합니다.
• Broker Nodes: 사용자로부터 쿼리를 수신하고, 쿼리를 각 노드에 분배한 후 결과를 취합하여 반환합니다.
• Coordinator Nodes: 데이터 배포와 복제를 관리하며, Historical 노드의 메모리 관리를 돕습니다.

장점:

1. 실시간 데이터 처리: Druid는 스트리밍 데이터 분석에 특화되어 있어, 거의 실시간으로 데이터를 처리하고 분석할 수 있습니다.
2. 빠른 쿼리 응답 시간: 대규모 데이터 집합에 대한 빠른 질의 응답 성능을 제공하여, 복잡한 분석도 빠르게 수행할 수 있습니다.
3. 확장성: 수평 확장이 가능하여, 데이터를 저장하는 양이나 처리량이 증가해도 추가적인 노드를 통해 성능을 유지할 수 있습니다.
4. 타임 시리즈 데이터 최적화: 로그나 행동 분석과 같은 시계열 데이터를 처리하는 데 매우 효율적입니다.
5. 풍부한 데이터 소스 지원: Kafka, Kinesis, HDFS, S3, HTTP 등 다양한 데이터 소스와의 통합을 지원합니다.

단점:

1. 복잡한 설정 및 관리: Druid의 분산형 아키텍처는 뛰어난 성능을 제공하지만, 설치와 관리가 복잡할 수 있습니다.
2. OLTP에 부적합: OLAP 분석에 특화된 시스템이기 때문에, 트랜잭션 처리나 빠른 업데이트가 필요한 OLTP(Online Transaction Processing) 환경에는 적합하지 않습니다.
3. 하드웨어 요구 사항: 고성능을 위해서는 상당한 하드웨어 자원이 필요할 수 있습니다.

4. Apache Pinot

• 개요: Apache Pinot는 실시간 데이터 분석에 최적화된 분산형 OLAP(Open-source, Real-time Distributed OLAP) 데이터베이스입니다. 원래 LinkedIn에서 개발되어 실시간 사용자 행동 분석, 애플리케이션 모니터링, 대시보드 생성 등에 사용되었으며, 현재는 다양한 실시간 분석 환경에서 사용되고 있습니다. Apache Kafka와의 통합을 통해 스트리밍 데이터를 실시간으로 처리하고, 매우 낮은 지연 시간으로 데이터를 분석할 수 있습니다.

특징:

1. 실시간 데이터 처리: Pinot는 실시간 스트리밍 데이터를 수집하고, 거의 실시간으로 쿼리할 수 있습니다. Apache Kafka, Apache Pulsar 등과 통합되어 스트리밍 데이터를 지속적으로 분석하는 데 적합합니다.
2. 대용량 데이터 처리: Pinot는 수십억 건 이상의 대규모 데이터를 저장하고 분석할 수 있습니다. 특히 로그 분석, 사용자 이벤트 데이터 처리 등 대규모 데이터 셋에 특화되어 있습니다.
3. 컬럼형 저장소: 데이터는 컬럼 단위로 저장되며, 이로 인해 대규모 데이터를 처리하는데 매우 효율적이고 빠른 분석 쿼리를 지원합니다.
4. 분산형 아키텍처: Pinot는 분산 클러스터에서 실행되며, 수평 확장이 가능하여 대규모 트래픽과 데이터 증가에 유연하게 대응할 수 있습니다.
5. 빠른 쿼리 성능: 대규모 데이터를 빠르게 분석할 수 있으며, 초 단위 이하의 응답 시간을 제공합니다. 대시보드 및 실시간 애플리케이션에서 실시간으로 데이터를 조회하는 데 최적화되어 있습니다.
6. 유연한 데이터 소스 지원: Pinot는 Apache Kafka, HDFS, S3, RDBMS, NoSQL과 같은 다양한 데이터 소스로부터 데이터를 수집할 수 있습니다.

apache Pinot: The real-time analytics open source platform (source : pinot.apache.org)

아키텍처:

Pinot는 크게 Controller, Broker, Server, Minion이라는 주요 컴포넌트로 구성된 분산형 시스템입니다.

• Controller: 데이터 인제스팅(ingestion)과 클러스터 관리, 세그먼트 분배 등을 담당합니다.
• Broker: 쿼리를 수신하고, 여러 서버에 쿼리를 분배하여 병렬로 처리한 후 결과를 반환합니다.
• Server: 실제로 데이터를 저장하고, Broker가 보낸 쿼리를 처리하는 역할을 합니다.
• Minion: 데이터 세그먼트의 재처리나 데이터 압축, 인덱싱과 같은 비동기 작업을 수행합니다.

장점:

1. 실시간 분석: Pinot는 스트리밍 데이터로부터 실시간 분석을 지원하며, 낮은 지연 시간으로 매우 빠르게 쿼리를 실행할 수 있습니다.
2. 고성능: 컬럼 기반 저장 및 인덱싱 덕분에 대규모 데이터셋에서도 높은 쿼리 성능을 유지할 수 있습니다. 복잡한 집계 쿼리도 빠르게 처리합니다.
3. 확장성: 수평 확장이 가능하여, 데이터가 증가해도 클러스터 노드를 추가하여 성능을 유지할 수 있습니다.
4. 다양한 데이터 소스 지원: 스트리밍, 배치 데이터를 모두 지원하며, Kafka, S3, HDFS 등 여러 데이터 소스와의 유연한 통합이 가능합니다.
5. 유연한 쿼리: Pinot는 SQL-like 쿼리 언어를 지원하며, 고급 쿼리 기능을 제공하여 복잡한 데이터 분석에 적합합니다.

단점:

1. 복잡한 설정: 분산형 시스템이기 때문에 클러스터 설정 및 관리가 복잡할 수 있으며, 운영 관리에 대한 추가적인 기술적 역량이 필요합니다.
2. OLTP 지원 부족: Pinot는 실시간 데이터 분석에 특화되어 있지만, 트랜잭션 처리(OLTP) 환경에는 적합하지 않습니다.
3. 메모리와 스토리지 요구 사항: 높은 성능을 유지하기 위해서는 메모리와 스토리지 요구 사항이 높을 수 있습니다.

 

6. Apache Hive

• 개요: Apache Hive는 대규모 데이터 웨어하우스를 구축하기 위한 SQL-like 쿼리 언어인 HiveQL을 제공하는 데이터 웨어하우스 솔루션입니다. Hadoop과 함께 사용되며, 대량의 데이터를 처리하는 데 최적화되어 있습니다.

특징:

1. Hadoop과의 통합: Hadoop 분산 파일 시스템(HDFS)에 저장된 데이터를 쿼리할 수 있습니다.
2. SQL-like 쿼리 언어: HiveQL을 사용하여 친숙한 SQL 문법으로 쿼리 작성이 가능합니다.
3. 대규모 데이터 처리: 병렬 처리를 통해 대량의 데이터를 효율적으로 처리할 수 있습니다.

장점:

• Hadoop 생태계와 잘 통합되어 있어 빅데이터 처리에 적합합니다.
• 복잡한 데이터 분석 작업을 수행할 수 있습니다.

단점:

• 실시간 쿼리에 적합하지 않으며, 주로 배치 처리에 사용됩니다.
• 성능이 다른 OLAP 솔루션에 비해 느릴 수 있습니다.

 

7. TimescaleDB

• 개요: TimescaleDB는 PostgreSQL을 기반으로 한 시계열 데이터베이스입니다. 시계열 데이터의 저장 및 쿼리를 최적화하여 실시간 데이터 분석을 지원합니다.

특징:

1. PostgreSQL 호환성: SQL 표준을 준수하여 사용이 용이합니다.
2. 하이퍼테이블: 대규모 시계열 데이터를 효율적으로 관리할 수 있는 기능을 제공합니다.
3. 강력한 분석 기능: 시계열 데이터에 특화된 분석 기능을 제공합니다.

장점:

• PostgreSQL의 모든 기능을 활용할 수 있습니다.
• 실시간 시계열 데이터 처리에 적합합니다.

단점:

• OLAP 분석에 특화되어 있지는 않으며, 시계열 데이터에 최적화되어 있습니다.

8. Greenplum

• 개요: Greenplum은 PostgreSQL을 기반으로 한 대규모 데이터 분석 플랫폼입니다. MPP(Massively Parallel Processing) 아키텍처를 사용하여 대규모 데이터 집합을 빠르게 분석할 수 있습니다.

특징:

1. 대규모 데이터 처리: MPP 아키텍처 덕분에 대규모 데이터에 대한 병렬 처리를 지원합니다.
2. SQL 지원: PostgreSQL의 SQL 문법을 사용하여 친숙하게 쿼리를 작성할 수 있습니다.
3. 고가용성 및 분산 저장: 데이터를 분산하여 저장하고, 고가용성을 제공합니다.

장점:

• 대규모 데이터에 대한 강력한 분석 성능.
• PostgreSQL과의 호환성으로 인한 높은 사용자 친화성.

단점:

• 설정 및 운영이 복잡할 수 있습니다.
• 높은 하드웨어 요구 사항.

9. MariaDB ColumnStore

• 개요: MariaDB ColumnStore는 MariaDB의 컬럼 기반 데이터베이스 엔진으로, 대규모 데이터 분석 및 OLAP(Online Analytical Processing) 작업을 위해 최적화되어 있습니다. MariaDB의 전통적인 로우 기반 스토리지 엔진과 함께 사용할 수 있으며, 데이터 분석에 필요한 빠른 쿼리 성능을 제공합니다.

특징:

1. 컬럼 기반 저장소: 데이터를 컬럼 단위로 저장하여, 분석 쿼리 시 필요하지 않은 컬럼에 대한 I/O를 줄이고 쿼리 성능을 향상시킵니다.
2. SQL 지원: 표준 SQL을 사용하여 데이터에 접근할 수 있으며, 기존의 MariaDB 사용자에게 친숙한 환경을 제공합니다.
3. 스케일 아웃 아키텍처: 수평적으로 확장 가능한 아키텍처를 지원하여, 데이터의 증가에 따라 클러스터를 쉽게 확장할 수 있습니다.
4. 병렬 처리: 쿼리 성능을 높이기 위해 여러 코어에서 쿼리를 병렬로 처리할 수 있습니다.
5. 하이브리드 스토리지: 로우 기반 스토리지와 컬럼 기반 스토리지를 혼합하여 사용할 수 있어, 다양한 사용 사례에 유연하게 대응합니다.

장점:

1. 빠른 쿼리 성능: 컬럼 기반 저장소 덕분에 대규모 데이터셋에 대한 집계 및 분석 쿼리를 빠르게 수행할 수 있습니다.
2. 효율적인 데이터 압축: 컬럼 단위로 데이터를 압축하여 저장 공간을 절약할 수 있으며, 쿼리 성능 또한 향상됩니다.
3. 확장성: 스케일 아웃 아키텍처 덕분에 클러스터 노드를 추가하여 성능을 유지하면서 데이터를 확장할 수 있습니다.
4. 다양한 데이터 소스 지원: MariaDB의 다른 엔진과 통합되어, 다양한 데이터 소스로부터 데이터를 가져올 수 있습니다.

단점:

1. 복잡한 설정: 초기 설정과 클러스터 관리가 복잡할 수 있으며, 운영에 대한 기술적 역량이 필요할 수 있습니다.
2. 트랜잭션 지원 부족: OLAP에 최적화되어 있기 때문에, OLTP(Online Transaction Processing) 작업에 대한 지원이 부족할 수 있습니다.

아키텍처:

MariaDB ColumnStore는 서버 노드, 프론트엔드 노드, 데이터 노드로 구성된 분산형 아키텍처를 사용합니다.

• 서버 노드: SQL 요청을 처리하고, 사용자와의 인터페이스 역할을 합니다.
• 데이터 노드: 실제 데이터를 저장하고 쿼리를 처리합니다.
• 프론트엔드 노드: 클라이언트와의 연결을 관리하며, 쿼리를 적절한 데이터 노드로 라우팅합니다.

Maria DB - CORE COMPONENTS For Analytics (source : mariadb.com)

10. StarRocks

개요 :

StarRocks는 고성능의 분산형 OLAP 데이터베이스입니다. Apache Doris에서 파생된 이 프로젝트는 실시간 데이터 분석에 최적화되어 있으며, 대규모 데이터 처리와 높은 쿼리 성능을 제공하도록 설계되었습니다. StarRocks는 데이터 웨어하우스와 실시간 분석의 경계를 허물며, 복잡한 비즈니스 요구 사항을 지원합니다.

 

특징:

1. 실시간 분석: StarRocks는 실시간 데이터 처리 및 분석을 지원하며, 짧은 쿼리 응답 시간을 제공합니다.
2. 컬럼형 저장소: 데이터를 컬럼 기반으로 저장하여 쿼리 성능을 극대화하고, 데이터 압축 효율성을 높입니다.
3. MPP 아키텍처: Massively Parallel Processing (MPP) 아키텍처를 사용하여 대량의 데이터를 병렬로 처리할 수 있습니다.
4. SQL 지원: ANSI SQL을 지원하여 사용자가 친숙한 SQL 문법으로 데이터를 쿼리할 수 있습니다.
5. 높은 가용성 및 내결함성: 데이터 복제 및 자동 장애 조치 기능을 통해 시스템의 안정성과 가용성을 보장합니다.

장점:

1. 고속 쿼리 성능: StarRocks는 대규모 데이터에 대해 초고속 쿼리 성능을 제공합니다.
2. 쉬운 확장성: 수평적으로 확장 가능한 구조로, 데이터가 증가함에 따라 노드를 추가할 수 있습니다.
3. 간편한 운영: 설정과 관리가 비교적 간단하여 사용자 친화적인 환경을 제공합니다.
4. 다양한 데이터 소스 지원: 다양한 데이터 소스에서 데이터를 가져오고 통합할 수 있습니다.

단점:

1. 신생 프로젝트: 아직 성숙하지 않은 프로젝트로, 다른 성숙한 OLAP 솔루션에 비해 커뮤니티와 지원이 제한적일 수 있습니다.
2. OLTP 지원 부족: OLAP에 최적화되어 있기 때문에, OLTP 작업에는 적합하지 않습니다.

아키텍처:

StarRocks는 클러스터 기반 아키텍처로, 다음과 같은 주요 구성 요소로 이루어져 있습니다:

• Frontend (FE): 클라이언트와의 인터페이스 역할을 하며, 쿼리 파싱 및 최적화를 담당합니다.
• Backend (BE): 실제 데이터를 저장하고 쿼리를 실행하는 데이터 저장소입니다.
• Meta Store: 데이터베이스 메타 정보를 관리합니다

StarRocks enables a rapid journey from data to insight. ( source : starrock.io )