Duck DB + Python 코드를 이용해서 대용량 데이터를 처리하는 방법을 소개합니다.DuckDB란?DuckDB는 임베디드 분석 데이터베이스로, 대규모 데이터 처리를 로컬 환경에서도 빠르고 효율적으로 수행할 수 있도록 설계된 시스템입니다. SQLite와 비슷하게 작동하지만, 주로 데이터 분석 워크로드에 최적화되어 있습니다. 이 시스템은 파이썬, R 등 다양한 언어와 통합되며, OLAP(Online Analytical Processing) 쿼리에 특화되어 있어 데이터 사이언스와 분석에 적합합니다. [DuckDB] what is DuckDB 사전준비1) 테스트용 대용량 데이터 생성다음 코드를 이용하여 테스트용 대용량 CSV을 생성합니다. 이 코드는 실행하면 숫자값만 포함된 컬럼이 100개인 1천만 행..
gRPC vs. REST gRPC APIREST API무엇인가요?원격 프로시저 호출(RPC) 클라이언트-서버 통신 모델을 기반으로 API를 만들고 사용하는 시스템입니다. 클라이언트와 서버 간의 정형 데이터 교환을 정의하는 일련의 규칙입니다.설계 접근 방식서비스 지향 설계. 클라이언트는 서버에 서버 리소스에 영향을 줄 수도 있고 아닐 수도 있는 서비스 또는 기능을 수행해 줄 것을 요청합니다.엔터티 지향 설계. 클라이언트에서 서버에 리소스의 생성, 공유 또는 수정을 요청합니다.통신 모델단방향, 단일 서버-다중 클라이언트, 단일 클라이언트-다중 서버, 다중 클라이언트-다중 서버 등 다양한 옵션이 있습니다.단방향. 단일 클라이언트가 단일 서버와 통신합니다.구현작동하려면 클라이언트 측과 서버 측 모두에 gRPC ..
Summary 컬럼 기반 저장소(Column Oriented Store) : 집계/분석에 읽기 특화되어 OLAP에 활용로우 기반 저장소(Row Oriented Store): 등록/수정/삭제에 특화되어 OLTP에 활용 1. 아키텍쳐 컬럼 기반 저장소:데이터를 컬럼 단위로 저장합니다. 각 컬럼은 데이터 타입에 따라 별도의 파일이나 블록에 저장되어, 같은 속성을 가진 데이터가 인접하게 위치합니다.대표적인 컬럼 기반 DBMS : Vertica, Paraccel (Actian Matrix and Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise and Actian Vector), LucidDB, SAP HANA, Googl..
1. 테이블 생성먼저 생성할 데이터를 저장할 테이블을 생성합니다.-- 대상 테이블 생성CREATE TABLE IF NOT EXISTS performance_test ( id BIGINT UNSIGNED AUTO_INCREMENT PRIMARY KEY, name VARCHAR(50), age TINYINT UNSIGNED, city VARCHAR(50), salary INT UNSIGNED, created_at DATETIME);2. 순차 번호 테이블 생성.MariaDB에는 기본적으로 숫자 시퀀스를 생성하는 내장 기능이 없기 때문에, 순차 번호(1~1000만) 테이블을 만들어 사용할 수 있습니다. 다음 스크립트를 사용하여 연속된 숫자를 포함한 테이블을 만듭니다. -- 순차 ..
WSL Ubuntu Miniconda 설치 # 1. update ossudo apt update # 2. upgrade ossudo apt upgrade# 3. download Minicondacurl https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -o Miniconda3-latest-Linux-x86_64.sh# 4. install Minicondasudo chmod +x Miniconda3-latest-Linux-x86_64.shbash Miniconda3-latest-Linux-x86_64.sh# 5. export PATH# export PATH=$PATH:(Miniconda가 설치된 path)export PATH=$..
1. DuckDB개요: DuckDB는 가볍고 로컬에서 실행 가능한 OLAP 데이터베이스로, 데스크탑 환경에서 대용량 데이터를 분석하는 데 최적화된 경량 OLAP 엔진입니다. 내장형 데이터베이스로 로컬 파일(CSV, Parquet 등)을 직접 쿼리하는 데 강점을 지니고 있습니다.특징:컬럼 기반 저장소: 데이터를 컬럼 단위로 저장하여, 대규모 데이터셋에 대해 빠른 분석 쿼리를 실행할 수 있습니다.내장형 DB: 파일 시스템에 저장되지 않고 메모리에서 처리되며, 별도의 서버가 필요 없습니다.다양한 파일 형식 지원: CSV, Parquet, Arrow 등의 파일을 직접 쿼리할 수 있습니다.데스크탑 환경 최적화: 데이터 분석에 최적화된 데스크탑 기반의 OLAP 솔루션.장점:빠르고 경량화된 쿼리 처리.파이썬, R, ..
2024.09.24 - [Data Science/DB+SQL] - [DuckDB] what is duckDBInstall duckdb`duckdb cli` window Installation# wiuget installation winget install DuckDB.cli# duckdb cli 실행duckdb `duckdb cli` Linux Installation# DuckDB 최신 릴리스 다운로드 (v1.1.0 설치 예시)wget https://github.com/duckdb/duckdb/releases/download/v1.1.0/duckdb_cli-linux-amd64.zip# 압축 해제unzip duckdb_cli-linux-amd64.zip# 실행 파일을 /usr/local/bin으로 이동하..
DuckDB란?DuckDB는 임베디드 분석 데이터베이스로, 대규모 데이터 처리를 로컬 환경에서도 빠르고 효율적으로 수행할 수 있도록 설계된 시스템입니다. SQLite와 비슷하게 작동하지만, 주로 데이터 분석 워크로드에 최적화되어 있습니다. 이 시스템은 파이썬, R 등 다양한 언어와 통합되며, OLAP(Online Analytical Processing) 쿼리에 특화되어 있어 데이터 사이언스와 분석에 적합합니다.Features컬럼 기반 저장소: 데이터는 컬럼 단위로 저장되어 압축 효율이 높고, 쿼리 성능이 우수합니다.임베디드 DB: DuckDB는 서버를 필요로 하지 않으며, 로컬 환경에서 바로 사용할 수 있는 임베디드 데이터베이스입니다대규모 데이터 처리: 메모리 내 분석을 지원하면서도 디스크 기반의 데이터..
Isolation Level(격리 수준)은 데이터베이스에서 트랜잭션들이 서로 간섭하지 않도록 하는 방법을 정의하는 중요한 개념입니다. 트랜잭션이 동시에 수행될 때 발생할 수 있는 문제(예: 일관성 깨짐)를 방지하기 위해, 트랜잭션 간의 격리 수준을 설정해 데이터를 보호할 수 있습니다.격리 수준은 트랜잭션 간에 얼마나 많은 영향을 허용할지를 결정하며, 각 격리 수준은 서로 다른 수준의 일관성과 성능 사이에서 균형을 맞추는 방식입니다.트랜잭션 동시성 문제Isolation Level은 다음과 같은 동시성 문제를 해결하기 위해 존재합니다:Dirty Read: 한 트랜잭션이 아직 커밋되지 않은 다른 트랜잭션의 데이터를 읽는 경우.Non-repeatable Read: 한 트랜잭션 내에서 같은 데이터를 두 번 읽었을..
Data Consistency와 Data Integrity는 서로 관련이 있지만 약간 다른 개념입니다.Data Consistency정의: 데이터 일관성은 데이터의 상태가 항상 일관되게 유지되는 것을 의미합니다. 즉, 데이터베이스 내의 데이터가 서로 모순되지 않고, 같은 의미를 지니고 있어야 합니다.예시: 예를 들어, 같은 유저의 정보를 두 개의 다른 테이블에 저장할 때, 이름이나 주소가 변경되면 두 개의 테이블에서 같은 값으로 변경되어야 합니다. 만약 한 테이블에서는 업데이트되었지만 다른 테이블은 그렇지 않다면, "데이터 일관성이 깨졌다"라고 합니다.메카니즘 Isolation Level : read committed, read uncommitted, repeatable read, serializable ..
최근댓글