duckdb 검색 결과
3 개의 검색 결과가 있습니다.
Data Science/Python

[Python] 대용량 데이터 처리 및 분석을 위한 Duck DB

Duck DB + Python 코드를 이용해서 대용량 데이터를 처리하는 방법을 소개합니다.DuckDB란?DuckDB는 임베디드 분석 데이터베이스로, 대규모 데이터 처리를 로컬 환경에서도 빠르고 효율적으로 수행할 수 있도록 설계된 시스템입니다. SQLite와 비슷하게 작동하지만, 주로 데이터 분석 워크로드에 최적화되어 있습니다. 이 시스템은 파이썬, R 등 다양한 언어와 통합되며, OLAP(Online Analytical Processing) 쿼리에 특화되어 있어 데이터 사이언스와 분석에 적합합니다. [DuckDB] what is DuckDB  사전준비1) 테스트용 대용량 데이터 생성다음 코드를 이용하여 테스트용 대용량  CSV을 생성합니다. 이 코드는 실행하면 숫자값만 포함된 컬럼이 100개인 1천만 행..

2024. 10. 12. 20:09
Data Science/DB+SQL

[OLAP] Open Source OLAP DBMS

1. DuckDB개요: DuckDB는 가볍고 로컬에서 실행 가능한 OLAP 데이터베이스로, 데스크탑 환경에서 대용량 데이터를 분석하는 데 최적화된 경량 OLAP 엔진입니다. 내장형 데이터베이스로 로컬 파일(CSV, Parquet 등)을 직접 쿼리하는 데 강점을 지니고 있습니다.특징:컬럼 기반 저장소: 데이터를 컬럼 단위로 저장하여, 대규모 데이터셋에 대해 빠른 분석 쿼리를 실행할 수 있습니다.내장형 DB: 파일 시스템에 저장되지 않고 메모리에서 처리되며, 별도의 서버가 필요 없습니다.다양한 파일 형식 지원: CSV, Parquet, Arrow 등의 파일을 직접 쿼리할 수 있습니다.데스크탑 환경 최적화: 데이터 분석에 최적화된 데스크탑 기반의 OLAP 솔루션.장점:빠르고 경량화된 쿼리 처리.파이썬, R, ..

2024. 9. 25. 03:32
Data Science/DB+SQL

[DuckDB] what is DuckDB

DuckDB란?DuckDB는 임베디드 분석 데이터베이스로, 대규모 데이터 처리를 로컬 환경에서도 빠르고 효율적으로 수행할 수 있도록 설계된 시스템입니다. SQLite와 비슷하게 작동하지만, 주로 데이터 분석 워크로드에 최적화되어 있습니다. 이 시스템은 파이썬, R 등 다양한 언어와 통합되며, OLAP(Online Analytical Processing) 쿼리에 특화되어 있어 데이터 사이언스와 분석에 적합합니다.Features컬럼 기반 저장소: 데이터는 컬럼 단위로 저장되어 압축 효율이 높고, 쿼리 성능이 우수합니다.임베디드 DB: DuckDB는 서버를 필요로 하지 않으며, 로컬 환경에서 바로 사용할 수 있는 임베디드 데이터베이스입니다대규모 데이터 처리: 메모리 내 분석을 지원하면서도 디스크 기반의 데이터..

2024. 9. 24. 00:48
반응형
반응형