Data Science/Python
[Python] 대용량 데이터 처리 및 분석을 위한 Duck DB
Duck DB + Python 코드를 이용해서 대용량 데이터를 처리하는 방법을 소개합니다.DuckDB란?DuckDB는 임베디드 분석 데이터베이스로, 대규모 데이터 처리를 로컬 환경에서도 빠르고 효율적으로 수행할 수 있도록 설계된 시스템입니다. SQLite와 비슷하게 작동하지만, 주로 데이터 분석 워크로드에 최적화되어 있습니다. 이 시스템은 파이썬, R 등 다양한 언어와 통합되며, OLAP(Online Analytical Processing) 쿼리에 특화되어 있어 데이터 사이언스와 분석에 적합합니다. [DuckDB] what is DuckDB 사전준비1) 테스트용 대용량 데이터 생성다음 코드를 이용하여 테스트용 대용량 CSV을 생성합니다. 이 코드는 실행하면 숫자값만 포함된 컬럼이 100개인 1천만 행..
2024. 10. 12. 20:09
최근댓글