Data Science/Python 검색 결과
39 개의 검색 결과가 있습니다.
Data Science/Python

[Python] 대용량 데이터 처리 및 분석을 위한 Duck DB

Duck DB + Python 코드를 이용해서 대용량 데이터를 처리하는 방법을 소개합니다.DuckDB란?DuckDB는 임베디드 분석 데이터베이스로, 대규모 데이터 처리를 로컬 환경에서도 빠르고 효율적으로 수행할 수 있도록 설계된 시스템입니다. SQLite와 비슷하게 작동하지만, 주로 데이터 분석 워크로드에 최적화되어 있습니다. 이 시스템은 파이썬, R 등 다양한 언어와 통합되며, OLAP(Online Analytical Processing) 쿼리에 특화되어 있어 데이터 사이언스와 분석에 적합합니다. [DuckDB] what is DuckDB  사전준비1) 테스트용 대용량 데이터 생성다음 코드를 이용하여 테스트용 대용량  CSV을 생성합니다. 이 코드는 실행하면 숫자값만 포함된 컬럼이 100개인 1천만 행..

2024. 10. 12. 20:09
Data Science/Python

shell command within python

Here is a basic example of how to use the subprocess module to run an external commandUsing subprocess.runThe subprocess.run function is the recommended approach for most cases because it is simple and powerful.import subprocess# Command to be executedcommand = ["ls", "-l"] # Replace with your command and arguments# Run the commandresult = subprocess.run(command, capture_output=True, text=True)..

2024. 6. 21. 23:42
Data Science/Python

Pandas의 한계를 극복한 5가지 라이브러리: Dask, Vaex, Modin, Cudf, Polars

개요 Pandas는 데이터 분석의 중요한 도구 중 하나로 널리 사용되지만, 대용량 데이터셋 또는 분산 데이터 처리 작업에는 제한이 있을 수 있습니다. 이 블로그 포스팅에서는 Pandas의 한계를 극복하기 위해 Dask, Vaex, Modin, Cudf, Polars라는 5가지 라이브러리를 소개하고 각각의 기능과 장단점을 살펴보겠습니다. Pandas의 한계 먼저, Pandas가 직면하는 일반적인 한계에 대해 알아봅시다. Pandas는 훌륭한 라이브러리지만, 대용량 데이터셋을 처리할 때 다음과 같은 문제점이 발생할 수 있습니다. 메모리 부족: 대용량 데이터를 메모리에 로드하는 데 한계가 있어 큰 데이터셋을 다루기 어려움. 병렬 처리 부족: Pandas는 주로 단일 스레드에서 동작하므로 멀티코어 CPU를 활용..

2023. 9. 21. 00:50
Data Science/Python

[Image Analysis] Completely Black or White Image Detection

Pillow 모듈을 이용하여 완전 검정/완전 흰색 이미지를 탐지하는 기법을 소개한다. 1. Create sample images. from pathlib import Path from PIL import Image # Create directory sample_dir = "./sample" Path(sample_dir).mkdir(exist_ok=True) # Create solid(color) image function def create_solid_image(save_path:str, width=24, height=24, color=(255, 255, 255)): try: new_image = Image.new("RGB", (width, height), color) new_image.save(save..

2023. 7. 27. 02:53
Data Science/Python

[Python] Transfer Pandas Dataframe to MYSQL database with SSH

in the terminal for local port forwarding: ssh -N -v username@hostname -L3306:127.0.0.1:3306 sqlalchemy for the connection : from sqlalchemy import create_engine engine = create_engine("mysql+pymysql://user:password@127.0.0.1:3306/dbname?charset=utf8" df.to_sql(con=engine, name='dest_table', if_exists='replace')

2023. 2. 22. 23:03
Data Science/Python

[python] Chrome web-driver options : speed up page loading.

from selenium import webdriver from selenium.webdriver.common.keys import Keys from webdriver_manager.chrome import ChromeDriverManager options = webdriver.ChromeOptions() options.add_argument("--disable-extensions") options.add_argument("--disable-gpu") options.add_argument("--disable-infobars") options.add_argument("--disable-notifications") options.add_argument("--disable-popup-blocking") opt..

2023. 1. 31. 02:16
Data Science/Python

[python] Dask Parallel Computing Example

Here is an example of using Dask's Client to set up a distributed cluster and perform a computation in parallel: from dask.distributed import Client # Start a local cluster with 2 worker threads client = Client(n_workers=2) # Define a computation as a normal Python function def my_computation(x): return x * x # Use the client to submit the computation as a task to the cluster results = client.ma..

2023. 1. 28. 23:23
Data Science/Python

[python] About Dask

Dask is a powerful parallel computing library in Python that enables users to harness the full power of their CPU and memory resources. Whether you're working with large datasets, running complex simulations, or building machine learning models, Dask can help you achieve faster and more efficient results. One of the key advantages of Dask is its ability to handle large datasets that don't fit in..

2023. 1. 28. 23:18
Data Science/Python

[Python] How to Async Http Request : 비동기 HTTP 요청 방법

grequest 모듈을 이용하여 비동기 HTTP 요청을 처리하는 방법입니다. grequests.get() 으로 요청 리스트를 생성하고, grequests.map()으로 실제 요청을 실해합니다. import grequests urls= ["http://abc.com/", "http://def.com/", ...,"http://zzz.com/", req_tasks = [grequests.get(url, headers=headers) for url in urls] res_list = grequests.map(req_tasks) for res in res_list: print(res.text) grequest vs. request Code # Import import grequests import request..

2022. 9. 30. 00:19
Data Science/Python

[Python] 디렉토리 및 파일 변경 감시 모듈 : WatchDog

import sys import logging from watchdog.observers import Observer from watchdog.events import LoggingEventHandler if __name__ == "__main__": logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(message)s', datefmt='%Y-%m-%d %H:%M:%S') path = sys.argv[1] if len(sys.argv) > 1 else '.' event_handler = LoggingEventHandler() observer = Observer() observer.schedule(event_handler, path, recu..

2022. 9. 29. 03:50
반응형
반응형