python 검색 결과
41 개의 검색 결과가 있습니다.
Data Science/Python

[Python] 대용량 데이터 처리 및 분석을 위한 Duck DB

Duck DB + Python 코드를 이용해서 대용량 데이터를 처리하는 방법을 소개합니다.DuckDB란?DuckDB는 임베디드 분석 데이터베이스로, 대규모 데이터 처리를 로컬 환경에서도 빠르고 효율적으로 수행할 수 있도록 설계된 시스템입니다. SQLite와 비슷하게 작동하지만, 주로 데이터 분석 워크로드에 최적화되어 있습니다. 이 시스템은 파이썬, R 등 다양한 언어와 통합되며, OLAP(Online Analytical Processing) 쿼리에 특화되어 있어 데이터 사이언스와 분석에 적합합니다. [DuckDB] what is DuckDB  사전준비1) 테스트용 대용량 데이터 생성다음 코드를 이용하여 테스트용 대용량  CSV을 생성합니다. 이 코드는 실행하면 숫자값만 포함된 컬럼이 100개인 1천만 행..

2024. 10. 12. 20:09
Shell & Command

WSL miniconda 설치 방법

WSL Ubuntu Miniconda 설치 # 1. update ossudo apt update # 2. upgrade ossudo apt upgrade# 3. download Minicondacurl https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -o Miniconda3-latest-Linux-x86_64.sh# 4. install Minicondasudo chmod +x Miniconda3-latest-Linux-x86_64.shbash Miniconda3-latest-Linux-x86_64.sh# 5. export PATH# export PATH=$PATH:(Miniconda가 설치된 path)export PATH=$..

2024. 9. 26. 00:43
Data Science/Python

shell command within python

Here is a basic example of how to use the subprocess module to run an external commandUsing subprocess.runThe subprocess.run function is the recommended approach for most cases because it is simple and powerful.import subprocess# Command to be executedcommand = ["ls", "-l"] # Replace with your command and arguments# Run the commandresult = subprocess.run(command, capture_output=True, text=True)..

2024. 6. 21. 23:42
Data Science

데이터 과학자에서 유용한 도구 5가지

1. MLFlow — 실험 및 모델 추적 MLflow는 ML 실험을 처음부터 끝까지 관리하여 추적 가능성과 재현성을 보장하는 데 도움이 되는 플랫폼이다. 코드, 데이터 및 모델 아티팩트를 저장하기 위한 중앙 집중식 리포지토리와 하이퍼파라미터, 지표 및 출력을 포함한 모든 실험을 기록하는 추적 시스템을 제공한다. site : https://mlflow.org/ 2. Streamlit — 빠르고 예쁜 웹 애플리케이션 Streamlit은 데이터 과학을 위한 가장 인기 있는 프론트엔드 Python 프레임워크이다. Streamlit은 인터랙션 가능한 앱을 빠르고 쉽게 구현할 수 있고, 웹 개발 지식이 없을 수 있는 데이터 과학자 및 기계 학습 엔지니어에게 유용하다. 사이트 : https://streamlit.io..

2024. 2. 23. 01:09
Data Science/Python

[Image Analysis] Completely Black or White Image Detection

Pillow 모듈을 이용하여 완전 검정/완전 흰색 이미지를 탐지하는 기법을 소개한다. 1. Create sample images. from pathlib import Path from PIL import Image # Create directory sample_dir = "./sample" Path(sample_dir).mkdir(exist_ok=True) # Create solid(color) image function def create_solid_image(save_path:str, width=24, height=24, color=(255, 255, 255)): try: new_image = Image.new("RGB", (width, height), color) new_image.save(save..

2023. 7. 27. 02:53
Data Science/Deep Learning

PyTorch : #4 Building Neural Network

Neural networks are a powerful machine learning tool used in a variety of applications such as image recognition, natural language processing, and robotics. PyTorch is a popular deep learning library that provides a flexible and efficient platform for building and training neural networks. In this tutorial, we'll go over the basics of creating a neural network in PyTorch, including defining the ..

2023. 2. 25. 03:06
Data Science/Machine Learning

Gradio Example : Sentiment Analysis

What Does Gradio Do? One of the best ways to share your machine learning model, API, or data science workflow with others is to create an interactive app that allows your users or colleagues to try out the demo in their browsers. Gradio allows you to build demos and share them, all in Python. And usually in just a few lines of code! So let's get started. Install Gradio Package !pip install gradi..

2023. 2. 24. 03:45
Data Science/Deep Learning

PyTorch : #2 Autograd

Autograd is a key feature of PyTorch that enables automatic differentiation of tensors. It is a define-by-run framework, which means that the computation graph is defined on-the-fly as the code runs. This is in contrast to define-and-run frameworks like TensorFlow, which define the computation graph beforehand and then execute it. Automatic Differentiation In machine learning, we often need to c..

2023. 2. 23. 00:00
Data Science/Python

[Python] Transfer Pandas Dataframe to MYSQL database with SSH

in the terminal for local port forwarding: ssh -N -v username@hostname -L3306:127.0.0.1:3306 sqlalchemy for the connection : from sqlalchemy import create_engine engine = create_engine("mysql+pymysql://user:password@127.0.0.1:3306/dbname?charset=utf8" df.to_sql(con=engine, name='dest_table', if_exists='replace')

2023. 2. 22. 23:03
Data Science/Deep Learning

PyTorch : #1 Tensors

Introduce to Tensors in PyTorch Tensors are the basic building blocks of data in PyTorch. They are multi-dimensional arrays, similar to NumPy arrays, but with some additional features that make them especially useful for deep learning applications. In this post, we will cover the basics of tensors, including their creation, manipulation, and some important operations that can be performed on the..

2023. 2. 22. 03:50
반응형
반응형