티스토리

Dev. DA

검색하기

블로그 홈

Dev. DA

dadev.tistory.com/m

Deep Learning, Python, Database, SQL : Tip & Research

구독자: 4

방명록 방문하기

주요 글 목록

[Python] 대용량 데이터 처리 및 분석을 위한 Duck DB Duck DB + Python 코드를 이용해서 대용량 데이터를 처리하는 방법을 소개합니다.DuckDB란?DuckDB는 임베디드 분석 데이터베이스로, 대규모 데이터 처리를 로컬 환경에서도 빠르고 효율적으로 수행할 수 있도록 설계된 시스템입니다. SQLite와 비슷하게 작동하지만, 주로 데이터 분석 워크로드에 최적화되어 있습니다. 이 시스템은 파이썬, R 등 다양한 언어와 통합되며, OLAP(Online Analytical Processing) 쿼리에 특화되어 있어 데이터 사이언스와 분석에 적합합니다. [DuckDB] what is DuckDB 사전준비1) 테스트용 대용량 데이터 생성다음 코드를 이용하여 테스트용 대용량 CSV을 생성합니다. 이 코드는 실행하면 숫자값만 포함된 컬럼이 100개인 1천만 행.. 공감수 9 댓글수 3 2024. 10. 12.
[DBMS] 컬럼 기반(Column-oriented) vs. 로우 기반 (Row-oriented) Summary 컬럼 기반 저장소(Column Oriented Store) : 집계/분석에 읽기 특화되어 OLAP에 활용로우 기반 저장소(Row Oriented Store): 등록/수정/삭제에 특화되어 OLTP에 활용 1. 아키텍쳐 컬럼 기반 저장소:데이터를 컬럼 단위로 저장합니다. 각 컬럼은 데이터 타입에 따라 별도의 파일이나 블록에 저장되어, 같은 속성을 가진 데이터가 인접하게 위치합니다.대표적인 컬럼 기반 DBMS : Vertica, Paraccel (Actian Matrix and Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise and Actian Vector), LucidDB, SAP HANA, Googl.. 공감수 0 댓글수 0 2024. 9. 26.
[MySQL] 대량의 테스트 데이터 생성 SQL 1. 테이블 생성먼저 생성할 데이터를 저장할 테이블을 생성합니다.-- 대상 테이블 생성CREATE TABLE IF NOT EXISTS performance_test ( id BIGINT UNSIGNED AUTO_INCREMENT PRIMARY KEY, name VARCHAR(50), age TINYINT UNSIGNED, city VARCHAR(50), salary INT UNSIGNED, created_at DATETIME);2. 순차 번호 테이블 생성.MariaDB에는 기본적으로 숫자 시퀀스를 생성하는 내장 기능이 없기 때문에, 순차 번호(1~1000만) 테이블을 만들어 사용할 수 있습니다. 다음 스크립트를 사용하여 연속된 숫자를 포함한 테이블을 만듭니다. -- 순차 .. 공감수 0 댓글수 0 2024. 9. 26.
[OLAP] Open Source OLAP DBMS 1. DuckDB개요: DuckDB는 가볍고 로컬에서 실행 가능한 OLAP 데이터베이스로, 데스크탑 환경에서 대용량 데이터를 분석하는 데 최적화된 경량 OLAP 엔진입니다. 내장형 데이터베이스로 로컬 파일(CSV, Parquet 등)을 직접 쿼리하는 데 강점을 지니고 있습니다.특징:컬럼 기반 저장소: 데이터를 컬럼 단위로 저장하여, 대규모 데이터셋에 대해 빠른 분석 쿼리를 실행할 수 있습니다.내장형 DB: 파일 시스템에 저장되지 않고 메모리에서 처리되며, 별도의 서버가 필요 없습니다.다양한 파일 형식 지원: CSV, Parquet, Arrow 등의 파일을 직접 쿼리할 수 있습니다.데스크탑 환경 최적화: 데이터 분석에 최적화된 데스크탑 기반의 OLAP 솔루션.장점:빠르고 경량화된 쿼리 처리.파이썬, R, .. 공감수 2 댓글수 0 2024. 9. 25.
[DuckDB] DuckDB Installation 2024.09.24 - [Data Science/DB+SQL] - [DuckDB] what is duckDBInstall duckdb`duckdb cli` window Installation# wiuget installation winget install DuckDB.cli# duckdb cli 실행duckdb `duckdb cli` Linux Installation# DuckDB 최신 릴리스 다운로드 (v1.1.0 설치 예시)wget https://github.com/duckdb/duckdb/releases/download/v1.1.0/duckdb_cli-linux-amd64.zip# 압축 해제unzip duckdb_cli-linux-amd64.zip# 실행 파일을 /usr/local/bin으로 이동하.. 공감수 0 댓글수 0 2024. 9. 24.
[DuckDB] what is DuckDB DuckDB란?DuckDB는 임베디드 분석 데이터베이스로, 대규모 데이터 처리를 로컬 환경에서도 빠르고 효율적으로 수행할 수 있도록 설계된 시스템입니다. SQLite와 비슷하게 작동하지만, 주로 데이터 분석 워크로드에 최적화되어 있습니다. 이 시스템은 파이썬, R 등 다양한 언어와 통합되며, OLAP(Online Analytical Processing) 쿼리에 특화되어 있어 데이터 사이언스와 분석에 적합합니다.Features컬럼 기반 저장소: 데이터는 컬럼 단위로 저장되어 압축 효율이 높고, 쿼리 성능이 우수합니다.임베디드 DB: DuckDB는 서버를 필요로 하지 않으며, 로컬 환경에서 바로 사용할 수 있는 임베디드 데이터베이스입니다대규모 데이터 처리: 메모리 내 분석을 지원하면서도 디스크 기반의 데이터.. 공감수 0 댓글수 0 2024. 9. 24.
[DBMS] Isolation Level Isolation Level(격리 수준)은 데이터베이스에서 트랜잭션들이 서로 간섭하지 않도록 하는 방법을 정의하는 중요한 개념입니다. 트랜잭션이 동시에 수행될 때 발생할 수 있는 문제(예: 일관성 깨짐)를 방지하기 위해, 트랜잭션 간의 격리 수준을 설정해 데이터를 보호할 수 있습니다.격리 수준은 트랜잭션 간에 얼마나 많은 영향을 허용할지를 결정하며, 각 격리 수준은 서로 다른 수준의 일관성과 성능 사이에서 균형을 맞추는 방식입니다.트랜잭션 동시성 문제Isolation Level은 다음과 같은 동시성 문제를 해결하기 위해 존재합니다:Dirty Read: 한 트랜잭션이 아직 커밋되지 않은 다른 트랜잭션의 데이터를 읽는 경우.Non-repeatable Read: 한 트랜잭션 내에서 같은 데이터를 두 번 읽었을.. 공감수 0 댓글수 0 2024. 9. 21.
[DBMS] Data Consistency 와 Data Integrity 차이 Data Consistency와 Data Integrity는 서로 관련이 있지만 약간 다른 개념입니다.Data Consistency정의: 데이터 일관성은 데이터의 상태가 항상 일관되게 유지되는 것을 의미합니다. 즉, 데이터베이스 내의 데이터가 서로 모순되지 않고, 같은 의미를 지니고 있어야 합니다.예시: 예를 들어, 같은 유저의 정보를 두 개의 다른 테이블에 저장할 때, 이름이나 주소가 변경되면 두 개의 테이블에서 같은 값으로 변경되어야 합니다. 만약 한 테이블에서는 업데이트되었지만 다른 테이블은 그렇지 않다면, "데이터 일관성이 깨졌다"라고 합니다.메카니즘 Isolation Level : read committed, read uncommitted, repeatable read, serializable .. 공감수 0 댓글수 0 2024. 9. 21.
shell command within python Here is a basic example of how to use the subprocess module to run an external commandUsing subprocess.runThe subprocess.run function is the recommended approach for most cases because it is simple and powerful.import subprocess# Command to be executedcommand = ["ls", "-l"] # Replace with your command and arguments# Run the commandresult = subprocess.run(command, capture_output=True, text=True).. 공감수 0 댓글수 0 2024. 6. 21.
[mysql] Temporary Tablespace 관리 개요압축되지 않고 사용자가 생성한 임시 테이블과 디스크에 생성되는 내부적인 임시 테이블들이 shared temporary tablespace 에 생성된다. innodb_temp_data_file_path 옵션으로 상대 경로, 이름, 사이즈, 데이터파일의 속성을 설정할 수 있다. 아무것도 설정하지 않으면 기본적으로 innodb_data_home_dir 경로에 ibtmp1:12M:authextend 속성으로 생성된다.mysql> SELECT @@innodb_temp_data_file_path;+------------------------------+| @@innodb_temp_data_file_path |+------------------------------+| ibtmp1:12M:autoextend .. 공감수 0 댓글수 0 2024. 4. 26.
[text classification] fasttext example 설치pip 로 릴리즈된 최신 버전 설치하기pip install fasttext git repository에서 개발중인 최신 버전 설치하기git clone https://github.com/facebookresearch/fastText.gitcd fastTextsudo python setup.py install 텍스트 분류 및 단어 벡터화를 수행하는 예제먼저 FastText의 Python API를 사용하여 텍스트 분류 모델을 학습하고 저장한다. 그런 다음 저장된 모델을 로드하여 테스트 데이터에 대해 예측을 수행합니다. 마지막으로 단어 벡터화 기능을 사용하여 주어진 텍스트의 단어 벡터를 얻는다.import fasttext# 텍스트 분류 모델 학습 예제def train_text_classification_m.. 공감수 0 댓글수 0 2024. 4. 24.
데이터 과학자에서 유용한 도구 5가지 1. MLFlow — 실험 및 모델 추적 MLflow는 ML 실험을 처음부터 끝까지 관리하여 추적 가능성과 재현성을 보장하는 데 도움이 되는 플랫폼이다. 코드, 데이터 및 모델 아티팩트를 저장하기 위한 중앙 집중식 리포지토리와 하이퍼파라미터, 지표 및 출력을 포함한 모든 실험을 기록하는 추적 시스템을 제공한다. site : https://mlflow.org/ 2. Streamlit — 빠르고 예쁜 웹 애플리케이션 Streamlit은 데이터 과학을 위한 가장 인기 있는 프론트엔드 Python 프레임워크이다. Streamlit은 인터랙션 가능한 앱을 빠르고 쉽게 구현할 수 있고, 웹 개발 지식이 없을 수 있는 데이터 과학자 및 기계 학습 엔지니어에게 유용하다. 사이트 : https://streamlit.io.. 공감수 0 댓글수 0 2024. 2. 23.
Pandas의 한계를 극복한 5가지 라이브러리: Dask, Vaex, Modin, Cudf, Polars 개요 Pandas는 데이터 분석의 중요한 도구 중 하나로 널리 사용되지만, 대용량 데이터셋 또는 분산 데이터 처리 작업에는 제한이 있을 수 있습니다. 이 블로그 포스팅에서는 Pandas의 한계를 극복하기 위해 Dask, Vaex, Modin, Cudf, Polars라는 5가지 라이브러리를 소개하고 각각의 기능과 장단점을 살펴보겠습니다. Pandas의 한계 먼저, Pandas가 직면하는 일반적인 한계에 대해 알아봅시다. Pandas는 훌륭한 라이브러리지만, 대용량 데이터셋을 처리할 때 다음과 같은 문제점이 발생할 수 있습니다. 메모리 부족: 대용량 데이터를 메모리에 로드하는 데 한계가 있어 큰 데이터셋을 다루기 어려움. 병렬 처리 부족: Pandas는 주로 단일 스레드에서 동작하므로 멀티코어 CPU를 활용.. 공감수 0 댓글수 0 2023. 9. 21.
The Best Data Pipeline Solution List 솔루션 1: Apache Airflow주요 피처: Apache Airflow는 오픈 소스 워크플로우 자동화 도구로, DAGs (Directed Acyclic Graphs)를 사용하여 작업의 스케줄링 및 관리를 가능하게 합니다. 다양한 플러그인과 확장성이 뛰어나며, 다양한 데이터 소스와 연동 가능합니다.장점: Airflow는 커뮤니티 지원이 강하며, 확장 가능하며 유연한 스케줄링 옵션을 제공합니다.단점: 초기 설정이 다소 복잡하고, 학습 곡선이 존재합니다.웹사이트: Apache Airflow 공식 웹사이트 HomePlatform created by the community to programmatically author, schedule and monitor workflows.airflow.apache.o.. 공감수 0 댓글수 0 2023. 9. 21.
[mysql] SQL split string to multiple rows 다음과 같은 문자열 데이터를 아래와 같이 멀티행으로 변환하는 방법에 대해서 알아본다. document ---------------- 'a,b,c' word --------- a b c SELECT j.* FROM(SELECT 'a,b,c' AS doc) AS docs JOIN JSON_TABLE( docs.doc, '$[*]' COLUMNS (word VARCHAR(50) PATH '$') ) AS j ; 예제1) -- 원본 문서 WITH cte_doc AS ( SELECT 1 as id , '심층 학습(深層學習) 또는 딥 러닝(영어: deep structured learning, deep learning 또는 hierarchical learning)은 여러 ''비선형 변환기법''의 조합을 통해 높은 수.. 공감수 0 댓글수 0 2023. 9. 20.
Complete RUST Cheat Sheet for Beginner Getting StartedInstall Rust for windows1) Visual Studio 2022 설치 [include]Desktop Development with C++ The Windows 10 or 11 SDKThe English language pack component, along with any other language pack of your choosing2) Rust 설치3) 설치결과 확인$ rustc --versionrustc 1.71.1 (eb26296b5 2023-08-03)# Check C:\Users\*****\.cargo\bin$ ehco %path%Create New Project #create 'helloworld' project $ cargo new hel.. 공감수 0 댓글수 0 2023. 8. 10.
[Image Analysis] Completely Black or White Image Detection Pillow 모듈을 이용하여 완전 검정/완전 흰색 이미지를 탐지하는 기법을 소개한다. 1. Create sample images. from pathlib import Path from PIL import Image # Create directory sample_dir = "./sample" Path(sample_dir).mkdir(exist_ok=True) # Create solid(color) image function def create_solid_image(save_path:str, width=24, height=24, color=(255, 255, 255)): try: new_image = Image.new("RGB", (width, height), color) new_image.save(save.. 공감수 0 댓글수 0 2023. 7. 27.
PyTorch : NLP Part 1 | Getting Started with Natural Language Processing using PyTorch Introduction: Natural Language Processing (NLP) is a field of Artificial Intelligence (AI) that deals with the interaction between humans and computers using natural language. NLP is used to enable computers to understand, interpret, and manipulate human language. In this blog post, we will learn how to use PyTorch, a popular deep learning library, to build NLP models. We will start with a brief.. 공감수 0 댓글수 0 2023. 3. 17.
PyTorch : #5 Mastering Transfer Learning with PyTorch: A Comprehensive Guide Deep learning models have achieved impressive performance on various tasks such as image classification, object detection, and natural language processing. However, these models require a large amount of data and computational resources to train, making it challenging for individuals and organizations with limited resources to build these models from scratch. Transfer learning offers a solution .. 공감수 0 댓글수 0 2023. 3. 15.
[Intro to Deep Learning] Dropout and Batch Normalization Summary * 신경망의 최적화 보조 수단인 두가지를 레이어에 대해서 알아본다. * 첫번째는 과적합(Overfitting) 완화하는 Dropout * 두번째는 불안정(Unstable)하거나 느린(Slow) 학습을 보완하는 Batch Normalization Dropout 신경망 학습 과정에서 가짜 패턴(또는 불필요한 정보) 때문에 과적합(Overfitting)이 발생한다. 이는 훈련 데이터의 패턴이 너무 구체적이기 때문에 취약한 경우가 있다. 과적합(Overfitting)을 완화하기 것이 Dropout 이다. Dropout은 훈련 단계마다 Layer의 입력 단위 중 일부를 무작위로 삭제한다. 신경망이 훈련 데이터에서 가짜 패턴을 학습하는 것이 어려워진다. 대신, Weight 패턴은 더 강한 경향성을 지.. 공감수 0 댓글수 2 2023. 3. 13.
[NLP] 자연어 작업 종류 자연어 태스크 텍스트 분류는 텍스트 조각을 미리 정의된 여러 클래스 중 하나로 분류할 때 사용합니다. 대표적인 예는 이메일 스팸 검색, 뉴스 분류, 지원 요청을 특정 범주에 할당하는 작업입니다. 의도 분류 는 대화형 AI 시스템의 입력 발언을 문구의 실제 의미 또는 사용자의 의도를 나타내는 의도 중 하나에 매핑하는 텍스트 분류의 대표적인 사례입니다. 감정 분석은 회귀 작업으로, 지정된 텍스트의 부정성 정도를 이해하는 작업입니다. 데이터 세트의 텍스트에 가장 부정적인 텍스트(-1)에서 가장 긍정적인 텍스트(+1)를 레이블로 지정하고, 텍스트의 여러 "긍정성"을 출력하는 모델을 훈련하려 합니다. 명명된 엔터티 인식(NER)은 날짜, 주소, 사람 이름 등과 같은 텍스트에서 일부 엔터티를 추출하는 작업입니다. .. 공감수 0 댓글수 0 2023. 3. 4.
[mysql] SQL 최적화 : slow query log 설정하기 sql 최적화 또는 mysql 최적화를 위해서 slow query(=heavy query)를 찾아서 수정하는 것이 가장 효과적이고 일반적인 대응입니다. 이 포스팅은 mysql 에서 slow query를 로그를 수집하기 위한 설정을 설명합니다. Slow Query Log 설정 MySQL Version 5.1.6 이상을 기준으로 설명합니다. slow_query_log 활성화 Slow Query Log 옵션을 활성화합니다. ON으로 설정할 경우 활성화되고, 로그 출력 대상은 log_output시스템 변수에 의해 제어됩니다. 여기서는 slow_query_log_file 통해서 설정합니다. set global slow_query_log = 'ON'; log_queries_not_using_indexes 활성화 S.. 공감수 0 댓글수 0 2023. 3. 3.
PyTorch : #4 Building Neural Network Neural networks are a powerful machine learning tool used in a variety of applications such as image recognition, natural language processing, and robotics. PyTorch is a popular deep learning library that provides a flexible and efficient platform for building and training neural networks. In this tutorial, we'll go over the basics of creating a neural network in PyTorch, including defining the .. 공감수 0 댓글수 0 2023. 2. 25.
PyTorch : #3 DataSet and DataLoader Deep learning models require large amounts of data for training, and organizing this data can be a complex task. PyTorch provides the DataSet and DataLoader classes to help with this task. In this blog post, we will go over how to use these classes to build custom datasets and dataloaders for deep learning models. DataSet The DataSet class is a PyTorch class that represents a dataset. It provide.. 공감수 0 댓글수 0 2023. 2. 25.
Gradio Example : Sentiment Analysis What Does Gradio Do? One of the best ways to share your machine learning model, API, or data science workflow with others is to create an interactive app that allows your users or colleagues to try out the demo in their browsers. Gradio allows you to build demos and share them, all in Python. And usually in just a few lines of code! So let's get started. Install Gradio Package !pip install gradi.. 공감수 0 댓글수 0 2023. 2. 24.
PyTorch : #2 Autograd Autograd is a key feature of PyTorch that enables automatic differentiation of tensors. It is a define-by-run framework, which means that the computation graph is defined on-the-fly as the code runs. This is in contrast to define-and-run frameworks like TensorFlow, which define the computation graph beforehand and then execute it. Automatic Differentiation In machine learning, we often need to c.. 공감수 0 댓글수 0 2023. 2. 23.
[Python] Transfer Pandas Dataframe to MYSQL database with SSH in the terminal for local port forwarding: ssh -N -v username@hostname -L3306:127.0.0.1:3306 sqlalchemy for the connection : from sqlalchemy import create_engine engine = create_engine("mysql+pymysql://user:password@127.0.0.1:3306/dbname?charset=utf8" df.to_sql(con=engine, name='dest_table', if_exists='replace') 공감수 0 댓글수 0 2023. 2. 22.
PyTorch : #1 Tensors Introduce to Tensors in PyTorch Tensors are the basic building blocks of data in PyTorch. They are multi-dimensional arrays, similar to NumPy arrays, but with some additional features that make them especially useful for deep learning applications. In this post, we will cover the basics of tensors, including their creation, manipulation, and some important operations that can be performed on the.. 공감수 0 댓글수 0 2023. 2. 22.
Image Generate AI Testing 요즘 ChatGTP가 큰 화제인 상황이라 AI 관련 자료를 살펴보다가 AI가 생성한 이미지의 퀄리티보고 깜짝놀라 살펴보게 되었습니다. 이미지 생성 분야에서 유명한 Stable-Diffusion을 Fine Tunning한 모델의 퀄리티 위주로 살펴보았습니다. Install 'stable-diffusion-webui' Install Python 3.10.6 Install git. Download the stable-diffusion-webui git repository. git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git. Place stable diffusion checkpoint (model.ckpt) in the models/St.. 공감수 0 댓글수 0 2023. 2. 14.
[PyTorch] PyTorch Tutorial Projects Getting Started with aitextgen Perform text-based AI training and generation using OpenAI's GPT-2 and EleutherAI's GPT Neo/GPT-3 architecture. Go Project aitextgen is a text-generation library created by Max Woolf that uses GPT-2 and GPT Neo/GPT-3 architecture in combination with PyTorch, Hugging Face Transformers, and python-lightning. This ML Showcase entry is a fork of the notebooks in the ai.. 공감수 0 댓글수 0 2023. 2. 7.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.