Summary 1. 학습 곡선을 해석하는 방법과 모델 개발의 가이드를 살펴본다. 2. 학습 곡선에서 Overfitting과 Underfitting의 파악하고, 이를 개선하는 전략을 살펴본다. 보다 나은 이해를 돕기 위해 이전 포스팅을 읽어보는 것을 권장합니다. [Intro to Deep Learning] 1.A Single Neuron 2.Deep Neural Networks 3.MAE, Stochastic Gradient Descent Interpreting Learning Curves (학습 곡석의 해석하기) [사전 지식] 훈련 데이터의 정보는 Signal과 Noise의 두 종류가 있다. Signal은 만들고자하는 모델이 새로운 데이터를 예측하는데 도움이 되는 정보이다. Noise는 불규칙적인 변동(..
'kaggle' module Installation !pip install --upgrade --force-reinstall --no-deps kaggle Create a kaggle.json file & Setup. #from google.colab import files #files.upload() import json import os from pathlib import Path # uses pathlib Path kaggle_path = Path('/root/.kaggle') os.makedirs(kaggle_path, exist_ok=True) # checking : kaggle login - accounts - Create New API token data = '{"username":"{use..
1. Installation & Apps Run. Windows 11 & Anaconda에 기준으로 설치한다. Label Studio 실행환경으로 사용할 가상환경을 생성한다. 가상환경 이름은 "label_studio"로 생성한다. conda create -n label_studio 생성한 가상환경을 활성화한다. conda activate label_studio 생성한 가상환경의 pip 업그레이드한다. pip install --upgrade pip --user Label-Studio를 설치한다. pip install -U label-studio Label-Studio를 설치한다. label-studio --port 9001 로그인하면 다음과 같은 화면 나타난다. 프로젝트를 생성하고 샘플 데이터를 등록한다...
Images labelImg - LabelImg is a graphical image annotation tool and label object bounding boxes in images CVAT - Powerful and efficient Computer Vision Annotion Tool labelme - Image Polygonal Annotation with Python VoTT - An open source annotation and labeling tool for image and video assets imglab - A web based tool to label images for objects that can be used to train dlib or other object dete..
MySQL은 임시 테이블이 존재하는지 확인하는 함수나 문장을 제공하지 않아 Stored Procedure를 만들었다 이 프로시저의 원리는 PREPARE 문을 통해서 select 1 from temp_table 구문을 실행하여 에러 발생여부를 체크하는 방식으로 임시 테이블 존재여부를 체크한다. DELIMITER // CREATE PROCEDURE check_table_exists(table_name VARCHAR(100)) BEGIN DECLARE CONTINUE HANDLER FOR SQLSTATE '42S02' SET @err = 1; SET @err = 0; SET @table_name = table_name; SET @sql_query = CONCAT('SELECT 1 FROM ',@table_na..
Stochastic Gradient Descent : 확률적 경사하강법 Summary * 신경망 훈련 방법 살펴보기 * 신경망 훈련 역시 특성(feature)과 target(출력)으로 구성된 훈련 데이터가 필요하다. : "신경망을 훈련한다"는 것은 feature를 target으로 변환하기 위해 가중치를 조정하는 것을 의미한다. * 훈련 데이터 외에 네트워크의 예측 정확도를 측정하는 손실 함수(loss function), 가중치를 최적화하는 optimizer가 필요하다. Loss Function 손실 함수(Loss Function)은 모델이 예측한 값과 Target의 실제 값의 차이를 측정하는 것으로 훈련 과정에서 모델(신경망)의 문제를 설명한다. 회귀 문제(regression problem)에서 일반적인..
Summary * Neural networks 구축하는 방법 살펴보기 * Liner Unit을 결합/수정하여 복잡한 관계를 지닌 모델화하는 방법 살펴보기 [Intro to Deep Learning] A Single Neuron Layers 신경망은 일반적으로 뉴런들이 포함한 layers로 구성되어 있음. 같은 입력 세트를 가진 Linear Unit을 모이면 Dense Layer가 됨. Activation Function 신경망은 선형 함수만 학습할 수 있음. 하지만 현실에서는 비선형(nonlinear)인 것이 대부분임. 비선형을 학습하려면 Activation Function 필요함. 일반적인 것은 Rectifier Function 임. max(0,x) Linear Unit에 Rectifier를 붙이면 R..
큰 데이터를 데이터프레임에서 가공 / 조작할 때 속도 개선하고자, multiprocessing 이용하는 방법을 소개합니다. 1. Import modules from multiprocessing import Pool, freeze_support, cpu_count import pandas as pd import numpy as np import time 2. Mutiprocessing Apply function np.array_split()함수로 데이터프레임을 지정한 수(프로세스수)만큼 분리한다. Pool.map()함수를 이용해서 각 프로세스마다 분할한 데이터 프레임을 인자로 입력하여 인자로 지정한 func 을 실행한다. 여기서 출력된 데이터프레임들을 pd.concat함수로 하나로 합친다. def data..
How do I find the distance between two points? python 에서 다음 코드로 두 좌표의 거리를 계산할 수 있습니다. import math x1=1 x2=10 y1=5 y2=25 dist = math.hypot(x2-x1, y2-y1) print(dist) #--> 21.93171219946131 ### or dist = math.sqrt( (x2-x1)**2 + (y2-y1)**2 ) print(dist) #--> 21.93171219946131 두 좌표의 거리를 계산하는 원리에 대해서 간단히 살펴보도록 하겠습니다. 먼저, 다들 잘 아시는 피타고라스의 정리를 살펴보겠습니다. 위 에 삼각형을 좌표에 겹치면 다음과 같이 됩니다. 여기서 x2-x1가 a 되고, y2-y1은..
딥 러닝은 사람의 뇌처럼 뉴런(Neuron)으로 구성된 인공 신경망(ANN, Artifitial Neuron Network) 모델입니다. 뉴런은 또 다른 뉴런과 연결되어 있고, 뉴런이 계산한 결과는 다른 뉴런의 입력이 되게 됩니다. 이러한 뉴런의 연결의 복잡성이 딥러닝의 효율을 좌우하게 됩니다. 딥러닝의 기초적인 개념을 파악해보려면 다음 포스팅을 참고해주십시오. * What is Deep Learning 선형 유닛 (Linear Unit) 신경망(Neuron Network)의 기본 구성요소가 되면 단일 뉴런을 도식화하면 다음과 같습니다. x : 입력된 값. w : weight - 입력된 값의 가중치.연결된 다른 뉴런에서 입력값 가중치가 됨. 선형 함수의 기울기(Slope) b: bias - 바이어스는 뉴..
최근댓글