Data Science 검색 결과
134 개의 검색 결과가 있습니다.
Data Science/Machine Learning

Data Labeling Tools Each Type

Images labelImg - LabelImg is a graphical image annotation tool and label object bounding boxes in images CVAT - Powerful and efficient Computer Vision Annotion Tool labelme - Image Polygonal Annotation with Python VoTT - An open source annotation and labeling tool for image and video assets imglab - A web based tool to label images for objects that can be used to train dlib or other object dete..

2022. 9. 7. 20:47
Data Science/DB+SQL

[Mysql] Checking if a temporary table exists : 임시 테이블 존재여부 체크

MySQL은 임시 테이블이 존재하는지 확인하는 함수나 문장을 제공하지 않아 Stored Procedure를 만들었다 이 프로시저의 원리는 PREPARE 문을 통해서 select 1 from temp_table 구문을 실행하여 에러 발생여부를 체크하는 방식으로 임시 테이블 존재여부를 체크한다. DELIMITER // CREATE PROCEDURE check_table_exists(table_name VARCHAR(100)) BEGIN DECLARE CONTINUE HANDLER FOR SQLSTATE '42S02' SET @err = 1; SET @err = 0; SET @table_name = table_name; SET @sql_query = CONCAT('SELECT 1 FROM ',@table_na..

2022. 9. 6. 21:51
Data Science/Deep Learning

[Intro to Deep Learning] MAE, Stochastic Gradient Descent

Stochastic Gradient Descent : 확률적 경사하강법 Summary * 신경망 훈련 방법 살펴보기 * 신경망 훈련 역시 특성(feature)과 target(출력)으로 구성된 훈련 데이터가 필요하다. : "신경망을 훈련한다"는 것은 feature를 target으로 변환하기 위해 가중치를 조정하는 것을 의미한다. * 훈련 데이터 외에 네트워크의 예측 정확도를 측정하는 손실 함수(loss function), 가중치를 최적화하는 optimizer가 필요하다. Loss Function 손실 함수(Loss Function)은 모델이 예측한 값과 Target의 실제 값의 차이를 측정하는 것으로 훈련 과정에서 모델(신경망)의 문제를 설명한다. 회귀 문제(regression problem)에서 일반적인..

2022. 9. 6. 04:33
Data Science/Deep Learning

[Intro to Deep Learning] Deep Neural Networks

Summary * Neural networks 구축하는 방법 살펴보기 * Liner Unit을 결합/수정하여 복잡한 관계를 지닌 모델화하는 방법 살펴보기 [Intro to Deep Learning] A Single Neuron Layers 신경망은 일반적으로 뉴런들이 포함한 layers로 구성되어 있음. 같은 입력 세트를 가진 Linear Unit을 모이면 Dense Layer가 됨. Activation Function 신경망은 선형 함수만 학습할 수 있음. 하지만 현실에서는 비선형(nonlinear)인 것이 대부분임. 비선형을 학습하려면 Activation Function 필요함. 일반적인 것은 Rectifier Function 임. max(0,x) Linear Unit에 Rectifier를 붙이면 R..

2022. 9. 6. 01:33
Data Science/Python

[python] dataframe apply() multiprocessing

큰 데이터를 데이터프레임에서 가공 / 조작할 때 속도 개선하고자, multiprocessing 이용하는 방법을 소개합니다. 1. Import modules from multiprocessing import Pool, freeze_support, cpu_count import pandas as pd import numpy as np import time 2. Mutiprocessing Apply function np.array_split()함수로 데이터프레임을 지정한 수(프로세스수)만큼 분리한다. Pool.map()함수를 이용해서 각 프로세스마다 분할한 데이터 프레임을 인자로 입력하여 인자로 지정한 func 을 실행한다. 여기서 출력된 데이터프레임들을 pd.concat함수로 하나로 합친다. def data..

2022. 9. 5. 23:21
Data Science/Python

[python] 그래프에서 두 좌표의 거리 계산

How do I find the distance between two points? python 에서 다음 코드로 두 좌표의 거리를 계산할 수 있습니다. import math x1=1 x2=10 y1=5 y2=25 dist = math.hypot(x2-x1, y2-y1) print(dist) #--> 21.93171219946131 ### or dist = math.sqrt( (x2-x1)**2 + (y2-y1)**2 ) print(dist) #--> 21.93171219946131 두 좌표의 거리를 계산하는 원리에 대해서 간단히 살펴보도록 하겠습니다. 먼저, 다들 잘 아시는 피타고라스의 정리를 살펴보겠습니다. 위 에 삼각형을 좌표에 겹치면 다음과 같이 됩니다. 여기서 x2-x1가 a 되고, y2-y1은..

2022. 9. 5. 21:32
Data Science/Deep Learning

[Intro to Deep Learning] A Single Neuron

딥 러닝은 사람의 뇌처럼 뉴런(Neuron)으로 구성된 인공 신경망(ANN, Artifitial Neuron Network) 모델입니다. 뉴런은 또 다른 뉴런과 연결되어 있고, 뉴런이 계산한 결과는 다른 뉴런의 입력이 되게 됩니다. 이러한 뉴런의 연결의 복잡성이 딥러닝의 효율을 좌우하게 됩니다. 딥러닝의 기초적인 개념을 파악해보려면 다음 포스팅을 참고해주십시오. * What is Deep Learning 선형 유닛 (Linear Unit) 신경망(Neuron Network)의 기본 구성요소가 되면 단일 뉴런을 도식화하면 다음과 같습니다. x : 입력된 값. w : weight - 입력된 값의 가중치.연결된 다른 뉴런에서 입력값 가중치가 됨. 선형 함수의 기울기(Slope) b: bias - 바이어스는 뉴..

2022. 9. 2. 04:08
Data Science/Python

[python] Deepcopy a list (array)

import copy A = [[10, 60], [50, 'Hi'], ['Hello', 5, 80]] B = copy.deepcopy(A) A[2][0] = 'World' A[0][1] = 10 print('List A is : % s' % (A)) print('List B is : % s' % (B))

2022. 9. 1. 09:57
Data Science/DB+SQL

[mysql] Transaction isolation level

Transaction Isolation Level MYSQL의 Transaction Isolation Level에는 READ UNCOMMITTED, READ COMMIITED, REPEATABLE READ, SERIALIZE 네 가지 종류가 있다. READ UNCOMMITTED 1) COMMIT 되지 않은 데이터에 다른 트랜잭션에서 접근할수 있다. 2) INSERT, UPDATE, DELETE 후 COMMIT 이나 ROLLBACK에 상관없이 현재의 데이터를 읽어온다. 3) ROLLBACK이 될 데이터도 읽어올 수 있으므로 주의가 필요하다. 4) LOCK이 발생하지 않는다. READ COMMIITED 1) COMMIT 된 데이터에 다른 트랜잭션에서 접근할 수 있다. 2) 구현 방식이 차이 때문에 Query..

2022. 9. 1. 02:08
Data Science/Python

[python] Accelerate Requests Using asyncio

import aiohttp import asyncio import os from aiohttp import ClientSession GOOGLE_BOOKS_URL = "https://www.googleapis.com/books/v1/volumes?q=isbn:" LIST_ISBN = [ '9780002005883', '9780002238304', '9780002261982', '9780006163831', '9780006178736', '9780006280897', '9780006280934', '9780006353287', '9780006380832', '9780006470229', ] def extract_fields_from_response(response): """Extract fields fro..

2022. 9. 1. 01:36
반응형
반응형