DBSCAN I. 밀도기반 군집화 기법, DBSCAN 가. DBSCAN 의 개념 핵심 벡터로부터 ε 반경 내 접근 가능한 모든 데이터 벡터들의 집합(군집)을 생성하는 기법 DBSCAN : Density-Based Spatial Clustering of Application with Noise 나. DBSCAN 주요 개념 ε (epsilon) – 주어진 개체 들의 반경 minPts – ε 반경 내 군집 위해 필요한 객체 수 II. 군집 생성 요소 및 절차 가. 군집 생성 요소 구성 요소설명 이웃 벡터 – 한 벡터로부터 ε 반경 내 위치한 다른 데이터 벡터 핵심 벡터 (Core Point) – n개 이상의 이웃벡터를 갖는 데이터 벡터 직접 접근 가능 – directly density-reachable – 핵..
강화 학습(Reinforcement Learning)이란? 의사 결정의 기법으로 최대의 보상(Reward)을 얻기 위해 환경(Environment)에서 최적의 행동(Best Action)을 학습하는 것이다. 이 최적의 행동(Best Action)은 아이들이 주변 세상을 탐험하고, 성장하기 위해서 시행착오를 겪으면서 배우는 것과 유사하게 환경과의 상호 작용과 환경이 어떻게 반응하는지 관찰을 통해 학습한다. 즉, 강화 학습은 어떤 환경 안에서 정의된 주체(agent)가 현재의 상태(state)를 관찰하여 선택할 수 있는 행동(action)들 중에서 가장 최대의 보상(reward)을 가져다주는지 행동이 무엇인지를 학습하는 것이다. 강화 학습의 동작 1. Observation : 정의된 주체(agent)가 주어..
What is Anomaly Dectection? 원문 : https://www.anodot.com/blog/what-is-anomaly-detection/ 이상 탐지(이상치 분석이라고도 함)는 데이터 세트의 정상적인 동작에서 벗어나는 데이터 포인트, 이벤트 및/또는 관찰을 식별하는 데이터 마이닝의 한 단계입니다. 비정상적인 데이터는 기술적 결함과 같은 중요한 사건이나 소비자 행동의 변화와 같은 잠재적인 기회를 나타낼 수 있습니다. 기계 학습은 변칙 탐지를 자동화하는 데 점진적으로 사용되고 있습니다. 시계열 데이터 이상 탐지란 무엇입니까? 성공적인 이상 탐지는 시계열 데이터를 실시간으로 정확하게 분석하는 능력에 달려 있습니다. 시계열 데이터는 시간에 따른 일련의 값으로 구성됩니다. 즉, 각 포인트는 일반..
오토인코더(Autoencoder) 기반의 이상 탐지란? 원문 : https://www.makinarocks.ai/ko/blog/view/750 정상 데이터를 오토인코더를 통하여 원래의 데이터보다 작은 차원의 잠재 공간(latent space)로 압축 후에 다시 복원하고, 복원된 데이터와 원본 데이터의 차이를 비교함으로써 이상 탐지를 수행하는 방법입니다. 이때 정상 데이터를 저차원으로 압축(encoding)하는 부분을 인코더라고 하며, 압축된 샘플을 다시 원래의 차원으로 복원(decoding)하는 부분은 디코더라고 합니다. 그리고 인코더에 의해 데이터가 압축되어 나타나는 잠재 공간에서의 데이터의 표현형을 잠재 변수(latent variable)라고 합니다. 오토인코더는 원본 데이터와 복원된 데이터의 차이를..
이상 탐지란? (anomaly detection) 일반적인 값과 다른 특이한 값(outlier)나 드문 사건을 탐지하는 기법이다. 머신러닝 기술을 활용한 이상 탐지(Anomaly Detection)에 관해 원문 : https://www.makinarocks.ai/ko/blog/view/698 더보기 이상 탐지(Anomaly Detection)는 정상으로 규정된 데이터와 다른 패턴과 특징을 보이는 개체를 찾는 것을 의미합니다. 이상 탐지 알고리즘은 신용카드 사기 여부를 판별하거나 CCTV와 같은 비디오 감시(Video surveillance), 자율주행(Autonomous driving) 등, 다양한 분야에서 활용되고 있습니다. 마키나락스에서는 머신러닝 기반의 이상 탐지를 통해 복잡도가 높은 산업 분야에서..
원문 : https://github.com/hoya012/awesome-anomaly-detection 이상 탐지란 무엇입니까? Anomaly detection is a technique used to identify unusual patterns that do not conform to expected behavior, called outliers. Typically, this is treated as an unsupervised learning problem where the anomalous samples are not known a priori and it is assumed that the majority of the training dataset consists of “normal” data ..
# Save Model Using Pickle import pandas from sklearn import model_selection from sklearn.linear_model import LogisticRegression import pickle url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv" names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class'] dataframe = pandas.read_csv(url, names=names) array = dataframe.values X = a..
-- How to see indexes for a database or table in MySQL SELECT INDEX_NAME AS `Index Name` , GROUP_CONCAT(COLUMN_NAME ORDER BY SEQ_IN_INDEX SEPARATOR ', ') AS `Columns` , IF(MAX(NON_UNIQUE)=1, 'No', 'Yes') AS `Unique` FROM information_schema.`STATISTICS` AS C WHERE C.table_schema = DATABASE() AND C.TABLE_NAME = '#TableName#' -- 테이블 네임을 지정한다. GROUP BY INDEX_NAME ORDER BY IF(INDEX_NAME='PRIMARY', '1..
-- 테이블 삭제 DROP TABLE IF EXISTS tbl_example; -- 테이블 생성 CREATE TABLE tbl_example ( `time`datetime default now() ,`class`varchar(100) ,`log_text`varchar(2000) ); -- 샘플 데이터 생성 INSERT INTO tbl_example(`time`, `class`, `log_text`) SELECT now(), 'A', 'error 101013' UNION ALL SELECT DATE_ADD(now(), INTERVAL -1 HOUR), 'B', 'error 201013' UNION ALL SELECT DATE_ADD(now(), INTERVAL -2 HOUR), 'C', 'error 301..
Apach Superset 이란? 비즈니스 인텔리전스(데이터 시각화) 웹 애플리케이션입니다. 빠르고 가벼우며 직관적이며 사용자가 간단한 원형 차트에서 매우 상세한 지리 공간 차트에 이르기까지 데이터를 탐색하고 시각화할 수 있도록 하는 기능이 포함되어 있습니다. 주요기능 데이터세트 시각화 및 대화형 대시보드 제작을 위한 직관적인 인터페이스 데이터를 보여줄 수 있는 다양한 시각화 데이터 세트를 추출하고 표시하는 코드 없는 시각화 빌더 풍부한 메타데이터 브라우저를 포함하여 시각화를 위한 데이터 준비를 위한 세계적 수준의 SQL IDE 데이터 분석가가 사용자 정의 측정기준 및 측정항목을 신속하게 정의할 수 있도록 하는 가벼운 의미 계층 대부분의 SQL 사용 데이터베이스에 대한 즉시 지원 원활한 인메모리 비동기 ..
최근댓글