Dev. DA

온톨로지와 게임 | 2편-몰입의 방해꾼을 찾아라: CS2 UX 도메인 온톨로지 설계

DS-9VM — Thu, 5 Mar 2026 23:42:25 +0900

지난 1편에서는 CS2 분석에 온톨로지가 필요한 이유와 '디지털 트윈'을 통한 경험의 재구축에 대해 다뤘습니다.

2편부터는 본격적으로 지식의 설계도를 슥슥 그려볼게요! 단순히 숫자만 쌓이는 '로그'를 넘어서, 유저가 뭘 하려 했는지 또 게임 속 사건들이 서로 어떻게 연결되는지 컴퓨터가 척척 이해할 수 있게 만드는 도메인 모델링(Domain Modeling) 과정이랍니다!

2026.02.26 - [Data Science/Ontology] - Ontology | 지식의 지도 - 온톨로지 이해하기

1. 도메인 모델링의 3대 핵심 클래스 상세 설계

온톨로지 설계는 "누가(Actor)", "어떤 환경에서(Context)", "무엇을 위해(Intent)" 행동했는지를 규정하는 것에서 시작합니다.

① Actor Class (행위자 객체)

단순한 유저 ID를 넘어, 해당 유저의 '전술적 페르소나'를 정의합니다.

Role (역할군): EntryFragger(선입조), Support(지원), AWPer(저격수). 각 역할에 따라 기대되는 행동 패턴이 다릅니다.
Economic Status (자금 상태): FullBuy(최상급 장비), Eco(절약), ForceBuy(억지 구매). 자금 상태는 유저의 '심리적 압박감' 속성과 직결됩니다.
Combat Skill Meta: 에임 정확도, 반응 속도뿐만 아니라 '유틸리티 활용도'와 같은 소프트 스킬을 포함합니다.

② Environment & Context Class (맥락 객체)

게임의 물리적 공간에 '의미'를 부여하는 단계입니다.

Semantic Area (의미론적 구역): 단순 XYZ 좌표 대신 ChokePoint(병목 구간), PlantZone(설치 구역), RotationPath(백업 경로)로 정의합니다.
Dynamic Obstacles (동적 장애물): * SmokeWall: 시야 차단 및 심리적 경계선 형성.
- FireZone: 이동 경로 차단 및 체력 소모 압박.
- FlashBlind: 일시적인 정보 단절 상태 유발.

③ Action & UX State Class (행위 및 경험 상태)

행위의 '결과'가 아닌 '과정'에서의 심리를 모델링합니다.

Tactical Intention (전술적 의도): FakePush(기만), AreaDenial(구역 거부), RetakePreparation(재탈환 준비).
UX State (경험 상태): Flow(몰입), Hurdle(장애물), Overload(정보 과부하).

2. [Case Study] 실전 상황으로 보는 온톨로지 추론 로직

실제 게임 플레이 중 유저가 가장 큰 스트레스를 받는 '정보 단절로 인한 측면 피격' 상황을 온톨로지 모델로 분석해 보겠습니다.

[상황 가정: 인페르노(Inferno) 맵 B 사이트 수비]

유저 A는 '사이트 안쪽(New Box)'에서 정면을 주시하며 홀딩 중입니다. 아군 B는 '바나나(Banana)' 입구를 지키고 있었으나, 적의 압박에 못 이겨 소통 없이 뒤로 빠졌습니다. 잠시 후 유저 A는 옆에서 튀어나온 적에게 처치당합니다.

온톨로지 관계 매핑 및 추론 단계 (Step-by-Step)

초기 상태 설정 (Knowledge Graph):
- Player_B — is_watching —> Banana_Entrance
- Banana_Entrance — protects —> Player_A_Flank
- 추론: 시스템은 유저 A의 상태를 Safe_from_Flank로 인지합니다.
동적 상태 변화 탐지:
- Event: Player_B가 Banana_Entrance를 벗어남.
- System Check: Player_B가 Radio_Call 혹은 Voice_Activity를 수행했는가? → No.
장애물 인스턴스 생성 (Hurdle Identification):
- Broken_Relation: is_watching 관계가 사라짐에 따라 Player_A_Flank에 대한 보호 관계 해제.
- New_Instance: InformationGap (정보 공백) 발생.
- UX 진단: 유저 A의 심리적 지도는 '안전'하지만 실제 데이터는 '위험'함. 이 괴리가 Cognitive_Dissonance(인지 부조화) 장애물을 형성함.
최종 전문 분석:
- 기존 방식: "A가 옆을 체크하지 않아 죽음 (개인 과실)"
- 온톨로지 방식: "Structural_Hurdle 탐지. 아군 B의 이탈 정보가 A에게 전달되지 않은 '정보의 비대칭성'이 사망의 근본 원인임. A의 실력이 아닌 팀워크 인프라의 붕괴임."

3. 왜 이 설계가 전문적인 분석의 핵심인가요?

인과관계의 명확화: "운이 없어서"가 아니라 "어떤 데이터 관계가 끊어져서" 발생한 일인지 논리적으로 증명합니다.
고수준 전술 언어의 자동화: "연막이 터졌다"는 로우 데이터를 "적의 진입로 확보 시도"라는 전술적 언어로 변환하여 AI가 이해하게 합니다.
개인화된 솔루션 제공: 모든 유저에게 "에임을 연습하라"고 하는 대신, "아군의 위치 변화에 따른 미니맵 인지 능력을 높이라"는 맞춤형 처방이 가능해집니다.

4. 2편을 마치며: 데이터에 생명력을 불어넣는 지식의 틀

이번 2편에서는 단순히 파편화되어 있던 CS2의 로그 데이터를 '행위자', '맥락', '의도'라는 유기적인 온톨로지 구조로 재구축해 보았습니다.

우리가 설계한 이 도메인 모델링이 중요한 이유는, 기계가 게임 속의 비극(사망)을 단순히 '0과 1'의 결과로 보는 것이 아니라, 유저가 겪은 심리적 고립과 정보의 단절이라는 '경험적 맥락'으로 이해하기 시작했기 때문입니다. 결론적으로 온톨로지는 차가운 데이터에 유저의 마음을 읽는 따뜻한 시선을 부여하는 작업이라 할 수 있습니다.

데이터가 '지식'이 되고, 그 지식이 다시 유저를 향한 '공감'이 되는 순간, 분석의 깊이는 이전과는 비교할 수 없을 만큼 깊어집니다. 이 탄탄한 설계도를 기반으로, 우리는 더 똑똑한 게임 환경을 향한 준비를 마쳤습니다.

2026.02.26 - [Data Science/Ontology] - Ontology | 지식의 지도 - 온톨로지 이해하기

온톨로지와 게임 | 1편-데이터로 그리는 '몰입'의 지도

DS-9VM — Fri, 27 Feb 2026 07:00:33 +0900

왜 온라인 게임에 온톨로지가 필요한가?

새로운 분야에 학습을 시작해 보려고 해요. 주제는 바로 온톨로지(Ontology)를 활용해서 게임 유저 경험(UX)을 멋지게 바꿔보는 것이 랍니다. 그리고 이 혁신적인 시도를 직접 보여드리기 위해, 우리에게 아주 친숙한 게임인 카운터 스트라이크 2(CS2)를 무대로 골라봤어요!

단순히 데이터를 분석하는 수준을 넘어서, 우리가 게임을 하며 느꼈던 짜릿한 희열이나 답답했던 순간들이 실제로 어떤 데이터로 이뤄져 있는지 파헤쳐 볼 거예요. 더 깊이 몰입할 수 있도록 도와주는 '지식 지도'를 만드는 여정에 시작해보려 합니다.

1. 시작하며: 게임 경험의 혁신, 왜 '지식'에 주목할까요?

요즘 게임 세상에서 유저 경험(UX)은 단순히 화려한 그래픽이나 매끄러운 조작감만을 말하지 않아요. 유저가 게임 속 세계관과 전술의 흐름에 완전히 몰입(Flow)하고, 그 재미를 방해하는 장애물을 싹 치워버려서 '진짜 재미'를 느끼게 하는 게 핵심이죠!

하지만 지금까지의 게임 분석은 "누가 이겼나", "몇 번이나 죽었나" 같은 단순한 숫자에만 매달려 있었어요. 이런 식으로는 유저가 왜 기분이 상했는지, 혹은 어느 지점에서 최고의 성취감을 느꼈는지 제대로 설명할 수가 없거든요.

그래서 저는 그 답을 온톨로지(Ontology)에서 찾아냈습니다! 흩어져 있는 로그를 '지식'의 형태로 다시 조립해 보면, 비로소 유저가 겪은 경험의 인과관계가 선명하게 보이기 시작하거든요.

2. 핵심 키워드: '재구축'과 '디지털 트윈'

이야기를 본격적으로 시작하기 전에, 우리가 앞으로 자주 사용할 두 가지 핵심 개념을 살짝 짚고 넘어갈게요!

재구축(Reconstruction): 흩어진 조각(데이터)을 모아 당시의 상황을 다시 살려내는 과정이에요. 단순히 "죽었다"는 기록이 아니라, "어떤 전술적 맥락에서 이런 일이 벌어졌나"를 다시 그려보는 작업이죠.
디지털 트윈(Digital Twin): 현실의 복사본을 가상 세계에 똑같이 만드는 기술이에요. 게임 플레이를 데이터로 완벽히 복제해 두면, "만약 그때 다른 선택을 했다면?" 같은 가정을 마음껏 테스트해 볼 수 있답니다.

3. 왜 하필 CS2인가요? : 전술적 인과관계의 끝판왕이니까요!

이번 연재에서 CS2를 예로 드는 이유는 아주 확실해요. CS2는 그냥 총만 쏘는 게임이 아니라, 엄청난 정보전과 팀워크가 얽히고설킨 '전술 시뮬레이션'에 가깝기 때문이죠!

복합적인 인과관계: 제가 던진 연막탄 하나가 30초 뒤에 팀원을 살릴 수도, 승패를 가를 수도 있는 결정적인 역할을 해요.
명확한 장애물: 아군의 실수나 정보 공유가 안 되는 상황, 혹은 장비를 잘못 고르는 일처럼 유저의 몰입을 방해하는 '걸림돌'이 아주 분명하게 존재한답니다.
정밀한 로그: 모든 움직임과 투척물이 날아간 궤적이 꼼꼼하게 기록되니까, 이걸 온톨로지로 바꾸면 실제 플레이를 그대로 옮겨 놓은 듯한 디지털 트윈으로서의 가치가 정말 높아요.

한마디로 CS2는 온톨로지를 통해 유저 경험을 새롭게 바꾸고 미래의 전술까지 예측해 보기에 더할 나위 없이 완벽한 실험실인 셈이죠!

4. 결과 중심 분석 vs 유저 경험(UX) 중심 분석

온톨로지 기반 분석은 단순한 통계와는 가는 길이 아예 달라요.

분석 관점	전통적인 방식 (통계적)	온톨로지 방식 (의미론적 / UX)
데이터 형태	단순한 숫자와 빈도 (표)	데이터끼리의 관계망 (지식 그래프)
주요 목적	실력을 수치로 측정	몰입의 방해 요소 제거와 재미 극대화
분석 대상	킬, 데스, 승률	유저의 의도, 협동심, 심리적 압박
혁신의 결과	등급(Rank) 매기기	개별 맞춤 전술 코칭과 성취감 뿜뿜!

우리가 온톨로지를 써서 플레이를 재구축하는 이유는 분명해요. 유저가 게임에서 겪는 '억울한 패배'의 진짜 이유를 데이터로 증명해서 마음의 짐을 덜어주고, 다음 판에서는 '초몰입' 상태로 즐겁게 게임할 수 있도록 돕고 싶기 때문입니다

5. 실전 사례

"운이 나빴던 게 아니라, 정보가 끊겼던 거예요!"

CS2 유저들이 가장 자주 겪는 상황을 온톨로지 관점에서 한번 살펴볼까요?

상황: 유저 A가 특정 구역을 지키다가 허무하게 죽고는 "난 에임이 왜 이럴까"라며 자책하고 있네요.
온톨로지 분석 결과:
1. 당시 상황을 재구축해 보니 유저 A의 에임 수치는 평소랑 다를 게 없었어요.
2. 그런데 알고 보니 2초 전, 아군 B가 보고 있던 구역의 정보를 공유(shareInformation)하지 않고 자리를 옮겨버렸네요!
3. 이 때문에 유저 A의 모델에서 '사각지대(Blind Spot)' 정보가 쏙 빠져버린 거죠.
4. 결론: 유저 A의 실수가 아니라, 팀의 '정보 공유'가 끊긴 게 몰입을 방해한 진짜 범인이었습니다!

이처럼 온톨로지는 유저에게 너의 잘못이 아니야(It's not your fault)라고 토닥여줄 수 있는 아주 든든하고 객관적인 근거가 되어준답니다.

6. 1편을 마치며: 유저를 위한 지도를 그리는 여정

이번 연재의 목적은 아주 뚜렷합니다. CS2라는 무대 위에서, 데이터를 통해 유저의 재미를 가로막는 돌멩이를 치워주고 더 큰 성취감을 향해 나아갈 수 있는 지도를 그리는 것이죠!

이어지는 2편에서는 몰입, 장애물, 시야 같은 유저 경험의 요소들을 어떻게 데이터로 정의할 수 있는지, CS2 UX 도메인 모델링을 구체적으로 설계해 볼게요. 기술이 어떻게 우리의 '재미'를 든든하게 지원하는지 그 설계도를 함께 확인해 보시죠!

그럼 다음 편에서 또 만나요!

Ontology | 지식의 지도 - 온톨로지 이해하기

DS-9VM — Thu, 26 Feb 2026 02:40:00 +0900

복잡한 데이터를 '진짜 지식'으로! 온톨로지(Ontology)랑 친해지기

데이터 분석이나 AI 공부를 하다 보면 '온톨로지'라는 단어를 가끔 만나게 되죠? 이름부터 뭔가 철학 책에나 나올 법해서 어렵게 느껴질 수도 있는데요. 알고 보면 정말 유용한 녀석이랍니다! 오늘은 우리가 좋아하는 게임 카운터 스트라이크 2(CS2)를 예로 들어서, 이 온톨로지가 대체 뭔지 아주 쉽고 편하게 수다 떨듯이 풀어볼게요.

1. 온톨로지, 정체가 뭐야?

한마디로 말하면, 온톨로지는 "세상에 있는 것들이 서로 어떻게 연결되어 있는지 알려주는 지식 지도"라고 생각하면 돼요!

데이터베이스가 단순히 정보를 쌓아두는 '창고'라면, 온톨로지는 그 정보들이 어떤 의미를 가졌고 어떻게 엮여 있는지 설명해 주는 '가이드북' 같은 거죠.

개체(Individual): 실제 데이터 그 자체예요. (예: 프로게이머 's1mple', 아이템 'AK-47')
속성(Property): 그 데이터가 가진 특징이죠. (예: 총기 가격은 얼마인지, 데미지는 얼마나 센지)
관계(Relationship): 데이터끼리 어떻게 연결되는지 보여줘요. (예: 유저가 총을 '샀다', 총으로 상대를 '잡았다')

2. 그림으로 보는 온톨로지 (CS2 버전!)

말로만 설명하면 심심하니까, CS2 전술을 분석할 때 온톨로지가 어떻게 생겼을지 그림으로 살짝 그려볼까요?

[ 유저 (Player) ] ───( 소속 )──▶ [ 팀 (CT / T) ]
       │
       │ ( 구매/장착 )
       ▼
[ 아이템 (Item) ] ───( 분류 )──▶ [ 무기 (Weapon) ] ───( 하위 분류 )──▶ [ 소총 (Rifle) ]
       │                                                                │
       │ ( 속성: 가격 )                                                  │ ( 속성: 데미지 )
       └───────────────────────────▶ [ 4,700$ ]                       └────▶ [ 아주 높음! ]

[ 행동 (Action) ] ───( 주체 )──▶ [ 유저 ]
       │          └──( 발생 위치 )─▶ [ 위치 (A 사이트, 바나나 등) ]
       │
       │ ( 대상 )
       ▼
[ 투척물 (Utility) ] ───( 효과 )──▶ [ 시야 차단 (눈뽕!) ]

이 지도 덕분에 컴퓨터는 "음, 4700달러네?" 하고 끝나는 게 아니라 "아! 이 유저가 지금 비싼 저격총을 들었으니 이번 라운드의 에이스구나!" 하고 맥락을 딱 짚어낼 수 있게 된답니다.

3. 게임 로그, 온톨로지를 만나면 어떻게 바뀔까?

[비포(Before): 그냥 딱딱한 숫자들]

{
  "attacker": "User_A",
  "victim": "User_B",
  "weapon": "M4A1-S",
  "damage": "100",
  "hitgroup": "head"
}

그냥 보면 "A가 B를 헤드샷으로 잡았네" 정도만 알 수 있죠.

[애프터(After): 의미가 살아난 지식 구조]

온톨로지가 개입하면 이 로그 뒤에 숨은 이야기가 보이기 시작해요!

전술 분석: M4A1-S는 소음기가 달린 총이고 방어력을 잘 뚫는 무기라는 걸 알아요.
경제 상황: User_A가 지난 라운드에서 이겨서 번 돈으로 이 총을 샀다는 걸 연결하죠.
위치 파악: 유저 B가 연막탄 안에 있었는데도 잡혔다면? "와, User_A가 소리만 듣고 쐈구나!" 같은 엄청난 맥락을 이해하게 되는 거예요.

단순한 데이터가 온톨로지를 만나면 살아있는 정보가 되는 셈이죠!

4. 온톨로지, 왜 이렇게 중요할까요?

① 흩어진 데이터를 하나로 묶어줘요!

로그에 'AK-47', 'M4', 'Galil'처럼 이름이 다 달라도, 온톨로지는 "얘네 다 [소총]이야!"라고 정리해 줘요. 덕분에 분석할 때 "이번 라운드에서 소총 든 팀이 얼마나 이겼지?" 같은 질문에 바로 답할 수 있죠.

② 똑똑한 전술 추론이 가능해요

그냥 보면 '섬광탄 던지기'랑 '킬 하기'는 따로 노는 데이터 같지만, 온톨로지는 [섬광탄] → [시야 방해] → [킬 기여] 관계를 이미 알고 있어요. 그래서 "A가 섬광을 기가 막히게 던져서 B가 킬을 냈네!"라고 전술적인 칭찬을 해줄 수 있답니다.

③ 더 똑똑한 AI를 만들 수 있어요

게임 봇이나 AI 코치가 "지금은 돈이 없으니까 싼 무기를 사고 팀원이랑 뭉쳐서 가야 해!"라고 판단하는 비결? 바로 온톨로지가 정의해둔 [돈 아끼는 법]과 [총기 가성비] 관계 덕분이에요.

5. 마무리하며

온톨로지는 단순히 데이터를 모으는 걸 넘어서, 데이터에 '의미'와 '순서'를 정해주는 아주 멋진 과정이에요. CS2처럼 복잡한 전술 게임을 데이터로 제대로 분석해 보고 싶다면, 숫자 너머의 관계를 그려보는 '온톨로지' 공부부터 시작해 보는 건 어떨까요?

처음엔 조금 복잡해 보여도, 한 번 지도를 잘 그려두면 여러분의 데이터가 단순한 로그가 아닌 진짜 보석 같은 지식으로 변할 거예요!

source :https://unsplash.com/photos/n6B49lTx7NM / Ontology

AI 바이브 코딩 도구와 특징

DS-9VM — Tue, 24 Jun 2025 00:38:11 +0900

바이브 코딩은 기존의 명확한 기능 명세나 요구사항 없이,
( 물론, 실제 AI 바이브 코딩 도구를 활용해서 무언가를 만들 때는 명세나 기능 정의가 필요하다)
‘느낌(vibe)’과 ‘감성’, ‘스타일’, ‘컨셉’ 같은 키워드만으로 AI에게 코드를 작성하게 하는 창작 방식이다.

예를 들어:

"애플 공식 홈페이지처럼 감각적인 첫 화면을 만들어 줘."

"사이버펑크 느낌의 로딩 애니메이션 만들어 줘."

"잔잔한 파도소리와 함께 시작하는 블로그 스플래시 화면 부탁해."

이처럼, 디자이너나 기획자, 혹은 개발자가 아닌 사람도 자연어로 ‘느낌’을 입력하면 AI가 그에 맞는 코드를 만들어 주는 방식이다.

도구명	특징	사용 예시	장점	단점
ChatGPT + Code Interpreter (Advanced Data Analysis)	자연어 기반 코딩 + 코드 실행 및 수정 가능	웹, 분석, 시각화	대화형 수정 가능, 설명이 상세함	정확한 UI 스타일링엔 한계
Replit Ghostwriter	코드 생성 특화, 실제 IDE와 통합	코드 뼈대 생성, 수정	코드 생성 속도 빠름, 실시간 보완	추상적 표현 해석은 약함
GitHub Copilot	IDE 보조 도구로 개발자에게 추천 코드 제공	코딩 중 자동 완성	실무 활용도 높음	‘느낌’보단 명확한 입력이 유리
Uizard, Galileo AI	UI/UX 기반의 감성 코드 생성	화면 스케치 → 코드 변환	비개발자 접근 용이, 디자인 중심	기능적 코드 생성엔 한계
Cursor	VSCode 기반 AI 에디터, 컨텍스트 이해력 우수	소스코드 기반 보완	코드 수정 및 의도 파악 우수	바이브 중심보단 실무형

[Python] 대용량 데이터 처리 및 분석을 위한 Duck DB

DS-9VM — Sat, 12 Oct 2024 20:09:12 +0900

Duck DB + Python 코드를 이용해서 대용량 데이터를 처리하는 방법을 소개합니다.

DuckDB란?

DuckDB는 임베디드 분석 데이터베이스로, 대규모 데이터 처리를 로컬 환경에서도 빠르고 효율적으로 수행할 수 있도록 설계된 시스템입니다. SQLite와 비슷하게 작동하지만, 주로 데이터 분석 워크로드에 최적화되어 있습니다. 이 시스템은 파이썬, R 등 다양한 언어와 통합되며, OLAP(Online Analytical Processing) 쿼리에 특화되어 있어 데이터 사이언스와 분석에 적합합니다.

<관련 포스팅> [DuckDB] what is DuckDB

(source : duckdb blog)

사전준비

1) 테스트용 대용량 데이터 생성

다음 코드를 이용하여 테스트용 대용량 CSV을 생성합니다.

이 코드는 실행하면 숫자값만 포함된 컬럼이 100개인 1천만 행의 데이터를 만들고, 약 3.6GB 의 크기의 CSV 파일로 저장합니다.

v1 ~ v99 의 100개 컬럼 : 각 컬럼에는 0~1000사이의 숫자가 랜덤으로 기록되어 있음.

import math
import pandas
import os 

def generate_data(rows, cols):
    return pd.DataFrame(np.random.randint(0, 1000, size=(rows, cols)), columns=[f"v{num}" for num in range(cols)])

def generate_csv(output, rows=10, cols=1, chunksize=1000000):
    if rows > chunksize:
        # Pandas 메모리 이슈로 인해서 분할 처리함. 
        partitions = math.ceil(rows / chunksize)
        mod_rows = (rows % chunksize)
        for n in range(partitions):
            header = not os.path.exists(output)
            partition_rows = mod_rows if n == (partitions-1) and mod_rows>0 else chunksize
            print(f"partition={n} / generation rows={partition_rows}")
            df = generate_data(partition_rows, cols)
            df.to_csv(output, mode="a", index=False, header=header)    
    else:
        header = not os.path.exists(output)
        df = generate_dumidata(rows, cols)
        df.to_csv(output, index=False, header=header)

ROWS = 10**7        # 생성할 행수
COLS = 100          # 생성할 데이터의 컬럼수.
CHUNKSIZE = 10**5   # 분할처리할 행수.
OUTPUT_FILE = "./largedata.csv"  # 출력한 CSV파일
if os.path.exists(OUTPUT_FILE):
    os.remove(OUTPUT_FILE)
    print(f"`{OUTPUT_FILE}` removed.")
    
generate_csv(OUTPUT_FILE, ROWS, COLS, CHUNKSIZE)

file_size = os.path.getsize(OUTPUT_FILE) / 1024 / 1024 / 1024
print( f"maked data : {OUTPUT_FILE} ({round(file_size,1)} GB)" )

2) duckdb 설치

duckdb를 모듈을 설치합니다.

pip install duckdb

데이터 분석

1) 데이터(csv) 불러오기

사전 준비 과정에서 생성한 python duckdb.sql 함수를 이용해서 duckdb SQL 문을 실행합니다.
SELECT * FROM read_csv() 함수를 이용해서 csv 파일을 불러옵니다.

pandas에서는 dataframe에서 큰 사이즈의 csv파일을 불러올 때 chucksize 지정해서 불러옵니다. 이렇게 하더라도 읽는데 소요되는 시간이나 메모리 문제가 발생할 수 있습니다. 하지만, duckdb에서는 큰 파일을 불러오는 방법이 아주 간편합니다.

import duckdb 
from time import time

start = time()
output_file = "./largedata.csv"
duck_df = duckdb.sql(f"SELECT * FROM read_csv('{output_file}')")
end = time()

print(f"durations : {end-start} s")

해당 csv파일 일반적인 형식으로 별도에 옵션을 지정하지 않았습니다. 구분자나 특정 컬럼만 선택해서 불러오는 등의 특별한 케이스라면 Duckdb API문서를 참고해주시기 바랍니다.

duckdb 의 read_csv 함수에 대해서 문서를 참고 바랍니다.

CSV Import – DuckDB

SELECT * 
FROM read_csv( 'flights.csv', 
		delim = '|', 
                header = true, 
                columns = { 'FlightDate': 'DATE',
                            'UniqueCarrier': 'VARCHAR', 
                            'OriginCityName': 'VARCHAR', 
                            'DestCityName': 'VARCHAR' 
                          }
                );

`read_csv` function Parameters

Name	Description	Type	Default
all_varchar	Option to skip type detection for CSV parsing and assume all columns to be of type VARCHAR. This option is only supported by the read_csv function.	BOOL	false
allow_quoted_nulls	Option to allow the conversion of quoted values to NULL values	BOOL	true
auto_detect	Enables auto detection of CSV parameters.	BOOL	true
auto_type_candidates	This option allows you to specify the types that the sniffer will use when detecting CSV column types. The VARCHAR type is always included in the detected types (as a fallback option). See example.	TYPE[]	default types
columns	A struct that specifies the column names and column types contained within the CSV file (e.g., {'col1': 'INTEGER', 'col2': 'VARCHAR'}). Using this option implies that auto detection is not used.	STRUCT	(empty)
compression	The compression type for the file. By default this will be detected automatically from the file extension (e.g., t.csv.gz will use gzip, t.csv will use none). Options are none, gzip, zstd.	VARCHAR	auto
dateformat	Specifies the date format to use when parsing dates. See Date Format.	VARCHAR	(empty)
decimal_separator	The decimal separator of numbers.	VARCHAR	.
delimiter	Specifies the delimiter character that separates columns within each row (line) of the file. Alias for sep. This option is only available in the COPY statement.	VARCHAR	,
delim	Specifies the delimiter character that separates columns within each row (line) of the file. Alias for sep.	VARCHAR	,
escape	Specifies the string that should appear before a data character sequence that matches the quote value.	VARCHAR	"
filename	Whether or not an extra filename column should be included in the result.	BOOL	false
force_not_null	Do not match the specified columns' values against the NULL string. In the default case where the NULL string is empty, this means that empty values will be read as zero-length strings rather than NULLs.	VARCHAR[]	[]
header	Specifies that the file contains a header line with the names of each column in the file.	BOOL	false
hive_partitioning	Whether or not to interpret the path as a Hive partitioned path.	BOOL	false
ignore_errors	Option to ignore any parsing errors encountered – and instead ignore rows with errors.	BOOL	false
max_line_size	The maximum line size in bytes.	BIGINT	2097152
names	The column names as a list, see example.	VARCHAR[]	(empty)
new_line	Set the new line character(s) in the file. Options are '\r','\n', or '\r\n'. Note that the CSV parser only distinguishes between single-character and double-character line delimiters. Therefore, it does not differentiate between '\r' and '\n'.	VARCHAR	(empty)
normalize_names	Boolean value that specifies whether or not column names should be normalized, removing any non-alphanumeric characters from them.	BOOL	false
null_padding	If this option is enabled, when a row lacks columns, it will pad the remaining columns on the right with null values.	BOOL	false
nullstr	Specifies the string that represents a NULL value or (since v0.10.2) a list of strings that represent a NULL value.	VARCHAR or VARCHAR[]	(empty)
parallel	Whether or not the parallel CSV reader is used.	BOOL	true
quote	Specifies the quoting string to be used when a data value is quoted.	VARCHAR	"
sample_size	The number of sample rows for auto detection of parameters.	BIGINT	20480
sep	Specifies the delimiter character that separates columns within each row (line) of the file. Alias for delim.	VARCHAR	,
skip	The number of lines at the top of the file to skip.	BIGINT	0
timestampformat	Specifies the date format to use when parsing timestamps. See Date Format.	VARCHAR	(empty)
types or dtypes	The column types as either a list (by position) or a struct (by name). Example here.	VARCHAR[] or STRUCT	(empty)
union_by_name	Whether the columns of multiple schemas should be unified by name, rather than by position. Note that using this option increases memory consumption.	BOOL	false

Read multiple files

flights3.csv:

FlightDate|OriginCityName|DestCityName
1988-01-01|New York, NY|Los Angeles, CA
1988-01-02|New York, NY|Los Angeles, CA

flights4.csv:

FlightDate|UniqueCarrier|OriginCityName|DestCityName
1988-01-03|AA|New York, NY|Los Angeles, CA

SELECT * FROM read_csv(['flights3.csv', 'flights4.csv'], union_by_name = true);

Other case

SELECT *
FROM 'dir/*.csv';

SELECT *
FROM '*/*/*.csv';

SELECT *
FROM glob('*');

2) 집계 쿼리 실행

duckdb.query() 함수를 이용하면 duckdb dataframe, pandas datafrarme, polars dataframe과 통합할 수 있습니다.

duckdb python 모듈은 duckdb.sql("select * from read_csv(...)") 함수에서 반환된 duckdb dataframe(`duck_df`)를 FROM절에 그대로 사용하여 데이터를 조회할 수 있습니다.

다음 코드는 v1 값이 0~500 인 행의 v2의 평균값의 구합니다.

start = time()
groupby_duck_df = duckdb.query("SELECT v1, avg(v2) v2 FROM duck_df WHERE v1 BETWEEN 0 AND 500 GROUP BY v1 ")
end = time()
print(f"durations : {end-start}s")
groupby_duck_df.show()

집계 결과를 pandas dataframe으로 변환합니다.

summary_df = groupby_duck_df.df()

pandas dataframe plot함수를 이용해 v2의 평균값의 분포를 확인합니다.

start = time()
summary_df["v2"].plot.hist()
end = time()
print(f"duration : {end-start}s")

duckdb 대용량 처리 - v2 분포 확인.

<테스트 결과 >

위 테스트를 Kaggle에서 진행되었습니다.

3.7gb 파일을 불러오는 것도 0.2초만 되고,

groupby 연산도 0.2초만에 결과를 확인할 수 있었습니다.

duckdb dataframe을 pandas dataframe변환하거나, 데이터 표시할 때는 2.5초 가량이 시간이 소요되었습니다.

pandas datafame에서 할수 없는 것들이 가능했습니다.

gRPC와 REST API 의 차이점

DS-9VM — Sat, 12 Oct 2024 02:19:46 +0900

gRPC vs. REST

	gRPC API	REST API
무엇인가요?	원격 프로시저 호출(RPC) 클라이언트-서버 통신 모델을 기반으로 API를 만들고 사용하는 시스템입니다.	클라이언트와 서버 간의 정형 데이터 교환을 정의하는 일련의 규칙입니다.
설계 접근 방식	서비스 지향 설계. 클라이언트는 서버에 서버 리소스에 영향을 줄 수도 있고 아닐 수도 있는 서비스 또는 기능을 수행해 줄 것을 요청합니다.	엔터티 지향 설계. 클라이언트에서 서버에 리소스의 생성, 공유 또는 수정을 요청합니다.
통신 모델	단방향, 단일 서버-다중 클라이언트, 단일 클라이언트-다중 서버, 다중 클라이언트-다중 서버 등 다양한 옵션이 있습니다.	단방향. 단일 클라이언트가 단일 서버와 통신합니다.
구현	작동하려면 클라이언트 측과 서버 측 모두에 gRPC 소프트웨어가 필요합니다.	공통 소프트웨어 없이 클라이언트 측과 서버 측에서 다양한 형식으로 구현할 수 있습니다.
데이터 액세스	서비스(기능) 직접 호출	리소스를 정의하는 URL 형태의 여러 엔드포인트
반환된 데이터	Protocol Buffer 파일에 정의된 서비스의 고정된 반환 유형으로 반환됩니다.	서버에서 정의하는 고정 구조(일반적으로 JSON)로 반환됩니다.
클라이언트-서버 커플링	긴밀하게 결합됩니다. 클라이언트와 서버 모두에 데이터 형식을 정의하는 동일한 Protocol Buffer 파일이 필요합니다.	느슨하게 결합됩니다. 클라이언트와 서버는 내부 세부 정보를 인식하지 못합니다.
자동 코드 생성	기본 제공 기능	서드 파티 도구가 필요합니다.
양방향 스트리밍	있음	없음
가장 적합한 용도	고성능 또는 데이터 사용량이 많은 마이크로서비스 아키텍처	리소스가 잘 정의되어 있는 단순한 데이터 소스

REST는 웹 서비스 및 마이크로서비스 아키텍처에 가장 많이 이용됩니다. REST는 간단한 구현과 데이터 구조 매핑, 가독성 및 유연성이 장점입니다. 또한 개념이나 REST API 구현은 어렵지 않습니다.

REST API의 일반적인 사례

웹 기반 아키텍처
외부 사용자가 쉽게 이해할 수 있는 Open API
간단한 데이터 통신

gRPC는 분산된 데이터 센터에서 마이크로서비스 아키텍처를 위한 고성능 API를 구현하도록 설계되었습니다. 실시간 스트리밍과 대규모 데이터 로드가 필요한 내부 시스템에 더 적합한 gRPC는 API의 인터페이스가 변경될 가능성이 낮고, 여러 프로그래밍 언어로 구성된 마이크로서비스 아키텍처에도 적합합니다.

gRPC API는 일반적인 사례

고성능 시스템
많은 양의 데이터 로드
실시간 또는 스트리밍 애플리케이

gRPC (source : https://grpc.io/docs/what-is-grpc/introduction/ )

원문 : gRPC와 REST 비교 - 애플리케이션 설계의 차이 - AWS (amazon.com)

<참고자료>

<관련 포스팅>

Monolith vs. Microservice

[DBMS] 컬럼 기반(Column-oriented) vs. 로우 기반 (Row-oriented)

DS-9VM — Thu, 26 Sep 2024 03:06:44 +0900

Summary
컬럼 기반 저장소(Column Oriented Store)
: 집계/분석에 읽기 특화되어 OLAP에 활용

로우 기반 저장소(Row Oriented Store)
: 등록/수정/삭제에 특화되어 OLTP에 활용

1. 아키텍쳐

컬럼 기반 저장소:
- 데이터를 컬럼 단위로 저장합니다. 각 컬럼은 데이터 타입에 따라 별도의 파일이나 블록에 저장되어, 같은 속성을 가진 데이터가 인접하게 위치합니다.
  대표적인 컬럼 기반 DBMS : Vertica, Paraccel (Actian Matrix and Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise and Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+.
- 예를 들어, 고객 데이터베이스가 있을 때, "이름", "주소", "전화번호" 등의 컬럼이 개별적으로 저장됩니다.
- 쿼리 시 특정 컬럼만 읽어들이므로 필요한 데이터만 메모리에 로드합니다. 이로 인해 데이터 분석 및 집계 쿼리에 최적화되어 있습니다.
- 예: "모든 고객의 이름"을 조회할 때, "이름" 컬럼만 읽어들이면 됩니다.
  Column-oriented DBMS (source : clickhouse.com/docs)

로우 기반 저장소:
- 데이터를 행 단위로 저장합니다. 각 행은 모든 속성을 포함하고 있으며, 레코드가 순차적으로 저장됩니다.
  대표적인 로우 기반 DBMS : SQL Server, MySQL, PostgreSQL
- 같은 고객 데이터베이스에서 "고객ID", "이름", "주소", "전화번호"가 하나의 레코드로 저장됩니다.
- 쿼리 시 모든 컬럼을 읽어들이는 경우가 많아, 데이터가 많을 경우 불필요한 데이터까지 로드하여 메모리와 I/O 성능에 영향을 줄 수 있습니다.
- 예: "고객ID와 이름을 가져오기" 위해서는 고객 데이터의 모든 컬럼을 로드해야 할 수 있습니다.

Row-oriented DBMS (source : clickhouse.com/docs)

예시 데이터 비교
고객 정보를 포함한 데이터베이스를 예로 들어보겠습니다. 데이터는 다음과 같이 구성되어 있습니다.

컬럼 기반(Column Oriented) vs. 행 기반 (Row Oriented)

컬럼 기반 저장소에서는 각 컬럼이 별도로 저장됩니다. 데이터는 다음과 같이 구성될 수 있습니다:

고객ID 컬럼:
[1, 2, 3]

이름 컬럼:
["홍길동", "김철수", "이영희"]

주소 컬럼:
["서울시 강남구 123로", "부산시 해운대구 456로", "대구시 수성구 789로"]

전화번호 컬럼:
["010-1234-5678", "010-2345-6789", "010-3456-7890"]

이러한 저장 방식은 데이터 조회 시 특정 컬럼만 로드할 수 있어, 예를 들어 전화번호만 필요할 경우 전화번호 컬럼만 메모리에 로드하면 됩니다.

로우 기반 저장소에서 행 단위로 저장되게 됩니다.
[1,"홍길동", "서울시 강남구 123로", "010-1234-5678"]
[2,"김철수", "부산시 해운대구 456로", "010-2345-6789"]
[3,"이영희", "대구시 수성구 789로", "010-3456-7890"]

3. 성능

컬럼 기반 저장소:
- 대규모 데이터 집계 및 분석에 뛰어난 성능을 보입니다. 데이터가 컬럼 단위로 저장되어 있어, 같은 데이터 타입의 컬럼들끼리 압축률이 높습니다.
- 쿼리 성능이 빠르며, OLAP(Online Analytical Processing) 환경에서 우수합니다.
로우 기반 저장소:
- 일반적으로 트랜잭션 처리가 빈번한 OLTP(Online Transaction Processing) 시스템에서 성능이 좋습니다. 모든 컬럼을 포함한 한 번의 레코드를 읽기 때문에 데이터 삽입 및 수정 시 효율적입니다.
- 삽입, 수정, 삭제가 빈번한 환경에서 뛰어난 성능을 제공합니다.

4. 장단점

컬럼 기반 저장소:
- 장점:
  - 빠른 데이터 분석 및 집계 쿼리 성능.
  - 효율적인 데이터 압축과 I/O 절약.
  - OLAP 및 데이터 웨어하우스에 최적화.
- 단점:
  - 데이터 삽입, 수정 시 성능 저하.
  - 메모리 소비가 클 수 있음.
  - 복잡한 쿼리 작성 필요.
로우 기반 저장소:
- 장점:
  - 데이터 삽입 및 수정이 용이하고 빠름.
  - 단순한 데이터 모델링과 쿼리 작성.
  - OLTP에 최적화되어 있음.
- 단점:
  - 대량의 데이터 분석 시 성능 저하.
  - 비효율적인 데이터 압축.

5. 활용 사례

컬럼 기반 저장소:
- 대규모 데이터 분석, BI 보고서 작성, 데이터 웨어하우스, 실시간 분석 애플리케이션.
로우 기반 저장소:
- 트랜잭션 기반 애플리케이션, ERP 시스템, 웹 애플리케이션의 사용자 데이터 저장.

[MySQL] 대량의 테스트 데이터 생성 SQL

DS-9VM — Thu, 26 Sep 2024 02:30:23 +0900

1. 테이블 생성

먼저 생성할 데이터를 저장할 테이블을 생성합니다.

-- 대상 테이블 생성
CREATE TABLE IF NOT EXISTS performance_test (
    id BIGINT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(50),
    age TINYINT UNSIGNED,
    city VARCHAR(50),
    salary INT UNSIGNED,
    created_at DATETIME
);

2. 순차 번호 테이블 생성.

MariaDB에는 기본적으로 숫자 시퀀스를 생성하는 내장 기능이 없기 때문에, 순차 번호(1~1000만) 테이블을 만들어 사용할 수 있습니다. 다음 스크립트를 사용하여 연속된 숫자를 포함한 테이블을 만듭니다.

-- 순차 번호(1~1000만) 테이블 생성 
CREATE TABLE IF NOT EXISTS seq_1000K AS 
WITH base as (
	SELECT 0 UNION ALL SELECT 1 UNION ALL 
	SELECT 2 UNION ALL SELECT 3 UNION ALL 
	SELECT 4 UNION ALL SELECT 5 UNION ALL 
	SELECT 6 UNION ALL SELECT 7 UNION ALL 
	SELECT 8 UNION ALL SELECT 9
)
SELECT 	@row := @row + 1 AS number 
FROM 	base t1, 
		base t2,
		base t3,
		base t4,
		base t5,
		base t6,
		base t7,
		(SELECT @row := 0) t99
;

3. 대량 데이터 삽입 반복

한번 실행할 때마다 1000만 행씩 삽입합니다. 더 많은 데이터를 추가하려면 위의 INSERT INTO SELECT 구문을 여러 번 실행합니다.

-- 할번 실행할 때마다 1000만 행 삽입
INSERT INTO performance_test (name, age, city, salary, created_at)
SELECT 
    CONCAT('user_', number + 10000) AS name,                 -- 유일한 이름 생성
    FLOOR(RAND() * 100) AS age,                              -- 0~99 사이의 랜덤 나이
    ELT(FLOOR(RAND() * 5) + 1, 'Seoul', 'New York', 'Paris', 'Tokyo', 'Berlin') AS city,  -- 임의의 도시
    FLOOR(RAND() * 150000) + 30000 AS salary,                -- 30,000 ~ 180,000 사이의 랜덤 급여
    NOW() - INTERVAL FLOOR(RAND() * 3650) DAY AS created_at  -- 과거 10년 안의 임의 날짜
FROM  seq_1000K
;

-- 데이터의 개수 확인
SELECT COUNT(*) FROM performance_test;

(source : chatgpt generation)

WSL miniconda 설치 방법

DS-9VM — Thu, 26 Sep 2024 00:43:44 +0900

WSL Ubuntu Miniconda 설치

# 1. update os
sudo apt update   

# 2. upgrade os
sudo apt upgrade

# 3. download Miniconda
curl https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -o Miniconda3-latest-Linux-x86_64.sh

# 4. install Miniconda
sudo chmod +x Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

# 5. export PATH
# export PATH=$PATH:(Miniconda가 설치된 path)
export PATH=$PATH:/home/user/miniconda3/bin

설치 결과 확인

conda --version

[OLAP] Open Source OLAP DBMS

DS-9VM — Wed, 25 Sep 2024 03:32:00 +0900

1. DuckDB

개요: DuckDB는 가볍고 로컬에서 실행 가능한 OLAP 데이터베이스로, 데스크탑 환경에서 대용량 데이터를 분석하는 데 최적화된 경량 OLAP 엔진입니다. 내장형 데이터베이스로 로컬 파일(CSV, Parquet 등)을 직접 쿼리하는 데 강점을 지니고 있습니다.

특징:

컬럼 기반 저장소: 데이터를 컬럼 단위로 저장하여, 대규모 데이터셋에 대해 빠른 분석 쿼리를 실행할 수 있습니다.
내장형 DB: 파일 시스템에 저장되지 않고 메모리에서 처리되며, 별도의 서버가 필요 없습니다.
다양한 파일 형식 지원: CSV, Parquet, Arrow 등의 파일을 직접 쿼리할 수 있습니다.
데스크탑 환경 최적화: 데이터 분석에 최적화된 데스크탑 기반의 OLAP 솔루션.

장점:

빠르고 경량화된 쿼리 처리.
파이썬, R, Julia 등 여러 언어와 자연스럽게 통합 가능.
CSV, Parquet 등의 파일을 로드하지 않고도 직접 쿼리 가능.

단점:

분산 처리 기능이 없어 대규모 분산 환경에서는 적합하지 않음.
서버리스 모델이므로 클러스터 기반의 고가용성 지원 부족.

사용 사례:

로컬 환경에서의 데이터 분석.
CSV, Parquet 파일 기반의 분석 작업.
머신러닝 및 데이터 사이언스 작업의 사전 데이터 처리.

2. ClickHouse

개요: ClickHouse는 고성능, 분산형 컬럼 기반 OLAP DB로 실시간 데이터 분석과 대규모 데이터 처리에 매우 효율적입니다. 주로 로그 분석, 웹 애플리케이션의 실시간 데이터 처리 등에 사용됩니다.

clickhouse

특징:

분산 아키텍처: 수평 확장을 통해 대규모 데이터를 분산 처리할 수 있으며, 여러 노드에서 데이터를 병렬로 처리.
컬럼 기반 저장소: 분석 쿼리에 최적화된 컬럼 기반 스토리지 구조를 사용하여 빠른 성능 제공.
높은 처리 속도: 수십 억 건의 데이터를 초 단위로 처리할 수 있어 빠른 쿼리 성능을 보장.
대규모 데이터 처리: 수십 TB의 데이터까지 확장 가능하며, 주로 로그 분석 및 사용자 행동 데이터 분석에 활용됨.

장점:

분산 아키텍처로 인해 뛰어난 확장성과 성능.
대규모 데이터를 실시간으로 처리 가능.
사용이 간단한 SQL 인터페이스 제공.

단점:

복잡한 설정과 운영 요구.
복잡한 분산 처리 시 성능 튜닝 필요.
OLTP 작업에 적합하지 않음(분석에 최적화).

사용 사례:

실시간 로그 분석(예: 웹 서버 로그).
실시간 사용자 행동 분석.
광고 클릭률 및 사용자 트래픽 분석.

<참고자료>

Click House Tutorial

The UK property prices dataset | ClickHouse Docs

3. Apache Druid

개요: Apache Druid는 실시간 데이터 스트리밍 및 대규모 데이터 분석에 특화된 오픈 소스 분산형 OLAP 데이터베이스입니다. Druid는 빠른 질의 응답 시간과 높은 처리량을 제공하며, 로그 분석, 사용자 행동 추적, 대시보드 실시간 분석 등 대규모 실시간 데이터 처리와 분석에 자주 사용됩니다. 특히, 타임 시리즈 데이터를 처리하는 데 강점을 가지고 있습니다.

특징:

실시간 데이터 처리: Druid는 실시간으로 데이터를 수집하고, 거의 실시간으로 쿼리가 가능하도록 데이터를 인덱싱하고 분석할 수 있습니다.
분산형 아키텍처: Druid는 분산형으로 설계되어 있어, 대규모 클러스터에서 데이터 처리를 수행하고, 수평적으로 확장 가능합니다. 이는 대규모 데이터셋을 처리하는 데 매우 유용합니다.
타임 시리즈 데이터 최적화: Druid는 시간 기반의 데이터를 효율적으로 처리할 수 있도록 설계되어 있어, 타임 시리즈 데이터 분석에 매우 적합합니다. 예를 들어, 로그 데이터나 IoT 센서 데이터와 같은 대규모 연속 데이터의 분석에 사용됩니다.
컬럼형 저장소: Druid는 컬럼 기반으로 데이터를 저장하며, 데이터 압축 및 빠른 검색 성능을 제공합니다. 컬럼 기반 저장 덕분에 대규모 데이터에 대한 집계 연산을 빠르게 수행할 수 있습니다.
빠른 질의 성능: Druid는 고성능 질의 엔진을 제공하여 수백 테라바이트 이상의 데이터를 빠르게 쿼리할 수 있으며, 실시간 대시보드 같은 요구 사항에 적합합니다.
고가용성: 여러 노드를 활용해 데이터를 저장하고 처리할 수 있으며, 고가용성과 장애 복구를 지원합니다.
ETL 기능: Druid는 ETL(Extract, Transform, Load) 기능을 제공하여 데이터를 효율적으로 처리하고, JSON, CSV, Apache Kafka와 같은 다양한 데이터 소스로부터 데이터를 수집합니다.

아키텍처:

Druid는 분산형 컴포넌트를 기반으로 한 아키텍처를 가지고 있습니다.

Historical Nodes: 오래된 데이터를 저장하고, 쿼리에 응답하는 노드입니다.
Middle Manager Nodes: 실시간 데이터 수집, 처리, 인덱싱을 담당합니다.
Broker Nodes: 사용자로부터 쿼리를 수신하고, 쿼리를 각 노드에 분배한 후 결과를 취합하여 반환합니다.
Coordinator Nodes: 데이터 배포와 복제를 관리하며, Historical 노드의 메모리 관리를 돕습니다.

장점:

실시간 데이터 처리: Druid는 스트리밍 데이터 분석에 특화되어 있어, 거의 실시간으로 데이터를 처리하고 분석할 수 있습니다.
빠른 쿼리 응답 시간: 대규모 데이터 집합에 대한 빠른 질의 응답 성능을 제공하여, 복잡한 분석도 빠르게 수행할 수 있습니다.
확장성: 수평 확장이 가능하여, 데이터를 저장하는 양이나 처리량이 증가해도 추가적인 노드를 통해 성능을 유지할 수 있습니다.
타임 시리즈 데이터 최적화: 로그나 행동 분석과 같은 시계열 데이터를 처리하는 데 매우 효율적입니다.
풍부한 데이터 소스 지원: Kafka, Kinesis, HDFS, S3, HTTP 등 다양한 데이터 소스와의 통합을 지원합니다.

단점:

복잡한 설정 및 관리: Druid의 분산형 아키텍처는 뛰어난 성능을 제공하지만, 설치와 관리가 복잡할 수 있습니다.
OLTP에 부적합: OLAP 분석에 특화된 시스템이기 때문에, 트랜잭션 처리나 빠른 업데이트가 필요한 OLTP(Online Transaction Processing) 환경에는 적합하지 않습니다.
하드웨어 요구 사항: 고성능을 위해서는 상당한 하드웨어 자원이 필요할 수 있습니다.

4. Apache Pinot

개요: Apache Pinot는 실시간 데이터 분석에 최적화된 분산형 OLAP(Open-source, Real-time Distributed OLAP) 데이터베이스입니다. 원래 LinkedIn에서 개발되어 실시간 사용자 행동 분석, 애플리케이션 모니터링, 대시보드 생성 등에 사용되었으며, 현재는 다양한 실시간 분석 환경에서 사용되고 있습니다. Apache Kafka와의 통합을 통해 스트리밍 데이터를 실시간으로 처리하고, 매우 낮은 지연 시간으로 데이터를 분석할 수 있습니다.

특징:

실시간 데이터 처리: Pinot는 실시간 스트리밍 데이터를 수집하고, 거의 실시간으로 쿼리할 수 있습니다. Apache Kafka, Apache Pulsar 등과 통합되어 스트리밍 데이터를 지속적으로 분석하는 데 적합합니다.
대용량 데이터 처리: Pinot는 수십억 건 이상의 대규모 데이터를 저장하고 분석할 수 있습니다. 특히 로그 분석, 사용자 이벤트 데이터 처리 등 대규모 데이터 셋에 특화되어 있습니다.
컬럼형 저장소: 데이터는 컬럼 단위로 저장되며, 이로 인해 대규모 데이터를 처리하는데 매우 효율적이고 빠른 분석 쿼리를 지원합니다.
분산형 아키텍처: Pinot는 분산 클러스터에서 실행되며, 수평 확장이 가능하여 대규모 트래픽과 데이터 증가에 유연하게 대응할 수 있습니다.
빠른 쿼리 성능: 대규모 데이터를 빠르게 분석할 수 있으며, 초 단위 이하의 응답 시간을 제공합니다. 대시보드 및 실시간 애플리케이션에서 실시간으로 데이터를 조회하는 데 최적화되어 있습니다.
유연한 데이터 소스 지원: Pinot는 Apache Kafka, HDFS, S3, RDBMS, NoSQL과 같은 다양한 데이터 소스로부터 데이터를 수집할 수 있습니다.

apache Pinot: The real-time analytics open source platform (source : pinot.apache.org)

아키텍처:

Pinot는 크게 Controller, Broker, Server, Minion이라는 주요 컴포넌트로 구성된 분산형 시스템입니다.

Controller: 데이터 인제스팅(ingestion)과 클러스터 관리, 세그먼트 분배 등을 담당합니다.
Broker: 쿼리를 수신하고, 여러 서버에 쿼리를 분배하여 병렬로 처리한 후 결과를 반환합니다.
Server: 실제로 데이터를 저장하고, Broker가 보낸 쿼리를 처리하는 역할을 합니다.
Minion: 데이터 세그먼트의 재처리나 데이터 압축, 인덱싱과 같은 비동기 작업을 수행합니다.

장점:

실시간 분석: Pinot는 스트리밍 데이터로부터 실시간 분석을 지원하며, 낮은 지연 시간으로 매우 빠르게 쿼리를 실행할 수 있습니다.
고성능: 컬럼 기반 저장 및 인덱싱 덕분에 대규모 데이터셋에서도 높은 쿼리 성능을 유지할 수 있습니다. 복잡한 집계 쿼리도 빠르게 처리합니다.
확장성: 수평 확장이 가능하여, 데이터가 증가해도 클러스터 노드를 추가하여 성능을 유지할 수 있습니다.
다양한 데이터 소스 지원: 스트리밍, 배치 데이터를 모두 지원하며, Kafka, S3, HDFS 등 여러 데이터 소스와의 유연한 통합이 가능합니다.
유연한 쿼리: Pinot는 SQL-like 쿼리 언어를 지원하며, 고급 쿼리 기능을 제공하여 복잡한 데이터 분석에 적합합니다.

단점:

복잡한 설정: 분산형 시스템이기 때문에 클러스터 설정 및 관리가 복잡할 수 있으며, 운영 관리에 대한 추가적인 기술적 역량이 필요합니다.
OLTP 지원 부족: Pinot는 실시간 데이터 분석에 특화되어 있지만, 트랜잭션 처리(OLTP) 환경에는 적합하지 않습니다.
메모리와 스토리지 요구 사항: 높은 성능을 유지하기 위해서는 메모리와 스토리지 요구 사항이 높을 수 있습니다.

6. Apache Hive

개요: Apache Hive는 대규모 데이터 웨어하우스를 구축하기 위한 SQL-like 쿼리 언어인 HiveQL을 제공하는 데이터 웨어하우스 솔루션입니다. Hadoop과 함께 사용되며, 대량의 데이터를 처리하는 데 최적화되어 있습니다.

특징:

Hadoop과의 통합: Hadoop 분산 파일 시스템(HDFS)에 저장된 데이터를 쿼리할 수 있습니다.
SQL-like 쿼리 언어: HiveQL을 사용하여 친숙한 SQL 문법으로 쿼리 작성이 가능합니다.
대규모 데이터 처리: 병렬 처리를 통해 대량의 데이터를 효율적으로 처리할 수 있습니다.

장점:

Hadoop 생태계와 잘 통합되어 있어 빅데이터 처리에 적합합니다.
복잡한 데이터 분석 작업을 수행할 수 있습니다.

단점:

실시간 쿼리에 적합하지 않으며, 주로 배치 처리에 사용됩니다.
성능이 다른 OLAP 솔루션에 비해 느릴 수 있습니다.

7. TimescaleDB

개요: TimescaleDB는 PostgreSQL을 기반으로 한 시계열 데이터베이스입니다. 시계열 데이터의 저장 및 쿼리를 최적화하여 실시간 데이터 분석을 지원합니다.

특징:

PostgreSQL 호환성: SQL 표준을 준수하여 사용이 용이합니다.
하이퍼테이블: 대규모 시계열 데이터를 효율적으로 관리할 수 있는 기능을 제공합니다.
강력한 분석 기능: 시계열 데이터에 특화된 분석 기능을 제공합니다.

장점:

PostgreSQL의 모든 기능을 활용할 수 있습니다.
실시간 시계열 데이터 처리에 적합합니다.

단점:

OLAP 분석에 특화되어 있지는 않으며, 시계열 데이터에 최적화되어 있습니다.

8. Greenplum

개요: Greenplum은 PostgreSQL을 기반으로 한 대규모 데이터 분석 플랫폼입니다. MPP(Massively Parallel Processing) 아키텍처를 사용하여 대규모 데이터 집합을 빠르게 분석할 수 있습니다.

특징:

대규모 데이터 처리: MPP 아키텍처 덕분에 대규모 데이터에 대한 병렬 처리를 지원합니다.
SQL 지원: PostgreSQL의 SQL 문법을 사용하여 친숙하게 쿼리를 작성할 수 있습니다.
고가용성 및 분산 저장: 데이터를 분산하여 저장하고, 고가용성을 제공합니다.

장점:

대규모 데이터에 대한 강력한 분석 성능.
PostgreSQL과의 호환성으로 인한 높은 사용자 친화성.

단점:

설정 및 운영이 복잡할 수 있습니다.
높은 하드웨어 요구 사항.

9. MariaDB ColumnStore

개요: MariaDB ColumnStore는 MariaDB의 컬럼 기반 데이터베이스 엔진으로, 대규모 데이터 분석 및 OLAP(Online Analytical Processing) 작업을 위해 최적화되어 있습니다. MariaDB의 전통적인 로우 기반 스토리지 엔진과 함께 사용할 수 있으며, 데이터 분석에 필요한 빠른 쿼리 성능을 제공합니다.

특징:

컬럼 기반 저장소: 데이터를 컬럼 단위로 저장하여, 분석 쿼리 시 필요하지 않은 컬럼에 대한 I/O를 줄이고 쿼리 성능을 향상시킵니다.
SQL 지원: 표준 SQL을 사용하여 데이터에 접근할 수 있으며, 기존의 MariaDB 사용자에게 친숙한 환경을 제공합니다.
스케일 아웃 아키텍처: 수평적으로 확장 가능한 아키텍처를 지원하여, 데이터의 증가에 따라 클러스터를 쉽게 확장할 수 있습니다.
병렬 처리: 쿼리 성능을 높이기 위해 여러 코어에서 쿼리를 병렬로 처리할 수 있습니다.
하이브리드 스토리지: 로우 기반 스토리지와 컬럼 기반 스토리지를 혼합하여 사용할 수 있어, 다양한 사용 사례에 유연하게 대응합니다.

장점:

빠른 쿼리 성능: 컬럼 기반 저장소 덕분에 대규모 데이터셋에 대한 집계 및 분석 쿼리를 빠르게 수행할 수 있습니다.
효율적인 데이터 압축: 컬럼 단위로 데이터를 압축하여 저장 공간을 절약할 수 있으며, 쿼리 성능 또한 향상됩니다.
확장성: 스케일 아웃 아키텍처 덕분에 클러스터 노드를 추가하여 성능을 유지하면서 데이터를 확장할 수 있습니다.
다양한 데이터 소스 지원: MariaDB의 다른 엔진과 통합되어, 다양한 데이터 소스로부터 데이터를 가져올 수 있습니다.

단점:

복잡한 설정: 초기 설정과 클러스터 관리가 복잡할 수 있으며, 운영에 대한 기술적 역량이 필요할 수 있습니다.
트랜잭션 지원 부족: OLAP에 최적화되어 있기 때문에, OLTP(Online Transaction Processing) 작업에 대한 지원이 부족할 수 있습니다.

아키텍처:

MariaDB ColumnStore는 서버 노드, 프론트엔드 노드, 데이터 노드로 구성된 분산형 아키텍처를 사용합니다.

서버 노드: SQL 요청을 처리하고, 사용자와의 인터페이스 역할을 합니다.
데이터 노드: 실제 데이터를 저장하고 쿼리를 처리합니다.
프론트엔드 노드: 클라이언트와의 연결을 관리하며, 쿼리를 적절한 데이터 노드로 라우팅합니다.

Maria DB - CORE COMPONENTS For Analytics (source : mariadb.com)

10. StarRocks

개요 :

StarRocks는 고성능의 분산형 OLAP 데이터베이스입니다. Apache Doris에서 파생된 이 프로젝트는 실시간 데이터 분석에 최적화되어 있으며, 대규모 데이터 처리와 높은 쿼리 성능을 제공하도록 설계되었습니다. StarRocks는 데이터 웨어하우스와 실시간 분석의 경계를 허물며, 복잡한 비즈니스 요구 사항을 지원합니다.

특징:

실시간 분석: StarRocks는 실시간 데이터 처리 및 분석을 지원하며, 짧은 쿼리 응답 시간을 제공합니다.
컬럼형 저장소: 데이터를 컬럼 기반으로 저장하여 쿼리 성능을 극대화하고, 데이터 압축 효율성을 높입니다.
MPP 아키텍처: Massively Parallel Processing (MPP) 아키텍처를 사용하여 대량의 데이터를 병렬로 처리할 수 있습니다.
SQL 지원: ANSI SQL을 지원하여 사용자가 친숙한 SQL 문법으로 데이터를 쿼리할 수 있습니다.
높은 가용성 및 내결함성: 데이터 복제 및 자동 장애 조치 기능을 통해 시스템의 안정성과 가용성을 보장합니다.

장점:

고속 쿼리 성능: StarRocks는 대규모 데이터에 대해 초고속 쿼리 성능을 제공합니다.
쉬운 확장성: 수평적으로 확장 가능한 구조로, 데이터가 증가함에 따라 노드를 추가할 수 있습니다.
간편한 운영: 설정과 관리가 비교적 간단하여 사용자 친화적인 환경을 제공합니다.
다양한 데이터 소스 지원: 다양한 데이터 소스에서 데이터를 가져오고 통합할 수 있습니다.

단점:

신생 프로젝트: 아직 성숙하지 않은 프로젝트로, 다른 성숙한 OLAP 솔루션에 비해 커뮤니티와 지원이 제한적일 수 있습니다.
OLTP 지원 부족: OLAP에 최적화되어 있기 때문에, OLTP 작업에는 적합하지 않습니다.

아키텍처:

StarRocks는 클러스터 기반 아키텍처로, 다음과 같은 주요 구성 요소로 이루어져 있습니다:

Frontend (FE): 클라이언트와의 인터페이스 역할을 하며, 쿼리 파싱 및 최적화를 담당합니다.
Backend (BE): 실제 데이터를 저장하고 쿼리를 실행하는 데이터 저장소입니다.
Meta Store: 데이터베이스 메타 정보를 관리합니다

StarRocks enables a rapid journey from data to insight. ( source : starrock.io )

[DuckDB] DuckDB Installation

DS-9VM — Tue, 24 Sep 2024 01:02:03 +0900

install duckdb

Install duckdb

`duckdb cli` window Installation

# wiuget installation 
winget install DuckDB.cli

# duckdb cli 실행
duckdb

`duckdb cli` Linux Installation

# DuckDB 최신 릴리스 다운로드 (v1.1.0 설치 예시)
wget https://github.com/duckdb/duckdb/releases/download/v1.1.0/duckdb_cli-linux-amd64.zip

# 압축 해제
unzip duckdb_cli-linux-amd64.zip

# 실행 파일을 /usr/local/bin으로 이동하여 시스템 경로에 추가
sudo mv duckdb /usr/local/bin/

# 실행 권한 부여
sudo chmod +x /usr/local/bin/duckdb

# DuckDB CLI 실행
duckdb

python installation

pip install duckdb

R installation

# R 환경에서 DuckDB 설치
install.packages("duckdb")

Rust installation

# cargo로 통한 설치
cargo add duckdb --features bundled

GO installation

# go get으로 설치
go get github.com/marcboeker/go-duckdb

nods.js installation

# npm으로 설치
npm install duckdb

duckdb cli commands

.bail on|off             Stop after hitting an error.  Default OFF
.binary on|off           Turn binary output on or off.  Default OFF
.cd DIRECTORY            Change the working directory to DIRECTORY
.changes on|off          Show number of rows changed by SQL
.check GLOB              Fail if output since .testcase does not match
.columns                 Column-wise rendering of query results
.constant ?COLOR?        Sets the syntax highlighting color used for constant values
.constantcode ?CODE?     Sets the syntax highlighting terminal code used for constant values
.databases               List names and files of attached databases
.dump ?TABLE?            Render database content as SQL
.echo on|off             Turn command echo on or off
.excel                   Display the output of next command in spreadsheet
.edit                    Opens an external text editor to edit a query.
.exit ?CODE?             Exit this program with return-code CODE
.explain ?on|off|auto?   Change the EXPLAIN formatting mode.  Default: auto
.fullschema ?--indent?   Show schema and the content of sqlite_stat tables
.headers on|off          Turn display of headers on or off
.help ?-all? ?PATTERN?   Show help text for PATTERN
.highlight [on|off]      Toggle syntax highlighting in the shell on/off
.import FILE TABLE       Import data from FILE into TABLE
.indexes ?TABLE?         Show names of indexes
.keyword ?COLOR?         Sets the syntax highlighting color used for keywords
.keywordcode ?CODE?      Sets the syntax highlighting terminal code used for keywords
.log FILE|off            Turn logging on or off.  FILE can be stderr/stdout
.maxrows COUNT           Sets the maximum number of rows for display (default: 40). Only for duckbox mode.
.maxwidth COUNT          Sets the maximum width in characters. 0 defaults to terminal width. Only for duckbox mode.
.mode MODE ?TABLE?       Set output mode
.nullvalue STRING        Use STRING in place of NULL values
.once ?OPTIONS? ?FILE?   Output for the next SQL command only to FILE
.open ?OPTIONS? ?FILE?   Close existing database and reopen FILE
.output ?FILE?           Send output to FILE or stdout if FILE is omitted
.parameter CMD ...       Manage SQL parameter bindings
.print STRING...         Print literal STRING
.prompt MAIN CONTINUE    Replace the standard prompts
.quit                    Exit this program
.read FILE               Read input from FILE
.rows                    Row-wise rendering of query results (default)
.schema ?PATTERN?        Show the CREATE statements matching PATTERN
.separator COL ?ROW?     Change the column and row separators
.sha3sum ...             Compute a SHA3 hash of database content
.shell CMD ARGS...       Run CMD ARGS... in a system shell
.show                    Show the current values for various settings
.system CMD ARGS...      Run CMD ARGS... in a system shell
.tables ?TABLE?          List names of tables matching LIKE pattern TABLE
.testcase NAME           Begin redirecting output to 'testcase-out.txt'
.timer on|off            Turn SQL timer on or off
.width NUM1 NUM2 ...     Set minimum column widths for columnar output

[DuckDB] what is DuckDB

DS-9VM — Tue, 24 Sep 2024 00:48:42 +0900

DuckDB란?

dockdb Feature & Benefit (Source: duckdb.org)

Features

컬럼 기반 저장소: 데이터는 컬럼 단위로 저장되어 압축 효율이 높고, 쿼리 성능이 우수합니다.
임베디드 DB: DuckDB는 서버를 필요로 하지 않으며, 로컬 환경에서 바로 사용할 수 있는 임베디드 데이터베이스입니다
대규모 데이터 처리: 메모리 내 분석을 지원하면서도 디스크 기반의 데이터 처리 기능을 제공합니다.
통합된 분석 기능: 파이썬, R 등과 통합되어 있으며, Pandas, NumPy 등과 쉽게 연동됩니다.
빠른 성능: DuckDB는 OLAP 쿼리에 최적화되어 있어 대용량 데이터셋에서 뛰어난 성능을 발휘합니다.
다양한 데이터 소스 지원 : CSV, Parquet, JSON 등의 파일. s3, MySQL, PostgreSQL 등을 지원합니다.

Benefit

빠른 쿼리 성능: 분석 워크로드에서 매우 빠른 성능을 제공.
경량성: 서버리스 환경에서 가볍게 실행.
쉬운 통합: Python, R, SQL과 같은 언어와 쉽게 연동하여 바로 사용할 수 있음.
비용 효율적: 클라우드 서버를 사용할 필요가 없으므로 비용이 절감됨.

Weakness

제한된 동시성: 대규모 트랜잭션 기반의 OLTP(Online Transaction Processing)에는 적합하지 않음.
메모리 의존성: 메모리 내 작업이기 때문에 큰 데이터를 다룰 때 메모리 부족 문제 발생 가능.

<관련글>

Examples

EX-1. DuckDB Cli를 설치하고, DuckDB를 처음 사용하는 사용자를 위해 기본적인 테이블 생성과 쿼리 실행 예제입니다.

# DuckDB CLI 실행
duckdb

-- 새 데이터베이스 파일 생성
.open example.db

-- 테이블 생성
CREATE TABLE employees (
    id INTEGER,
    name VARCHAR,
    department VARCHAR,
    salary INTEGER
);

-- 데이터 삽입
INSERT INTO employees VALUES (1, 'Alice', 'Engineering', 120000);
INSERT INTO employees VALUES (2, 'Bob', 'Marketing', 90000);
INSERT INTO employees VALUES (3, 'Charlie', 'Sales', 70000);

-- 데이터 조회
SELECT * FROM employees;

.open 명령을 통해 DuckDB 데이터베이스 파일을 생성하고 연결합니다.

EX-1. DuckDB를 CSV 파일은 임포트하는 예제입니다.

# DuckDB CLI 실행
duckdb

-- csv 파일 읽어 해당 데이터 포맷으로 tbl_customers 테이블을 생성한다
CREATE TABLE tbl_customers 
AS
SELECT * 
FROM read_csv("https://drive.google.com/uc?id=1zO8ekHWx9U7mrbx_0Hoxxu6od7uxJqWw&export=download")
;

/*
Source : https://drive.google.com/uc?id=1zO8ekHWx9U7mrbx_0Hoxxu6od7uxJqWw&export=download
Table : Customers
Columns :
    Index
    Customer Id
    First Name
    Last Name
    Company
    City
    Country
    Phone 1
    Phone 2
    Email
    Subscription Date
    Website
*/

-- tbl_customers 데이터 건수를 확인한다.
SELECT count(*) rows
FROM   tbl_customers 
;
/* 
┌───────┐
│ rows  │
│ int64 │
├───────┤
│   100 │
└───────┘
*/

what is duckdb

[DBMS] Isolation Level

DS-9VM — Sat, 21 Sep 2024 01:52:02 +0900

Isolation Level(격리 수준)은 데이터베이스에서 트랜잭션들이 서로 간섭하지 않도록 하는 방법을 정의하는 중요한 개념입니다. 트랜잭션이 동시에 수행될 때 발생할 수 있는 문제(예: 일관성 깨짐)를 방지하기 위해, 트랜잭션 간의 격리 수준을 설정해 데이터를 보호할 수 있습니다.

격리 수준은 트랜잭션 간에 얼마나 많은 영향을 허용할지를 결정하며, 각 격리 수준은 서로 다른 수준의 일관성과 성능 사이에서 균형을 맞추는 방식입니다.

트랜잭션 동시성 문제

Isolation Level은 다음과 같은 동시성 문제를 해결하기 위해 존재합니다:

Dirty Read: 한 트랜잭션이 아직 커밋되지 않은 다른 트랜잭션의 데이터를 읽는 경우.
Non-repeatable Read: 한 트랜잭션 내에서 같은 데이터를 두 번 읽었을 때, 그 사이에 다른 트랜잭션에 의해 데이터가 변경되어 다른 값을 읽는 경우.
Phantom Read: 한 트랜잭션 내에서 조건에 맞는 데이터의 집합을 조회했을 때, 그 사이에 다른 트랜잭션에 의해 새로운 데이터가 추가되거나 삭제되어 조회 결과가 달라지는 경우.

Isolation Level 종류

표준 SQL은 4가지 격리 수준을 정의합니다. 격리 수준이 낮을수록 성능은 좋아지지만, 동시성 문제가 발생할 수 있는 위험이 커집니다.

1. Read Uncommitted (가장 낮은 격리 수준)

설명: 트랜잭션이 커밋되지 않은 데이터를 읽을 수 있습니다. 이 경우 Dirty Read가 발생할 수 있습니다.
문제 해결: 아무 문제도 해결하지 않으며, 가장 낮은 일관성을 보장합니다.
예시: 트랜잭션 A가 데이터를 수정했지만 아직 커밋되지 않은 상태에서, 트랜잭션 B가 수정된 데이터를 읽을 수 있습니다. 나중에 트랜잭션 A가 롤백되면, 트랜잭션 B는 잘못된 데이터를 처리하게 됩니다.
발생 가능 문제:
- Dirty Read
- Non-repeatable Read
- Phantom Read

2. Read Committed (기본적인 격리 수준)

설명: 트랜잭션이 커밋된 데이터만 읽을 수 있습니다. Dirty Read는 방지되지만, Non-repeatable Read는 발생할 수 있습니다.
문제 해결: Dirty Read 방지.
예시: 트랜잭션 A가 데이터를 커밋하기 전까지, 트랜잭션 B는 그 데이터를 읽을 수 없습니다. 그러나 트랜잭션 B가 데이터를 두 번 조회했을 때, 그 사이에 트랜잭션 A가 데이터를 수정하고 커밋했다면, 서로 다른 값을 읽을 수 있습니다.
발생 가능 문제:
- Non-repeatable Read
- Phantom Read

3. Repeatable Read (일관성 보장 수준 강화)

설명: 트랜잭션 내에서 읽은 데이터는 트랜잭션이 끝날 때까지 변하지 않도록 보장합니다. Non-repeatable Read는 방지되지만, Phantom Read는 여전히 발생할 수 있습니다.
문제 해결: Dirty Read, Non-repeatable Read 방지.
예시: 트랜잭션 A가 특정 데이터를 읽고, 그 데이터를 다시 조회할 때까지 다른 트랜잭션 B가 그 데이터를 수정할 수 없습니다. 그러나 트랜잭션 B가 새로운 데이터를 삽입하면, 트랜잭션 A는 조건에 따라 조회 결과가 달라질 수 있습니다.
발생 가능 문제:
- Phantom Read

4. Serializable (가장 높은 격리 수준)

설명: 트랜잭션이 마치 순차적으로 처리되는 것처럼 격리됩니다. Dirty Read, Non-repeatable Read, Phantom Read가 모두 방지됩니다. 가장 높은 일관성을 보장하지만, 성능이 크게 저하될 수 있습니다.
문제 해결: Dirty Read, Non-repeatable Read, Phantom Read 모두 방지.
예시: 트랜잭션 A가 실행되는 동안, 트랜잭션 B는 트랜잭션 A와 충돌할 수 있는 어떤 데이터도 수정하거나 삽입할 수 없습니다. 완벽한 일관성을 보장하지만, 트랜잭션 간의 동시성이 크게 제한됩니다.

요약

각 Isolation Level의 문제 해결 능력과 성능 간의 트레이드오프는 다음과 같습니다:

Isolation Level	Dirty Read	Non-repeatable Read	Phantom Read	성능
Read Uncommitted	발생 가능	발생 가능	발생 가능	매우 높음
Read Committed	방지됨	발생 가능	발생 가능	높음
Repeatable Read	방지됨	방지됨	발생 가능	중간
Serializable	방지됨	방지됨	방지됨	낮음

Isolation Level은 데이터베이스에서 성능과 일관성 간의 균형을 맞추는 중요한 설정입니다. 낮은 수준의 격리 설정은 더 나은 성능을 제공할 수 있지만 일관성 문제가 발생할 수 있습니다. 반대로, 높은 격리 수준은 완벽한 일관성을 제공하지만 성능 저하를 초래할 수 있습니다.

따라서, 애플리케이션의 요구 사항에 따라 적절한 격리 수준을 선택이 필요합니다.

[DBMS] Data Consistency 와 Data Integrity 차이

DS-9VM — Sat, 21 Sep 2024 01:25:03 +0900

Data Consistency와 Data Integrity는 서로 관련이 있지만 약간 다른 개념입니다.

Data Consistency

정의: 데이터 일관성은 데이터의 상태가 항상 일관되게 유지되는 것을 의미합니다. 즉, 데이터베이스 내의 데이터가 서로 모순되지 않고, 같은 의미를 지니고 있어야 합니다.
예시: 예를 들어, 같은 유저의 정보를 두 개의 다른 테이블에 저장할 때, 이름이나 주소가 변경되면 두 개의 테이블에서 같은 값으로 변경되어야 합니다. 만약 한 테이블에서는 업데이트되었지만 다른 테이블은 그렇지 않다면, "데이터 일관성이 깨졌다"라고 합니다.
메카니즘
- Isolation Level : read committed, read uncommitted, repeatable read, serializable
- Transaction Control : 데이터베이스가 일관성 있는 상태를 유지하는 단위. 예시 : commit, rollback
- Locking : 데이터가 동시에 여러 트랜잭션에 의해 수정되지 않도록 보호하는 방법. 예시 : Shared Lock, Exclusive Lock
- Data Replication : 여러 데이터베이스 인스턴스에 데이터를 복사하여 저장하는 방식으로 동기, 비동기 두가지 방식이 있습니다.
- MVCC(Multi-Version Concurrency Control) : 다중 버전 동시성 제어는 여러 사용자가 동시에 데이터를 읽고 쓸 때
  발생하는 충돌을 최소화하는 방법입니다. 트랜잭션이 데이터를 읽을 때, 다른 트랜잭션에 의해 데이터가 수정되는 것을 방지하기 위해 데이터의 여러 버전을 유지합니다.
  - 예시: 트랜잭션 A가 데이터를 수정하는 동안, 트랜잭션 B는 수정 전의 데이터를 읽을 수 있습니다.
    이렇게 하면 트랜잭션 B가 트랜잭션 A의 완료를 기다리지 않고도 데이터를 읽을 수 있습니다.

Data Integrity

정의: 데이터 무결성은 데이터의 무결성과 신뢰성을 보장하는 것을 의미합니다. 이는 데이터가 올바르게 입력되고, 잘못된 데이터가 들어가지 않도록 하는 다양한 규칙이나 제약 조건을 포함합니다.
예시: 데이터베이스에 입력할 수 있는 값을 특정 타입으로 제한하거나, 외래 키(Foreign Key) 제약 조건을 설정하여 데이터 간의 관계를 유지하는 것이 데이터 무결성을 보장하는 방법입니다. 즉, 숫자 타입으로 지정한 컬럼에서는 숫자 값만 입력되도록 합니다. 유저마스터정보가 있고, 유저구매이력정보에 유저 식별자(ID)가 포함되어 있다면 이를 외래 키로 지정하여 유저구매이력정보가 있는 유저는 유저마스터정보가 항상 존재하도록 합니다.
메카니즘
- Data Type : 허용하는 형식의 값만 입력 가능함. 예시: Integer, Varchar(n), Datetime, ...
- Costraints
  - Primary Key : 테이블의 각 레코드가 고유해야 한다는 규칙.
  - Foreign Key : 두 테이블 간의 관계를 정의하여 데이터의 참조 무결성을 보장.
  - Unique : 특정 필드에 중복 값이 존재하지 않도록 보장.
  - Check : 특정 컬럼 값이 지정된 조건을 충족해야 함.
  - Not Null : 특정 컬럼 값에 NULL 존재하지 않도록 보장.

요약

Data Consistency: 데이터 간의 일관성과 조화에 초점.
Data Integrity: 데이터의 정확성과 신뢰성을 보장에 초점.

결론적으로, 데이터 무결성을 유지하는 것은 데이터의 일관성을 확보하는 데 기여하지만, 두 개념은 각각의 초점과 적용 방법이 다릅니다.

What is JumpServer

DS-9VM — Fri, 20 Sep 2024 22:07:40 +0900

JumpServer : An open-source PAM tool

JumpServer is an open-source Privileged Access Management (PAM) tool that provides DevOps and IT teams with on-demand and secure access to SSH, RDP, Kubernetes, Database and RemoteApp endpoints through a web browser.

JumpServer (source : https://github.com/jumpserver/jumpserver)

Pros and cons of jump servers

Despite their benefits, jump servers also have a few challenges to consider.

Pros

Basic OS and service configurations.
No internet connectivity, which makes it difficult for attackers to add malware.
No sensitive data stored on the system.
Detailed monitoring, logging and auditing of the system.

Cons

Exposing just one user's connections could open all connections.
Could be difficult to harden and patch.
Only provides front-end security; other network layers must be secured.

Demo

Access Demo site : https://demo.jumpserver.org/

Install JumpServer

curl -sSL https://github.com/jumpserver/jumpserver/releases/latest/download/quick_start.sh | bash

Access JumpServer in your browser at http://your-jumpserver-ip/

Username: admin
Password: ChangeMe

Quick Start

Source : Quickstart Guide - JumpServer

Administrator Login

You have successfully installed JumpServer. You can now access the JumpServer service using your web browser by navigating to http://your-jumpserver-ip/. For the best experience, we recommend using Google Chrome.

Please log in using the default administrator credentials:

Username: admin
Password: ChangeMe

Upon your first login, you will be prompted to change your password. Simply make the change and log in again.

Create User

After logging in to JumpServer, let's create a user first:

Navigate to the Console and access the User Management page.

Click the +Create button.
Fill in the user information.

Name: First User

Username: first_user

Email: first-user@example.com

Password setting: Set Password, and enter pwd@123

Please keep the other information at their default values.

Click "Submit" to complete the user creation.

Create Asset

Next, let's create an Linux asset:

Navigate to the Asset Management page.
Switch to the Host tab, and click the +Create button. In the popup window, select the built-in Linux platform to open the host creation page.

Fill in the asset information.

Name: First Asset

IP/Host: 172.17.200.27

Platform: Linux

Nodes: /Default

Protocols: ssh/22, sftp/22

To Ensure Successful Connection in the Following Steps, please enter the correct IP/Host and SSH protocol port.

Add an account to the asset.

Click the Add button in the Accounts section to add an account. In the popup window, enter the correct Name, Username, and Password. Keep the other information as default. Click Confirm to complete the account addition.

Name: root

Username: root

Password: your-password

Click Submit to complete the asset creation.

Create Authorization

Finally, let's create an authorization.

Navigate to the Authorization Management page.

Click the +Create button.
Fill in the authorization information.

Name: First Authorization

Users: Select First User

Assets: Select First Linux

Keep the other information as default.

Click "Submit" to complete the authorization creation.

User Login

Excellent, we have successfully created one user and one asset, and authorized the asset for the user. Next, let's proceed to log in to JumpServer using the user First User.

To log in simultaneously with both the Administrator and First User, please open a new browser window in incognito mode.
After logging in with the username first_user and password pwd@123, you will be prompted to reset your password. Simply follow the steps to reset your password, and then log in again using the new password.
After successfully logging in, you will see a page to complete personal information. Check "I agree" and click Submit.

Navigate to the Workbench > Access assets page, where you can view the assets authorized to you. Here, you will see that the asset named First Linux has been authorized to you.

Simply click the Connect button here to access the asset.

Access Asset

After clicking the asset connection button, a new tab (Web Terminal) will open in your current browser, and the connection information for logging into the asset will also be displayed.

Confirm the connection information: select root as the account and choose "Web CLI" as the connection method.

Click the CONNECT button to log in to the asset.
Congratulations, you have successfully accessed the assets you have permission to use.

Audit logs

Next, while keeping the current user's asset session active, let's switch to the Administrator page. Navigate to the Audits to review the actions performed by the current user.

Navigate to the Audits > Asset sessions page.

We observe that there is a session where the First User is connected to the First Linux asset using the root account.

Navigate to the Audits > Session commands page, we can view the commands executed by the user.

Navigate to the Audits > Login logs page, We can view detailed login logs for the user.

Congratulations! Following this guide, you should have successfully installed JumpServer, created users and assets, authorized access, and learned to connect to assets and audit logs.

Screenshot

Dashboard

Active sessions

Session commands

Operate logs

shell command within python

DS-9VM — Fri, 21 Jun 2024 23:42:58 +0900

Here is a basic example of how to use the subprocess module to run an external command

Using subprocess.run

The subprocess.run function is the recommended approach for most cases because it is simple and powerful.

import subprocess

# Command to be executed
command = ["ls", "-l"]  # Replace with your command and arguments

# Run the command
result = subprocess.run(command, capture_output=True, text=True)

# Output the result
print("Return code:", result.returncode)
print("Output:", result.stdout)
print("Error:", result.stderr)

Replace ["ls", "-l"] with the command you want to run. If your command is a string, split it into a list of arguments.
Use capture_output=True and text=True in subprocess.run to capture and return the output as a string.

Using subprocess.Popen

For more advanced use cases where you need more control over the input/output pipes, you can use subprocess.Popen.

import subprocess

# Command to be executed
command = ["ls", "-l"]  # Replace with your command and arguments

# Run the command
process = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)

# Get the output and error messages
stdout, stderr = process.communicate()

# Output the result
print("Return code:", process.returncode)
print("Output:", stdout)
print("Error:", stderr)

When using subprocess.Popen, use stdout=subprocess.PIPE and stderr=subprocess.PIPE to capture the output and error messages.

Using os.system

The os.system function can also be used to run shell commands. However, it is less flexible and does not provide as much control over the input/output/error pipes as the subprocess module.

import os

# Command to be executed
command = "ls -l"  # Replace with your command

# Run the command
exit_code = os.system(command)

# Output the result
print("Return code:", exit_code)

References

* subprocess — Subprocess management — Python 3.12.4 documentation

[mysql] Temporary Tablespace 관리

DS-9VM — Fri, 26 Apr 2024 00:02:11 +0900

개요

압축되지 않고 사용자가 생성한 임시 테이블과 디스크에 생성되는 내부적인 임시 테이블들이 shared temporary tablespace 에 생성된다. innodb_temp_data_file_path 옵션으로 상대 경로, 이름, 사이즈, 데이터파일의 속성을 설정할 수 있다. 아무것도 설정하지 않으면 기본적으로 innodb_data_home_dir 경로에 ibtmp1:12M:authextend 속성으로 생성된다.

mysql> SELECT @@innodb_temp_data_file_path;
+------------------------------+
| @@innodb_temp_data_file_path |
+------------------------------+
| ibtmp1:12M:autoextend        |
+------------------------------+

Temporary Tablespace 의 데이터파일 관리

Temporary Tablespace 의 데이터파일 사이즈는 기본적으로 생성된 12M에서 시작하여 필요한 만큼의 Tablespace 만큼 계속 늘어난다. 다 쓰고 제거된 temp 공간도 테이블스페이스 내에서 재사용될 뿐 물리적으로 차지하는 공간은 줄어들지 않는다.

사용중인 용량 확인 방법

INFORMATION_SCHEMA.FILES 을 통해서 Temporary Tablespace의 용량을 확인한다.

 SELECT FILE_NAME, 
        TABLESPACE_NAME, 
        ENGINE, 
        INITIAL_SIZE, 
        TOTAL_EXTENTS*EXTENT_SIZE AS TotalSizeBytes, 
       	DATA_FREE, 
       	MAXIMUM_SIZE 
FROM 	INFORMATION_SCHEMA.FILES 
WHERE 	TABLESPACE_NAME = 'innodb_temporary';

temp table을 용량을 차지하는 long query로 인해 기하급수적으로 사이즈가 늘게 되면 Disk Full 장애가 발생한다.

Temporary Tablespace 의 줄이기

Temporary Tablespace 를 줄이기 위한 방법은 Mysql 서버 재시작하여 기본 설정( innodb_temp_data_file_path )으로 Tablespace를 재생성하도록 하는 방법 뿐이다.

Temporary Tablespace 용량에 최대값을 설정하지 않으면 무한정 증가하기 때문에 적절한 값으로 설정해야 한다.

[mysqld]
innodb_temp_data_file_path=ibtmp1:12M:autoextend:max:500M

퀴리 실행 중에 temporary tablespace 의 크기가 최대값에 도달하는 table is full가 발생하며 쿼리 실행이 실패한다.

[text classification] fasttext example

DS-9VM — Wed, 24 Apr 2024 03:05:07 +0900

설치

pip 로 릴리즈된 최신 버전 설치하기

pip install fasttext

git repository에서 개발중인 최신 버전 설치하기

git clone https://github.com/facebookresearch/fastText.git
cd fastText
sudo python setup.py install

텍스트 분류 및 단어 벡터화를 수행하는 예제

먼저 FastText의 Python API를 사용하여 텍스트 분류 모델을 학습하고 저장한다. 그런 다음 저장된 모델을 로드하여 테스트 데이터에 대해 예측을 수행합니다. 마지막으로 단어 벡터화 기능을 사용하여 주어진 텍스트의 단어 벡터를 얻는다.

import fasttext

# 텍스트 분류 모델 학습 예제
def train_text_classification_model(train_data_path, model_path):
    # 학습 데이터 경로, 모델 저장 경로
    model = fasttext.train_supervised(input=train_data_path)
    model.save_model(model_path)

# 텍스트 분류 모델 테스트 예제
def test_text_classification_model(model_path, test_data):
    model = fasttext.load_model(model_path)
    result = model.predict(test_data)
    print(result)

# 단어 벡터화 예제
def word_embedding(text):
    model = fasttext.load_model('cc.en.300.bin') # 사전 학습된 모델 사용
    embedding = model.get_sentence_vector(text)
    print(embedding)

# 텍스트 분류 모델 학습
train_text_classification_model('train.txt', 'text_classification_model.bin')

# 학습된 모델로 테스트
test_text_classification_model('text_classification_model.bin', 'This product is amazing.')

# 단어 벡터화
word_embedding('hello world')

fasttext 학습용 데이터 전처리 코드

FastText의 학습을 위한 train.txt 파일은 각 줄에 하나의 텍스트 샘플과 해당 레이블이 포함되어야 한다. 레이블은 텍스트 뒤에 __label__ 접두어를 붙여서 표시해야 한다.

예를 들어, 긍정 리뷰는 __label__positive로 표시하고 부정 리뷰는 __label__negative로 표시한다.

다음 코드는 raw_data.txt와 같은 원본 데이터 파일을 읽어 각 줄에서 텍스트와 레이블을 추출하고, train.txt와 같은 FastText 학습 파일 형식에 맞게 변환하여 저장한다.

def fasttext_traindata(input_file, output_file):
    with open(input_file, 'r', encoding='utf-8') as f:
        lines = f.readlines()

    with open(output_file, 'w', encoding='utf-8') as f:
        for line in lines:
            text, label = line.strip().split('\t')  # 예를 들어, 탭으로 구분된 파일을 가정
            formatted_line = f"__label__{label} {text}\n"
            f.write(formatted_line)

# 예제 사용
input_file = 'raw_data.txt'  # 원본 데이터 파일
output_file = 'train.txt'     # 변환된 FastText 학습 파일
fasttext_traindata(input_file, output_file)

참고문서

fastText - Text Classification Tutorial

text classification example of fasttext

Docker 명령어

DS-9VM — Wed, 24 Apr 2024 02:25:38 +0900

실행중인 컨테이너 조회

docker ps

# 실행 중인 컨테이너 사이즈 확인
docker ps -size

실행중인 모든 컨테이너 종료

docker stop $(docker ps -q)

실행중인 모든 컨테이너 삭

docker rm $(docker ps -q)

Container

Create and run a container from an image, with a custom name:
docker run --name <container_name> <image_name>

Run a container with and publish a container’s port(s) to the host.
docker run -p <host_port>:<container_port> <image_name>

Run a container in the background
docker run -d <image_name>

Start or stop an existing container:
docker start|stop <container_name> (or <container-id>)

Remove a stopped container:
docker rm <container_name>

Open a shell inside a running container:
docker exec -it <container_name> sh

Fetch and follow the logs of a container:
docker logs -f <container_name>

To inspect a running container:
docker inspect <container_name> (or <container_id>)

To list currently running containers:
docker ps

List all docker containers (running and stopped):
docker ps --all

View resource usage stats
docker container stats

Images

Build an Image from a Dockerfile
docker build -t <image_name>

Build an Image from a Dockerfile without the cache
docker build -t <image_name> . –no-cache

List local images
docker images

Delete an Image
docker rmi <image_name>

Remove all unused images
docker image prune

[linux] chmod 명령어

DS-9VM — Thu, 18 Apr 2024 01:33:46 +0900

chmod : 리눅스 파일 사용 권한

리눅스에서, 파일(File)을 사용해 할 수 있는 작업은 크게 세 가지로 나눌 수 있습니다.

파일에 저장된 데이터를 읽기. (r = read).
파일에 데이터를 쓰기. (w = write).
파일 실행. (x = execute)

그런데 만약 리눅스 시스템의 모든 파일이, 그 종류 또는 쓰임새와 관계없이 읽기, 쓰기, 실행 가능하게 만들어져 있다면 어떻게 될까요? 잘못된 명령어 사용으로 시스템 운영에 중요한 역할을 하는 파일의 내용이 변경되거나, 사용자의 사소한 실수 한번으로 리눅스 시스템의 모든 파일이 삭제되어 버릴 수도 있습니다.

이런 문제가 생기는 경우를 방지하기 위해, 리눅스에서는 각 파일 및 디렉토리에 대해 "읽기(r)", "쓰기(w)", "실행(x)" 권한(permission)을 파일 개별적으로 지정할 수 있도록 만들어 놓았습니다. 그리고 이 세 가지 권한을 "파일을 소유한 사용자(user)", "특정 그룹(group)에 소속된 사용자", "그 외 사용자(others)"에 대해 각각 지정할 수 있게 만들었습니다.

chmod 숫자의 의미

chmod 를 표현할 때 숫자로 666 ,777 로 변경하여 사용해본적이 있었는데 의미를 모른채 썼었다.

간단하게 말하자면 숫자는 퍼미션의 속성을 표현하는 것이다.

Owner 퍼미션	Group 퍼미션	World 퍼미션
6(rw-)	6(rw-)	6(rw-)

해당 숫자는 8진법으로 표현한 것으로 666의 경우에는 rw-rw-rw-으로 표현 한 것이다.

8진법 표현

8진법	2진법	파일모드
0	000	---
1	001	--x
2	010	-w-
3	011	-wx
4	100	r--
5	101	r-x
6	110	rw-
7	111	rwx

퍼미션 속성

속성	파일	디렉토리
r	파일 열기와 읽기를 허용한다.	실행 속성이 설정되어 있으면 디렉토리의 내용물을 나열 할 수 있게끔 허용한다.
w	파일 쓰기 또는 잘라내기를 허용	실행 속성이 설정되어 있으면 디렉토리 내의 파일들을 생성, 삭제, 이름 변경이 가능하도록 허용한다.
x	파일이 프로그램으로 처리되고 파일이 실행되도록 허용. 스크립트 언어에서 작성된 프로그램 파일들은 읽기 기능으로 설정되어 있어야만 실행 가능.	디렉토리에 들어올 수 있더록 허용.

chmod 기호 표기법 예시

표기법	의미
u+x	소유자에게 실행 권한을 추가
+x	모든 사용자에게 실행 권한을 추가한다.
o-rw	소유자와 그룹 소유자가 아닌 사용자의 읽기, 쓰기 권한을 제거한다.

출처: https://vixxcode.tistory.com/144 [추측보다는 측정:티스토리]

[linux] chmod 명령어 (source : https://unsplash.com/photos/iar-afB0QQw)