데이터 과학자에서 유용한 도구 5가지

1. MLFlow — 실험 및 모델 추적

MLflow는 ML 실험을 처음부터 끝까지 관리하여 추적 가능성과 재현성을 보장하는 데 도움이 되는 플랫폼이다. 

코드, 데이터 및 모델 아티팩트를 저장하기 위한 중앙 집중식 리포지토리와 하이퍼파라미터, 지표 및 출력을 포함한 모든 실험을 기록하는 추적 시스템을 제공한다.

site : https://mlflow.org/

mlflow 예시 화면

 

2. Streamlit — 빠르고 예쁜 웹 애플리케이션

Streamlit은 데이터 과학을 위한 가장 인기 있는 프론트엔드 Python 프레임워크이다. 

Streamlit은 인터랙션 가능한 앱을 빠르고 쉽게 구현할 수 있고, 웹 개발 지식이 없을 수 있는 데이터 과학자 및 기계 학습 엔지니어에게 유용하다.

사이트 : https://streamlit.io/

streamlit 예시 화면

 

3. FastAPI — 쉽고 빠르게 모델 배포

모델을 구현했으면 다른 애플리케이션에서 사용할 수 있도록 배포해야 한다.

FastAPI는 RESTful API를 구축하기 위한 고성능 웹 프레임워크로써 단순성, 사용 편의성 및 속도로 면에서 장점을 지니고 있다. 기계 학습 모델을 프로덕션에 배포하는 데 이상적인 선택이 될 수 있다.

 

<예시코드>

(정말 간단하다)

from typing import Union
from fastapi import FastAPI

app = FastAPI()

@app.get("/")
async def read_root():
    return {"Hello": "World"}

@app.get("/items/{item_id}")
async def read_item(item_id: int, q: Union[str, None] = None):
    return {"item_id": item_id, "q": q}

 

실행

$ uvicorn main:app --reload

INFO:     Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)
INFO:     Started reloader process [28720]
INFO:     Started server process [28722]
INFO:     Waiting for application startup.
INFO:     Application startup complete.

 

자동 생성된 API 문서&nbsp; Swagger UI&nbsp; : http://127.0.0.1:8000/docs

---

728x90

---

4. XGBoost — 빠른 속도 및 탁월한 예측 성능 

XGBoost는 정확성, 속도 및 확장성으로 잘 알려진 강력한 기계 학습 알고리즘이다.

강력한 모델로 결합하는 그래디언트 부스팅 프레임워크를 기반이다. 즉, 랜덤 포레스트와 같은 여러 개의 작은 모델을 사용하여 큰 모델로 결합하면 결국 더 빠른 모델(예: 신경망에 비해)을 얻을 수 있지만 동시에 확장 가능하고 과적합이 피할 수 있다.

공식 문서 :  XGBoost Documentation — xgboost 2.0.3 documentation

xgboost tree

5. ELI5 — 모델을 해석하기 쉽고, 투명

모델은 "블랙 박스"에 가깝기 때문에 대한 의문이 생깁니다.

- 모델이 어떻게 구체적인 답을 생각해 냈는지?

- 훈련 중에 어떤 매개변수가 가장 중요한지?

- 어떤 매개변수가 노이즈를 추가하는지 궁금하지 않을까?

ELI5는 같은 질문에 답을 할 수 있게 도와주는 라이브러리이다. 모델을 투명하고 해석 가능하며 이해하기 쉽게 만드는 데 도움이 된다. 데이터, 학습 프로세스, 가중치 분포 및 입력 매개 변수에 대한 더 많은 정보를 얻을 수 있어 모델을 디버깅하고 최적화하는 큰 도움을 받을 수 있다. 

또한, ELI5는 이미 Scikit-Learn, Keras, XGBoost 등과 같은 라이브러리를 지원한다.

공식문서 : Overview — ELI5 0.11.0 documentation

ELI5 예시 화면

 

---