IT Tech blogging

nvidia-smi

---

1. nvtop (강력 추천: 터미널계의 작업 관리자)

Windows의 ‘작업 관리자’ 성능 탭처럼 GPU 사용량, VRAM, 온도, 클럭을 실시간 텍스트 그래프로 그려주는 가장 직관적인 도구입니다. WSL2 Ubuntu 24.04 공식 저장소에 포함되어 있어 설치가 매우 간단합니다.

• 특징: 어떤 프로세스(예: Ollama, Python 등)가 VRAM을 몇 MB 먹고 있는지 하단에 명확하게 리스트로 보여줍니다.

• 설치 방법:

  sudo apt update
  sudo apt install nvtop

• 실행 명령어: nvtop

---

2. gpustat (심플하고 깔끔한 한 줄 요약)

현재 GPU의 상태만 군더더기 없이 깔끔하게 한 눈에 확인하고 싶을 때 최고의 도구입니다. 파이썬 기반으로 동작합니다.

• 특징: 색상 구분이 잘 되어 있어 가독성이 높고, 주기적으로 화면을 갱신하는 옵션을 주면 nvidia-smi보다 훨씬 보기 편합니다.

• 설치 방법:

  sudo apt install python3-pip
  pip install gpustat

• 실행 명령어 (1초마다 갱신):

  gpustat -i 1

---

3. nvitop (gpustat과 nvtop의 장점을 합친 끝판왕)

nvtop보다 더 자세한 정보(CUDA API 버전, GPU 가속 메모리 상세 유형 등)를 깔끔한 텍스트 UI로 제공하는 도구입니다. 딥러닝/LLM 개발자들 사이에서 매우 인기가 높습니다.

• 특징: 터미널 창 크기에 맞춰 인터페이스가 유연하게 조절되며, 프로세스 정렬 및 필터링 기능이 뛰어납니다.

• 설치 방법:

  pip install nvitop

• 실행 명령어: nvitop

---

4. Prometheus + Grafana (모니터링 대시보드 구축용)

만약 소스 분석 서버를 장시간 켜두고 VRAM 누수나 사용량 추이를 웹 브라우저에서 이쁜 그래프로 누적 모니터링하고 싶다면 이 조합을 추천합니다.

• 방식: WSL2 내부에 prometheus-nutex-exporter를 실행하여 GPU 데이터를 수집하고, 이를 Grafana 대시보드와 연동하여 시각화합니다.
• 용도: 개인용보다는 LLM API 서버를 상시 구동하고 외부 접속 환경을 모니터링할 때 아주 유용합니다.

---

💡 요약 및 선택 가이드

• Ollama 연동 시 VRAM 점유율과 프로세스를 직관적으로 보겠다: ➔ nvtop을 설치하시는 것이 가장 만족도가 높을 것입니다.
• 터미널 한 구석에 작게 띄워놓고 감시하겠다: ➔ gpustat -i 1 조합을 추천합니다.