EP05. Hubble 설치 및 구성 | 쿠버네티스 네트워크 가시성 확보

이 글에서는 Cilium의 강력한 네트워크 관측 도구인 Hubble을 설치하고 활용하는 방법에 대해 알아보겠습니다. Hubble은 쿠버네티스 클러스터 내의 네트워크 트래픽을 실시간으로 관찰하고 분석할 수 있게 해주는 도구로, 복잡한 마이크로서비스 환경에서 발생하는 네트워크 문제를 효과적으로 디버깅하고 보안 이슈를 모니터링하는 데 큰 도움이 됩니다. Docker Desktop 기반의 환경에서 Hubble을 설치하고, UI를 통해 네트워크 흐름을 시각화하며, Pod-to-Pod 통신을 추적하는 방법까지 상세히 살펴보겠습니다.

---

📌 Hubble 개요

Hubble 아키텍처

 

Hubble은 Cilium의 확장 기능으로, eBPF를 활용하여 쿠버네티스 클러스터 내의 네트워크 트래픽을 관찰하고 분석할 수 있는 도구입니다.

✅ Hubble의 주요 구성 요소

Hubble은 크게 세 가지 주요 구성 요소로 이루어져 있습니다:

1. Hubble Server: Cilium 에이전트에 내장된 서버로, eBPF에서 수집한 네트워크 이벤트 데이터를 저장하고, 쿼리할 수 있는 기능을 제공합니다.
2. Hubble Relay: 클러스터 내 모든 Hubble Server로부터 데이터를 수집하고 집계하는 중앙 서비스입니다. 클라이언트가 클러스터 전체의 네트워크 흐름을 한 번에 볼 수 있게 해줍니다.
3. Hubble UI: 웹 기반 인터페이스로, 네트워크 흐름을 시각적으로 표현하고 분석할 수 있는 대시보드를 제공합니다.

 

Hubble 관측 데이터 흐름도

 

✅ Hubble의 주요 기능

Hubble은 다음과 같은 중요한 기능을 제공합니다:

 

▶️ 실시간 네트워크 흐름 모니터링:

• Pod 간 통신 패턴 시각화
• 서비스 의존성 매핑
• 연결 상태 및 지연 시간 측정

▶️ 네트워크 문제 진단:

• 연결 거부 원인 분석
• 네트워크 정책 문제 파악
• DNS 요청 실패 추적

▶️ 보안 모니터링:

• 의심스러운 트래픽 패턴 감지
• 네트워크 정책 위반 알림
• 포트 스캔 및 비정상 통신 탐지

---

📌 Hubble 설치 준비

Hubble을 설치하기 전에 몇 가지 사전 요구사항과 준비 과정을 확인해야 합니다.

✅ 사전 요구사항

Hubble을 설치하기 위한 기본적인 요구사항은 다음과 같습니다:

1. Cilium 설치: Hubble은 Cilium의 확장 기능이므로, 먼저 Cilium이 클러스터에 설치되어 있어야 합니다.
2. Cilium 버전 확인: Hubble을 사용하려면 Cilium v1.8 이상이 필요합니다.
3. 리소스 요구사항: Hubble Relay와 UI를 실행하기 위한 추가 리소스가 필요합니다.
   • CPU: 각각 최소 100m 권장
   • 메모리: 각각 최소 128Mi 권장

✅ Cilium 설치 확인

Hubble 설치 전 Cilium이 올바르게 설치되어 있는지 확인합니다:

# Cilium 상태를 확인하는 명령어
# 이 명령어는 Cilium의 현재 동작 상태, DaemonSet, Deployment 등의 정보를 보여줍니다
cilium status

# kubectl을 사용하여 Cilium Pod가 모든 노드에서 실행 중인지 확인
# 이 명령어는 k8s-app=cilium 레이블을 가진 모든 Pod를 보여줍니다
kubectl get pods -n kube-system -l k8s-app=cilium

정상적으로 설치된 Cilium은 다음과 같은 출력을 보여줍니다:

✅ Cilium is running correctly
DaemonSet         cilium             Desired: 3, Ready: 3/3, Available: 3/3
Deployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2

✅ Hubble 활성화 여부 확인

Cilium 설치 시 Hubble이 이미 활성화되어 있는지 확인합니다:

# Cilium 에이전트 내에서 Hubble 서버의 상태를 확인하는 명령어
# 이 명령은 각 Cilium 에이전트 Pod에서 Hubble 활성화 여부 및 상태를 확인합니다
kubectl -n kube-system exec ds/cilium -c cilium-agent -- cilium status | grep Hubble

만약 다음과 같은 출력이 나온다면 Hubble이 이미 활성화된 상태입니다:

Hubble                  OK            Server listening on /var/run/cilium/hubble.sock

그렇지 않다면 Hubble을 별도로 활성화해야 합니다.

---

📌 Cilium CLI를 사용한 Hubble 설치

Cilium CLI를 사용하면 Hubble을 가장 간편하게 설치할 수 있습니다.

✅ Hubble 활성화

먼저 기존 Cilium 설치에 Hubble을 활성화합니다:

# Cilium CLI를 사용하여 Hubble 활성화
# 이 명령어는 다음을 수행합니다:
# 1. Cilium DaemonSet을 업데이트하여 Hubble 서버 기능 활성화
# 2. Hubble Relay 서비스 배포
# 3. Cilium과 Hubble 간 통신을 위한 인증서 생성
cilium hubble enable

이 명령은 다음 작업을 수행합니다:

• Cilium DaemonSet 업데이트 (Hubble 서버 활성화)
• Hubble Relay 서비스 배포
• 필요한 인증서 생성 및 구성

✅ Hubble UI 설치

Hubble UI를 설치하여 웹 인터페이스를 통해 네트워크 흐름을 시각화할 수 있습니다:

# Hubble UI 활성화 명령어
# --ui 플래그를 추가하면 Hubble UI 컴포넌트가 함께 배포됩니다
# UI는 네트워크 흐름을 시각적으로 표현해주는 웹 대시보드를 제공합니다
cilium hubble enable --ui

✅ 설치 확인

Hubble이 올바르게 설치되었는지 확인합니다:

# Hubble의 전반적인 상태를 확인하는 명령어
# 연결된 노드 수, 흐름 버퍼 상태, 초당 흐름 수 등을 보여줍니다
cilium hubble status

# Hubble 관련 Pod들의 상태를 확인
# k8s-app=hubble 레이블을 가진 모든 Pod를 보여줍니다
kubectl get pods -n kube-system -l k8s-app=hubble

성공적인 설치 시 다음과 유사한 출력이 표시됩니다:

Hubble Status:
  Current/Max Flows: 4095/4096 (99.98%)
  Flows/s: 9.91
  Connected Nodes: 3/3

---

📌 Helm으로 Hubble 설치하기

프로덕션 환경이나 세밀한 구성이 필요한 경우 Helm을 통해 Hubble을 설치할 수 있습니다.

✅ values.yaml 준비

Cilium과 Hubble 설정을 포함한 values.yaml 파일을 준비합니다:

# hubble-values.yaml
hubble:
  # Hubble 서버 활성화 (Cilium 에이전트 내 내장 컴포넌트)
  enabled: true
  
  # Hubble 메트릭 설정
  metrics:
    enabled:
      # 드롭된 패킷에 대한 메트릭 수집 활성화
      - drop
      # TCP 연결 관련 메트릭 수집 활성화
      - tcp
      # 일반 네트워크 흐름 메트릭 수집 활성화
      - flow
      # ICMP 관련 메트릭 수집 활성화
      - icmp
      # HTTP 요청 관련 메트릭 수집 활성화
      - http
  
  # Hubble Relay 설정 (클러스터 전체의 관측 데이터 집계)
  relay:
    # Hubble Relay 활성화
    enabled: true
  
  # Hubble UI 설정 (웹 기반 시각화 인터페이스)
  ui:
    # Hubble UI 활성화
    enabled: true

✅ Helm으로 설치 또는 업그레이드

Helm을 통해 Cilium을 업그레이드하면서 Hubble을 활성화합니다:

# Cilium Helm 리포지토리가 아직 추가되지 않은 경우 추가
helm repo add cilium https://helm.cilium.io/

# 리포지토리 정보 업데이트
helm repo update

# Cilium을 특정 버전으로 업그레이드하면서 Hubble 활성화
# --namespace: Cilium이 설치된 네임스페이스 지정
# -f: values.yaml 파일 경로 지정
# --version: 설치할 Cilium 버전 지정
helm upgrade cilium cilium/cilium --version 1.13.0 \
  --namespace kube-system \
  -f hubble-values.yaml

✅ 설치 확인

Helm으로 설치한 경우에도 다음 명령으로 설치 상태를 확인할 수 있습니다:

# Hubble Relay Pod 상태 확인
# Relay는 각 노드의 Hubble 서버로부터 데이터를 수집하는 중앙 서비스
kubectl get pods -n kube-system -l k8s-app=hubble-relay

# Hubble UI Pod 상태 확인
# UI는 네트워크 흐름을 시각화하는 웹 인터페이스 제공
kubectl get pods -n kube-system -l k8s-app=hubble-ui

# Hubble 관련 서비스 확인
# Hubble의 네트워크 서비스 상태 확인
kubectl get svc -n kube-system -l k8s-app=hubble

---

📌 YAML 매니페스트로 Hubble 설치하기

YAML 매니페스트를 직접 적용하여 Hubble을 설치할 수도 있습니다.

✅ Cilium 설정 업데이트

먼저 Cilium ConfigMap을 업데이트하여 Hubble을 활성화합니다:

# Cilium ConfigMap 편집
# 이 명령어는 기본 편집기를 열어 ConfigMap을 수정할 수 있게 합니다
kubectl edit cm -n kube-system cilium-config

다음 설정을 추가합니다:

# Hubble 활성화 여부 설정
hubble-enabled: "true"

# Hubble이 수집할 메트릭 종류 지정
# drop: 드롭된 패킷, tcp: TCP 연결, flow: 일반 흐름, port-distribution: 포트별 분포
# icmp: ICMP 메시지, http: HTTP 요청
hubble-metrics: "drop:.*,tcp,flow,port-distribution,icmp,http"

# Hubble 서버가 수신 대기할 주소와 포트
# :4244는 모든 인터페이스의 4244 포트에서 수신 대기
hubble-listen-address: ":4244"

✅ Hubble Relay 매니페스트 적용

Hubble Relay를 위한 YAML 매니페스트 파일을 생성합니다:

# hubble-relay.yaml
apiVersion: v1
kind: Service
metadata:
  # 서비스 이름
  name: hubble-relay
  # 서비스가 위치할 네임스페이스
  namespace: kube-system
spec:
  # 서비스 타입 (ClusterIP는 클러스터 내부에서만 접근 가능)
  type: ClusterIP
  # 이 서비스가 트래픽을 라우팅할 Pod를 선택하는 레이블 셀렉터
  selector:
    k8s-app: hubble-relay
  # 서비스가 노출할 포트 정의
  ports:
  - name: grpc  # 포트 이름
    port: 80    # 서비스가 노출하는 포트
    targetPort: 4245  # 트래픽을 보낼 컨테이너 포트
---
apiVersion: apps/v1
kind: Deployment
metadata:
  # Deployment 이름
  name: hubble-relay
  # Deployment가 위치할 네임스페이스
  namespace: kube-system
spec:
  # Pod 복제본 수 (1개의 Relay 인스턴스 실행)
  replicas: 1
  # 이 Deployment가 관리할 Pod를 선택하는 레이블 셀렉터
  selector:
    matchLabels:
      k8s-app: hubble-relay
  # Pod 템플릿 정의
  template:
    metadata:
      # Pod에 적용할 레이블
      labels:
        k8s-app: hubble-relay
    spec:
      # Pod 내에서 실행할 컨테이너 정의
      containers:
      - name: hubble-relay  # 컨테이너 이름
        # 사용할 이미지 (Hubble Relay v1.13.0)
        image: quay.io/cilium/hubble-relay:v1.13.0
        # 컨테이너에서 실행할 명령
        command:
        - /bin/hubble-relay
        # 명령에 전달할 인수
        args:
        - serve  # 서버 모드로 실행
        - --listen-address=:4245  # 4245 포트에서 수신 대기
        - --cluster-name=default  # 클러스터 이름 설정
        # 컨테이너가 노출할 포트
        ports:
        - name: grpc  # 포트 이름
          containerPort: 4245  # 컨테이너 포트 번호

# Relay 매니페스트 적용
# 이 명령어는 위에서 정의한 YAML 파일을 클러스터에 적용합니다
kubectl apply -f hubble-relay.yaml

✅ Hubble UI 매니페스트 적용

Hubble UI를 위한 YAML 매니페스트 파일을 생성합니다:

# hubble-ui.yaml
apiVersion: v1
kind: Service
metadata:
  # 서비스 이름
  name: hubble-ui
  # 서비스가 위치할 네임스페이스
  namespace: kube-system
spec:
  # 서비스 타입 (ClusterIP는 클러스터 내부에서만 접근 가능)
  type: ClusterIP
  # 이 서비스가 트래픽을 라우팅할 Pod를 선택하는 레이블 셀렉터
  selector:
    k8s-app: hubble-ui
  # 서비스가 노출할 포트 정의
  ports:
  - name: http  # 포트 이름
    port: 80    # 서비스가 노출하는 포트
    targetPort: 8081  # 트래픽을 보낼 컨테이너 포트
---
apiVersion: apps/v1
kind: Deployment
metadata:
  # Deployment 이름
  name: hubble-ui
  # Deployment가 위치할 네임스페이스
  namespace: kube-system
spec:
  # Pod 복제본 수 (1개의 UI 인스턴스 실행)
  replicas: 1
  # 이 Deployment가 관리할 Pod를 선택하는 레이블 셀렉터
  selector:
    matchLabels:
      k8s-app: hubble-ui
  # Pod 템플릿 정의
  template:
    metadata:
      # Pod에 적용할 레이블
      labels:
        k8s-app: hubble-ui
    spec:
      # Pod 내에서 실행할 컨테이너 정의
      containers:
      - name: hubble-ui  # 컨테이너 이름
        # 사용할 이미지 (Hubble UI v0.9.2)
        image: quay.io/cilium/hubble-ui:v0.9.2
        # 환경 변수 설정
        env:
        - name: NODE_ENV  # 노드 환경 설정
          value: production  # 프로덕션 모드로 실행
        - name: HUBBLE_API_URL  # Hubble API URL 설정
          # Hubble Relay 서비스의 DNS 이름 지정
          value: http://hubble-relay.kube-system.svc.cluster.local:80
        # 컨테이너가 노출할 포트
        ports:
        - containerPort: 8081  # 컨테이너 포트 번호

# UI 매니페스트 적용
# 이 명령어는 위에서 정의한 YAML 파일을 클러스터에 적용합니다
kubectl apply -f hubble-ui.yaml

 

---

📌 Hubble CLI 설치 및 사용하기

Hubble CLI는 명령줄을 통해 Hubble 데이터에 접근할 수 있는 도구입니다.

✅ Hubble CLI 설치

Linux/macOS:

# Hubble CLI 다운로드 및 설치 과정 (Linux/macOS)
# 1. GitHub에서 최신 릴리스 파일 다운로드
curl -L --remote-name-all https://github.com/cilium/hubble/releases/latest/download/hubble-linux-amd64.tar.gz

# 2. /usr/local/bin에 압축 해제 (관리자 권한 필요)
sudo tar xzvfC hubble-linux-amd64.tar.gz /usr/local/bin

# 3. 다운로드한 압축 파일 삭제
rm hubble-linux-amd64.tar.gz

macOS (Homebrew):

# Homebrew를 사용하여 Hubble CLI 설치 (macOS)
# Homebrew는 macOS용 패키지 관리자입니다
brew install hubble

Windows:

# PowerShell에서 실행하는 Windows용 Hubble CLI 설치 과정
# 1. 오류 발생 시 중지하도록 설정
$ErrorActionPreference = 'Stop'

# 2. 안정 버전 정보 가져오기
$version = (Invoke-WebRequest -Uri "https://raw.githubusercontent.com/cilium/hubble/master/stable.txt").Content.Trim()

# 3. 해당 버전의 Hubble CLI 다운로드
Invoke-WebRequest -Uri "https://github.com/cilium/hubble/releases/download/$version/hubble-windows-amd64.tar.gz" -OutFile "hubble.tar.gz"

# 4. 압축 해제
tar -xzf hubble.tar.gz

# 5. PowerShell 디렉토리로 실행 파일 이동
Move-Item -Force hubble.exe $Env:USERPROFILE\Documents\WindowsPowerShell

# 6. 다운로드한 압축 파일 삭제
Remove-Item hubble.tar.gz

✅ Hubble CLI 설정

Hubble CLI가 Hubble Relay에 접근할 수 있도록 포트 포워딩을 설정합니다:

# Hubble Relay 서비스로 포트 포워딩 설정
# 로컬 4245 포트를 Hubble Relay 서비스의 80 포트로 포워딩합니다
# & 기호는 명령을 백그라운드에서 실행하도록 합니다
kubectl port-forward -n kube-system svc/hubble-relay 4245:80 &

 

✅ 기본 CLI 명령어

주요 Hubble CLI 명령어를 살펴보겠습니다:

# Hubble 상태 확인
# 연결된 노드 수, 버퍼 상태 등을 표시합니다
hubble status

# 실시간 네트워크 트래픽 관찰
# 클러스터 내 모든 네트워크 플로우를 실시간으로 표시합니다
hubble observe

# 특정 네임스페이스의 트래픽만 필터링
# default 네임스페이스에서 발생하는 트래픽만 표시합니다
hubble observe --namespace default

# HTTP 프로토콜 트래픽만 필터링
# HTTP 요청과 응답만 표시합니다
hubble observe --protocol http

# 특정 Pod 간 통신 관찰
# nginx Pod에서 client Pod로 향하는 트래픽만 표시합니다
hubble observe --to-pod nginx --from-pod client

# JSON 형식으로 출력
# 프로그래밍 방식으로 처리하기 쉽도록 JSON 형식으로 출력합니다
hubble observe -o json

 

 

Hubble CLI 예시

 

---

📌 Hubble UI 접근 및 사용하기

Hubble UI는 네트워크 흐름을 시각적으로 보여주는 웹 인터페이스입니다.

✅ Hubble UI 접근 방법

포트 포워딩을 통해 Hubble UI에 접근할 수 있습니다:

# Hubble UI 서비스로 포트 포워딩 설정
# 로컬 8081 포트를 Hubble UI 서비스의 80 포트로 포워딩합니다
# & 기호는 명령을 백그라운드에서 실행하도록 합니다
kubectl port-forward -n kube-system svc/hubble-ui 8081:80 &

이제 웹 브라우저에서 http://localhost:8081 로 접속하면 Hubble UI를 볼 수 있습니다.

 

 

✅ Hubble UI 주요 기능

Hubble UI는 다음과 같은 주요 기능을 제공합니다:

1. 서비스 맵: 클러스터 내 서비스 간 의존성을 시각적으로 표현
2. 흐름 테이블: 모든 네트워크 트래픽을 테이블 형식으로 표시
3. 필터링: 네임스페이스, 워크로드, 프로토콜 등으로 트래픽 필터링
4. 통계: 트래픽 볼륨, 오류 비율 등의 통계 데이터 제공

---

📌 네트워크 흐름 시각화 실습

실제 애플리케이션을 배포하여 Hubble로 네트워크 흐름을 시각화해 보겠습니다.

✅ 테스트 애플리케이션 배포

간단한 웹 애플리케이션을 배포하겠습니다:

# 테스트용 네임스페이스 생성
kubectl create namespace hubble-demo

# 백엔드 서비스 배포
kubectl -n hubble-demo apply -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  # Deployment 이름
  name: backend
spec:
  # Pod 선택을 위한 레이블 셀렉터
  selector:
    matchLabels:
      app: backend
  # 2개의 복제본 실행
  replicas: 2
  # Pod 템플릿 정의
  template:
    metadata:
      # Pod에 적용할 레이블
      labels:
        app: backend
    spec:
      # 컨테이너 정의
      containers:
      - name: backend  # 컨테이너 이름
        # nginx 이미지 사용
        image: nginx:1.19.6
        # 노출할 포트
        ports:
        - containerPort: 80  # 웹 서버 포트
---
apiVersion: v1
kind: Service
metadata:
  # 서비스 이름
  name: backend
spec:
  # Pod 선택을 위한 레이블 셀렉터
  selector:
    app: backend
  # 노출할 포트
  ports:
  - port: 80  # 서비스가 노출하는 포트
EOF

# 프론트엔드 서비스 배포
kubectl -n hubble-demo apply -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  # Deployment 이름
  name: frontend
spec:
  # Pod 선택을 위한 레이블 셀렉터
  selector:
    matchLabels:
      app: frontend
  # 2개의 복제본 실행
  replicas: 2
  # Pod 템플릿 정의
  template:
    metadata:
      # Pod에 적용할 레이블
      labels:
        app: frontend
    spec:
      # 컨테이너 정의
      containers:
      - name: frontend  # 컨테이너 이름
        # nginx 이미지 사용
        image: nginx:1.19.6
        # 노출할 포트
        ports:
        - containerPort: 80  # 웹 서버 포트
        # 셸 명령 실행
        command: ["/bin/sh", "-c"]
        # 2초마다 백엔드 서비스로 HTTP 요청을 보내는 스크립트
        # 이를 통해 지속적인 네트워크 트래픽 생성
        args:
        - while true; do wget -O - http://backend.hubble-demo.svc.cluster.local:80; sleep 2; done
---
apiVersion: v1
kind: Service
metadata:
  # 서비스 이름
  name: frontend
spec:
  # Pod 선택을 위한 레이블 셀렉터
  selector:
    app: frontend
  # 노출할 포트
  ports:
  - port: 80  # 서비스가 노출하는 포트
EOF

 

 

✅ 트래픽 생성 및 관찰

앱이 배포되면 트래픽이 자동으로 생성됩니다. 이제 Hubble로 관찰해 보겠습니다:

# hubble-demo 네임스페이스의 모든 트래픽 관찰
# 이 명령어는 해당 네임스페이스 내에서 발생하는 모든 네트워크 흐름을 보여줍니다
hubble observe --namespace hubble-demo

# 특정 서비스 간 트래픽만 필터링하여 관찰
# --to-namespace, --to-service: 트래픽의 목적지 필터링 (백엔드 서비스)
# --from-namespace: 트래픽의 출발지 필터링 (hubble-demo 네임스페이스)
hubble observe --to-namespace hubble-demo --to-service backend --from-namespace hubble-demo

✅ Hubble UI에서 시각화

Hubble UI를 통해 동일한 트래픽을 시각적으로 확인합니다:

1. http://localhost:8081 접속
2. 네임스페이스 필터에서 "hubble-demo" 선택
3. 서비스 맵에서 frontend와 backend 간의 연결 확인
4. 연결선을 클릭하여 자세한 통계 확인

---

📌 Pod-to-Pod 통신 추적 실습

Hubble을 사용하여 Pod 간 통신을 상세히 추적하고 문제를 진단하는 방법을 알아보겠습니다.

✅ 상세 추적 쿼리

# 프론트엔드 Pod 이름 가져오기
# -l app=frontend: frontend 레이블을 가진 Pod 선택
# -o jsonpath: 출력 형식을 JSONPath로 지정하여 첫 번째 Pod 이름만 가져옴
FRONTEND_POD=$(kubectl -n hubble-demo get pods -l app=frontend -o jsonpath='{.items[0].metadata.name}')

# 백엔드 Pod 이름 가져오기
# -l app=backend: backend 레이블을 가진 Pod 선택
# -o jsonpath: 출력 형식을 JSONPath로 지정하여 첫 번째 Pod 이름만 가져옴
BACKEND_POD=$(kubectl -n hubble-demo get pods -l app=backend -o jsonpath='{.items[0].metadata.name}')

# 특정 Pod 간 통신만 관찰
# --from-pod: 트래픽 출발지 Pod 필터링
# --to-pod: 트래픽 목적지 Pod 필터링
hubble observe --from-pod hubble-demo/$FRONTEND_POD --to-pod hubble-demo/$BACKEND_POD

✅ 네트워크 정책 추가 및 효과 관찰

이제 네트워크 정책을 추가하고 그 효과를 Hubble에서 관찰해 보겠습니다:

# 백엔드로의 모든 트래픽 차단 정책 적용
kubectl -n hubble-demo apply -f - <<EOF
apiVersion: "cilium.io/v2"
kind: CiliumNetworkPolicy
metadata:
  # 정책 이름
  name: "deny-backend"
spec:
  # 정책을 적용할 엔드포인트(Pod) 선택
  # 여기서는l app=backend 레이블을 가진 모든 Pod에 적용
  endpointSelector:
    matchLabels:
      app: backend
  # 인그레스 정책 (들어오는 트래픽)
  # 빈 중괄호({})는 모든 인그레스 트래픽을 차단함을 의미
  ingress:
  - {}
  # 이그레스 정책 (나가는 트래픽)
  # 빈 중괄호({})는 모든 이그레스 트래픽을 차단함을 의미
  egress:
  - {}
EOF

이제 Hubble로 차단된 트래픽을 관찰합니다:

# 차단된 트래픽 관찰
# --type drop: 드롭된(차단된) 패킷만 필터링
# --namespace hubble-demo: hubble-demo 네임스페이스 내 트래픽만 관찰
hubble observe --type drop --namespace hubble-demo

✅ 허용 정책 추가

프론트엔드에서 백엔드로의 통신만 허용하는 정책을 추가합니다:

# 기존 정책 삭제
kubectl -n hubble-demo delete ciliumnetworkpolicies.cilium.io deny-backend

# 프론트엔드에서만 백엔드로의 통신을 허용하는 정책 적용
kubectl -n hubble-demo apply -f - <<EOF
apiVersion: "cilium.io/v2"
kind: CiliumNetworkPolicy
metadata:
  # 정책 이름
  name: "allow-frontend-to-backend"
spec:
  # 정책을 적용할 엔드포인트(Pod) 선택
  # app=backend 레이블을 가진 Pod에 적용
  endpointSelector:
    matchLabels:
      app: backend
  # 인그레스 정책 (들어오는 트래픽)
  ingress:
  - fromEndpoints:
    # app=frontend 레이블을 가진 Pod에서 들어오는 트래픽만 허용
    - matchLabels:
        app: frontend
  # 이그레스 정책 (나가는 트래픽)
  # 빈 중괄호({})는 모든 이그레스 트래픽을 허용함을 의미
  egress:
  - {}
EOF

다시 Hubble로 트래픽을 관찰합니다:

# 허용된 트래픽 관찰
# --to-label app=backend: app=backend 레이블을 가진 Pod로 향하는 트래픽만 필터링
# --namespace hubble-demo: hubble-demo 네임스페이스 내 트래픽만 관찰
hubble observe --to-label app=backend --namespace hubble-demo

 

 

네트워크 정책 적용 전/후 비교

 

---

📌 네트워크 문제 진단하기

Hubble을 사용하여 실제 네트워크 문제를 진단하는 방법을 알아보겠습니다.

✅ DNS 문제 진단

DNS 관련 문제는 마이크로서비스 환경에서 자주 발생합니다. Hubble로 DNS 요청을 관찰해 보겠습니다:

# DNS 요청 관찰
# --port 53: DNS 포트(53)에 대한 트래픽만 필터링
# --protocol dns: DNS 프로토콜만 필터링
hubble observe --port 53 --protocol dns

# 특정 Pod의 DNS 요청만 관찰
# --from-pod: 트래픽 출발지 Pod 필터링
# --protocol dns: DNS 프로토콜만 필터링
hubble observe --from-pod hubble-demo/$FRONTEND_POD --protocol dns

✅ HTTP 오류 진단

HTTP 트래픽 중 오류가 발생한 것만 필터링하여 확인합니다:

# HTTP 500번대 오류(서버 오류) 필터링
# --protocol http: HTTP 프로토콜만 필터링
# --http-status 5xx: 상태 코드가 500번대인 요청만 필터링
hubble observe --protocol http --http-status 5xx

# 특정 Pod의 HTTP 오류(클라이언트 및 서버 오류) 필터링
# --from-pod: 트래픽 출발지 Pod 필터링
# --protocol http: HTTP 프로토콜만 필터링
# --http-status 4xx,5xx: 상태 코드가 400번대 또는 500번대인 요청만 필터링
hubble observe --from-pod hubble-demo/$FRONTEND_POD --protocol http --http-status 4xx,5xx

✅ 연결 타임아웃 문제 진단

연결 타임아웃이나 거부 문제를 진단합니다:

# 정책에 의해 차단된 연결 필터링
# --verdict DROPPED: 차단된 패킷만 필터링
# --type policy-denied: 정책에 의해 거부된 패킷만 필터링
hubble observe --verdict DROPPED --type policy-denied

# 특정 서비스로의 연결 중 차단된 것만 진단
# --to-service backend: backend 서비스로 향하는 트래픽만 필터링
# --namespace hubble-demo: hubble-demo 네임스페이스 내 트래픽만 관찰
# --verdict DROPPED: 차단된 패킷만 필터링
hubble observe --to-service backend --namespace hubble-demo --verdict DROPPED

---

📌 Hubble 성능 영향 및 최적화

Hubble의 성능 영향을 이해하고 최적화하는 방법을 알아보겠습니다.

✅ 성능 영향 이해

Hubble은 eBPF를 기반으로 하므로 일반적으로 성능 오버헤드가 낮습니다. 그러나 몇 가지 요소가 성능에 영향을 줄 수 있습니다:

1. 플로우 버퍼 크기: 많은 수의 플로우를 캡처하면 메모리 사용량이 증가합니다.
2. 메트릭 수집: 많은 메트릭을 활성화하면 CPU 사용량이 증가할 수 있습니다.
3. UI 및 Relay: 대규모 클러스터에서는 이러한 구성 요소가 추가 리소스를 소비합니다.

✅ 최적화 설정

Hubble의 성능을 최적화하기 위한 설정입니다:

# Hubble 최적화 설정
hubble:
  # Hubble 활성화
  enabled: true
  
  # 흐름 버퍼 설정
  flow:
    # 버퍼에 저장할 최대 플로우 수
    # 높은 값: 더 많은 기록 저장, 메모리 사용량 증가
    # 낮은 값: 메모리 사용량 감소, 기록 유지 기간 감소
    bufferSize: 4095
  
  # 메트릭 설정
  metrics:
    enabled:
      # 필요한 메트릭만 선택적으로 활성화
      # drop: 드롭된 패킷 메트릭
      - drop
      # tcp: TCP 연결 관련 메트릭
      - tcp
    # Prometheus 서비스 모니터 설정
    serviceMonitor:
      # Prometheus로 메트릭 전송 활성화
      enabled: true
  
  # Hubble Relay 설정
  relay:
    # Relay 활성화
    enabled: true
    # 리소스 제한 설정
    resources:
      # 최대 사용 가능 리소스
      limits:
        # CPU 제한: 200 밀리코어
        cpu: 200m
        # 메모리 제한: 256 메가바이트
        memory: 256Mi
      # 리소스 요청 (최소 필요 리소스)
      requests:
        # CPU 요청: 100 밀리코어
        cpu: 100m
        # 메모리 요청: 128 메가바이트
        memory: 128Mi
  
  # Hubble UI 설정
  ui:
    # UI 활성화
    enabled: true
    # 리소스 제한 설정
    resources:
      # 최대 사용 가능 리소스
      limits:
        # CPU 제한: 200 밀리코어
        cpu: 200m
        # 메모리 제한: 256 메가바이트
        memory: 256Mi
      # 리소스 요청 (최소 필요 리소스)
      requests:
        # CPU 요청: 100 밀리코어
        cpu: 100m
        # 메모리 요청: 128 메가바이트
        memory: 128Mi

✅ 프로덕션 환경 권장 사항

프로덕션 환경에서 Hubble을 사용할 때 다음 사항을 고려하세요:

1. 선택적 배포: 모든 노드가 아닌 문제 진단이 필요한 노드에만 Hubble을 활성화하는 것을 고려하세요.
2. 리소스 제한 설정: Hubble Relay 및 UI의 리소스 제한을 명확히 설정하세요.
3. 필요한 메트릭만 활성화: 모든 메트릭을 활성화하지 말고 필요한 것만 선택하세요.
4. 버퍼 크기 조정: 클러스터 규모에 맞게 버퍼 크기를 조정하세요.

---

📌 Summary

이번 글에서는 Cilium의 강력한 네트워크 관측 도구인 Hubble을 설치하고 활용하는 방법에 대해 알아보았습니다. 주요 내용을 정리하면 다음과 같습니다:

• Hubble은 Cilium의 확장 기능으로, eBPF를 활용하여 쿠버네티스 클러스터 내의 네트워크 트래픽을 실시간으로 관찰하고 분석할 수 있습니다.
• Hubble Server, Relay, UI의 세 가지 주요 구성 요소로 이루어져 있으며, 각각 데이터 수집, 집계, 시각화 역할을 담당합니다.
• Cilium CLI, Helm, YAML 매니페스트 등 다양한 방법으로 Hubble을 설치할 수 있습니다.
• Hubble CLI를 통해 명령줄에서 네트워크 트래픽을 관찰하고 필터링할 수 있습니다.
• Hubble UI는 네트워크 흐름을 시각적으로 표현하여 마이크로서비스 간 의존성을 쉽게 이해할 수 있게 합니다.
• 실제 애플리케이션을 배포하고 Hubble을 통해 Pod 간 통신을 추적하는 방법을 실습했습니다.
• 네트워크 정책을 적용하고 그 효과를 Hubble에서 관찰하는 방법을 배웠습니다.
• DNS 문제, HTTP 오류, 연결 타임아웃 등 네트워크 문제를 Hubble로 진단하는 방법을 알아보았습니다.
• Hubble의 성능 영향을 이해하고 최적화하는 방법에 대해 살펴보았습니다.