초급에서 고급까지

[쿠버네티스] rook-ceph 대시보드 패스워드 변경

초고도 — Mon, 10 Mar 2025 11:00:07 +0900

ceph 명령어 입력을 위한 파드 내부 접속

kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') bash

패스워드 변경

echo -n "1234" > /tmp/password.txt
ceph dashboard ac-user-set-password admin -i /tmp/password.txt --force-password

/tmp 경로에서 텍스트 파일을 생성하는 이유는 권한 때문이다.

{"username": "admin", "password": "$2b$12$RbbOcLS1bZx0wkwYpiy5cOjpVmrSoAOLesE9aaCEY7Rkvd//lsfNe", "roles": ["administrator"], "name": null, "email": null, "lastUpdate": 1741571460, "enabled": true, "pwdExpirationDate": null, "pwdUpdateRequired": false}

이렇게 뜨면 변경 성공이다.

ceph 계정 잠금 해제

bash-5.1$ ceph dashboard ac-user-show admin
```
{"username": "admin", "password": "$2b$12$dvI.JwJXCWpqL2k2CXFXs.WKcL5I8yDkYvuq7xdlMkVB/ULCminPe", "roles": ["administrator"], "name": null, "email": null, "lastUpdate": 1741841522, "enabled": false, "pwdExpirationDate": null, "pwdUpdateRequired": false}
```

bash-5.1$ ceph dashboard ac-user-enable admin
```
{"username": "admin", "password": "$2b$12$dvI.JwJXCWpqL2k2CXFXs.WKcL5I8yDkYvuq7xdlMkVB/ULCminPe", "roles": ["administrator"], "name": null, "email": null, "lastUpdate": 1741841571, "enabled": true, "pwdExpirationDate": null, "pwdUpdateRequired": false}
```

[kubernetes] CentOS에서 k8s 설치하기(docker X, containerd O)

초고도 — Thu, 16 Jan 2025 14:45:50 +0900

시작하며

k8s v1.20 이후 부터 container runtime으로 docker를 사용하는 것을 중단하였다. 심지어 대안책으로 나온 dockershim까지 v1.24 이후 부터 지원을 중단하면서 docker가 필요없어져서 삭제하기로 했다.

그러나 런타임에서 docker를 제거하더라도 docker에서 만든 컨테이너 이미지를 등록하고 실행하는 것은 가능하다. 이유는 docker가 생성하는 이미지는 docker에만 특정된 이미지가 아닌 OCI(Open Container Initiative)와 호환되는 이미지이기 때문이다.

대안으로는 컨테이너 런타임을 위해 containerd를 설치하기로 했다.

docker와 기존에 설치한 k8s를 삭제하는 방법은 아래 포스팅을 참고하길 바란다.

https://jfbta.tistory.com/284

[kubernetes] CentOS에서 Docker 완전 삭제하기

목차 시작하며 k8s v1.20 이후 부터 container runtime으로 docker를 사용하는 것을 중단하였다. 심지어 대안책으로 나온 dockershim까지 v1.24 이후 부터 지원을 중단하면서 docker가 필요없어져서 삭제하기로

jfbta.tistory.com

https://jfbta.tistory.com/285

[kubernetes] CentOS에서 k8s 완전 삭제하기

목차 실행 중인 도커(컨테이너, 볼륨, 이미지) 모두 제거 # 이미지 목록 docker images # 이미지 삭제 docker rmi {이미지이름} # 네트워크 목록 docker network ls # 네트워크 삭제 docker network rm {네트워크이름}

jfbta.tistory.com

최소 사양

마스터 노드(Master Node):
- CPU: 2 코어 이상
- RAM: 2GB 이상
- 디스크: 20GB 이상의 여유 공간
워커 노드(Worker Node):
- CPU: 1 코어 이상
- RAM: 1GB 이상
- 디스크: 10GB 이상의 여유 공간

selinux 비활성화

[root@docker03 etc]# setenforce 0
setenforce: SELinux is disabled

swap 비활성화

[root@docker03 etc]# swapoff -a

방화벽 비활성화

[root@docker03 etc]# systemctl disable firewalld
[root@docker03 etc]# systemctl stop firewalld

containerd 설치 및 설정

[root@docker03 etc]# yum install -y yum-utils
[root@docker03 etc]# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
[root@docker03 etc]# yum install containerd.io

[root@docker03 yum.repos.d]# cd /etc/modules-load.d/
[root@docker03 modules-load.d]# vim containerd.conf
---
overlay
br_netfilter
---
:wq
---
[root@docker03 modules-load.d]# modprobe overlay
[root@docker03 modules-load.d]# modprobe br_netfilter
[root@docker03 modules-load.d]# cd /etc/sysctl.d/
[root@docker03 modules-load.d]# vim 99-kubernetes-cri.conf
---
net.bridge.bridge-nf-call-iptables  = 1
net.ipv4.ip_forward                 = 1
net.bridge.bridge-nf-call-ip6tables = 1
---
:wq
---
[root@docker03 sysctl.d]# sysctl --system
* Applying /usr/lib/sysctl.d/00-system.conf ...
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
net.bridge.bridge-nf-call-arptables = 0
* Applying /usr/lib/sysctl.d/10-default-yama-scope.conf ...
kernel.yama.ptrace_scope = 0
* Applying /usr/lib/sysctl.d/50-default.conf ...
kernel.sysrq = 16
kernel.core_uses_pid = 1
kernel.kptr_restrict = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.default.promote_secondaries = 1
net.ipv4.conf.all.promote_secondaries = 1
fs.protected_hardlinks = 1
fs.protected_symlinks = 1
* Applying /etc/sysctl.d/99-kubernetes-cri.conf ...
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
* Applying /etc/sysctl.d/99-sysctl.conf ...
vm.swappiness = 1
* Applying /etc/sysctl.conf ...
vm.swappiness = 1

[root@docker03 modules-load.d]# vim /etc/containerd/config.toml
# 주석처리
disabled_plugins = ["cri"]
# 내용 추가
[plugins."io.containerd.grpc.v1.cri".containerd.default_runtime.options]
SystemdCgroup = true

다시 시작해서 적용

[root@docker03 modules-load.d]# systemctl restart containerd

설치 확인

[root@docker03 sysctl.d]# systemctl status containerd
● containerd.service - containerd container runtime
   Loaded: loaded (/usr/lib/systemd/system/containerd.service; disabled; vendor preset: disabled)
   Active: active (running) since Sun 2024-03-03 21:46:33 KST; 40s ago
     Docs: https://containerd.io
  Process: 36278 ExecStartPre=/sbin/modprobe overlay (code=exited, status=0/SUCCESS)
 Main PID: 36280 (containerd)
    Tasks: 95
   Memory: 2.5G
   CGroup: /system.slice/containerd.service
           ├─33552 /usr/bin/containerd-shim-runc-v2 -namespace k8s.io -id 79fc1589e50c808b...
           ├─33571 /usr/bin/containerd-shim-runc-v2 -namespace k8s.io -id c89976f208042e39...
           ├─36280 /usr/bin/containerd
           ├─kubepods-burstable-pod00e23bc2_2a42_4688_8dd5_5d8f22291121.slice:cri-containerd:c78bcd5704bb8620872079872938755f1216650dd4b02bbc0ba429f725cfc11b
           │ ├─33952 /usr/local/bin/runsvdir -P /etc/service/enabled
           │ ├─34028 runsv felix
           │ ├─34029 runsv monitor-addresses
           │ ├─34030 runsv allocate-tunnel-addrs
           │ ├─34031 runsv node-status-reporter
           │ ├─34032 runsv bird
           │ ├─34033 runsv bird6
           │ ├─34034 runsv confd
           │ ├─34035 runsv cni
           │ ├─34037 calico-node -monitor-addresses
           │ ├─34039 calico-node -status-reporter
           │ ├─34041 calico-node -confd
           │ ├─34060 calico-node -monitor-token
           │ ├─34199 bird6 -R -s /var/run/calico/bird6.ctl -d -c /etc/calico/confd/config/...
           │ ├─34200 bird -R -s /var/run/calico/bird.ctl -d -c /etc/calico/confd/config/bi...
           │ ├─35416 calico-node -allocate-tunnel-addrs
           │ └─36086 calico-node -felix
           ├─kubepods-burstable-pod00e23bc2_2a42_4688_8dd5_5d8f22291121.slice:cri-containerd:c89976f208042e39c49168c7e4d49078e525a215b1fd3f19bef7ed33140ff078
           │ └─33608 /pause
           └─kubepods-besteffort-pod6ba323f8_4720_4a5d_9da5_01efa499f1d4.slice:cri-containerd:79fc1589e50c808bb945cefd1b62eadde9c5135d66e0edc6d83711adea15425d
             └─33598 /pause

Mar 03 21:46:33 docker03 containerd[36280]: time="2024-03-03T21:46:33.076602139+09:00" l...60
Mar 03 21:46:33 docker03 containerd[36280]: time="2024-03-03T21:46:33.076983484+09:00" l...io
Mar 03 21:46:33 docker03 containerd[36280]: time="2024-03-03T21:46:33.077003570+09:00" l...m"
Mar 03 21:46:33 docker03 containerd[36280]: time="2024-03-03T21:46:33.087167717+09:00" l...n"
Mar 03 21:46:33 docker03 containerd[36280]: time="2024-03-03T21:46:33.268915488+09:00" l...r"
Mar 03 21:46:33 docker03 containerd[36280]: time="2024-03-03T21:46:33.268974607+09:00" l...r"
Mar 03 21:46:33 docker03 systemd[1]: Started containerd container runtime.
Mar 03 21:46:33 docker03 containerd[36280]: time="2024-03-03T21:46:33.268990433+09:00" l...t"
Mar 03 21:46:33 docker03 containerd[36280]: time="2024-03-03T21:46:33.269000696+09:00" l...r"
Mar 03 21:46:33 docker03 containerd[36280]: time="2024-03-03T21:46:33.269077615+09:00" l...s"
Hint: Some lines were ellipsized, use -l to show in full.

k8s 설치하기

[root@docker03 modules-load.d]# cd /etc/yum.repos.d/
[root@docker03 modules-load.d]# vim kubernetes.repo
---
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\$basearch
enabled=1
gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
---
:wq
---
[root@docker03 modules-load.d]# mv kubernetes.repo Kubernetes.repo
[root@docker03 modules-load.d]# yum install kubelet kubeadm kubectl --disableexcludes=kubernetes

설치중 404 에러가 뜨는서버가 하나가 있었다. 이때는 repository 내용을 아래로 변경해서 설치하면 된다.

---
[kubernetes]
name=Kubernetes
baseurl=http://yum.kubernetes.io/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg
       https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
---
:wq
---

쿠버네티스 버전이 1.29 이후로는 아래 저장소를 사용해야한다.

---
[kubernetes]
name=Kubernetes
baseurl=https://pkgs.k8s.io/core:/stable:/v1.29/rpm/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v1.29/rpm/repodata/repomd.xml.key
---
:wq
---

호스트 정보 등록

마스터와 워커 노드들의 정보를 입력해준다.

vim /etc/hosts

```
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

10.10.10.121 jfbta1 
10.10.10.122 jfbta2
10.10.10.123 jfbta3
10.10.10.124 jfbta4
```
we
```

호스트 정보를 정상적으로 입력하지 않은 경우 아래와 같은 에러가 발생한다.

[WARNING FileExisting-tc]: tc not found in system path
[WARNING Hostname]: hostname "docker5" could not be reached
[WARNING Hostname]: hostname "docker5": lookup docker5 on 8.8.8.8:53: no such host

Master인 경우

[root@docker03 modules-load.d]# systemctl enable kubelet
[root@docker03 modules-load.d]# kubeadm init

[root@docker03 modules-load.d]# mkdir -p $HOME/.kube
[root@docker03 modules-load.d]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@docker03 modules-load.d]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@docker03 modules-load.d]# export KUBECONFIG=/etc/kubernetes/admin.conf

export KUBECONFIG=/etc/kubernetes/admin.conf -> 이렇게만 설정하면 서버에 접속할 때 풀릴 수가 있다. -> 이 경우 kubectl 명령어가 동작하지 않는다. 아래와 같이 영구적으로 저장되게 변경한다.

echo 'export KUBECONFIG=/etc/kubernetes/admin.conf' >> ~/.bashrc
source ~/.bashrc

Worker Node인 경우

[root@docker03 modules-load.d]# kubeadm reset
[root@docker03 modules-load.d]# kubeadm join {Master_IP}:6443 --token {token_키} --discovery-token-ca-cert-hash sha256:{hash_token_키}

node 추가를 위해 join하는 방법 정리 포스팅은 아래를 참고하세요.

https://jfbta.tistory.com/287

[kubernetes] token, hash token 발급 후 join, node 추가 방법

# 인증서 업데이트 kubeadm alpha certs renew all # 인증서 갱신 여부 확인 openssl x509 -in apiserver.crt -noout -text |grep ' Not ' # token 생성 및 확인(만료되면 사라지기 때문에 재생성必) kubeadm token create --print-join-

jfbta.tistory.com

[쿠버네티스] kubectl 명령어 사용자 권한 설정 방법

초고도 — Wed, 8 Jan 2025 14:06:02 +0900

root 계정에서 사용하는 경우

[root@docker03 modules-load.d]# systemctl enable kubelet
[root@docker03 modules-load.d]# kubeadm init

[root@docker03 modules-load.d]# mkdir -p $HOME/.kube
[root@docker03 modules-load.d]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@docker03 modules-load.d]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@docker03 modules-load.d]# export KUBECONFIG=/etc/kubernetes/admin.conf

user01 계정에서 사용하는 경우

[root@docker03 modules-load.d]# systemctl enable kubelet
[root@docker03 modules-load.d]# kubeadm init

[user01@docker03 modules-load.d]# mkdir -p /home/user01/.kube
[user01@docker03 modules-load.d]# sudo cp -i /etc/kubernetes/admin.conf /home/user01/.kube/config
[user01@docker03 modules-load.d]# sudo chown user01:user01 /home/user01/.kube/config
[user01@docker03 modules-load.d]# export KUBECONFIG=/home/user01/.kube/config

[쿠버네티스] Ubuntu 22.04 쿠버네티스 설치 방법

초고도 — Mon, 6 Jan 2025 16:52:35 +0900

시작하며

Ubuntu 22.04 서버에 쿠버네티스를 한 번에 설치하는 글을 찾지 못하였다. 이 글로 정리하려한다. 먼저, 런타임 환경이 도커에서 컨테이너D로 변경되었기 때문에 도커를 설치할 필요가 없다.

저장소 설정

1. apt 업데이트

sudo apt-get update
 
sudo apt-get install \
    ca-certificates \
    curl \
    gnupg \
    lsb-release

2. 도커 공식 GPG key 추가

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

3. Stable repository 설정

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

런타임 엔진 설치

1. containerd 설치

sudo apt-get update
sudo apt-get install containerd.io

2. containerd 설치 및 동작 확인

systemctl status containerd

쿠버네티스 설치

1. 메모리 스왑

sudo swapoff -a && sudo sed -i '/swap/s/^/#/' /etc/fstab

2. 노드간 통신을 위한 iptables에 브릿지 관련 설정

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sudo sysctl --system

3. apt 업데이트 및 ca 관련 패키지 다운로드 및 설정

sudo apt update && sudo apt upgrade -y
sudo apt install -y apt-transport-https ca-certificates curl

4. Google Cloud GPG 키 추가

sudo curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.29/deb/Release.key | sudo tee /etc/apt/trusted.gpg.d/kubernetes.asc

5. 쿠버네티스 gpg 및 소스 리스트 내용 추가 및 apt 업데이트

echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

6. Kubernetes APT 저장소 추가

echo "deb https://pkgs.k8s.io/core:/stable:/v1.29/deb/ /" | sudo tee /etc/apt/sources.list.d/kubernetes.list

cat /etc/apt/sources.list.d/kubernetes.list

7. 패키지 목록 다시 업데이트 및 설치 목록 확인

sudo apt update

apt-cache policy kubelet

8. kubelet, kubeadm, kubectl 설치

sudo apt install -y kubelet kubeadm kubectl

kubectl version --client && kubeadm version

9. kubelet 활성화 및 상태 확인

sudo systemctl enable kubelet --now
sudo systemctl status kubelet

10. containerd 설정 파일 수정

disabled_plugins = []
imports = []
oom_score = 0
plugin_dir = ""
required_plugins = []
root = "/var/lib/containerd"
state = "/run/containerd"
temp = ""
version = 2

[cgroup]
  path = ""

[debug]
  address = ""
  format = ""
  gid = 0
  level = ""
  uid = 0

[grpc]
  address = "/run/containerd/containerd.sock"
  gid = 0
  max_recv_message_size = 16777216
  max_send_message_size = 16777216
  tcp_address = ""
  tcp_tls_ca = ""
  tcp_tls_cert = ""
  tcp_tls_key = ""
  uid = 0

[metrics]
  address = ""
  grpc_histogram = false

[plugins]

  [plugins."io.containerd.gc.v1.scheduler"]
    deletion_threshold = 0
    mutation_threshold = 100
    pause_threshold = 0.02
    schedule_delay = "0s"
    startup_delay = "100ms"

  [plugins."io.containerd.grpc.v1.cri"]
    device_ownership_from_security_context = false
    disable_apparmor = false
    disable_cgroup = false
    disable_hugetlb_controller = true
    disable_proc_mount = false
    disable_tcp_service = true
    drain_exec_sync_io_timeout = "0s"
    enable_selinux = false
    enable_tls_streaming = false
    enable_unprivileged_icmp = false
    enable_unprivileged_ports = false
    ignore_deprecation_warnings = []
    ignore_image_defined_volumes = false
    max_concurrent_downloads = 3
    max_container_log_line_size = 16384
    netns_mounts_under_state_dir = false
    restrict_oom_score_adj = false
    sandbox_image = "registry.k8s.io/pause:3.6"
    selinux_category_range = 1024
    stats_collect_period = 10
    stream_idle_timeout = "4h0m0s"
    stream_server_address = "127.0.0.1"
    stream_server_port = "0"
    systemd_cgroup = false
    tolerate_missing_hugetlb_controller = true
    unset_seccomp_profile = ""

    [plugins."io.containerd.grpc.v1.cri".cni]
      bin_dir = "/opt/cni/bin"
      conf_dir = "/etc/cni/net.d"
      conf_template = ""
      ip_pref = ""
      max_conf_num = 1

    [plugins."io.containerd.grpc.v1.cri".containerd]
      default_runtime_name = "nvidia"
      disable_snapshot_annotations = true
      discard_unpacked_layers = false
      ignore_rdt_not_enabled_errors = false
      no_pivot = false
      snapshotter = "overlayfs"

      [plugins."io.containerd.grpc.v1.cri".containerd.default_runtime]
        base_runtime_spec = ""
        cni_conf_dir = ""
        cni_max_conf_num = 0
        container_annotations = []
        pod_annotations = []
        privileged_without_host_devices = false
        runtime_engine = ""
        runtime_path = ""
        runtime_root = ""
        runtime_type = ""

        [plugins."io.containerd.grpc.v1.cri".containerd.default_runtime.options]

      [plugins."io.containerd.grpc.v1.cri".containerd.runtimes]

        [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia]
          base_runtime_spec = ""
          cni_conf_dir = ""
          cni_max_conf_num = 0
          container_annotations = []
          pod_annotations = []
          privileged_without_host_devices = false
          runtime_engine = ""
          runtime_path = ""
          runtime_root = ""
          runtime_type = "io.containerd.runc.v2"

          [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia.options]
            BinaryName = "/usr/local/nvidia/toolkit/nvidia-container-runtime"
            CriuImagePath = ""
            CriuPath = ""
            CriuWorkPath = ""
            IoGid = 0
            IoUid = 0
            NoNewKeyring = false
            NoPivotRoot = false
            Root = ""
            ShimCgroup = ""
            SystemdCgroup = true

        [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia-cdi]
          base_runtime_spec = ""
          cni_conf_dir = ""
          cni_max_conf_num = 0
          container_annotations = []
          pod_annotations = []
          privileged_without_host_devices = false
          runtime_engine = ""
          runtime_path = ""
          runtime_root = ""
          runtime_type = "io.containerd.runc.v2"

          [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia-cdi.options]
            BinaryName = "/usr/local/nvidia/toolkit/nvidia-container-runtime.cdi"
            CriuImagePath = ""
            CriuPath = ""
            CriuWorkPath = ""
            IoGid = 0
            IoUid = 0
            NoNewKeyring = false
            NoPivotRoot = false
            Root = ""
            ShimCgroup = ""
            SystemdCgroup = true

        [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia-legacy]
          base_runtime_spec = ""
          cni_conf_dir = ""
          cni_max_conf_num = 0
          container_annotations = []
          pod_annotations = []
          privileged_without_host_devices = false
          runtime_engine = ""
          runtime_path = ""
          runtime_root = ""
          runtime_type = "io.containerd.runc.v2"

          [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia-legacy.options]
            BinaryName = "/usr/local/nvidia/toolkit/nvidia-container-runtime.legacy"
            CriuImagePath = ""
            CriuPath = ""
            CriuWorkPath = ""
            IoGid = 0
            IoUid = 0
            NoNewKeyring = false
            NoPivotRoot = false
            Root = ""
            ShimCgroup = ""
            SystemdCgroup = true

        [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
          base_runtime_spec = ""
          cni_conf_dir = ""
          cni_max_conf_num = 0
          container_annotations = []
          pod_annotations = []
          privileged_without_host_devices = false
          runtime_engine = ""
          runtime_path = ""
          runtime_root = ""
          runtime_type = "io.containerd.runc.v2"

          [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
            BinaryName = ""
            CriuImagePath = ""
            CriuPath = ""
            CriuWorkPath = ""
            IoGid = 0
            IoUid = 0
            NoNewKeyring = false
            NoPivotRoot = false
            Root = ""
            ShimCgroup = ""
            SystemdCgroup = true

      [plugins."io.containerd.grpc.v1.cri".containerd.untrusted_workload_runtime]
        base_runtime_spec = ""
        cni_conf_dir = ""
        cni_max_conf_num = 0
        container_annotations = []
        pod_annotations = []
        privileged_without_host_devices = false
        runtime_engine = ""
        runtime_path = ""
        runtime_root = ""
        runtime_type = ""

        [plugins."io.containerd.grpc.v1.cri".containerd.untrusted_workload_runtime.options]

    [plugins."io.containerd.grpc.v1.cri".image_decryption]
      key_model = "node"

    [plugins."io.containerd.grpc.v1.cri".registry]
      config_path = ""

      [plugins."io.containerd.grpc.v1.cri".registry.auths]

      [plugins."io.containerd.grpc.v1.cri".registry.configs]

        [plugins."io.containerd.grpc.v1.cri".registry.configs."10.10.50.116:30002"]

        [plugins."io.containerd.grpc.v1.cri".registry.configs."10.10.50.135:30002"]

          [plugins."io.containerd.grpc.v1.cri".registry.configs."10.10.50.135:30002".tls]

        [plugins."io.containerd.grpc.v1.cri".registry.configs."ghcr.io"]

          [plugins."io.containerd.grpc.v1.cri".registry.configs."ghcr.io".auth]
            password = "ghp_irQW06Xlqwinedlinaskl;cmnlk"
            username = "chogodo@naver.com"

      [plugins."io.containerd.grpc.v1.cri".registry.headers]

      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]

        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."10.10.50.116:30002"]
          endpoint = ["http://10.10.50.116:30002"]

        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."ghcr.io"]
          endpoint = ["https://ghcr.io"]

    [plugins."io.containerd.grpc.v1.cri".x509_key_pair_streaming]
      tls_cert_file = ""
      tls_key_file = ""

  [plugins."io.containerd.internal.v1.opt"]
    path = "/opt/containerd"

  [plugins."io.containerd.internal.v1.restart"]
    interval = "10s"

  [plugins."io.containerd.internal.v1.tracing"]
    sampling_ratio = 1.0
    service_name = "containerd"

  [plugins."io.containerd.metadata.v1.bolt"]
    content_sharing_policy = "shared"

  [plugins."io.containerd.monitor.v1.cgroups"]
    no_prometheus = false

  [plugins."io.containerd.runtime.v1.linux"]
    no_shim = false
    runtime = "runc"
    runtime_root = ""
    shim = "containerd-shim"
    shim_debug = false

  [plugins."io.containerd.runtime.v2.task"]
    platforms = ["linux/amd64"]
    sched_core = false

  [plugins."io.containerd.service.v1.diff-service"]
    default = ["walking"]

  [plugins."io.containerd.service.v1.tasks-service"]
    rdt_config_file = ""

  [plugins."io.containerd.snapshotter.v1.aufs"]
    root_path = ""

  [plugins."io.containerd.snapshotter.v1.btrfs"]
    root_path = ""

  [plugins."io.containerd.snapshotter.v1.devmapper"]
    async_remove = false
    base_image_size = ""
    discard_blocks = false
    fs_options = ""
    fs_type = ""
    pool_name = ""
    root_path = ""

  [plugins."io.containerd.snapshotter.v1.native"]
    root_path = ""

  [plugins."io.containerd.snapshotter.v1.overlayfs"]
    mount_options = []
    root_path = ""
    sync_remove = false
    upperdir_label = false

  [plugins."io.containerd.snapshotter.v1.zfs"]
    root_path = ""

  [plugins."io.containerd.tracing.processor.v1.otlp"]
    endpoint = ""
    insecure = false
    protocol = ""

[proxy_plugins]

[stream_processors]

  [stream_processors."io.containerd.ocicrypt.decoder.v1.tar"]
    accepts = ["application/vnd.oci.image.layer.v1.tar+encrypted"]
    args = ["--decryption-keys-path", "/etc/containerd/ocicrypt/keys"]
    env = ["OCICRYPT_KEYPROVIDER_CONFIG=/etc/containerd/ocicrypt/ocicrypt_keyprovider.conf"]
    path = "ctd-decoder"
    returns = "application/vnd.oci.image.layer.v1.tar"

  [stream_processors."io.containerd.ocicrypt.decoder.v1.tar.gzip"]
    accepts = ["application/vnd.oci.image.layer.v1.tar+gzip+encrypted"]
    args = ["--decryption-keys-path", "/etc/containerd/ocicrypt/keys"]
    env = ["OCICRYPT_KEYPROVIDER_CONFIG=/etc/containerd/ocicrypt/ocicrypt_keyprovider.conf"]
    path = "ctd-decoder"
    returns = "application/vnd.oci.image.layer.v1.tar+gzip"

[timeouts]
  "io.containerd.timeout.bolt.open" = "0s"
  "io.containerd.timeout.shim.cleanup" = "5s"
  "io.containerd.timeout.shim.load" = "5s"
  "io.containerd.timeout.shim.shutdown" = "3s"
  "io.containerd.timeout.task.state" = "2s"

[ttrpc]
  address = ""
  gid = 0
  uid = 0

11. containerd 사용 시 설정 변경 적용

sudo mkdir -p /etc/containerd
containerd config default | sudo tee /etc/containerd/config.toml

sudo systemctl restart containerd

12. br_netfilter 모듈 로드 및 br_netfilter 모듈이 자동으로 로드되도록 설정

sudo modprobe br_netfilter
echo 'br_netfilter' | sudo tee /etc/modules-load.d/br_netfilter.conf

13. /proc/sys/net/bridge/bridge-nf-call-iptables 및 ip_forward 설정

echo "net.bridge.bridge-nf-call-iptables = 1" | sudo tee -a /etc/sysctl.conf
echo "net.bridge.bridge-nf-call-ip6tables = 1" | sudo tee -a /etc/sysctl.conf
echo "net.ipv4.ip_forward = 1" | sudo tee -a /etc/sysctl.conf

sudo sysctl --system

sysctl net.bridge.bridge-nf-call-iptables
sysctl net.bridge.bridge-nf-call-ip6tables
sysctl net.ipv4.ip_forward

14. join 하기

kubeadm join {Master_IP}:6443 --token {token_키} --discovery-token-ca-cert-hash sha256:{hash_token_키}

[쿠버네티스] externalTrafficPolicy 옵션으로 Ingress 접근 범위 설정하기

초고도 — Fri, 15 Nov 2024 11:25:56 +0900

1. externalTrafficPolicy란?

externalTrafficPolicy는 외부에서 접근하는 트래픽이 클러스터 내부로 전달되는 방식을 결정하는 옵션이다. 이 설정은 주로 NodePort 또는 LoadBalancer 타입의 서비스에서 사용되며, 외부 트래픽을 클러스터의 각 노드에 어떻게 분산할지를 지정한다.

Local : 트래픽을 수신한 노드의 IP로 접근 가능
Cluster: 모든 노드에서 수신 가능하며, 서비스의 엔드포인트를 가진 모든 Pod로 분산

kubectl edit svc ingress-nginx-controller -n ingress-nginx

# 로컬로 설정하면 파드가 할당된 노드 IP로만 인그레스 접근이 가능하다.
externalTrafficPolicy: Local
# 클러스터로 설정하면 마스터노드~모든 워커노드 IP에서 인그레스 접근이 가능하다.
externalTrafficPolicy: Cluster

2. externalTrafficPolicy의 두 가지 설정 예시

2.1 externalTrafficPolicy: Local

apiVersion: v1
kind: Service
metadata:
  name: my-service
  namespace: default
spec:
  type: LoadBalancer
  externalTrafficPolicy: Local
  selector:
    app: my-app
  ports:
  - protocol: TCP
    port: 80
    targetPort: 8080

Local 옵션을 선택하면, Pod가 실제로 할당된 노드에서만 트래픽을 수신할 수 있다. 이 설정은 클러스터 내 특정 노드에 할당된 Pod에서만 트래픽을 처리하도록 제한하고, 다음과 같은 특성이 있다:

트래픽 제한: 요청을 받은 노드에 해당 Pod가 할당되지 않은 경우 트래픽은 전달되지 않는다.
원본 IP 유지: 요청을 전달할 때 외부 클라이언트의 IP 주소가 그대로 유지된다.
로드 밸런서 비용 절감: 불필요한 로드 밸런서 비용을 줄일 수 있다.

2.2 externalTrafficPolicy: Cluster

apiVersion: v1
kind: Service
metadata:
  name: my-service
  namespace: default
spec:
  type: LoadBalancer
  externalTrafficPolicy: Cluster
  selector:
    app: my-app
  ports:
  - protocol: TCP
    port: 80
    targetPort: 8080

Cluster 옵션을 선택하면 모든 노드에서 외부 트래픽을 수신할 수 있다. 트래픽은 클러스터의 모든 노드에서 받아들이고, 각 노드는 트래픽을 해당 서비스의 Pod로 전달한다.

트래픽 분산 : 모든 노드에서 트래픽을 받아들여, 클러스터 전체에서 트래픽이 적절히 분산된다.
원본 IP 손실 : 트래픽이 클러스터 내부에서 라우팅될 때 원본 IP 주소가 손실될 수 있다.
유연한 확장성: 여러 노드에서 트래픽을 받아들이므로 확장성이 높다.

[쿠버네티스] ingress-nginx 설치

초고도 — Thu, 14 Nov 2024 19:27:51 +0900

1. ingress 설치

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.6.4/deploy/static/provider/cloud/deploy.yaml

2. ingress-nginx 전체 조회

kubectl get all -n ingress-nginx

NAME                                            READY   STATUS    RESTARTS   AGE
pod/ingress-nginx-controller-7c8d7f6869-6qxkv   1/1     Running   0          16d

NAME                                         TYPE           CLUSTER-IP     EXTERNAL-IP    PORT(S)                      AGE
service/ingress-nginx-controller             LoadBalancer   1x.9x.1x.4x    1x.1x.5x.2xx   80:3xxxx/TCP,443:3xxxx/TCP   115d
service/ingress-nginx-controller-admission   ClusterIP      1x.1x.2x.1x   <none>         443/TCP                      115d

NAME                                       READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/ingress-nginx-controller   1/1     1            1           115d

NAME                                                  DESIRED   CURRENT   READY   AGE
replicaset.apps/ingress-nginx-controller-594555f486   0         0         0       115d
replicaset.apps/ingress-nginx-controller-7c8d7f6869   1         1         1       40d

NAME                                       COMPLETIONS   DURATION   AGE
job.batch/ingress-nginx-admission-create   1/1           3s         115d
job.batch/ingress-nginx-admission-patch    1/1           4s         115d

3. ConfigMap (false로 되어있으면 true로 변경)

kubectl edit configmap/ingress-nginx-controller -n ingress-nginx
```
data:
  allow-snippet-annotations: "true"
```

4. ingress 접속 정보 설정

kubectl edit service/ingress-nginx-controller -n ingress-nginx
```
spec:
  allocateLoadBalancerNodePorts: true
  clusterIP: 10.96.220.148
  clusterIPs:
  - 10.96.220.148
  externalTrafficPolicy: Cluster
  internalTrafficPolicy: Cluster
```

externalTrafficPolicy: Local -> Cluster
Local : 수정하면 파드가 실행중인 노드에서만 접속됌
Cluster : 모든 마스터 및 워커노드 IP에서 접속 가능

[Linux] brew 설치 방법

초고도 — Mon, 11 Nov 2024 14:55:32 +0900

brew 설치

sh -c "$(curl -fsSL https://raw.githubusercontent.com/Linuxbrew/install/master/install.sh)"

root@datapecker3:/home# sh -c "$(curl -fsSL https://raw.githubusercontent.com/Linuxbrew/install/master/install.sh)"
Warning: Linuxbrew has been merged into Homebrew.
Please migrate to the following command:
  /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"

==> Checking for `sudo` access (which may request your password)...
Don't run this as root!

root 계정으로 설치 명령어를 실행하면 다음과 같은 결과가 나타난다.

이 때문에 계정을 사용자 계정으로 변경 후 설치하자!

su user
sh -c "$(curl -fsSL https://raw.githubusercontent.com/Linuxbrew/install/master/install.sh)"

root@datapecker3:/home# su user
user@datapecker3:/home$ sh -c "$(curl -fsSL https://raw.githubusercontent.com/Linuxbrew/install/master/install.sh)"
Warning: Linuxbrew has been merged into Homebrew.
Please migrate to the following command:
  /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"

==> Checking for `sudo` access (which may request your password)...
[sudo] password for user:
==> This script will install:
/home/linuxbrew/.linuxbrew/bin/brew
/home/linuxbrew/.linuxbrew/share/doc/homebrew
/home/linuxbrew/.linuxbrew/share/man/man1/brew.1
/home/linuxbrew/.linuxbrew/share/zsh/site-functions/_brew
/home/linuxbrew/.linuxbrew/etc/bash_completion.d/brew
/home/linuxbrew/.linuxbrew/Homebrew
==> The following new directories will be created:
/home/linuxbrew/.linuxbrew/bin
/home/linuxbrew/.linuxbrew/etc
/home/linuxbrew/.linuxbrew/include
/home/linuxbrew/.linuxbrew/lib
/home/linuxbrew/.linuxbrew/sbin
/home/linuxbrew/.linuxbrew/share
/home/linuxbrew/.linuxbrew/var
/home/linuxbrew/.linuxbrew/opt
/home/linuxbrew/.linuxbrew/share/zsh
/home/linuxbrew/.linuxbrew/share/zsh/site-functions
/home/linuxbrew/.linuxbrew/var/homebrew
/home/linuxbrew/.linuxbrew/var/homebrew/linked
/home/linuxbrew/.linuxbrew/Cellar
/home/linuxbrew/.linuxbrew/Caskroom
/home/linuxbrew/.linuxbrew/Frameworks

Press RETURN/ENTER to continue or any other key to abort:

// #Enter 를 누르자

echo 'eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"' >> ~/.profile
eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"
brew doctor

user@datapecker3:/home$ echo 'eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"' >> ~/.profile
user@datapecker3:/home$ eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"
user@datapecker3:/home$ brew doctor
Your system is ready to brew.

최신버전의 os에선 이렇게만 하면 설치가 완료된다. 하지만 centos 7과 같이 낮은 버전의 os에서는 git과 curl 버전을 yum 저장소에서 낮은 버전만 지원하기 때문에 최신버전으로 별도의 설치가 필요할 수 있다.

Error Case

1) Please update your system curl or set HOMEBREW_CURL_PATH to a newer version.

export HOMEBREW_CURL_PATH=/usr/local/bin/curl >> ~/.bashrc

HOMEBREW_CURL_PATH 환경 변수 설정을 하라는 에러이다.

2) Running Homebrew as root is extremely dangerous and no longer supported.
As Homebrew does not drop privileges on installation you would be giving all

su user

root 계정이 아닌 사용 계정으로 로그인해서 사용하면 해결된다.

3) Please note that these warnings are just used to help the Homebrew maintainers with debugging if you file an issue. If everything you use Homebrew for is working fine: please don't worry or file an issue; just ignore this. Thanks! Warning: No developer tools installed. Install Clang or run brew install gcc.

brew install gcc

Homebrew를 정상적으로 사용하기 위해서는 개발 도구(Developer Tools) 또는 컴파일러(GCC)가 필요하다. 이는 Homebrew에서 소프트웨어 패키지를 빌드하거나 설치할 때 필요한 의존성 때문이다.
위 명령어로 gcc를 설치해주면 된다.

[머신러닝] 쿠버네티스 트리톤 서버에서 onnx API 호출 시 413 Request Entity Too Large 이슈 해결하기

초고도 — Wed, 2 Oct 2024 21:18:41 +0900

saved_model 배포 방법을 한 번 시도해보고 읽어보길 권장

https://jfbta.tistory.com/320

[머신러닝] 쿠버네티스에서 TensorFlow 모델 Triton 서버를 활용해서 서빙하기(saved_model)

목차 쿠버네티스에서 트리톤 이미지 파드로 띄우기kubectl create -f triton-pvc.yamlkubectl create -f triton-deployment.yaml```triton-pvc.yamlapiVersion: v1kind: PersistentVolumeClaimmetadata: name: triton-pvc namespace: ${네임스페이

jfbta.tistory.com

onnx 모델 생성하기

import torch
import numpy as np
from torchvision.datasets import ImageFolder
import torchvision.transforms as transforms
from torch.utils.data import Dataset, DataLoader
from torch.utils.data import random_split
import os
from PIL import Image

class CustomDataset(Dataset):
    def __init__(self, root_dir, transform=None):
        self.root_dir = root_dir
        self.transform = transform
        self.images = []
        self.labels = []

        # 이미지 파일 경로와 레이블 수집
        for filename in os.listdir(root_dir):
            if filename.endswith(".jpg"):  # JPEG 이미지 파일만 포함
                label = 0 if 'cat' in filename else 1  # 'cat'이면 0, 'dog'이면 1
                self.images.append(os.path.join(root_dir, filename))
                self.labels.append(label)

    def __len__(self):
        return len(self.images)

    def __getitem__(self, idx):
        img_path = self.images[idx]
        image = Image.open(img_path).convert("RGB")  # 이미지를 RGB 모드로 열기
        label = self.labels[idx]

        if self.transform:
            image = self.transform(image)

        return image, label
    
train_transforms = transforms.Compose([transforms.RandomRotation(30), # 랜덤 각도 회전
                                       transforms.RandomResizedCrop(224), # 랜덤 리사이즈 크롭
                                       transforms.RandomHorizontalFlip(), # 랜덤으로 수평 뒤집기
                                       transforms.ToTensor(), # 이미지를 텐서로
                                       transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])]) #



dataset = CustomDataset(root_dir='C:/Users/Downloads/modelapi/model/onnx_model/data/train/test', transform=train_transforms) # 파일 디렉토리

trainset, validset = random_split(dataset, [3,1]) # 학습데이터를 학습과 검증데이터로 쪼갬

batch_size=10
trainloader = torch.utils.data.DataLoader(trainset, batch_size=batch_size, shuffle=True)
validloader = torch.utils.data.DataLoader(validset, batch_size=batch_size, shuffle=True)
classes = ['cat', 'dog']

# 코드 작성
import torch.nn as nn
import torch.nn.functional as F

# 좀 더 심플한 네트워크
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()

        # input image = 224 x 224 x 3

        # 224 x 224 x 3 --> 112 x 112 x 32 maxpool
        self.conv1 = nn.Conv2d(3, 32, 3, padding=1) 
        # 112 x 112 x 32 --> 56 x 56 x 64 maxpool
        self.conv2 = nn.Conv2d(32, 64, 3, padding=1) 
        # 56 x 56 x 64 --> 28 x 28 x 128 maxpool
        self.conv3 = nn.Conv2d(64, 128, 3, padding=1)    

        # maxpool 2 x 2
        self.pool = nn.MaxPool2d(2, 2)

        # 28 x 28 x 128 vector flat 256개
        self.fc1 = nn.Linear(128 * 28 * 28, 256)
        # 카테고리 2개 클래스
        self.fc2 = nn.Linear(256, 2) 

        # dropout 적용
        self.dropout = nn.Dropout(0.5)

    def forward(self, x):
        # conv1 레이어에 relu 후 maxpool. 112 x 112 x 32
        x = self.pool(F.relu(self.conv1(x)))
        # conv2 레이어에 relu 후 maxpool. 56 x 56 x 64
        x = self.pool(F.relu(self.conv2(x)))
        # conv3 레이어에 relu 후 maxpool. 28 x 28 x 128
        x = self.pool(F.relu(self.conv3(x)))

        # 이미지 펴기
        x = x.view(-1, 128 * 28 * 28)
        # dropout 적용
        x = self.dropout(x)
        # fc 레이어에 삽입 후 relu
        x = F.relu(self.fc1(x))
        # dropout 적용
        x = self.dropout(x)

        # 마지막 logsoftmax 적용
        x = F.log_softmax(self.fc2(x), dim=1)
        return x


model = Net() # 모델 생성
print(model) # 출력


# 코드
import torch.optim as optim

criterion = nn.NLLLoss()

optimizer = optim.SGD(model.parameters(), lr=0.01)


# 코드 작성

# epochs 30
n_epochs = 10

valid_loss_min = np.Inf

for epoch in range(1, n_epochs+1):
    # train, valid loss
    print(epoch)
    train_loss = 0.0
    valid_loss = 0.0
    
    # 모델 트레이닝
    model.train()
    # training set
    for batch_idx, (data, target) in enumerate(trainloader, 1):
        # cuda 사용
        # 역전파 실행 전 gradient 0 초기화
        optimizer.zero_grad()
        # 모델 계산 후 output 저장
        output = model(data)
        # 로스율 계산
        loss = criterion(output, target)
        # 가중치 계산
        loss.backward()
        # 모델 parameter 업데이트
        optimizer.step()
        # 트레이닝 로스 계산
        train_loss += loss.item()*data.size(0)
        # 배치마다 트레이닝 손실 출력
        if batch_idx % 10 == 0:  # 예: 10번째 배치마다 출력
            print(f"  Batch {batch_idx}, Loss: {loss.item():.6f}")

    # validation 모델
    model.eval()
    validation_iter = iter(validloader)
    with torch.no_grad():  # validation 시 gradient 계산 안 함
        for data, target in validation_iter:
            # cuda 사용
            # 모델 계산 후 output 저장
            output = model(data)
            # 로스율 계산
            loss = criterion(output, target)
            # validation 로스율 계산
            valid_loss += loss.item()*data.size(0)

    # 평균 로스율
    train_loss = train_loss/len(trainloader.sampler)
    valid_loss = valid_loss/len(validloader.sampler)

    # training set, validation set 로스율 출력
    print('Epoch: {} \tTraining Loss: {:.6f} \tValidation Loss: {:.6f}'.format(
        epoch, train_loss, valid_loss))
    
    # 로스율이 낮아지면 model_catdog.pt에 저장
    if valid_loss <= valid_loss_min:
        print('Validation loss decreased ({:.6f} --> {:.6f}).  Saving model ...'.format(
        valid_loss_min,
        valid_loss))
        torch.save(model.state_dict(), 'model_catdog.pt')
        valid_loss_min = valid_loss
    

# 최종적으로 나온 모델을 onnx 파일로 저장    
import onnx
dummy_input = torch.randn(1, 3, 224, 224)  # 입력 크기에 맞게 조정

torch.onnx.export(model, dummy_input, "cat_dog_model.onnx", 
                  input_names=["input_1"], 
                  output_names=["output_1"],
                  opset_version=11,
                  dynamic_axes={"input_1": {0: "batch_size"}, "output_1": {0: "batch_size"}})

# torch.onnx.export(model, dummy_input, "cat_dog_model.onnx", 
#                   input_names=["input_1"], output_names=["output_1"],
#                   opset_version=11)

'dataset = CustomDataset(root_dir='C:/Users/Downloads/modelapi/model/onnx_model/data/train/test', transform=train_transforms)' 이 경로에 있는 많은 양의 강아지, 고양이 이미지를 학습시키는 머신러닝 코드이다. 실행이 완료되는데 반나절 정도의 시간이 걸리며 완료되면 model.onnx 파일이 생성된다.

트리톤 서버에서 모델 디렉토리 Tree 형식으로 구조 파악하고 구성하기

```디렉토리 구조
/models
  /onnx_model
    /config.pbtxt
    1
      /model.onnx
```

config.pbtxt 작성하기

name: "onnx_model"
platform: "onnxruntime_onnx"
max_batch_size: 1
input [
  {
    name: "input_1"
    data_type: TYPE_FP32
    format: FORMAT_NCHW
    dims: [ 3, 224, 224 ]
  }
]
output [
  {
    name: "output_1"
    data_type: TYPE_FP32
    dims: [ 2 ]
  }
]
dynamic_batching {
  preferred_batch_size: [ 1 ]
  max_queue_delay_microseconds: 100
}

이미지 크기를 224*224로 했더니 이미지를 json으로 변환해서 body에 입력하여 post api 호출했더니 다음과 같은 에러가 발생했다.

요청 실패: 413, <html>
<head><title>413 Request Entity Too Large</title></head>
<body>
<center><h1>413 Request Entity Too Large</h1></center>
<hr><center>nginx</center>
</body>
</html>

'<center>nginx</center>' 이 부분을 보니 ingress-nginx에서 size를 늘리는 설정이 필요한 것 같다.

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/proxy-body-size: 100m
    nginx.ingress.kubernetes.io/rewrite-target: /$2
  creationTimestamp: "2024-09-23T06:30:26Z"
  generation: 1
  name: triton-ingress-21
  namespace: "2"
  resourceVersion: "52473063"
  uid: 18374b2c-2759-49ea-b344-de5552b16951
spec:
  ingressClassName: nginx
  rules:
  - http:
      paths:
      - backend:
          service:
            name: triton-svc-21
            port:
              number: 8000
        path: /21(/|$)(.*)
        pathType: Prefix
status:
  loadBalancer:
    ingress:
    - ip: 10.10.12.123

'nginx.ingress.kubernetes.io/proxy-body-size: 100m' -> nginx에서 body size의 기본값은 1m 이다. 100m 까지 늘려준뒤 호출 해주면 정상적으로 동작된다.

이미지를 triton body 입력 형식에 맞는 json타입으로 변환 후 POST API 호출하여 - 고양이, 강아지 예측하기

import requests
import json
import numpy as np
from PIL import Image
import torchvision.transforms as transforms

# 입력데이터 전처리
def createInputData(image_path):
    input_image = Image.open(image_path)
    preprocess = transforms.Compose([
        transforms.Resize((224, 224)),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
    ])
    input_tensor = preprocess(input_image).unsqueeze(0)  # 배치 차원 추가
    input_data_flat = input_tensor.numpy().flatten().tolist()

    # JSON 형식으로 작성
    request_json = {
        "inputs": [
            {
                "name": "input_1",  # 모델의 입력 이름
                "shape": [1, 3, 224, 224],  # 배치 크기를 포함한 입력 형태
                "datatype": "FP32",  # 데이터 타입
                "data": input_data_flat  # 플래트 형식의 데이터 배열
            }
        ]
    }
    return request_json
    
# 응답 처리
def callAPI(input_data):
    response = requests.post(url, json=input_data)
    if response.status_code == 200:
        outputs = response.json()  # JSON 응답 파싱
        data_values = outputs['outputs'][0]['data']
        print(outputs)
        class_names = ['고양이', '강아지']
        result=class_names[np.argmax(data_values)]
        print(f"예측 결과: {result}")
    else:
        print(f"요청 실패: {response.status_code}, {response.text}")
    return requests.post(url, json=input_data)

image_path = 'cat.jpg'
input_data = createInputData(image_path)
# Triton API 호출을 위한 URL 설정
url = "http://10.10.12.123/21/v2/models/onnx_model/infer"
# API 호출 - 완전한 JSON 객체 전송
callAPI(input_data)

예측 결과: 고양이

[머신러닝] 쿠버네티스에서 pytorch 모델 Triton서버를 활용해서 서빙하기(model.pt)

초고도 — Wed, 2 Oct 2024 21:04:29 +0900

saved_model 배포 방법을 한 번 시도해보고 읽어보길 권장

https://jfbta.tistory.com/320

[머신러닝] 쿠버네티스에서 TensorFlow 모델 Triton 서버를 활용해서 서빙하기(saved_model)

jfbta.tistory.com

modelpt 파이썬 코드 작성

ChatGPT로 modelpt를 생성하기 위해 필요한 파이썬 코드를 생성했다.

import torch
import torch.nn as nn

# 간단한 PyTorch 모델 정의 (예: MNIST 분류기)
class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.fc1 = nn.Linear(28 * 28, 128)
        self.fc2 = nn.Linear(128, 10)
    
    def forward(self, x):
        x = torch.flatten(x, 1)
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 모델 인스턴스 생성 및 저장
model = SimpleModel()
dummy_input = torch.randn(1, 28 * 28)  # 더미 입력 데이터 (배치 크기 1)
torch.save(model, 'model.pt')  # 모델을 model.pt로 저장

생성한 model.pt를 트리톤서버에 서빙하려면 torch.save(model, 'model.pt')로 모델을 저장하는 대신, Triton Inference Server와 호환되도록 JIT 형식으로 모델을 저장해야한다.

import torch
import torch.nn as nn

# 간단한 PyTorch 모델 정의 (예: MNIST 분류기)
class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.fc1 = nn.Linear(28 * 28, 128)
        self.fc2 = nn.Linear(128, 10)
    
    def forward(self, x):
        x = torch.flatten(x, 1)
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 모델 인스턴스 생성
model = SimpleModel()
model.eval()  # 모델을 평가 모드로 설정

# JIT 모델로 변환하여 저장
dummy_input = torch.randn(1, 1, 28, 28)  # MNIST는 1채널의 28x28 이미지
traced_model = torch.jit.trace(model, dummy_input)
traced_model.save('model.pt')  # JIT 형식으로 model.pt로 저장

model.py파일 실행

python modelpt.py

커맨드 입력하면 model.pt 파일이 py파일이 있는 경로에 생성된다.

config.pbtxt 파일 작성

```config.pbtxt
name: "pt_model"
platform: "pytorch_libtorch"
max_batch_size: 0
input [
  {
    name: "INPUT__0"
    data_type: TYPE_FP32
    dims: [1, 1, 28, 28]
  }
]
output [
  {
    name: "OUTPUT__0"
    data_type: TYPE_FP32
    dims: [1, 10]
  }
]
```

트리톤 서버에서 모델 디렉토리 Tree 형식으로 구조 파악하고 구성하기

```디렉토리 구조
/models
  /pt_model
    /config.pbtxt
    1
      /model.pt
```

/models/pt_model -> pt_model이 API path로 들어간다.
ex) http://10.10.10.123/100/v2/models/pt_model/infer

트리톤 서버 실행

nohup tritonserver --model-repository=/models --log-verbose=1 > /${원하는디렉토리명}/triton_output.log 2>&1 &

Request Body 내용 작성

POST http://10.10.10.123/100/v2/models/pt_model/infer

HEADERS
Content-Type : application/json

BODY
{
  "inputs": [
    {
      "name": "INPUT__0",
      "shape": [1, 1, 28, 28],
      "datatype": "FP32",
      "data": [
        [
          [
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
            [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9]
          ]
        ]
      ]
    }
  ]
}

[도커] 로컬에 설치한 넥서스에 새로 빌드 후 이미지 push하기

초고도 — Mon, 23 Sep 2024 20:52:20 +0900

Dockerfile로 이미지에 필요한 커맨드 설치 및 필요한 디렉토리 생성하기

```Dockerfile
FROM nvcr.io/nvidia/tritonserver:24.07-py3
RUN apt-get update && apt-get install net-tools
RUN mkdir -p /logs
RUN mkdir -p /models
```

터미널에서 Dockerfile이 있는 위치로 이동하기

cd /${도커파일경로}

현재 위치의 Dockerfile 빌드하기

docker build --tag tritonserver:24.07-py3 .

넥서스 도커서버에 로그인하기

docker login http://${넥서스IP}:${넥서스PORT}

넥서스 도커서버에 push하기

# 구성
docker tag ${이미지ID} ${넥서스IP}:${넥서스Port}/triton/tritonserver:24.07-py3
docker push ${넥서스IP}:${넥서스Port}/triton/tritonserver:24.07-py3

# 예시
docker tag 17e685bd4759 10.10.50.123:5000/triton/tritonserver:24.07-py3
docker push 10.10.50.123:5000/triton/tritonserver:24.07-py3

초급에서 고급까지

[쿠버네티스] rook-ceph 대시보드 패스워드 변경

ceph 명령어 입력을 위한 파드 내부 접속

패스워드 변경

ceph 계정 잠금 해제

[kubernetes] CentOS에서 k8s 설치하기(docker X, containerd O)

시작하며

최소 사양

selinux 비활성화

swap 비활성화

방화벽 비활성화

containerd 설치 및 설정

다시 시작해서 적용

설치 확인

k8s 설치하기

호스트 정보 등록

호스트 정보를 정상적으로 입력하지 않은 경우 아래와 같은 에러가 발생한다.

Master인 경우

Worker Node인 경우

[쿠버네티스] kubectl 명령어 사용자 권한 설정 방법

root 계정에서 사용하는 경우

user01 계정에서 사용하는 경우

[쿠버네티스] Ubuntu 22.04 쿠버네티스 설치 방법

시작하며

저장소 설정

1. apt 업데이트

2. 도커 공식 GPG key 추가

3. Stable repository 설정

런타임 엔진 설치

1. containerd 설치

2. containerd 설치 및 동작 확인

쿠버네티스 설치

1. 메모리 스왑

2. 노드간 통신을 위한 iptables에 브릿지 관련 설정

3. apt 업데이트 및 ca 관련 패키지 다운로드 및 설정

4. Google Cloud GPG 키 추가

5. 쿠버네티스 gpg 및 소스 리스트 내용 추가 및 apt 업데이트

6. Kubernetes APT 저장소 추가

7. 패키지 목록 다시 업데이트 및 설치 목록 확인

8. kubelet, kubeadm, kubectl 설치

9. kubelet 활성화 및 상태 확인

10. containerd 설정 파일 수정

11. containerd 사용 시 설정 변경 적용

12. br_netfilter 모듈 로드 및 br_netfilter 모듈이 자동으로 로드되도록 설정

13. /proc/sys/net/bridge/bridge-nf-call-iptables 및 ip_forward 설정

14. join 하기

[쿠버네티스] externalTrafficPolicy 옵션으로 Ingress 접근 범위 설정하기

1. externalTrafficPolicy란?

2. externalTrafficPolicy의 두 가지 설정 예시

2.1 externalTrafficPolicy: Local

2.2 externalTrafficPolicy: Cluster

[쿠버네티스] ingress-nginx 설치

1. ingress 설치

2. ingress-nginx 전체 조회

3. ConfigMap (false로 되어있으면 true로 변경)

4. ingress 접속 정보 설정

[Linux] brew 설치 방법

brew 설치

Error Case

[머신러닝] 쿠버네티스 트리톤 서버에서 onnx API 호출 시 413 Request Entity Too Large 이슈 해결하기

관련글

onnx 모델 생성하기

트리톤 서버에서 모델 디렉토리 Tree 형식으로 구조 파악하고 구성하기

config.pbtxt 작성하기

이미지를 triton body 입력 형식에 맞는 json타입으로 변환 후 POST API 호출하여 - 고양이, 강아지 예측하기

[머신러닝] 쿠버네티스에서 pytorch 모델 Triton서버를 활용해서 서빙하기(model.pt)

관련글

modelpt 파이썬 코드 작성

model.py파일 실행

config.pbtxt 파일 작성

트리톤 서버에서 모델 디렉토리 Tree 형식으로 구조 파악하고 구성하기

트리톤 서버 실행

Request Body 내용 작성

[도커] 로컬에 설치한 넥서스에 새로 빌드 후 이미지 push하기

Dockerfile로 이미지에 필요한 커맨드 설치 및 필요한 디렉토리 생성하기

터미널에서 Dockerfile이 있는 위치로 이동하기

현재 위치의 Dockerfile 빌드하기

넥서스 도커서버에 로그인하기

넥서스 도커서버에 push하기