Browsing Tag

쿠버네티스

IT/Linux/Kubernetes

[K8S] Study the Kubernetes command in preparation for the CKA

안녕하세요. ManVSCloud 김수현입니다.

요즘 CKA 자격증 준비로 꾸준히 Kubernetes 공부를 하고 있습니다.
CKA 시험은 아무래도 실습 시험이다보니 꾸준히 실습 환경에서 다양한 연습을 필요로 합니다.

오늘은 제가 요즘 공부하고 있는 Kubernetes의 명령어들과 CKA 공부법 및 링크(Docs) 모음을 공유하고자 합니다.


Kubectl 명령어

kubernetes에서 클러스터에 명령을 내리기 위해서는 우선적으로 kubectl 명령어가 익숙해져야합니다. 자주 사용되는 kubectl 명령어에 대해 간단히 알아보도록 하겠습니다.

그런데… 명령어가 아~~~주 많습니다. create 명령어를 공부하기 위해 docs에 들어가서 create페이지를 들어가면 아래 명령어처럼 별거 아닌듯이 나와있지만 스크롤을 아무리 내려도 create가 끝나지 않을 것입니다.

$ kubectl create -f FILENAME

좌측 카테고리를 다시 한 번 봤는데 숨겨진 리스트들이 나오더군요…

처음부터 다~ 외우지 않아도 됩니다.
자주 사용하다보면 자주 사용하는 것들은 손이 익히게 되는 것이니까요?

CKA 시험도 kubernetes.io docs를 볼 수 있게 해주기 때문에 명령어를 한번씩 사용해보고 특정 상황에 맞게 필요한 명령어를 찾아서 사용할 수만 있다면 크게 문제 없을 것이라 생각됩니다.

The most basic commands for importing workloads 📢
  • create
  • get
  • run
  • expose
  • delete
APP MANAGEMENT 🔨
  • apply
  • annotate
  • autoscale
  • debug
  • diff
  • edit
  • kustomize
  • label
  • patch
  • replace
  • rollout
  • scale
  • set
  • wait
WORKING WITH APPS 🚢
  • attach
  • auth
  • cp
  • describe
  • exec
  • logs
  • port-forward
  • proxy
  • top
CLUSTER MANAGEMENT 💻
  • api-versions
  • certificate
  • cluster-info
  • cordon
  • drain
  • taint
  • uncordon
KUBECTL SETTINGS AND USAGE 🔎
  • alpha
  • api-resources
  • completion
  • config
  • explain
  • options
  • plugin
  • version

CKA(Certified Kubernetes Administrator)를 제대로 준비하자!

우선 CKA를 준비하는 지금 docs에서 yaml 파일을 구해서 쓴다기보다 명령어를 이용하여 yaml 파일을 생성하는 연습을 하고 있습니다. 예를 들어봅시다.

네임스페이스는 manvscloud이고 레이블은 name=kim을 사용해야하는 1.12버전의 nginx를 생성조건에 맞게 명령어를 써본다면 아래와 같이 쓸 수 있습니다.

root@cka-k8s-master:/home/k8s# kubectl run nginx --image=nginx:1.12 --labels=name=kim --namespace=manvscloud --dry-run=client -o yaml > nginx.yaml

생성된 yaml 파일을 보면 아래와 같이 생성되어 있습니다.

apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    name: kim
  name: nginx
  namespace: manvscloud
spec:
  containers:
  - image: nginx:1.12
    name: nginx
    resources: {}
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}

명령어로 yaml 생성에 익숙해진다면 yaml 파일을 생성하지 않고 옵션에 맞게 pod를 생성하는 것도 해봅니다.

root@cka-k8s-master:/home/k8s# kubectl run nginx --image=nginx:1.12 --labels=name=kim --namespace=manvscloud --dry-run=client -o yaml | kubectl create -n manvscloud -f -

이런 방법으로 연습을 해주면 명령어 옵션도 빠르게 익힐 수 있고 이후 yaml에 익숙하지 않더라도 어떠한 옵션을 넣어야하는데 어디에 넣어야할지 모를 때 명령어로 원하는 옵션을 주고 yaml 파일로 뽑아서 확인도 해볼 수 있을 것같습니다.


또 다른 주제로 Multi-container pod 환경에서 확인 방법에 대해서도 적응했습니다.
우선 예시로 Multi-container pod 하나를 생성하겠습니다.

vi multicon.yaml

apiVersion: v1
kind: Pod
metadata:
  labels:
    run: multi-con
  name: multi-con
spec:
  containers:
  - image: nginx
    name: nginx-con
  - image: redis
    name: redis-con
  - image: mongo
    name: mongo-con
  restartPolicy: Always

하나의 pod 내에 3개의 컨테이너 이미지가 존재하는 것입니다.

root@cka-k8s-master:/home/k8s# kubectl get pod --show-labels
NAME        READY   STATUS    RESTARTS   AGE   LABELS
multi-con   3/3     Running   0          17m   run=multi-con

아래 명령어들로 컨테이너 이미지 목록을 볼 수 있습니다.

root@cka-k8s-master:/home/k8s# kubectl describe pod | grep Image
    Image:          nginx
    Image ID:       docker-pullable://nginx@sha256:353c20f74d9b6aee359f30e8e4f69c3d7eaea2f610681c4a95849a2fd7c497f9
    Image:          redis
    Image ID:       docker-pullable://redis@sha256:b6a9fc3535388a6fc04f3bdb83fb4d9d0b4ffd85e7609a6ff2f0f731427823e3
    Image:          mongo
    Image ID:       docker-pullable://mongo@sha256:fe44eb6a2ea2bb1548718ec05eb9cb165f1bded37595ebea507bddc413ab99ae

// 레이블이 run=multi-con으로 필터링된 컨테이너 이미지 목록
root@cka-k8s-master:/home/k8s# kubectl get pods --all-namespaces -o=jsonpath="{.items[*].spec.containers[*].image}" -l run=multi-con
nginx redis mongo

그렇다면 하나의 pod안에 다수의 컨테이너가 있다면 어떻게 다를까요?
-c 옵션으로 pod 내에 컨테이너를 지정하여 명령어를 사용하거나 해당 컨테이너로 접속이 가능합니다.

// nginx-con 컨테이너 내에 nginx.conf 파일 여부 확인
root@cka-k8s-master:/home/k8s# kubectl exec multi-con -c nginx-con -- ls -l /etc/nginx/nginx.conf
-rw-r--r-- 1 root root 648 Jul  6 15:11 /etc/nginx/nginx.conf

//mongo-con 컨테이너 접속
root@cka-k8s-master:/home/k8s# kubectl exec -it multi-con -c mongo-con -- /bin/bash
root@multi-con:/#

생각보다 간단하지만 이런 케이스를 경험해보지 않는다면 당황할 수 있으니 어떠한 케이스라도 한번씩 다 해보는 게 중요하다고 봅니다.
(이해하지 못하고 무작정 외우는 건 제가 선호하는 타입이 아니라서…)


마지막으로 하나를 더 알아보겠습니다.

이번에는 마스터의 kubectl, kubelet, kubeadm의 버전을 업그레이드 할 것입니다.
단, 작업 전 예약 불가능으로 설정할 것이며 작업 후 예약 가능하도록 설정해줄 것입니다.
또한 업그레이드 하기 전 유지 관리를 위해 마스터를 drain 해줄 것입니다.

작업 전 master에서 kubernetes 패키지를 확인해보니 현재 kubectl, kubelet, kubeadm 버전은 1.21.1이네요. 해당 버전을 1.21.2로 업그레이드 하겠습니다.

[root@manvscloud-k8s-m ~ (kube:default)]# dpkg -l | grep kube
hi  kubeadm                              1.21.1-00                         amd64        Kubernetes Cluster Bootstrapping Tool
hi  kubectl                              1.21.1-00                         amd64        Kubernetes Command Line Tool
hi  kubelet                              1.21.1-00                         amd64        Kubernetes Node Agent
ii  kubernetes-cni                       0.8.7-00                          amd64        Kubernetes CNI

업그레이드 전 조건이 있으니 우리는 kubectl 명령어 중 cordon, uncordon, drain 을 사용하게 됩니다.

// 아래와 같이 명령어를 사용해주면 해당 노드는 스케줄이 불가능하게 표시됩니다.
[root@manvscloud-k8s-m ~ (kube:default)]# kubectl cordon manvscloud-k8s-m
node/manvscloud-k8s-m cordoned

// 이제 drain을 해주는데 이는 유지 관리를 위해 지정된 노드에 있는 pod들을 다른곳으로 이동시키는 명령어입니다. 자세한 옵션은 kubectl docs를 참고해주세요.
[root@manvscloud-k8s-m ~ (kube:default)]# kubectl drain manvscloud-k8s-m --delete-local-data --ignore-daemonsets --force
Flag --delete-local-data has been deprecated, This option is deprecated and will be deleted. Use --delete-emptydir-data.
node/manvscloud-k8s-m already cordoned
WARNING: ignoring DaemonSet-managed Pods: kube-system/calico-node-xqbt6, kube-system/kube-proxy-jqvxn
evicting pod kube-system/coredns-558bd4d5db-gv4dn
evicting pod kube-system/calico-kube-controllers-78d6f96c7b-5nnlh
evicting pod kube-system/coredns-558bd4d5db-62njr
pod/calico-kube-controllers-78d6f96c7b-5nnlh evicted
pod/coredns-558bd4d5db-gv4dn evicted
pod/coredns-558bd4d5db-62njr evicted
node/manvscloud-k8s-m evicted

// 이제 1.21.2 버전을 설치해줍시다.
[root@manvscloud-k8s-m ~ (kube:default)]# apt-get install kubeadm=1.21.2-00 kubelet=1.21.2-00 kubectl=1.21.2-00

--- 설치 내용 생략 ---

// 이후 daemon-reload와 kubelet을 재시작 해줍니다.
[root@manvscloud-k8s-m ~ (kube:default)]# systemctl daemon-reload
[root@manvscloud-k8s-m ~ (kube:default)]# systemctl restart kubelet

kubectl, kubelet, kubeadm의 버전이 1.21.2 버전으로 설치되었습니다.

[root@manvscloud-k8s-m ~ (kube:default)]# dpkg -l | grep kube
ii  kubeadm                              1.21.2-00                         amd64        Kubernetes Cluster Bootstrapping Tool
ii  kubectl                              1.21.2-00                         amd64        Kubernetes Command Line Tool
ii  kubelet                              1.21.2-00                         amd64        Kubernetes Node Agent
ii  kubernetes-cni                       0.8.7-00                          amd64        Kubernetes CNI

이제 마스터 노드가 정상적으로 스케줄 예약이 가능하도록 uncordon 해줍니다.

[root@manvscloud-k8s-m ~ (kube:default)]# kubectl uncordon manvscloud-k8s-m
node/manvscloud-k8s-m uncordoned

kubectl get nodes로 마스터 노드 버전을 보시면 마스터 노드의 버전이 1.21.2로 올라 가있는 것을 보실 수 있습니다.

[root@manvscloud-k8s-m ~ (kube:default)]# kubectl get nodes
NAME                STATUS   ROLES                  AGE   VERSION
manvscloud-k8s-m    Ready    control-plane,master   23d   v1.21.2
manvscloud-k8s-w1   Ready    <none>                 23d   v1.21.1
manvscloud-k8s-w2   Ready    <none>                 23d   v1.21.1
manvscloud-k8s-w3   Ready    <none>                 23d   v1.21.1

CKA(Certified Kubernetes Administrator) 공부 시 참고한 링크 모음


Personal Comments

지금까지 CKA 시험에 대비한 kubectl 명령어에 대해 간단하게 알아보았습니다.
다음 포스팅은 etcdctl 명령어로 CKA 공부를 이어서 진행해보도록 하겠습니다.

긴 글 읽어주셔서 감사합니다.

IT/Linux/Kubernetes

[K8S] CKA(Certified Kubernetes Administrator) Study 참고 링크 모음

안녕하세요. ManVSCloud 김수현입니다.

해당 포스팅은 CKA(Certified Kubernetes Administrator)를 공부하며 참고했던 링크들의 모아둔 글입니다.

이 포스팅은 CKA 시험 합격 포스팅이 올라오기 전까지 주기적으로 업데이트 됩니다.


※ A collection of links that have been referenced

🎹 kubectl Commands Reference Docs


Personal Comments

이 포스팅은 주기적으로 업데이트되니 확인하실 때마다 링크가 추가될 수 있습니다.

읽어주셔서 감사합니다.

Certificate

CKA(Certified Kubernetes Administrator) 시험 일정

안녕하세요. ManVSCloud 김수현입니다.

드디어 미루어왔던 CKA(Certified Kubernetes Administrator) 시험 일정이 정해졌습니다.
2021-07-31 18:15~20:15에 시험이 예정되었습니다.

현재 DKOS에서 Kubernetes를 꾸준히 공부하고 있습니다.
다른 일정들도 많지만 이번달 말까지는 쿠버네티스 학습에 조금 더 비중을 두려고 합니다.

시험 합격 후 공부법과 시험을 어떻게 준비할 것인가에 대해 자세히 후기를 남기도록 하겠습니다.

NCP

[NCP] Naver CLoud에서 Kubernetes를 사용해보자 – NKS

안녕하세요. ManVSCloud 김수현입니다.

DKOS(Docker Kubernetes Online Study) 2주차 과정을 마쳤습니다.

가상 머신, 물리 서버, AWS, Azure 환경에서 k8s 클러스터를 배포하는 것을 스터디하였지만 Naver Cloud Platform에서 k8s 클러스터를 배포하는 방법은 따로 스터디 하지 않아 이에 대해 공유하고자 오늘은 네이버 클라우드에서 k8s 클러스터 배포와 사용에 대해 알아보도록 하겠습니다.


Classic

우선 Classic 환경에서는 현재 Kubernetes Service 사용이 불가능합니다.

2021년 03월 04일까지만 사용할 수 있었고 현재는 사용 불가능하므로 저는 VPC 환경에서 Kubernetes Service 사용법에 대해 써보도록 하겠습니다.


VPC – VPC & Subnet 생성

우선 Naver Cloud Platform에서 VPC 환경을 사용하시려면 VPC 생성하여 서브넷 구성을 해주셔야합니다. 기존 AWS나 Azure와 같은 퍼블릭 클라우드 사용 경험이 많으시다면 이를 구성하는데에 큰 어려움이 없으실 것이라 생각합니다.

저는 위 이미지와 같이 생성해주었습니다.
오늘 포스팅에서는 LB까지는 사용하지 않지만 Naver Cloud 에서 k8s 클러스터 배포 시 가장 기본이 되는 서브넷 구성이라고 볼 수 있겠습니다.


VPC – Server

우선 서버를 생성해줍니다.
해당 서버 내에서 이후 생성할 각 클러스터들을 컨트롤 해줄 것입니다.

OS는 CentOS나 Ubuntu 아무것이나 괜찮습니다.

해당 서버의 패스워드 확인 후 서버로 접속해줍니다.
이후 아래 명령어를 이용하여 kubectl과 docker를 설치해줍시다.

[root@kubernetes-server-kr2 ~]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF

가끔 gpgkey 부분을 엔터쳐서 다음 줄로 내려버리시는 경우가 있는데 정상 설치가 안되니 아래 이미지와 같이 되게 해주세요.

/etc/yum.repos.d/kubernetes.repo
[root@kubernetes-server-kr2 ~]# yum install -y kubectl

//yum-utils device-mapper-persistent-data lvm2는 이미 설치가 되어있어서 따로 설치해줄 필요가 없었습니다.

[root@kubernetes-server-kr2 ~]# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
[root@kubernetes-server-kr2 ~]# yum install -y docker-ce
[root@kubernetes-server-kr2 ~]# systemctl enable --now docker

VPC – NKS Cluster

이제 Kubernetes Service를 생성해줄 것입니다.

NKS 클러스터는 현재 1.17과 1.18 버전을 지원하고 있습니다.
또한 Pod Security Policy, Audit Log는 클러스터 생성 후에도 수정할 수 있으니 이후에 설정하셔도 됩니다.

생성 중에 NAT Gateway를 생성하라는 메시지가 발생합니다.
이는 왜 NAT Gateway를 생성해야하는지에 대해 아래 내용에서 보여드리기위해 따로 NAT Gateway를 먼저 설정해두지 않았습니다.

일단 넘어갑시다.

원하시는 서버 스펙과 노드 수를 정해준 뒤 추가해주면 클러스터가 생성됩니다.
해당 클러스터 생성에는 다소 시간이 소요됩니다.


VPC – Practice

이제 생성한 Server와 각 k8s 클러스터들을 이용하여 실습을 해보도록 하겠습니다.
우선 Server에서 생성한 k8s 클러스터를 컨트롤하기 위해서는 kubernetes service에서 생성한 클러스터들을 설정파일을 다운로드 해야합니다.

위 이미지와 같이 해당 설정파일을 다운로드 한 뒤에 Server로 넣어줍시다.
간단하게 마우스 이동으로 파일을 옮기시려면 lrzsz 를 설치하여 PC와 서버 간에 간단하게 파일을 업로드, 다운로드를 하실 수 있습니다.

yum install lrzsz

설정파일이 Server에 있는데 이는 아래와 같이 사용할 수 있습니다.

kubectl –kubeconfig=/root/kubeconfig-d1f34144-76a5-46fa-a55c-7186946b8acc.yaml get nodes

원래 kubectl get nodes인데 config 파일을 이용하여 클러스터 접근 구성을 하게 되는 것입니다.
하지만 매번 명령어 입력마다 이렇게 사용할 수는 없으니 alias 설정을 해준다면 더욱 편리하게 사용할 수 있습니다.

[root@kubernetes-server-kr2 ~]# ll
total 8
-rw-r--r-- 1 root root 5538 Jun 17 02:19 kubeconfig-d1f34144-76a5-46fa-a55c-7186946b8acc.yaml


[root@kubernetes-server-kr2 ~]# kubectl --kubeconfig=/root/kubeconfig-d1f34144-76a5-46fa-a55c-7186946b8acc.yaml get nodes
NAME                  STATUS   ROLES    AGE     VERSION
nks-pool-1003-w-eoi   Ready    <none>   9m23s   v1.18.17
nks-pool-1003-w-eoj   Ready    <none>   9m22s   v1.18.17

[root@kubernetes-server-kr2 ~]# cat << EOF >> .bash_profile 
> alias kubectl='kubectl --kubeconfig="/root/kubeconfig-d1f34144-76a5-46fa-a55c-7186946b8acc.yaml"'
> EOF
[root@kubernetes-server-kr2 ~]# source .bash_profile
https://hub.docker.com/

위 이미지는 docker hub입니다.
이전에 업로드 해둔 manvscloud_dkos 파일을 배포해보겠습니다.

[root@kubernetes-server-kr2 ~]# kubectl run manvscloud --image seevirus/manvscloud_dkos:1
pod/manvscloud created
[root@kubernetes-server-kr2 ~]# kubectl get pod
NAME         READY   STATUS              RESTARTS   AGE
manvscloud   0/1     ContainerCreating   0          13s
[root@kubernetes-server-kr2 ~]# kubectl get pod
NAME         READY   STATUS         RESTARTS   AGE
manvscloud   0/1     ErrImagePull   0          22s

ErrImagePull 메시지가 발생했습니다.
왜 도커 이미지를 Pull 해오지 못한걸까요?

원인은 바로 위에서 NAT Gateway를 설정해주지 않았기때문입니다.
위에서 클러스터 생성 시 “아웃바운드 인터넷 트래픽을 활성화하기 위해서는
NAT Gateway를 반드시 생성해야한다”
라고 알려주는 메시지는 바로 NAT Gateway 설정을 해주지 않게되면 아웃바운드 인터넷 트래픽 통신이 전혀 되지 않기때문이죠.

바로 NAT Gateway를 생성해줍시다.
생성한 NAT Gateway는 Private Route Table에 연결해주어야합니다.

위 이미지와 같이 NAT Gateway를 연결해주고 다시 Server로 돌아와서 확인해보도록 합시다.

[root@kubernetes-server-kr2 ~]# kubectl get services
NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   198.19.128.1   <none>        443/TCP   30m
[root@kubernetes-server-kr2 ~]# kubectl get pods -o wide
NAME         READY   STATUS    RESTARTS   AGE   IP             NODE                  NOMINATED NODE   READINESS GATES
manvscloud   1/1     Running   0          17m   198.18.0.169   nks-pool-1003-w-eoj   <none>           <none>

ErrImagePull이었던 상태가 Running 상태로 변경되어있습니다.
정상적으로 배포가 되었군요.

[root@kubernetes-server-kr2 ~]# kubectl get all --all-namespaces
NAMESPACE     NAME                                   READY   STATUS    RESTARTS   AGE
default       pod/manvscloud                         1/1     Running   0          17m
kube-system   pod/cilium-jv5gz                       1/1     Running   0          30m
kube-system   pod/cilium-monitor-jp82w               1/1     Running   0          27m
kube-system   pod/cilium-monitor-nbvgm               1/1     Running   0          27m
kube-system   pod/cilium-operator-78f6b5db7c-77gqn   1/1     Running   0          30m
kube-system   pod/cilium-operator-78f6b5db7c-pjthh   1/1     Running   0          30m
kube-system   pod/cilium-z6gbh                       1/1     Running   0          30m
kube-system   pod/coredns-7895d49695-7cjhm           1/1     Running   0          29m
kube-system   pod/coredns-7895d49695-csj5w           1/1     Running   0          29m
kube-system   pod/csi-nks-controller-0               6/6     Running   1          28m
kube-system   pod/csi-nks-node-jtg5t                 3/3     Running   1          28m
kube-system   pod/csi-nks-node-w2cjd                 3/3     Running   1          28m
kube-system   pod/dns-autoscaler-56bf5c7f58-cz2jr    1/1     Running   0          29m
kube-system   pod/kube-proxy-6xmdd                   1/1     Running   0          30m
kube-system   pod/kube-proxy-qq27q                   1/1     Running   0          30m
kube-system   pod/ncloud-kubernetes-f5lxr            1/1     Running   0          49s
kube-system   pod/ncloud-kubernetes-kgt9p            1/1     Running   0          49s
kube-system   pod/nodelocaldns-mkzqz                 1/1     Running   0          29m
kube-system   pod/nodelocaldns-mvc7f                 1/1     Running   0          29m
kube-system   pod/snapshot-controller-0              1/1     Running   0          28m
kube-system   pod/startup-script-jtknz               1/1     Running   0          27m
kube-system   pod/startup-script-zlg28               1/1     Running   0          27m

NAMESPACE     NAME                     TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                  AGE
default       service/kubernetes       ClusterIP   198.19.128.1     <none>        443/TCP                  31m
kube-system   service/coredns          ClusterIP   198.19.128.3     <none>        53/UDP,53/TCP,9153/TCP   29m
kube-system   service/metrics-server   ClusterIP   198.19.128.124   <none>        443/TCP                  28m

NAMESPACE     NAME                               DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
kube-system   daemonset.apps/cilium              2         2         2       2            2           <none>                   30m
kube-system   daemonset.apps/cilium-monitor      2         2         2       2            2           <none>                   27m
kube-system   daemonset.apps/csi-nks-node        2         2         2       2            2           <none>                   28m
kube-system   daemonset.apps/kube-proxy          2         2         2       2            2           kubernetes.io/os=linux   31m
kube-system   daemonset.apps/ncloud-kubernetes   2         2         2       2            2           <none>                   27m
kube-system   daemonset.apps/nodelocaldns        2         2         2       2            2           <none>                   29m
kube-system   daemonset.apps/startup-script      2         2         2       2            2           <none>                   27m

NAMESPACE     NAME                              READY   UP-TO-DATE   AVAILABLE   AGE
kube-system   deployment.apps/cilium-operator   2/2     2            2           30m
kube-system   deployment.apps/coredns           2/2     2            2           29m
kube-system   deployment.apps/dns-autoscaler    1/1     1            1           29m

NAMESPACE     NAME                                         DESIRED   CURRENT   READY   AGE
kube-system   replicaset.apps/cilium-operator-78f6b5db7c   2         2         2       30m
kube-system   replicaset.apps/coredns-7895d49695           2         2         2       29m
kube-system   replicaset.apps/dns-autoscaler-56bf5c7f58    1         1         1       29m

NAMESPACE     NAME                                   READY   AGE
kube-system   statefulset.apps/csi-nks-controller    1/1     28m
kube-system   statefulset.apps/snapshot-controller   1/1     28m

오늘은 NKS 생성과 사용법에 대해 간단하게 알아보았습니다.

NKS를 잘 사용하기 위해서는 Container Registry를 이용해서 컨테이너 이미지를 관리한다거나 Cloud Insight 서비스를 신청해서 모니터링 하기 등이 있습니다.

이는 DKOS 스터디가 진행하며 조금씩 제 블로그에 포스팅할 예정입니다.


Personal Comments

오늘은 네이버 클라우드에서 쿠버네티스 배포에 대해서만 간단하게 포스팅해보았습니다.

쿠버네티스 서비스를 사용하시기 전 VPC에 익숙하지 않으시다면 네이버 클라우드에서 교육하고 있는 Hands-on Lab을 신청하여 들어보시는 것을 권장드립니다.

네이버 클라우드는 한국어로 된 교육과 서비스로 쉽게 배우고 사용할 수 있다는 점이 큰 장점이라고 생각합니다.

추가로 요즘 회사와 주말 일정으로 포스팅되는 날짜가 일정하진 않지만 한 주에 최소 포스팅 2개를 목표로 꾸준히 작성중이니 참고 부탁드립니다.

긴 글 읽어주셔서 감사합니다.

IT/Linux/Kubernetes

YAML language 와 Kubernetes에서 요구되는 필드

안녕하세요. ManVSCloud 김수현입니다.

이번 주 일요일부터 Docker Kubernetes Online Study에서 Kubernetes 소개와 설치가 시작됩니다. 그러므로 오늘은 Yaml 파일에 대한 이해를 돕기 위해 노션에 정리해두었던 Yaml파일에 대한 내용을 정리하여 포스팅해보았습니다.


What is Yaml?

Yaml 또는 Yml 이란 사람이 쉽게 읽을 수 있는 형태로 표현된 데이터 직렬화 양식입니다.

데이터 직렬화는 메모리의 객체를 디스크에 저장하거나 통신하는 대상에게 올바른 형식으로 맞추어 전달하기 위해 바이트 스트림 형태로 만드는 것!
쉽게 말하자면 사람이 읽고 쓰기 쉽도록 만들어진 하나의 약속이라고 볼 수 있습니다.

쿠버네티스 매니페스트는 YAML과 JSON을 사용하게 되는데 주로 YAML을 이용하여 구성 파일을 작성하므로 YAML에 대해 알고 있으면 큰 도움이 됩니다.

  • 역직렬화 : 디스크에 저장된 데이터를 읽거나 네트워크를 통해 전송된 데이터를 받아 메모리에 재구축
  • 바이트 스트림 : 1 byte를 입출력 할 수 있는 스트림, JAVA에서 입출력 스트림을 통해 흘러가는 데이터의 기본 단위 (InputSteam과 OutputStream이 존재)
  • 스트림 : 데이터 처리연산을 지원하도록 소스에서 추출된 연속된 요소이며 데이터를 읽고 쓸 수 있도록 도와준다.
  • 매니페스트 : 컴퓨팅에서 집합의 일부 또는 논리정연한 단위인 파일들의 그룹을 위한 메타데이터를 포함하는 파일 (애플리케이션에 대한 필수적인 정보가 담겨있음)

Grammar

📢 Yaml 문법 포인트

  • Key: Value
  • mappings(해시 or 딕셔너리), sequences(배열 or 리스트), scalars(스트링 or 넘버 등)
  • 각 블록 부모-자식 관계는 들여쓰기로 구분
  • 를 이용하여 시퀀스 사용
  • # 는 주석
  • 는 문서의 시작 (스트림 시작)
  • 는 문서의 끝 (스트림 끝)
  • & 를 이용하여 anchor 설정 (정의)
  • * 를 이용하여 alias 설정 (참조)
  • 띄어쓰기

Scalars
integer: 100
string: “100” 또는 ‘100’
(“”는 이중 문자열, ”는 단일 문자열)
float: 100.0
boolean: yes

(yes/no, true/false, on/off)

→ Example
count: “1”
→ int가 아닌 string

size: ‘3.14’
→ float가 아닌 string

question: ture
→ boolean

answer: “true”
→ string

→ 추가 내용
◎ 값이 비어있으면 null (nil이 아님)
port: “80” 이라고 선언할 수 있으며 템플릿 엔진과 YAML Parser를 정상적으로 통과합니다. 하지만 쿠버네티스가 포트를 integer로 받아야할 경우 실패할 수 있습니다.
이때 YAML 노드 태그를 사용하여 특정 유형 추론을 강제화 할 수 있습니다.
port: !!int “80”
위와 같이 선언할 경우 port가 “”로 감싸져 있어도 int로 취급됩니다.
ex) age: !!str 21 (int가 아닌 string으로 강제)
◎ 추가적인 심화 내용은 아래
TIP의 YAML 기법 링크 참고


Sequences

→ Level 1

- one
- two
- three

Level 2

-
  - Lion
  - Tiger
  - Bear
-
  - Orange
  - Lemon
  - Pear

Level 3

-
  -
    - Golf
    - Soccer
    - Basketball

Mappings

Level 1

Language: English

Level 2

Language: English
  - A
  - B
  - C

Anchor & Alias

Level 1

Linux:
  - linux1: &linux1 centos
  - linux2: &linux2 ubuntu
  - linux3: &linux3 rocky
  - linux4: &linux4 suse

web_linux: *linux1
db_linux: *linux3

Level 2
(<< 를 이용하여 Override(자식 클래스에서 부모 클래스 재정의))

base: &default
  web: apache
  db: mysql
env:
  dev:
    <<: *default
    db: oracle

  prod:
    <<: *default
    web: nginx

⚠️ YAML 앵커 및 별칭은 ‘ [ ‘, ‘ ] ‘, ‘ { ‘, ‘ } ‘및 ‘ , ‘문자를 포함 할 수 없습니다.


Example

Kubernetes에서 퍼시스턴트볼륨을 생성하는 YAML 파일의 예시입니다.
(용량은 25GiB이며 ReadWriteOnce Mode로 생성)

kind: PersistentVolume
apiVersion: v1
metadata:
  name: pv0001
  labels:
    type: local
spec:
  capacity:
    storage: 25Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/data/pv01"

In-depth course

CKAD 시험까지 생각하고 있다면 k8s의 yaml 파일 작성법까지 깊게 알아보는 것도 좋지않을까 생각합니다. 생성하고자 하는 쿠버네티스 오브젝트에 대한 YAML 파일 내에 필드 값들을 설정해주게 되는데 그 필드 값에 대한 내용을 알아보도록 하겠습니다.

  • apiVersion
    : 이 오브젝트를 생성하기 위해 사용하고 있는 쿠버네티스 API 버전이 어떤 것인지

종류
v1
: 쿠버네티스에서 발행한 첫 stable release API
(대부분의 api가 포함되어 있음)
apps/v1
: 쿠버네티스의 common API 모음, Deployment, RollingUpdate, ReplicaSet을 포함
batch/v1
: 배치 프로세스, job-like task를 위한 배포 api
autoscaling/v1
: pod의 autoscale 기능을 포함하는 API, 현재는 CPU metric을 사용한 scaling만 가능
(추후에 alpha, beta version에서 memory, custom metric으로 scaling 기능 추가예정)
batch/v1beta1
: batch/v1에서 cronJob으로 job을 돌리는 api가 추가
certivicates.k8s.io/v1 beta
: 클러스터의 secure network function들이 추가된 API
(TLS 등의 기능 추가)
extensions/v1beta
: Deployments, DaemonSets, ReplicatSets, Ingress 등 상당수 feature들이 새롭게 정의된 API 그러나 상당수의 api들이 apps/v1과 같은 그룹으로 이동되어서, 쿠버네티스 1.6버젼 이후부터는 deprecated 됨
policy/v1beta1
: pod에 대한 security rule이 정의된 API
rbac.authorization.k8s.io/v1
: 쿠버네티스의 role-based access control이 가능한 function이 정의됨

  • kind
    : 어떤 종류의 오브젝트를 생성하고자 하는지 (원하는 kind에 따라 apiVersion 종류가 달라짐)

종류
Pod
: pod을 정의하여 쿠버네티스 선언(아직 배포되지 않은 상태)
ReplicationController(or ReplicaSet)
: 쿠버네티스에 선언된 pod을 배포하기 위한 선언(replicas 갯수, readiness probe 등 선언)
Service
: 동적으로 생성된 pod(각각 다른 ip)을 라벨(label)과 라벨 셀렉터(label selector)을 사용하여 하나의 서비스로 묶어주는 역할
(ex. pod에 라벨이 “wonyoung”이 선언되어 있으면, service는 “wonyoung” label이 붙은 서비스만 골라내서 그 pod간에만 로드벨런싱을 동해 서비스를 외부에 제공)

  • metadata
    : 이름, 문자열, UID, 그리고 선택적인 네임스페이스를 포함하여 오브젝트를 유일하게 구분지어줄 데이터
  • spec
    : 오브젝트에 대해 어떤 상태를 의도하는지

🔑 생성 가능한 오브젝트에 대한 모든 spec 확인

🔑 Pod에 대한 spec 포맷

🔑 Deployment에 대한 spec 포맷


TIP

📌 YAML 기법
📌 YAML 유효성 검사
📌 YAML to JSON
📌 JSON to YAML

Personal Comments

YAML을 전혀 모르던 때에 띄어쓰기 조차 문법인지 몰라서 당황했던 기억이 있습니다.
이 포스팅을 통해 많은 분들이 YAML 문법이 무엇인지 그리고 Kubernetes를 시작하기 전 많은 도움이 되길 바랍니다.

긴 글 읽어주셔서 감사합니다.

IT/Linux/Kubernetes

Docker Kubernetes Online Study 스터디 시작! (Docker의 장점과 Network)

안녕하세요. ManVSCloud 김수현입니다.

CloudNet@에서 진행하는 DOCKER KUBERNETES ONLINE STUDY가 시작되었습니다.
1주차 Docker의 기초를 시작으로 Kubernetes를 제대로 배우게 되어 흥미롭습니다.

지금까지 Docker는 Docker-compose를 이용하여 임의적으로만 사용하거나 kubernetes도 wordpress 사이트를 올려본 것이 전부라 아직 미숙했는데 이번 기회에 깊이있게 공부하고 다양한 테스트를 시작할 수 있게 되었습니다.

오늘 스터디 이전에 정리해두었던 내용 중 몇가지를 포스팅하려 합니다.
Docker의 장점과 네트워크 관련 내용입니다.


Advantages of Docker

한국어 자막 지원합니다.

위 영상은 컨테이너가 무엇인지 알려주는 영상입니다.
한국어 자막도 지원하고 설명이 잘 되어있어 1분 30초만 투자하면 컨테이너가 무엇인지 알 수 있습니다.

도커의 장점 TOP 5
  • 신속한 애플리케이션 배포 – 컨테이너에는 애플리케이션 의 최소 런타임 요구 사항이 포함되어 크기를 줄이고 신속하게 배포 할 수 있습니다.
  • 머신 간 이식성 – 애플리케이션 및 모든 종속 항목을 Linux 커널, 플랫폼 배포 또는 배포 모델의 호스트 버전과 독립적인 단일 컨테이너로 번들링 할 수 있습니다. 또한 이 컨테이너는 Docker를 실행하는 다른 머신으로 전송할 수 있으며 호환성 문제없이 실행할 수 있습니다.
  • 버전 제어 및 구성 요소 재사용 – 컨테이너의 연속 버전을 추적하고 차이점을 검사하거나 이전 버전으로 롤백 할 수 있습니다. 또 컨테이너는 이전 레이어의 구성 요소를 재사용하므로 매우 가볍습니다.
  • 공유 – 원격 저장소를 사용하여 다른 사람과 컨테이너를 공유 할 수 있습니다. 
  • 가벼운 설치 공간 및 최소한의 오버 헤드 – Docker 이미지는 일반적으로 매우 작기 때문에 신속한 제공이 가능하고 새로운 애플리케이션 컨테이너를 배포하는 시간이 단축됩니다.
  • 단순화 된 유지 관리 – Docker는 애플리케이션 종속성으로 인한 노력과 문제의 위험을 줄여줍니다.

Network

root@dkos-master:~# ip route show
default via 192.168.0.1 dev enp0s3 proto static
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown
192.168.0.0/24 dev enp0s3 proto kernel scope link src 192.168.0.30

제가 docker를 처음 사용했을 때 생겼던 궁금증이었는데 이제는 많은 블로그에 포스팅된 내용이기도 합니다.
docker 설치 및 실행 후 ip route show 또는 ip a 명령어로 확인 시 docker 0의 bridge 네트워크 IP 대역이 default 설정으로 172.17.0.0/16 대역으로 설정되어 있을 것입니다.
이 ip대역 변경이 가능합니다.

/etc/docker 디렉토리 아래 daemon.json라는 .json 파일이 없는데 이걸 만들어주면 됩니다.

root@dkos-master:~# vi /etc/docker/daemon.json

예를 들어 아래와 같은 대역대로 설정해주고 저장합니다.

{
"bip": "10.3.0.1/16"
}
root@dkos-master:~# systemctl restart docker

root@dkos-master:~# ip route show
default via 192.168.0.1 dev enp0s3 proto static
10.3.0.0/16 dev docker0 proto kernel scope link src 10.3.0.1 linkdown
192.168.0.0/24 dev enp0s3 proto kernel scope link src 192.168.0.30

root@dkos-master:~# iptables -t nat -S
-P PREROUTING ACCEPT
-P INPUT ACCEPT
-P OUTPUT ACCEPT
-P POSTROUTING ACCEPT
-N DOCKER
-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
-A POSTROUTING -s 10.3.0.0/16 ! -o docker0 -j MASQUERADE
-A DOCKER -i docker0 -j RETURN

docker를 재시작해주면 설정해줬던 10.3.0.0/16 대역으로 변경된 것을 알 수 있습니다.

3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default
    link/ether 02:42:2a:78:b0:a3 brd ff:ff:ff:ff:ff:ff
    inet 10.3.0.1/16 brd 10.3.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:2aff:fe78:b0a3/64 scope link
       valid_lft forever preferred_lft forever

브리지 네트워크 구성 방법에 대해 자세하게 알고싶으신 경우 아래 링크를 참고하시기 바랍니다.

또한 Docker에서는 다양한 네트워크 작동 방식이 존재합니다.
bridge, host, overlay, macvlan, none 등이 있는데 기본 네트워크 드라이브는 bridge로 설정되어 있으며 각 네트워크 작동 방식에 대해 설명하기에는 내용이 너무 방대하여 간단한 요약만 작성하겠습니다. 더 자세히 알고싶으신 경우 링크를 남겨두었으니 확인해보시기 바랍니다.

  • bridge : 동일한 Docker 호스트에서 통신하기 위해 여러 컨테이너가 필요할 때 사용
  • host : 네트워크 스택이 Docker 호스트에서 격리되어서는 안되지만 컨테이너의 다른 측면을 격리하려는 경우 사용
  • overlay : 통신을 위해 서로 다른 Docker 호스트에서 실행되는 컨테이너가 필요하거나 여러 애플리케이션이 스웜(swarm) 서비스를 사용하여 함께 작동 할 때 사용
  • macvlan : VM 설정에서 마이그레이션하거나 컨테이너가 각각 고유 한 MAC 주소를 가진 네트워크의 물리적 호스트처럼 보이도록해야 할 때 사용
  • ipvlan : ipvlan은 macvlan과 유사하지만 엔드포인트의 MAC 주소가 동일하며 L2 및 L3 모드를 지원합니다.
  • none : 모든 네트워킹을 비활성화, 스웜(swarm) 서비스 사용 불가

아래 링크는 Macvlan과 IPvlan의 차이점을 알 수 있습니다.


TIP

Docker는 단일 컨테이너 관리에 적합하도록 만들어져 있습니다.
컨테이너가 세분화되어 다수의 컨테이너화 된 앱을 사용하게 되면 관리와 오케스트레이션이 어려워집니다. 그렇다면 여기서 오케스트레이션은 무엇입니까?
오케스트라(orchestra)라는 말은 많이 들어보셨으리라 생각합니다.

오케스트레이션은 컴퓨팅, 네트워킹, 리소스 배포, 관리, 배치, 정렬을 자동화합니다.
위 컨테이너를 지휘하고 있는 이미지와 함께 보면 어떤 느낌인지 이해가 가시나요?
다수의 컨테이너가 네트워킹, 보안, 텔레메트리와 같은 서비스를 쉽게 제공하려면 이 컨테이너들을 그룹화해야 할 필요가 있습니다. 그렇기 때문에 Kubernetes, Docker Swarm, Apache Mesos, Nomad 와 같은 툴을 사용합니다.
Kubernetes는 무엇입니까? 컨테이너 오케스트레이션 툴입니다.


Personal Comments

이번 주 일요일부터는 Kubernetes에 대한 내용이 시작됩니다.
아직 화요일인데 벌써 일요일이 기다려지네요.
DKOS 스터디 진행 및 운영 해주시는 모든 운영진 분들에게 감사의 인사 올립니다.

마지막으로 컨테이너는 chroot와 namespace, cgroups과 같은 커널 기반 기술이 사용되는데 이에 대해 잘 설명이 되어있는 사이트가 있어 아래 링크로 공유합니다.

긴 글 읽어주셔서 감사합니다.

IT/Linux/Kubernetes

Docker Kubernetes Online Study – Ubuntu 20.04 Install

안녕하세요. ManVSCloud 김수현입니다.

CloudNet@에서 진행했던 ANOS 2기 스터디에 이어 DKOS(DOCKER KUBERNETES ONLINE STUDY)의 기회를 얻게되었습니다.

핵심만 콕! 쿠버네티스

위 책을 기반으로 공부를 하게 될 것으로 보이며 스터디가 6월 6일부터 시작되어 Ubuntu 설치와 사전 권장 학습을 진행해야합니다.

오늘은 간단하게 Ubuntu 20.04 설치에 대해서 포스팅했습니다.


Ubuntu 20.04 Install

VirutalBox

VirutalBox는 위 링크에서 다운로드 받을 수 있으며 Ubuntu는 20.04 Server 버전으로 VirtualBox를 이용하여 설치해줄 것입니다.

일단 DKOS-Ubuntu-Master라는 이름으로 생성해주었습니다.
이후 Node를 OS부터 하나씩 설치하지않고 Master를 특정 부분까지 설치 및 설정 해준 뒤 스냅샷으로 Node를 생성할 것입니다.

English 선택
키보드 레이아웃 고르는 것입니다.
저는 Korean으로 선택해주었습니다.
네트워크 설정해주는 곳인데 저는 이곳에서 설정을 해줬습니다.
이후 서버 내에서 설정하는 것도 알려드리겠습니다.
DHCP로 하지않고 고정으로 설정 해보겠습니다.
저는 VirtualBox에서 네트워크 연결 방식을 “어댑터에 브릿지” 으로 설정해두었으므로
위와 같이 설정해주었습니다.
192.168.0.30을 Master IP로 사용할 것입니다.
이전에 CentOS 환경으로 Kubernetes를 설치 및 테스트한 경험이 있습니다.
이전에 테스트 당시 만들어둔 표인데 대충 참고만하면 좋을듯합니다.
Disk 파티션을 설정하는 곳입니다.
Custom storage layout을 선택하면 사용자 설정을 할 수 있지만 저는 그냥 통으로 설치했습니다.
사용자 계정과 패스워드 등을 설정해줍시다.
위 Install OpenSSH Server를 체크해줍시다.
이후 따로 설치해줄 필요없습니다.
설치가 진행되고 이후 update&reboot이 나오면 reboot을 진행해주고 설치를 마무리합니다.
설치가 완료되면 설치 시 생성한 사용자 계정을 통해 접속이 가능합니다.
설치가 완료되었다면 VirtualBox에서 스냅샷을 찍어줍시다.★
스냅샷을 찍어두는 습관은 이후에도 많은 도움이 됩니다.
putty를 이용하여 생성한 OS에 접근
Ubuntu 20.04 설치 완료

Today’s Tips

Ubuntu는 CentOS와 다른 것들이 많았습니다.
저도 Redhat 기반의 경험이 많아 데비안 환경은 조금 불편할 때가 많았습니다.

  • sudo
    (sudo su – 를 하여 root 계정으로 사용할 수 있지만 사용자 계정 환경에 익숙해져보려고 합니다.)
  • apt-get
    (CentOS에서는 패키지관리자가 yum으로 사용되었지만 Ubuntu에서는 apt-get으로 사용해줍니다. +rpm과 dpkg의 차이)

또한 Ubuntu18 이후 버전부터는 네트워크 설정 파일이 yaml 파일로 설정되어있습니다.
/etc/sysconfig/network-scripts/가 아닌 /etc/netplan/ 아래 yaml 파일을 이용하여 네트워크 설정이 가능합니다.

//편의를 위한 root 권한으로 변경
manvscloud@dkos-master:~$ sudo su -
[sudo] password for manvscloud:

//작업 전 백업
root@dkos-master:~# sudo cp -avp /etc/netplan/00-installer-config.yaml /etc/netplan/00-installer-config.yaml_org
'/etc/netplan/00-installer-config.yaml' -> '/etc/netplan/00-installer-config.yaml_org'
root@dkos-master:~# cat /etc/netplan/00-installer-config.yaml
# This is the network config written by 'subiquity'
network:
  ethernets:
    enp0s3:
      addresses:
      - 192.168.0.30/24
      gateway4: 192.168.0.1
      nameservers:
        addresses:
        - 168.126.63.1
        search:
        - 169.126.63.2
  version: 2

위 yaml 파일을 보면 설치 시 설정했던 IP와 nameserver 등이 들어가있는 것을 볼 수 있습니다.
위 파일 수정 후 적용은 아래 명령어로 적용할 수 있습니다.

root@dkos-master:~# netplan apply

이후 스냅샷으로 생성한 Node들의 IP 설정을 해줄 때 사용하게 될 것입니다.
추가로 Hostname 변경 방법도 추가해두겠습니다.

//현재 hostname 확인
root@dkos-master:~# hostnamectl status

//hostname 변경
root@dkos-master:~# hostnamectl set-hostname dkos-node1

//hosts 파일 변경
root@dkos-master:~# vi /etc/hosts

network 및 hostname 설정간에 큰 어려움 없으시길 바랍니다.


Personal Comments

Kubernetes 시험 등록 후 다른 여러 일정으로 아직까지 시험을 못보고 있었습니다.
CloudNet@에서 진행하는 DKOS로 쿠버네티스 학습에 조금 더 집중을 할 수 있게 될 것같습니다. 2021-08-17 전에 시험 합격을 목표로 하고 있어 “네이버 클라우드에서의 보안” 포스팅을 제외하고는 쿠버네티스에 몰두할 예정입니다.

기회를 주신 CloudNet@ 팀에 다시 한 번 감사의 인사 올리며 포스팅을 마무리 하겠습니다.
긴 글 읽어주셔서 감사합니다.

NCP

[NCP] Kubernetes Service를 활용한 컨테이너 관리 후기

안녕하세요. ManVSCloud 김수현입니다.

오늘은 2월 19일 Naver Cloud Platform에서 진행한
“KUBERNETES SERVICE를 활용한 컨테이너 관리” 교육 후기에 대해 써볼까합니다.

우선 이번 교육의 경우 Intermediate 교육인데 Intermediate 교육은
[Big Data], [Kubenetes], [DevOps], [Media], [A.I], [Security] 과정이 있으며
현재 Naver Cloud Platform에서 알려진 전반기 교육 일정은 아래와 같으므로 참고하시면 좋을듯합니다.

1월 – Big Data
2월 – Kubenetes
3월 – DevOps
4월 – Media
5월 – A.I
6월 – Security


Theory

오전엔 Kubernetes이 대한 이해를 도울 수 있을만한 이론을 중심으로 강의가 시작되었습니다.

Naver Cloud Platform에서의 Kubernetes Service인 NKS에 대한 강의만 하는 것이 아니라
Kubernetes가 무엇인지, 왜 사용해야하는지, 어떻게 사용되고 있는지도 배울 수 있었습니다.

Docker에 대한 내용도 많이 언급되었는데 Docker는 저도 가끔 가벼운 테스트를 할 때 따로 도커를 이용하여 테스트를 할 때가 많습니다.
최근에 포스팅했던 도커로 설치한 jupyter notebook도 nginx proxy를 추가하여 잘 사용하고 있습니다.

Docker를 사용해보지 않으셨다면 Kubernetes를 사용하기 전에 Docker를 먼저 경험해보는 것을 권장합니다.


LABS

오후 시간부터는 실습이 이루어졌습니다.
[클러스터 생성], [Container Registry를 이용한 IMAGE 관리], [POD 운영/관리] 등 다양한 실습이 진행되었으며 실습 교재도 배포되어 혼자 실습을 해도 따라할 수 있을 만큼 잘 만들어져있었습니다.

물론 교재 배포 시 word파일에서 pdf파일로 변경되며 생각과는 다른 부분이 생겨 실습 중 어려움을 겪는 분들도 있었습니다.

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg
https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF

배포된 교재에 위와 같은 부분이 있는데 그대로 복사하여 붙여넣게 되면 정상적인 yum 설치가 되지않습니다. gpgkey 부분이 pdf파일로 바뀌며 나뉘어 진듯 합니다.

pdf를 그대로 복사해버리면 빨간색 체크박스처럼 되었기에 yum 설치가 되지않습니다.
아래 파란 체크박스처럼 되어야하는 것입니다.
이 부분을 해결하며 문득 리눅서님이 말씀해주신 것들이 떠올라 링크 남겨봅니다.

실습 진행 중 쿠버네티스 설치와 웹 서비스 테스트 경험이 있었기에 큰 어려움은 없었습니다.

NKS에서는 VPC 기준 kubernetes 1.16.14 버전과 1.17.11 버전을 지원했습니다.
NKS를 사용한다면 NCP 기존 서비스(대표적으로 모니터링)와 연계하여 사용할 수 있고 조금 더 간편한 느낌이 있습니다.

대부분의 실습을 다 끝마쳤고 실습했던 부분은 나눠서 추가 포스팅을 해볼 생각입니다.
따로 교재가 없어도 NCP에서 제공하고 있는 설명서와 API 참조서가 있어 도움이 됐습니다.

배포된 교재에서 부족한 부분은 아래 링크를 참고했습니다.

실습 중 조금 당황한 부분이 있었는데 nks-metrics-exporter 생성 중에 nrn 값을 잘못넣어
pod가 정상적으로 올라오지 않고 CrashLoopBackOff 가 발생한 부분이 있었습니다.

[root@manvscloud-k8s-pub-kr2 lab5]# kubectl get pods
NAME                                   READY   STATUS             RESTARTS   AGE
apache-deployment-6f4bdc4b79-8z6vw     1/1     Running            0          33m
apache-deployment-6f4bdc4b79-hrr79     1/1     Running            0          33m
apache-deployment-6f4bdc4b79-nnv79     1/1     Running            0          33m
apache-pod                             1/1     Running            0          37m
nks-metrics-exporter-df9c85df4-jrbs6   0/1     CrashLoopBackOff   6          8m56s

문제는 정상적인 nrn값을 다시 넣고도 Running 상태로 돌아오지 않아 기존 pod를 삭제하고 재생성 했습니다. 혹시 저와 같은 케이스가 생긴 분이 있으실까봐 이 방법을 남깁니다.
kubectl get pod [pod이름] -o yaml | kubectl replace –force -f-

[root@manvscloud-k8s-pub-kr2 lab5]# kubectl get pod nks-metrics-exporter-df9c85df4-jrbs6 -o yaml | kubectl replace --force -f-
pod "nks-metrics-exporter-df9c85df4-jrbs6" deleted
pod/nks-metrics-exporter-df9c85df4-jrbs6 replaced

다시 kubectl get pods를 해보면 기존 CrashLoopBackOff 이던 pod는 Terminating 되고 새 pod가 정상적으로 Running되는 것을 알 수 있습니다.

[root@manvscloud-k8s-pub-kr2 lab5]# kubectl get pods
NAME                                   READY   STATUS        RESTARTS   AGE
apache-deployment-6f4bdc4b79-8z6vw     1/1     Running       0          34m
apache-deployment-6f4bdc4b79-hrr79     1/1     Running       0          34m
apache-deployment-6f4bdc4b79-nnv79     1/1     Running       0          34m
apache-pod                             1/1     Running       0          38m
nks-metrics-exporter-df9c85df4-jrbs6   0/1     Terminating   0          8s
nks-metrics-exporter-df9c85df4-zb2qd   1/1     Running       0          17s

이후 메트릭 생성이 잘 되어 Cloud Insight로 Monitoring 되는 것까지 확인할 수 있었습니다.


The End

Kubernetes를 테스트 하기위해 클라우드 또는 서버로 비용이 내는 것이 부담스러울 수 있기에 Kubernetes를 도입하기 전에 VMware나 VirtualMachine으로 테스트를 해볼 수도 있습니다.

이전에 제가 포스팅했던 글인데 참고하면 좋을듯합니다.
이전 블로그에서는 소스코드가 지원이 되지않아 yaml 파일이 띄워쓰기 없이 다 붙어있는데
이 부분은 빠른 시일내에 수정할 예정입니다.
yaml 파일 띄워쓰기 전부 수정 해두었습니다.
(yaml파일은 문법상 띄워쓰기와 빈 칸을 잘 사용해줘야합니다.)

3월은 DevOps 교육이 계획되어 있습니다. DevOps 교육도 참가할 예정입니다.
그리고 현재 NCP 교육 및 행사 일정에 “[3월] NAVER CLOUD PLATFORM Hands-on Lab”도 모집중이니 관심있으시면 신청해보시기 바랍니다.

KUBERNETES SERVICE를 활용한 컨테이너 관리 강의 해주신 NCP 강사분께 감사의 인사 올리며 포스팅을 마무리 하겠습니다.

긴 글 읽어주셔서 감사합니다.

IT/Linux/Kubernetes

KUBERNETES 1.19 설치 및 APM + WORDPRESS 연동 – 2부

안녕하세요. ManVSCloud 김수현입니다.

1부 “VirtualBox를 이용한 Kubernetes 1.19 설치” 편에 이어
2부에서는 설치된 Kubernetes를 이용하여 APM + WordPress 연동을 작성하겠습니다.

1부 “VirtualBox를 이용한 Kubernetes 1.19 설치”를 못보신 분들을 위해
해당 포스트 하단에 추가로 링크를 추가해두었습니다.

APM + WordPress를 연동하여 wordpress 웹 서비스를 운영할 수 있도록 해보겠습니다.

PV, PVC, Service & Pod Deploy

| PV

1. vi pv_01.yaml

kind: PersistentVolume
apiVersion: v1
metadata:
  name: pv0001
  labels:
    type: local
spec:
  capacity:
    storage: 25Gi
  accessModes:
    - ReadWriteOnce
  hostPath:

    path: "/data001/pv0001"

2. vi pv_02.yaml

kind: PersistentVolume
apiVersion: v1
metadata:
  name: pv0002
  labels:
    type: local
spec:
  capacity:
    storage: 25Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/data001/pv0002"

위 .yaml 파일을 만든 뒤 아래 명령어를 이용하여 퍼시스턴트 볼륨을 생성하고
정상적으로 생성되었는지 확인 해봅니다.

 kubectl create -f pv_01.yaml
 kubectl create -f pv_02.yaml
 kubectl get pv

| Mysql, PVC + Services + Pod

  • vi mysql-deployment.yaml
apiVersion: v1
kind: Service
metadata:
  name: wordpress-mysql
  labels:
    app: wordpress
spec:
  ports:
    - port: 3306
  selector:
    app: wordpress
    tier: mysql
  clusterIP: None
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pvc
  labels:
    app: wordpress
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
---
apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind: Deployment
metadata:
  name: wordpress-mysql
  labels:
    app: wordpress
spec:
  selector:
    matchLabels:
      app: wordpress
      tier: mysql
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: wordpress
        tier: mysql
    spec:
      containers:
      - image: mysql:5.6
        name: mysql
        env:
        - name: MYSQL_ROOT_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mysql-pass
              key: password
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: mysql-persistent-storage
          mountPath: /var/lib/mysql
      volumes:
      - name: mysql-persistent-storage
        persistentVolumeClaim:
          claimName: mysql-pvc

| WordPress, PVC + Services + Pod

  • vi wordpress-deployment.yaml
apiVersion: v1
kind: Service
metadata:
  name: wordpress
  labels:
    app: wordpress
spec:
  ports:
    - port: 80
  selector:
    app: wordpress
    tier: frontend
  type: LoadBalancer
  externalIPs:
  - 192.169.0.31
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: wp-pvc
  labels:
    app: wordpress
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
---
apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind: Deployment
metadata:
  name: wordpress
  labels:
    app: wordpress
spec:
  selector:
    matchLabels:
      app: wordpress
      tier: frontend
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: wordpress
        tier: frontend
    spec:
      containers:
      - image: wordpress:4.8-apache
        name: wordpress
        env:
        - name: WORDPRESS_DB_HOST
          value: wordpress-mysql
        - name: WORDPRESS_DB_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mysql-pass
              key: password
        ports:
        - containerPort: 80
          name: wordpress
        volumeMounts:
        - name: wordpress-persistent-storage
          mountPath: /var/www/html
      volumes:
      - name: wordpress-persistent-storage
        persistentVolumeClaim:
          claimName: wp-pvc

위 파일은 PVC와 Pod, Services .yaml 파일입니다.
따로 분리하여 만들어줄 수도 있고, 위 방법과 같이 합쳐서 한 파일로 만들 수도 있습니다.

| Add Secret Generator

  • vi kustomization.yaml
secretGenerator:
- name: mysql-pass
  literals:
  - password=rlatngus1!
resources:
  - mysql-deployment.yaml
  - wordpress-deployment.yaml
  • kubectl apply -k ./

| Confirm Settings

지금까지 설정한 것들을 아래의 방법으로 모두 확인해보시기 바랍니다.
위 wordpress-deployment.yaml에서 External-IP를 Kube-Node1의 IP로 설정해두었습니다.

  • kubectl get secrets
  • kubectl get pvc
  • kubectl get pods
  • kubectl get services

Check Service (192.168.0.31:80)

Kube-Node1 IP인 192.168.0.31로 80포트를 타고 wordpress가 실행되었습니다.
정상적으로 운영되는 것을 웹 페이지에서 볼 수 있었습니다.

C o m m a n d

1 kubectl get svc
2 kubectl get nodes
3 kubectl get pods
–all-namespaces
-o wide
4 kubectl delete pod [pod이름]
namespace가 default가 아닌 다른 것일 때 ex) -n kube-system
5 kubectl describe pod [pod이름]
6 kubectl get events
7 kubectl get pv
8 kubectl get pvc
9 kubectl edit svc [service이름]
10 kubectl create -f [파일] ex) mysql.yaml

마지막으로 자주 쓰이게 됐던 명령어들을 10가지 뽑아 정리하였습니다.
이 포스팅이 실습에 많은 도움이 되셨길 바라며 이론적인 부분은 따로 찾아보시기 바랍니다.

1,2부에 걸쳐 긴 글 읽어주셔서 감사합니다.

IT/Linux/Kubernetes

Kubernetes 1.19 설치 및 APM + WordPress 연동 – 1부

안녕하세요. ManVSCloud 김수현입니다.

오늘은 Kubernetes 1.19 설치 후 APM + WordPress를 연동하여
wordpress 웹 서비스를 운영하는 것이 목표입니다.

1부에서는 VirtualBox를 이용한 Kubernetes 1.19 설치,
2부에서는 설치된 Kubernetes를 이용하여 APM + WordPress 연동을 작성하겠습니다.

설치 환경은 아래와 같습니다.

Environment

  • VirtualBox [각 VM 정보]
    CentOS 7.8 2003 (core) + 3.10.0-1127.19.1.el7.x86_64
    MEMORY : 4G
    CPU : 2
    HDD : 50G
    네트워크 방식 : 어댑터에 브리지

“테스트하는데 저렇게 많은 메모리와 많은 node를 생성할 필요는 없습니다.
그냥 제 노트북 스펙이 괴물이라 퍼줬습니다.”


최소 2G 메모리면 충분히 설치가 가능합니다.

Kubernetes Install & Environment Setup

  • Master – 1
    Kubernetes 설치를 위해서는 기본적인 설치 환경을 만들어주어야 합니다.

    VirtualBox를 이용하여 CentOS 7를 설치해 kube-master를 생성해주고
    Master에서 아래 환경들을 구성합니다.

1 setenforce 0
2 sed -i ‘s/^SELINUX=enforcing$/SELINUX=permissive/’ /etc/selinux/config
3 sestatus
4 systemctl stop firewalld && systemctl disable firewalld
5 systemctl stop NetworkManager && systemctl disable NetworkManager
6 swapoff -a && sed -i ‘/ swap / s/^/#/’ /etc/fstab
7 cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
8 sysctl –system
9 cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF
10 yum -y update
11 cat << EOF >> /etc/hosts
192.168.0.30 kube-master
192.168.0.31 kube-node1
192.168.0.32 kube-node2
192.168.0.33 kube-node3
EOF
12 cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.30 kube-master
192.168.0.31 kube-node1
192.168.0.32 kube-node2
192.168.0.33 kube-node3
13 yum install -y yum-utils device-mapper-persistent-data lvm2
14 yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.repo
15 yum update -y && yum install -y docker-ce
16 mkdir /etc/docker
17 cat > /etc/docker/daemon.json <<EOF
{
“exec-opts”: [“native.cgroupdriver=systemd”],
“log-driver”: “json-file”,
“log-opts”: {
“max-size”: “100m”
},
“storage-driver”: “overlay2”,
“storage-opts”: [
“overlay2.override_kernel_check=true”
]
}
EOF
18 mkdir -p /etc/systemd/system/docker.service.d
19 yum install -y kubelet kubeadm kubectl –disableexcludes=kubernetes

여기까지 구성하셨다면 기본적인 노드 복제 전 모든 설정들이 구성된 것입니다.
다음 작업을 진행하기 전에 스냅샷을 생성하시기 바랍니다.

이 스냅샷은 앞으로 당신의 쿠버네티스 모험으로부터 많은 도움을 줄 것입니다.

이제 설정을 마친 Kube-Master를 아래와 같은 방법으로 Kube-Node1,2,3으로 복제할 것입니다.

모든 Kube-Node 복제를 완료하셨다면 이제 아래 작업으로 넘어가셔도 좋습니다.

  • Node – 1
    Master를 복제하여 Node를 만들었기때문에 Node들은 Master와 동일한 IP를 갖고있습니다.
    Node 복제가 완료되면 가장 먼저 IP 변경과 hostname 변경을 해주는 것이 우선입니다.

1 /etc/sysconfig/network-scripts/ifcfg-enp0s3
IPADDR=192.168.0.
2 systemctl restart network
3 hostnamectl set-hostname kube-node

  • Master – 2
    Node의 네트워크 설정이 완료되면 다시 Master로 돌아와서 설정을 마저합니다.
    아래 설정 중에 kubeadm join 값을 반드시 저장해두시기 바랍니다.

20 systemctl daemon-reload
21 iptables -nL
22 systemctl enable –now docker
23 docker run hello-world
24 systemctl enable –now kubelet

25 kubeadm init –pod-network-cidr=20.96.0.0/12

# kubeadm join value 값을 따로 저장해두자.
# –token 7ovjlh.znruevaiqj9cbrk8 \ –discovery-token-ca-cert-hash sha256:77ef7 – 이하 생략

26 mkdir -p $HOME/.kube
27 cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
28 chown $(id -u):$(id -g) $HOME/.kube/config
29 yum install bash-completion -y
30 source <(kubectl completion bash)
31 echo “source <(kubectl completion bash)” >> ~/.bashrc

  • Node – 2
    Master-2 의 작업이 모두 완료되면 Node로 돌아와 아래와 같은 작업을 해줍니다.
    Master에서 저장해둔 본인의 kubeadm join 값을 아래에 추가하여 붙여줍니다.

4 systemctl daemon-reload
5 systemctl enable –now docker
6 systemctl enable –now kubelet
7 kubeadm join 192.168.0.30:6443 –token 7ovjlh.znruevaiqj9cbrk8 \
–discovery-token-ca-cert-hash sha256:77ef7c8c7325d309fa91cab608ce0eb94f30f300bd053db4c08341bf083ef53d

  • Master – 3
    이제 99% 설치가 완료됐다고 보시면 됩니다.
    kubectl get nodes를 하여 Master에서 각 Node들의 상태를 확인해보시기 바랍니다.

    STATUS 값이 READY 상태여야합니다.

32 kubectl get nodes

33 kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
34 kubectl get pods –all-namespaces

calico도 설치해줍니다.
calico는 컨테이너 기반에서 사용되는 네트워크 플러그인 중에 하나입니다.

calico가 정상적으로 Running 중이십니까?
여기까지 성공하셨다면 Kubernetes 1.19 설치가 정상적으로 완료되었습니다.

많은 도움이 되셨길 바라며,
함께 Kubernetes 자격증 도전중인 용사님들 화이팅입니다!

2부에 이어서 설치된 Kubernetes로 APM + WordPress 연동하여
서비스를 운영해보도록 하겠습니다.

읽어주셔서 감사합니다.