반응형 전체 글61 Kafka Kubernetes Helm chart설치 및 테스트 Kafka Helm chart 설치 helm repo add bitnami https://charts.bitnami.com/bitnami helm repo update helm install kafka bitnami/kafka -n kafka 배포 확인 kubectl get pod -n kafka # NAME READY STATUS RESTARTS AGE # kafka-0 1/1 Running 3 10d # kafka-zookeeper-0 1/1 Running 0 10d 정상 설치 후 Kafka사용 위한 정보는 아래와 같다. NIFI Client Connection 정보 : kafka:9092 / kafka-zookeeper:2181 테스트 설치 후 아래와 같이 친절한 설명과 간단한 테스트를 해볼수있는 .. 2021. 10. 28. kubernetes nfs "you might need a /sbin/mount.<type> helper program" error 해결방법 kubernetes에 nfs 스토리지를 helm으로 설치 후 해당 pod가 정상 작동하지않았다. 그래서 describe를 통해 이벤트를 확인하니 아래와 같은 오류를 발견했다. bad option; for several filesystems (e.g. nfs, cifs) you might need a /sbin/mount. helper program. 공식문서를 보니 아래와 같은 사항이 적혀있었다! 참고: 클러스터 내에서 퍼시스턴트볼륨을 사용하려면 볼륨 유형과 관련된 헬퍼(Helper) 프로그램이 필요할 수 있다. 이 예에서 퍼시스턴트볼륨은 NFS 유형이며 NFS 파일시스템 마운트를 지원하려면 헬퍼 프로그램인 /sbin/mount.nfs가 필요하다. NFS의 마운트를 지원하기위한 헬퍼프로그램이 없어서 발생.. 2021. 10. 11. ssh "Host key verification failed." error 해결방법 서버에 ssh접속을 시도했는데 아래와같은 에러가 발생했다 구글링을 해보니 이 에러의 원인은 이전에 한번 접속했던 IP의 서버와 RSA 공유키를 교환 후, 서버의 교체나 아이피 변경한 경우 기존 서버의 키 정보가 남아있어 충돌이 발생하여 생긴다고 한다. 그래서 키값 초기화가 필요하다! 해결방법 ssh-keygen -R 위와같이 초기화를 하고 다시 접속을 시도하면 성공적으로 접속이 된다! 2021. 10. 10. kubernetes error while running "VolumeBinding" filter plugin for pod pod has unbound immediate PersistentVolumeClaims Pod가 pending상태이길래 describe명령어로 확인해보니 아래와같이 pvc가 unbound되어서 에러가 나고있었다. 그래서 pvc에 대해 describe를 해주니 waiting for a volume to be created, either by external provisioner 에러가 나면서 볼륨이 생성되지않아 bound가 되지않은거였다. 1. 직접 볼륨을 생성해주거나 2. 스토리지클래스를 생성해주어 볼륨을 자동으로 생성하게 해주어야했다. 나는 nfs provisioner를 이용해 스토리지클래스를 생성해주기로 했고 아래 블로그를 참고하여 생성해주었다! https://yjwang.tistory.com/142 [Kubernetes] Helm Chart로 NFS Provisioner 구성하기 EN.. 2021. 10. 9. Hadoop 2,3버전 port list 정리 하둡에서 사용하는 포트 리스트를 정리해보았다 Hadoop 2.X Hadoop 3.X 프로토콜 상세설명 관련 항목 Namenode 50470 9871 HTTPS dfs.https.address 50070 9870 HTTP HDFS 파일시스템 조회, 탐색 등 WEB UI dfs.http.address 8020/9000 9820/9000 IPC 파일 시스템 메타데이터 관련 작업용 fs.defaultFS Secondary NN 50091 9869 50090 9868 HTTP 네임노드 메타데이터 체크포인트 dfs.secondary.http.address Datanode 50020 9867 IPC dfs.datanode.ipc.address 50010 9866 데이터 전송 포트 dfs.datanode.address.. 2021. 10. 5. Hadoop single node install 설치 Before Hadoop install 우분투 이미지 apt-get install curl -y 자바설치 apt-get install openjdk-8-jdk -y echo "export JAVA_HOME = /usr/lib/jvm/java-8-openjdk-amd64" >> /etc/profile source /etc/profile Hadoop Single node install apt-get install ssh -y apt-get install pdsh -y # --> 안해도 될듯 # Hadoop 다운 및 설치 wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzf hadoop-3.3.1.tar.gz .. 2021. 10. 5. 이전 1 2 3 4 5 6 7 ··· 11 다음 반응형
