반응형 DevOps15 AWS Lambda에서 Sagemaker Endpoint 호출 주기적인 모델 호출을 위해서 Sagemaker 에서 생성한 Endpoint 를 호출하는 Lambda함수를 만들어보려한다. 처음에 무식하게 해보니 오류의 연속이어서 차근차근 알아낸 방법을 정리해보겠다. AWS Lambda는 AWS 서비스를 사용하고싶다면 따로 해당 서비스에 대한 권한을 줘야 사용이 가능하다. 권한없이 함수에서 해당 서비스를 호출하면 AccessDeniedException 오류가 발생한다ㅜㅜ 자세한 관련글은 이전 포스팅에 작성해두었다. 우선 Lambda 함수를 생성한다. Lambda 함수에 코드를 올리는 방법은 1) 직접 코드를 작성하거나 2) 코드와 패키지를 zip파일로 업로드 3) S3에서 업로드 하는 방법 3가지가있다. 단 코드를 업로드시 50MB의 제한이 있으니 50MB가 넘는다면 z.. 2021. 8. 7. AWS Tensorflow 모델 배포 및 endpoint 생성하기 AWS sagemaker에서 모델개발을 진행 중인데 AWS에서 제공하는 autopilot 이외에 개인이 개발한 모델의 엔드포인트를 생성해 사용하고싶어졌다. 열심히 찾아본 결과를 정리해보겠다! 우선 Tensorflow 모델을 배포하는 방법! Sagemaker - 노트북환경에서 진행하도록 한다. 1) 모델 훈련 후 해당 모델을 저장한다. # 모델 생성 model = tf.keras.Sequential([ tf.keras.layers.Dense(units=256, activation='relu', input_shape=(89,)), tf.keras.layers.Dense(units=128, activation='relu'), tf.keras.layers.Dense(units=64, activation='rel.. 2021. 8. 5. Elasticsearch (Aggregation) Aggregation Elasticsearch의 여러가지 연산이 가능한 기능으로 데이터를 그룹화하고 간단한 통계값을 얻을수 있는 기능이다. _search API 에서 지정자 aggregations 또는 aggs를 명시하고 그 아래 임의의 이름을 입력한 뒤 사용할 aggregation 종류와 옵션들을 명시. 크게 두가지로 나뉘며 숫자 또는 날짜 연속형 변수의 계산은 Metrics, 범위나 keyword 값 등을 가지고 도큐먼트들을 그룹화 Bucket 구문이나 옵션에 metrics 이거나 bucket 이라고 따로 명시를 하지는 않는다. Metrics Aggregations 특정 query문에 대한 min,max,sum,avg cardinality: 필드의 값이 모두 몇 종류인지 분포값 percentiles:.. 2021. 6. 30. helm chart 만들기 0. Helm이란? 헬름은 쿠버네티스 차트를 관리하기 위한 도구이며 차트는 사전 구성된 쿠버네티스 리소스의 패키지다. 헬름은 쿠버네티스 애플리케이션을 패키지 형태로 손쉽게 관리할 수 있도록 도와주는 도구로 디플로이먼트(Deployment), 스테이트풀셋(Statefulset)과 같은 컴퓨팅 자원, 서비스(Service)나 인그레스(Ingress)와 같은 디스커버리/로드밸런싱 자원에 대한 정의를 템플릿 기반의 YAML로 작성하여 배포할 수 있다. 1. chart 기본구조 생성 헬름 차트를 만들어줄 폴더 생성하고 헬름 create 명령어를 통해 차트 기본 디렉토리 생성 mkdir charts cd charts helm create 폴더명 생성된 기본 구조는 아래와 같다 폴더명 |-- Chart.yaml |-.. 2021. 5. 14. Kubernetes + EFK stack 배포하기 EFK소개글에 이어 Kubernetes환경에 EFK stack을 구축 및 배포를 진행해보겠다. 1.네임스페이스 생성 kind: Namespace apiVersion: v1 metadata: name: kube-log 2. Elasticsearch 배포 apiVersion: apps/v1 kind: StatefulSet metadata: name: es-cluster namespace: kube-logging spec: serviceName: elasticsearch replicas: 3 selector: matchLabels: app: elasticsearch template: metadata: labels: app: elasticsearch spec: #volumes: # - name: data # p.. 2021. 4. 29. kubernetes Kiali 배포하기 Kialif란? Docs: https://kiali.io/ Istio의 컴포넌트 간 트래픽과 Service Mesh를 시각화 및 모니터링 할 수 있는 툴 배포 kiali operator pod생성 , operator의 ClusterRole, ServiceAccount, ClusterRoleBinding 생성 또한 Kiali customresource 생성 → Kiali 의 횐경설정 리소스 & 실제 동작하는 pod 구버전 배포 yaml 더보기 # Kiali Operator 'v1.18' All-in-One YAML # This operator will be granted permission to create cluster roles. Use with caution! # Auto-generated by me.. 2021. 4. 29. 이전 1 2 3 다음 반응형
