반응형 전체 글61 [Python] cannot import name 에러 - 순환 import 파이썬 개발 중 아래와 같은 에러를 마주했다. ImportError: cannot import name 'custom' 내가 여러 모듈을 만들어서 import하여 사용하고있었는데 뜬금없이 저 에러가 나와서 당황했다. 처음에는 상대경로가 잘못되었나하고 수정해주었지만 아니었다. 구글링해본 결과 circular import , 즉 순환해서 import 하는 경우 해당 패키지를 찾지 못하여 생기는 에러였다. 예를 들어 a.py 와 b.py 가 서로를 import를 하는 경우인것이다. 난 a -> b -> c import 하여 deep하게 a가 결국 c에 종속성을 가지고 있을때 c -> a import하는 경우 위와 같은 에러가 발생했다. 그래서 둘의 순환성을 깨주고자 c의 기능을 좀더 구체화하여 a를 impor.. 2022. 4. 27. Druid Kubernetes Log 설정하기 Druid Log file저장 Druid 는 Log파일이 디폴트로 저장되지않고 따로 설정이 필요하다. 모든 쿼리 요청에 대한 Log는 쿼리를 실행하는 broker Pod에 저장할수있다. helm설치시 vaule파일 config란에 아래설정을 추가한다. config 공식문서: https://druid.apache.org/docs/latest/configuration/index.html#request-logging druid_request_logging_type=file druid_request_logging_dir=/opt/data/log Druid 쿼리 Log확인 broker pod : /opt/data/log 에서 로그를 확인할수있다. Druid 내부 테이블과 Hive연동 테이블에 대해 로그결과가 다.. 2022. 3. 22. Druid on Kubernetes Druid Kubernetes에 배포하기 Helm Chart Druid Cluster 모드로 Kubernetes에 배포. Druid helm으로 K8s에 설치 https://github.com/helm/charts/tree/master/incubator/druid 하지만 2020년11월부터 업데이트되지않으며 헬름차트내에서 Deprecated됨. helm repo add incubator https://charts.helm.sh/incubator helm repo update helm install druid incubator/druid -n druid -f druidValues.yaml 생성되는 Pod는 Druid Broker Druid Coordinator & Druid Overlord - Coord.. 2022. 3. 21. Docker denied: requested access to the resource is denied 해결 서버에서 이미지를 업로드할때 denied: requested access to the resource is denied 에러가 난다면 아래와 같이 두가지 원인이 있다. 1. 서버에서 docker hub에 로그인 하지않았을때 아래 명령어로 Docker Hub 아이디/패스워드를 입력해 로그인해준다. docker login 2. 로그인된 ID 와 이미지 user name과 같지않을 경우 이 경우 로그인된 ID로 이미지를 새로 생성하거나, Logout 후 user name으로 로그인하면 됩니다. docker logout docker login 2021. 12. 29. Airflow Provider vs Operator vs Hook 비교 정리 Airflow Provider Provider는 외부시스템과 통신할수있는 Operators,hooks,Sensor와 transfer Operator 등을 포함하는 패키지 Airflow Operator DAG안에서 선언적으로 정의 가능한, 미리 정의된Task 템플릿. 기본적으로 사용가능한 Operators 와 Hook 리스트는 여기서 확인 기본적으로 사용가능 한 예) BashOperator - executes a bash command PythonOperator - calls an arbitrary Python function EmailOperator - sends an email 추가적으로 사용하고싶은 Operator는 Providers Packages 리스트에서 설치하여 사용할수있다. Airflow H.. 2021. 12. 28. Driud란? Druid란? 공식문서에 의하면 아래와 같이 정의한다. Apache Druid is a real-time analytics database designed for fast slice-and-dice analytics ("OLAP" queries) on large data sets. 대용량 데이터를 실시간으로 빠르게 분석 및 처리(OLAP쿼리)할수있는 대용량 데이터베이스 Druid의 구성요소 Master: Data Availability(가용성) 와 Ingestion(가져오기) 관리 Coordinator: 데이터 가용성 관리 Overlord: 데이터 삽입 워크로드 할당을 관리 Query: 외부 유입 쿼리 처리 Broker: 외부 유입 쿼리 처리 Router(Optional): Brokers, Coordin.. 2021. 11. 22. 이전 1 2 3 4 5 6 ··· 11 다음 반응형
