Airflow Provider vs Operator vs Hook 비교 정리

Airflow Provider

 

Provider는 외부시스템과 통신할수있는 Operators,hooks,Sensor와 transfer Operator 등을 포함하는 패키지

 

Airflow Operator

 

DAG안에서 선언적으로 정의 가능한, 미리 정의된Task 템플릿.

기본적으로 사용가능한 Operators 와 Hook 리스트는 여기서 확인

기본적으로 사용가능 한 예) 

• BashOperator - executes a bash command
• PythonOperator - calls an arbitrary Python function
• EmailOperator - sends an email

추가적으로 사용하고싶은 Operator는 Providers Packages 리스트에서 설치하여 사용할수있다.

 

Airflow Hooks

API나 다른 라이브러리 없이 쉽고 빠르게 외부플랫폼과 통신할수있는 인터페이스

Operators를 구성하는 요소이기도 함.

사용가능한 Hook list : 사용하고싶다면 Providers Package를 설치해야한다.

 

 Provider > Hook > Operator

Hook이나 Operator 확장사용을 위해서는 Provider Package설치가 필요!