Airflow에서의 Operator에 대해서 설명을 하자면 DAG의 Task를 정의하는 기본요소로, 다양한 작업을 수행 할 수 있습니다.
1. 기본 Operator
| Operator | Description |
| DummyOperator | 아무 작업도 하지 않는 더미작업. DAG의 흐름 테스트나 작업 분기점에서 주로 사용 |
| PythonOperator | Python 함수를 실행, 주로 Python 코드로 작업을 하는 경우에 사용 |
| BashOperator | Bash 명령어 또는 스크립트를 실행. |
| BranchPythonOperator | if문과 같은 조건문을 사용하거나 다른 조건문을 이용해 조건에 따른 실행될 Task를 분기 |
2. 데이터베이스 Operators
| Operator | Description |
| PostgresOperator | PostgreSQL 쿼리를 실행. |
| MySqlOperator | MySQL 쿼리를 실행. |
| SqliteOperator | SQLite 쿼리를 실행. |
| BigQueryOperator | Google BigQuery 작업을 실행. |
| SnowflakeOperator | Snowflake 데이터베이스 쿼리를 실행. |
| HiveOperator | HiveQL 쿼리를 실행. |
| PrestoOperator | Presto 쿼리를 실행. |
3. 파일 및 스토리지 Operators
| Operator | Description |
| S3FileTransformOperator | S3에서 파일을 변환하고 저장. |
| S3ToRedshiftOperator | S3 데이터를 Redshift에 로드. |
| GoogleCloudStorageToBigQueryOperator | Google Cloud Storage에서 BigQuery로 데이터 로드. |
| FileSensor | 특정 파일의 존재 여부를 감지하여 트리거로 사용. |
| HdfsSensor | HDFS의 파일 또는 디렉터리 존재 여부를 감지. |
이외에도, 클라우드, 데이터 처리. 센서, 유틸리티와 관련된 여러 Operators도 존재한다. 추후에 Airflow에 관해서 내용정리를 해볼 생각이다.
'Codeit Sprint > Weekly_Paper' 카테고리의 다른 글
| 위클리 페이퍼 #17 - BigQuery에서 쿼리 성능을 최적화 (1) | 2024.12.09 |
|---|---|
| 위클리 페이퍼 #17 - On-premise, Cloud, Serverless 데이터 웨어하우스의 특징 (0) | 2024.12.09 |
| 위클리 페이퍼 #16 AIRFLOW - DAG와 Task (0) | 2024.12.01 |
| 위클리 페이퍼#15 - 엔터티, 속성, 관계 (0) | 2024.11.24 |
| 위클리 페이퍼#15 - 데이터베이스 정규화 (0) | 2024.11.24 |