Apache Airflow - DAG 흐름 제어 (Trigger Rule, TriggerDagRun, TaskGroup)
Apache Airflow의 Trigger Rule과 TriggerDagRunOperator 개념을 소개하고, TaskGroup과 Edge Label 사용법을 단계별로 안내합니다. DAG 실행 트리거, 그룹화, 라벨링, Trigger Rule 옵션까지 다룹니다.
데이터 엔지니어링
전체 글 15
Apache Airflow - 조건부 실행과 알림 (Branch, Email Operator)
Apache Airflow의 BranchOperator와 EmailOperator 개념을 소개하고, Branching 기능과 이메일 전송 방법을 단계별로 안내합니다. BranchPythonOperator, @task.branch 데코레이터, …
Apache Airflow - 데이터 전달과 템플릿 활용 (Jinja, XCom, Variable)
Apache Airflow의 Jinja 템플릿과 XCom을 소개하고, 템플릿 변수 활용과 Task 간 데이터 공유 방법을 단계별로 안내합니다. Variable 사용법과 Airflow 3.0 업데이트 내용까지 다룹니다.
Apache Airflow - 기본 Operator 이해하기 (Bash, Python)
Apache Airflow의 Operator 개념을 소개하고, BashOperator와 PythonOperator의 사용법을 단계별로 안내합니다. DAG 작성, Plugins 활용, Decorator 패턴, 파라미터 전달 방법까지 다룹니다.
Apache Airflow - 설치하기 (Docker Compose)
Apache Airflow의 개념과 장단점을 소개하고, Docker를 이용한 Airflow 설치 과정을 단계별로 안내합니다. DAG 구조와 워크플로우 이해, Docker Compose를 활용한 로컬 환경 구축, 웹 UI를 통한 Example DAG 실행까지 다룹니다 …