Data Engineering

Apache Airflow의 Connection과 Hook 개념을 소개하고, Docker Compose를 활용한 Postgres 컨테이너 생성부터 Connection 설정, Hook 사용, bulk_load 기능까지 단계별로 안내합니다. Docker Compose, …

Apache Airflow의 HttpOperator와 Custom Operator 개념을 소개하고, 네이버 Open API 연동과 BaseOperator 상속을 단계별로 안내합니다. REST API 호출, Connection 설정, Variable 활용, CSV 파 …

Apache Airflow의 Trigger Rule과 TriggerDagRunOperator 개념을 소개하고, TaskGroup과 Edge Label 사용법을 단계별로 안내합니다. DAG 실행 트리거, 그룹화, 라벨링, Trigger Rule 옵션까지 다룹니다.

Apache Airflow의 BranchOperator와 EmailOperator 개념을 소개하고, Branching 기능과 이메일 전송 방법을 단계별로 안내합니다. BranchPythonOperator, @task.branch 데코레이터, …

Apache Airflow의 Jinja 템플릿과 XCom을 소개하고, 템플릿 변수 활용과 Task 간 데이터 공유 방법을 단계별로 안내합니다. Variable 사용법과 Airflow 3.0 업데이트 내용까지 다룹니다.

Apache Airflow의 Operator 개념을 소개하고, BashOperator와 PythonOperator의 사용법을 단계별로 안내합니다. DAG 작성, Plugins 활용, Decorator 패턴, 파라미터 전달 방법까지 다룹니다.

Apache Airflow의 개념과 장단점을 소개하고, Docker를 이용한 Airflow 설치 과정을 단계별로 안내합니다. DAG 구조와 워크플로우 이해, Docker Compose를 활용한 로컬 환경 구축, 웹 UI를 통한 Example DAG 실행까지 다룹니 …