Minystory전체 글 502025년 06월 07일 Data Engineering Apache AirflowApache Airflow - REST API 연동과 Custom Operator 구현Apache Airflow의 HttpOperator와 Custom Operator 개념을 소개하고, 네이버 Open API 연동과 BaseOperator 상속을 단계별로 안내합니다. REST API 호출, Connection 설정, Variable 활용, CSV 파 … Apache Airflow HttpOperator BaseOperator REST API 네이버 Open API2025년 06월 07일 Data Engineering Apache AirflowApache Airflow - DAG 흐름 제어 (Trigger Rule, TriggerDagRun, TaskGroup)Apache Airflow의 Trigger Rule과 TriggerDagRunOperator 개념을 소개하고, TaskGroup과 Edge Label 사용법을 단계별로 안내합니다. DAG 실행 트리거, 그룹화, 라벨링, Trigger Rule 옵션까지 다룹니다. Apache Airflow TriggerDagRunOperator TaskGroup Trigger Rule Edge Label2025년 06월 06일 Data Engineering Apache AirflowApache Airflow - 조건부 실행과 알림 (Branch, Email Operator)Apache Airflow의 BranchOperator와 EmailOperator 개념을 소개하고, Branching 기능과 이메일 전송 방법을 단계별로 안내합니다. BranchPythonOperator, @task.branch 데코레이터, … Apache Airflow BranchOperator EmailOperator Branching SMTP2025년 06월 01일 Data Engineering Apache AirflowApache Airflow - 데이터 전달과 템플릿 활용 (Jinja, XCom, Variable)Apache Airflow의 Jinja 템플릿과 XCom을 소개하고, 템플릿 변수 활용과 Task 간 데이터 공유 방법을 단계별로 안내합니다. Variable 사용법과 Airflow 3.0 업데이트 내용까지 다룹니다. Apache Airflow Jinja 템플릿 XCom Variable 템플릿 변수2025년 05월 30일 Data Engineering Apache AirflowApache Airflow - 기본 Operator 이해하기 (Bash, Python)Apache Airflow의 Operator 개념을 소개하고, BashOperator와 PythonOperator의 사용법을 단계별로 안내합니다. DAG 작성, Plugins 활용, Decorator 패턴, 파라미터 전달 방법까지 다룹니다. Apache Airflow BashOperator PythonOperator DAG Plugins2025년 05월 27일 Data Engineering Apache AirflowApache Airflow - 설치하기 (Docker Compose)Apache Airflow의 개념과 장단점을 소개하고, Docker를 이용한 Airflow 설치 과정을 단계별로 안내합니다. DAG 구조와 워크플로우 이해, Docker Compose를 활용한 로컬 환경 구축, 웹 UI를 통한 Example DAG 실행까지 다룹니다 … Apache Airflow Airflow 설치 Docker Docker Compose 데이터 엔지니어링2023년 03월 26일 Data Engineering Crawling[Python] 만개의 레시피 크롤링 - BeautifulSoup, requests로 레시피·평점·댓글 수집만개의 레시피 웹사이트에서 레시피 데이터를 크롤링하는 방법입니다. 카테고리, 레시피 목록, 레시피 상세정보, 평점, 요리 후기, 댓글 등 다양한 데이터를 BeautifulSoup과 requests로 수집하고 JSON 구조로 변환하는 과정을 다룹니다. 데이터베이스 스 … 크롤링 Python BeautifulSoup requests 웹 스크래핑2022년 12월 04일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (3)네이버 스마트스토어센터 로그인 최종 구현 방법입니다. OAuth 인증, GraphQL 쿼리, oauth_token 추출, 2단계 인증 처리를 통해 필요한 모든 쿠키 값을 획득하는 과정을 설명합니다. 크롤링 Python 네이버 스마트스토어 OAuth 인증2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (2)Python requests를 이용한 네이버 로그인 구현 방법입니다. RSA 암호화, session_keys 처리, bvsd 값 생성, dynamicKey 활용 등 네이버 로그인의 핵심 기술을 다룹니다. 크롤링 Python 네이버 로그인 RSA 암호화 requests2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (1)네이버 스마트스토어센터 자동 데이터 수집을 위한 로그인 구현 시리즈 첫 번째입니다. API를 활용한 데이터 수집 방식, 쿠키 기반 인증, requests 모듈을 통한 자동화 구현의 기초를 설명합니다. 크롤링 Python 네이버 스마트스토어 로그인 자동화 이전1 2 3 4 5다음
2025년 06월 07일 Data Engineering Apache AirflowApache Airflow - REST API 연동과 Custom Operator 구현Apache Airflow의 HttpOperator와 Custom Operator 개념을 소개하고, 네이버 Open API 연동과 BaseOperator 상속을 단계별로 안내합니다. REST API 호출, Connection 설정, Variable 활용, CSV 파 … Apache Airflow HttpOperator BaseOperator REST API 네이버 Open API
2025년 06월 07일 Data Engineering Apache AirflowApache Airflow - DAG 흐름 제어 (Trigger Rule, TriggerDagRun, TaskGroup)Apache Airflow의 Trigger Rule과 TriggerDagRunOperator 개념을 소개하고, TaskGroup과 Edge Label 사용법을 단계별로 안내합니다. DAG 실행 트리거, 그룹화, 라벨링, Trigger Rule 옵션까지 다룹니다. Apache Airflow TriggerDagRunOperator TaskGroup Trigger Rule Edge Label
2025년 06월 06일 Data Engineering Apache AirflowApache Airflow - 조건부 실행과 알림 (Branch, Email Operator)Apache Airflow의 BranchOperator와 EmailOperator 개념을 소개하고, Branching 기능과 이메일 전송 방법을 단계별로 안내합니다. BranchPythonOperator, @task.branch 데코레이터, … Apache Airflow BranchOperator EmailOperator Branching SMTP
2025년 06월 01일 Data Engineering Apache AirflowApache Airflow - 데이터 전달과 템플릿 활용 (Jinja, XCom, Variable)Apache Airflow의 Jinja 템플릿과 XCom을 소개하고, 템플릿 변수 활용과 Task 간 데이터 공유 방법을 단계별로 안내합니다. Variable 사용법과 Airflow 3.0 업데이트 내용까지 다룹니다. Apache Airflow Jinja 템플릿 XCom Variable 템플릿 변수
2025년 05월 30일 Data Engineering Apache AirflowApache Airflow - 기본 Operator 이해하기 (Bash, Python)Apache Airflow의 Operator 개념을 소개하고, BashOperator와 PythonOperator의 사용법을 단계별로 안내합니다. DAG 작성, Plugins 활용, Decorator 패턴, 파라미터 전달 방법까지 다룹니다. Apache Airflow BashOperator PythonOperator DAG Plugins
2025년 05월 27일 Data Engineering Apache AirflowApache Airflow - 설치하기 (Docker Compose)Apache Airflow의 개념과 장단점을 소개하고, Docker를 이용한 Airflow 설치 과정을 단계별로 안내합니다. DAG 구조와 워크플로우 이해, Docker Compose를 활용한 로컬 환경 구축, 웹 UI를 통한 Example DAG 실행까지 다룹니다 … Apache Airflow Airflow 설치 Docker Docker Compose 데이터 엔지니어링
2023년 03월 26일 Data Engineering Crawling[Python] 만개의 레시피 크롤링 - BeautifulSoup, requests로 레시피·평점·댓글 수집만개의 레시피 웹사이트에서 레시피 데이터를 크롤링하는 방법입니다. 카테고리, 레시피 목록, 레시피 상세정보, 평점, 요리 후기, 댓글 등 다양한 데이터를 BeautifulSoup과 requests로 수집하고 JSON 구조로 변환하는 과정을 다룹니다. 데이터베이스 스 … 크롤링 Python BeautifulSoup requests 웹 스크래핑
2022년 12월 04일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (3)네이버 스마트스토어센터 로그인 최종 구현 방법입니다. OAuth 인증, GraphQL 쿼리, oauth_token 추출, 2단계 인증 처리를 통해 필요한 모든 쿠키 값을 획득하는 과정을 설명합니다. 크롤링 Python 네이버 스마트스토어 OAuth 인증
2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (2)Python requests를 이용한 네이버 로그인 구현 방법입니다. RSA 암호화, session_keys 처리, bvsd 값 생성, dynamicKey 활용 등 네이버 로그인의 핵심 기술을 다룹니다. 크롤링 Python 네이버 로그인 RSA 암호화 requests
2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (1)네이버 스마트스토어센터 자동 데이터 수집을 위한 로그인 구현 시리즈 첫 번째입니다. API를 활용한 데이터 수집 방식, 쿠키 기반 인증, requests 모듈을 통한 자동화 구현의 기초를 설명합니다. 크롤링 Python 네이버 스마트스토어 로그인 자동화