Minystory전체 글 402025년 06월 07일 Data Engineering Apache AirflowApache Airflow - REST API 연동과 Custom Operator 구현Apache Airflow의 HttpOperator와 Custom Operator 개념을 소개하고, 네이버 Open API 연동과 BaseOperator 상속을 단계별로 안내합니다. REST API 호출, Connection 설정, Variable 활용, CSV 파 …#Apache Airflow #HttpOperator #BaseOperator #REST API #네이버 Open API2025년 06월 07일 Data Engineering Apache AirflowApache Airflow - DAG 흐름 제어 (Trigger Rule, TriggerDagRun, TaskGroup)Apache Airflow의 Trigger Rule과 TriggerDagRunOperator 개념을 소개하고, TaskGroup과 Edge Label 사용법을 단계별로 안내합니다. DAG 실행 트리거, 그룹화, 라벨링, Trigger Rule 옵션까지 다룹니다.#Apache Airflow #TriggerDagRunOperator #TaskGroup #Trigger Rule #Edge Label2025년 06월 06일 Data Engineering Apache AirflowApache Airflow - 조건부 실행과 알림 (Branch, Email Operator)Apache Airflow의 BranchOperator와 EmailOperator 개념을 소개하고, Branching 기능과 이메일 전송 방법을 단계별로 안내합니다. BranchPythonOperator, @task.branch 데코레이터, …#Apache Airflow #BranchOperator #EmailOperator #Branching #SMTP2025년 06월 01일 Data Engineering Apache AirflowApache Airflow - 데이터 전달과 템플릿 활용 (Jinja, XCom, Variable)Apache Airflow의 Jinja 템플릿과 XCom을 소개하고, 템플릿 변수 활용과 Task 간 데이터 공유 방법을 단계별로 안내합니다. Variable 사용법과 Airflow 3.0 업데이트 내용까지 다룹니다.#Apache Airflow #Jinja 템플릿 #XCom #Variable #템플릿 변수2025년 05월 30일 Data Engineering Apache AirflowApache Airflow - 기본 Operator 이해하기 (Bash, Python)Apache Airflow의 Operator 개념을 소개하고, BashOperator와 PythonOperator의 사용법을 단계별로 안내합니다. DAG 작성, Plugins 활용, Decorator 패턴, 파라미터 전달 방법까지 다룹니다.#Apache Airflow #BashOperator #PythonOperator #DAG #Plugins2025년 05월 27일 Data Engineering Apache AirflowApache Airflow - 설치하기 (Docker Compose)Apache Airflow의 개념과 장단점을 소개하고, Docker를 이용한 Airflow 설치 과정을 단계별로 안내합니다. DAG 구조와 워크플로우 이해, Docker Compose를 활용한 로컬 환경 구축, 웹 UI를 통한 Example DAG 실행까지 다룹니다 …#Apache Airflow #Airflow 설치 #Docker #Docker Compose #데이터 엔지니어링2023년 03월 26일 Data Engineering Crawling[Python] 만개의 레시피 크롤링 - BeautifulSoup, requests로 레시피·평점·댓글 수집만개의 레시피 웹사이트에서 레시피 데이터를 크롤링하는 방법입니다. 카테고리, 레시피 목록, 레시피 상세정보, 평점, 요리 후기, 댓글 등 다양한 데이터를 BeautifulSoup과 requests로 수집하고 JSON 구조로 변환하는 과정을 다룹니다. 데이터베이스 스 …#크롤링 #Python #BeautifulSoup #requests #웹 스크래핑2022년 12월 04일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (3)네이버 스마트스토어센터 로그인 최종 구현 방법입니다. OAuth 인증, GraphQL 쿼리, oauth_token 추출, 2단계 인증 처리를 통해 필요한 모든 쿠키 값을 획득하는 과정을 설명합니다.#크롤링 #Python #네이버 #스마트스토어 #OAuth 인증2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (2)Python requests를 이용한 네이버 로그인 구현 방법입니다. RSA 암호화, session_keys 처리, bvsd 값 생성, dynamicKey 활용 등 네이버 로그인의 핵심 기술을 다룹니다.#크롤링 #Python #네이버 로그인 #RSA 암호화 #requests2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (1)네이버 스마트스토어센터 자동 데이터 수집을 위한 로그인 구현 시리즈 첫 번째입니다. API를 활용한 데이터 수집 방식, 쿠키 기반 인증, requests 모듈을 통한 자동화 구현의 기초를 설명합니다.#크롤링 #Python #네이버 #스마트스토어 #로그인 자동화 이전1 2 3 4다음
2025년 06월 07일 Data Engineering Apache AirflowApache Airflow - REST API 연동과 Custom Operator 구현Apache Airflow의 HttpOperator와 Custom Operator 개념을 소개하고, 네이버 Open API 연동과 BaseOperator 상속을 단계별로 안내합니다. REST API 호출, Connection 설정, Variable 활용, CSV 파 …#Apache Airflow #HttpOperator #BaseOperator #REST API #네이버 Open API
2025년 06월 07일 Data Engineering Apache AirflowApache Airflow - DAG 흐름 제어 (Trigger Rule, TriggerDagRun, TaskGroup)Apache Airflow의 Trigger Rule과 TriggerDagRunOperator 개념을 소개하고, TaskGroup과 Edge Label 사용법을 단계별로 안내합니다. DAG 실행 트리거, 그룹화, 라벨링, Trigger Rule 옵션까지 다룹니다.#Apache Airflow #TriggerDagRunOperator #TaskGroup #Trigger Rule #Edge Label
2025년 06월 06일 Data Engineering Apache AirflowApache Airflow - 조건부 실행과 알림 (Branch, Email Operator)Apache Airflow의 BranchOperator와 EmailOperator 개념을 소개하고, Branching 기능과 이메일 전송 방법을 단계별로 안내합니다. BranchPythonOperator, @task.branch 데코레이터, …#Apache Airflow #BranchOperator #EmailOperator #Branching #SMTP
2025년 06월 01일 Data Engineering Apache AirflowApache Airflow - 데이터 전달과 템플릿 활용 (Jinja, XCom, Variable)Apache Airflow의 Jinja 템플릿과 XCom을 소개하고, 템플릿 변수 활용과 Task 간 데이터 공유 방법을 단계별로 안내합니다. Variable 사용법과 Airflow 3.0 업데이트 내용까지 다룹니다.#Apache Airflow #Jinja 템플릿 #XCom #Variable #템플릿 변수
2025년 05월 30일 Data Engineering Apache AirflowApache Airflow - 기본 Operator 이해하기 (Bash, Python)Apache Airflow의 Operator 개념을 소개하고, BashOperator와 PythonOperator의 사용법을 단계별로 안내합니다. DAG 작성, Plugins 활용, Decorator 패턴, 파라미터 전달 방법까지 다룹니다.#Apache Airflow #BashOperator #PythonOperator #DAG #Plugins
2025년 05월 27일 Data Engineering Apache AirflowApache Airflow - 설치하기 (Docker Compose)Apache Airflow의 개념과 장단점을 소개하고, Docker를 이용한 Airflow 설치 과정을 단계별로 안내합니다. DAG 구조와 워크플로우 이해, Docker Compose를 활용한 로컬 환경 구축, 웹 UI를 통한 Example DAG 실행까지 다룹니다 …#Apache Airflow #Airflow 설치 #Docker #Docker Compose #데이터 엔지니어링
2023년 03월 26일 Data Engineering Crawling[Python] 만개의 레시피 크롤링 - BeautifulSoup, requests로 레시피·평점·댓글 수집만개의 레시피 웹사이트에서 레시피 데이터를 크롤링하는 방법입니다. 카테고리, 레시피 목록, 레시피 상세정보, 평점, 요리 후기, 댓글 등 다양한 데이터를 BeautifulSoup과 requests로 수집하고 JSON 구조로 변환하는 과정을 다룹니다. 데이터베이스 스 …#크롤링 #Python #BeautifulSoup #requests #웹 스크래핑
2022년 12월 04일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (3)네이버 스마트스토어센터 로그인 최종 구현 방법입니다. OAuth 인증, GraphQL 쿼리, oauth_token 추출, 2단계 인증 처리를 통해 필요한 모든 쿠키 값을 획득하는 과정을 설명합니다.#크롤링 #Python #네이버 #스마트스토어 #OAuth 인증
2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (2)Python requests를 이용한 네이버 로그인 구현 방법입니다. RSA 암호화, session_keys 처리, bvsd 값 생성, dynamicKey 활용 등 네이버 로그인의 핵심 기술을 다룹니다.#크롤링 #Python #네이버 로그인 #RSA 암호화 #requests
2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (1)네이버 스마트스토어센터 자동 데이터 수집을 위한 로그인 구현 시리즈 첫 번째입니다. API를 활용한 데이터 수집 방식, 쿠키 기반 인증, requests 모듈을 통한 자동화 구현의 기초를 설명합니다.#크롤링 #Python #네이버 #스마트스토어 #로그인 자동화