Minystory전체 글 472025년 06월 01일 Data Engineering Apache AirflowApache Airflow - 데이터 전달과 템플릿 활용 (Jinja, XCom, Variable)Apache Airflow의 Jinja 템플릿과 XCom을 소개하고, 템플릿 변수 활용과 Task 간 데이터 공유 방법을 단계별로 안내합니다. Variable 사용법과 Airflow 3.0 업데이트 내용까지 다룹니다. Apache Airflow Jinja 템플릿 XCom Variable 템플릿 변수2025년 05월 30일 Data Engineering Apache AirflowApache Airflow - 기본 Operator 이해하기 (Bash, Python)Apache Airflow의 Operator 개념을 소개하고, BashOperator와 PythonOperator의 사용법을 단계별로 안내합니다. DAG 작성, Plugins 활용, Decorator 패턴, 파라미터 전달 방법까지 다룹니다. Apache Airflow BashOperator PythonOperator DAG Plugins2025년 05월 27일 Data Engineering Apache AirflowApache Airflow - 설치하기 (Docker Compose)Apache Airflow의 개념과 장단점을 소개하고, Docker를 이용한 Airflow 설치 과정을 단계별로 안내합니다. DAG 구조와 워크플로우 이해, Docker Compose를 활용한 로컬 환경 구축, 웹 UI를 통한 Example DAG 실행까지 다룹니다 … Apache Airflow Airflow 설치 Docker Docker Compose 데이터 엔지니어링2023년 03월 26일 Data Engineering Crawling[Python] 만개의 레시피 크롤링 - BeautifulSoup, requests로 레시피·평점·댓글 수집만개의 레시피 웹사이트에서 레시피 데이터를 크롤링하는 방법입니다. 카테고리, 레시피 목록, 레시피 상세정보, 평점, 요리 후기, 댓글 등 다양한 데이터를 BeautifulSoup과 requests로 수집하고 JSON 구조로 변환하는 과정을 다룹니다. 데이터베이스 스 … 크롤링 Python BeautifulSoup requests 웹 스크래핑2022년 12월 04일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (3)네이버 스마트스토어센터 로그인 최종 구현 방법입니다. OAuth 인증, GraphQL 쿼리, oauth_token 추출, 2단계 인증 처리를 통해 필요한 모든 쿠키 값을 획득하는 과정을 설명합니다. 크롤링 Python 네이버 스마트스토어 OAuth 인증2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (2)Python requests를 이용한 네이버 로그인 구현 방법입니다. RSA 암호화, session_keys 처리, bvsd 값 생성, dynamicKey 활용 등 네이버 로그인의 핵심 기술을 다룹니다. 크롤링 Python 네이버 로그인 RSA 암호화 requests2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (1)네이버 스마트스토어센터 자동 데이터 수집을 위한 로그인 구현 시리즈 첫 번째입니다. API를 활용한 데이터 수집 방식, 쿠키 기반 인증, requests 모듈을 통한 자동화 구현의 기초를 설명합니다. 크롤링 Python 네이버 스마트스토어 로그인 자동화2022년 09월 08일 Frontend Blog깃허브 블로그 만들기 (3) - PaperMod 테마 커스터마이징Hugo PaperMod 테마 커스터마이징 가이드입니다. Archive, Search 페이지 추가, 검색 엔진 등록(Google, Naver, Bing), KaTex 수식 표현, CSS 너비 조정, 새탭 링크 오픈, Go Template 활용 등 기법을 다룹니다. … Hugo PaperMod Go Template KaTex 검색 엔진 최적화2022년 09월 08일 Frontend Blog깃허브 블로그 만들기 (2) - Utterances 댓글 시스템 설치 및 설정Hugo PaperMod 테마에 Utterances 댓글 기능을 추가하는 방법입니다. Github Issues 기반의 무료 댓글 시스템 Utterances 설치, 레이아웃 커스터마이징, 동적 설정 방법을 설명합니다. Disqus 대신 Utterances를 선택하는 … Hugo Utterances 댓글 시스템 Github Issues PaperMod2022년 09월 08일 Frontend Blog깃허브 블로그 만들기 (1) - PaperMod 테마 설치 및 Github Pages 배포Hugo와 PaperMod 테마를 이용한 깃허브 블로그 구축 가이드입니다. Hugo 설치, Github 저장소 생성, Submodule 연동, 테마 설정, 포스트 작성, Github Pages 배포 과정을 설명합니다. 쉘 스크립트를 활용한 자동 배포 방법도 포함합니 … Hugo PaperMod 깃허브 블로그 Github Github Pages 이전1 2 3 4 5다음
2025년 06월 01일 Data Engineering Apache AirflowApache Airflow - 데이터 전달과 템플릿 활용 (Jinja, XCom, Variable)Apache Airflow의 Jinja 템플릿과 XCom을 소개하고, 템플릿 변수 활용과 Task 간 데이터 공유 방법을 단계별로 안내합니다. Variable 사용법과 Airflow 3.0 업데이트 내용까지 다룹니다. Apache Airflow Jinja 템플릿 XCom Variable 템플릿 변수
2025년 05월 30일 Data Engineering Apache AirflowApache Airflow - 기본 Operator 이해하기 (Bash, Python)Apache Airflow의 Operator 개념을 소개하고, BashOperator와 PythonOperator의 사용법을 단계별로 안내합니다. DAG 작성, Plugins 활용, Decorator 패턴, 파라미터 전달 방법까지 다룹니다. Apache Airflow BashOperator PythonOperator DAG Plugins
2025년 05월 27일 Data Engineering Apache AirflowApache Airflow - 설치하기 (Docker Compose)Apache Airflow의 개념과 장단점을 소개하고, Docker를 이용한 Airflow 설치 과정을 단계별로 안내합니다. DAG 구조와 워크플로우 이해, Docker Compose를 활용한 로컬 환경 구축, 웹 UI를 통한 Example DAG 실행까지 다룹니다 … Apache Airflow Airflow 설치 Docker Docker Compose 데이터 엔지니어링
2023년 03월 26일 Data Engineering Crawling[Python] 만개의 레시피 크롤링 - BeautifulSoup, requests로 레시피·평점·댓글 수집만개의 레시피 웹사이트에서 레시피 데이터를 크롤링하는 방법입니다. 카테고리, 레시피 목록, 레시피 상세정보, 평점, 요리 후기, 댓글 등 다양한 데이터를 BeautifulSoup과 requests로 수집하고 JSON 구조로 변환하는 과정을 다룹니다. 데이터베이스 스 … 크롤링 Python BeautifulSoup requests 웹 스크래핑
2022년 12월 04일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (3)네이버 스마트스토어센터 로그인 최종 구현 방법입니다. OAuth 인증, GraphQL 쿼리, oauth_token 추출, 2단계 인증 처리를 통해 필요한 모든 쿠키 값을 획득하는 과정을 설명합니다. 크롤링 Python 네이버 스마트스토어 OAuth 인증
2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (2)Python requests를 이용한 네이버 로그인 구현 방법입니다. RSA 암호화, session_keys 처리, bvsd 값 생성, dynamicKey 활용 등 네이버 로그인의 핵심 기술을 다룹니다. 크롤링 Python 네이버 로그인 RSA 암호화 requests
2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (1)네이버 스마트스토어센터 자동 데이터 수집을 위한 로그인 구현 시리즈 첫 번째입니다. API를 활용한 데이터 수집 방식, 쿠키 기반 인증, requests 모듈을 통한 자동화 구현의 기초를 설명합니다. 크롤링 Python 네이버 스마트스토어 로그인 자동화
2022년 09월 08일 Frontend Blog깃허브 블로그 만들기 (3) - PaperMod 테마 커스터마이징Hugo PaperMod 테마 커스터마이징 가이드입니다. Archive, Search 페이지 추가, 검색 엔진 등록(Google, Naver, Bing), KaTex 수식 표현, CSS 너비 조정, 새탭 링크 오픈, Go Template 활용 등 기법을 다룹니다. … Hugo PaperMod Go Template KaTex 검색 엔진 최적화
2022년 09월 08일 Frontend Blog깃허브 블로그 만들기 (2) - Utterances 댓글 시스템 설치 및 설정Hugo PaperMod 테마에 Utterances 댓글 기능을 추가하는 방법입니다. Github Issues 기반의 무료 댓글 시스템 Utterances 설치, 레이아웃 커스터마이징, 동적 설정 방법을 설명합니다. Disqus 대신 Utterances를 선택하는 … Hugo Utterances 댓글 시스템 Github Issues PaperMod
2022년 09월 08일 Frontend Blog깃허브 블로그 만들기 (1) - PaperMod 테마 설치 및 Github Pages 배포Hugo와 PaperMod 테마를 이용한 깃허브 블로그 구축 가이드입니다. Hugo 설치, Github 저장소 생성, Submodule 연동, 테마 설정, 포스트 작성, Github Pages 배포 과정을 설명합니다. 쉘 스크립트를 활용한 자동 배포 방법도 포함합니 … Hugo PaperMod 깃허브 블로그 Github Github Pages