검색 결과검색 결과가 없습니다.2025년 11월 22일 Frontend BlogHugo 블로그 만들기 (3) - Taxonomies로 태그/카테고리 페이지 커스터마이징Hugo의 taxonomies 기능을 활용하여 태그와 카테고리 페이지를 커스터마이징하는 방법을 소개합니다. 게시글 목록 템플릿과 페이지네이션 구현, 태그 및 카테고리 페이지 추가, 메뉴에 카테고리를 통합하는 과정을 안내합니다.#Hugo #Taxonomies #태그 #카테고리 #휴고 테마2025년 11월 04일 Frontend BlogHugo 블로그 만들기 (2) - 메인 레이아웃 커스터마이징 (메뉴, 목차, 헤더)Hugo Book 테마의 구조를 이해하고 메인 레이아웃을 개선하는 방법을 소개합니다. 메뉴 영역에 프로필 사진과 소셜 링크를 추가하고, 목차 영역에 하이라이트와 스크롤 이동 버튼을 구현하는 과정을 안내합니다.#Hugo #Blog #휴고 테마 #휴고 레이아웃 #HTML2025년 11월 01일 Frontend BlogHugo 블로그 만들기 (1) - 프로젝트 구성과 GitHub Pages 배포 (Submodule 활용)Hugo 블로그 프로젝트 기획부터 구조 설계까지 단계별로 안내합니다. 타 블로그 플랫폼과 비교하고 Hugo 테마를 선정하는 방법을 소개하며, GitHub Pages와 Submodule을 활용한 효율적인 배포 방법을 설명합니다.#Hugo #Blog #티스토리 #Velog #Git2025년 10월 28일 Project Open Source[OSSCA] 2025 오픈소스 컨트리뷰션 아카데미 - PyTorch 문서 한글화 참여 후기2025 OSSCA 오픈소스 컨트리뷰션 아카데미 [체험형-2차]에서 PyTorch 문서 한글화 프로젝트에 참여한 경험을 공유합니다. 샘플 번역부터 통번역까지의 과정, RST 문법 이슈 해결, 용어집 추가, PR 리뷰 반영 등을 안내합니다.#OSSCA #PyTorch #OpenUp #Open Source #Translation2025년 07월 23일 Project Tools[Python] uv로 프로젝트 구성하고 PyPI 배포하기 - Rust 기반 고속 패키지 관리uv를 활용한 Python 프로젝트 구성 및 배포 가이드. Rust 기반 고속 패키지 관리자로 프로젝트 초기화, 가상환경 생성, 의존성 추가부터 PyPI 배포까지 단계별로 안내합니다. pip보다 빠른 uv로 효율적인 개발 환경을 구축하세요.#uv #Python #프로젝트 관리 #가상환경 #PyPI2025년 07월 19일 Data Engineering Apache SparkApache Spark - 사용자 정의 함수(UDF)와 고차 함수 활용하기Apache Spark의 고차 함수와 사용자 정의 함수를 다루며, UDF 생성부터 Pandas UDF, transform, filter 등 고차 함수 활용까지 단계별로 안내합니다. 빅데이터 분석과 데이터 엔지니어링을 위한 강력한 도구를 습득하고 실무에 적용하세요.#Apache Spark #고차 함수 #UDF #Pandas UDF #Spark SQL2025년 07월 16일 Cloud Kubernetes쿠버네티스 클러스터 구축하기 - Ubuntu 24.04에서 kubeadm으로 멀티노드 설치Ubuntu 24.04에서 쿠버네티스 클러스터 설치 가이드. kubeadm, containerd, Calico CNI를 활용한 마스터/워커 노드 구성부터 대시보드 배포까지 단계별로 설명합니다. Apple Silicon(ARM64) 환경에서 실습 가능한 완벽한 K8s …#Kubernetes #쿠버네티스 설치 #Ubuntu 24.04 #kubeadm #containerd2025년 07월 15일 Cloud Kubernetes컨테이너의 역사와 쿠버네티스 등장 배경 - LXC에서 containerd까지쿠버네티스 등장 배경과 컨테이너의 역사를 다룬 가이드. LXC, Docker, containerd부터 CRI, OCI까지 컨테이너 기술의 진화를 단계별로 설명하며, Kubernetes의 핵심 개념을 이해하세요. 클라우드 네이티브 환경 구축에 필수적인 지식입니다.#Kubernetes #Container #컨테이너 역사 #Docker #LXC2025년 07월 12일 Data Engineering Apache SparkApache Spark - 외부 데이터베이스 연동 (PostgreSQL, MySQL)Apache Spark의 외부 데이터 소스 연결과 데이터 읽기/쓰기를 다루며, JDBC, RDBMS 등과의 연동을 단계별로 안내합니다. 빅데이터 처리를 위한 실용적인 기법을 배우세요.#Apache Spark #JDBC #RDBMS #Hive #PostgreSQL2025년 07월 10일 Data Engineering Apache SparkApache Spark - 다양한 데이터 소스 읽기/쓰기 (Parquet, JSON, CSV, Avro)Apache Spark의 다양한 데이터 소스를 다루며, Parquet, JSON, CSV, Avro 등 형식의 데이터 읽기/쓰기를 단계별로 안내합니다. 빅데이터 처리를 위한 실용적인 기법을 배우세요.#Apache Spark #Data Sources #Parquet #JSON #CSV2025년 07월 06일 Linux UbuntuMac에서 UTM으로 Ubuntu Server 24.04 설치하기Mac에서 UTM 가상화 소프트웨어를 사용하여 Ubuntu Server 24.04 LTS를 가상머신으로 설치하는 가이드를 제공합니다. ARM64 이미지 다운로드, 네트워크 구성, SSH 접속 설정까지 단계별로 안내합니다.#Ubuntu #Ubuntu Server #UTM #Virtual Machine #Mac2025년 07월 05일 Data Engineering Apache SparkApache Spark - 스파크 SQL과 테이블/뷰 관리Apache Spark의 Spark SQL을 다루며, SQL 쿼리 실행부터 테이블/뷰 관리, 메타데이터 캐싱까지 단계별로 안내합니다. 빅데이터 분석과 데이터 엔지니어링을 위한 강력한 도구를 습득하고 실무에 적용하세요.#Apache Spark #Spark SQL #SQL #View #PySpark2025년 07월 03일 Algorithm SQL프로그래머스 SQL Lv.4, 5 완전 정복 - 20문제 상세 풀이 (JOIN, GROUP BY, 윈도우 함수)이직 준비를 하면서 오랜만에 코딩테스트를 보게되었는데, SQL 코딩테스트는 어떻게 나오나 궁금해서 프로그래머스 Lv.4, 5 수준의 문제를 모두 풀어보았습니다. 표에서 제목을 클릭하면 프로그래머스 문제 풀이로 이동합니다.#프로그래머스 #알고리즘 #코딩테스트 #SQL #JOIN2025년 06월 29일 Data Engineering Apache SparkApache Spark - DataFrame과 Dataset API 활용하기Apache Spark의 Structured API를 다루며, DataFrame과 Dataset의 기본 개념부터 Schema 정의, Column 연산, Row 처리까지 단계별로 안내합니다. 데이터 엔지니어링을 위한 효율적인 데이터 조작 기법을 배우고 실무에 적용하세 …#Apache Spark #Structured API #DataFrame #Dataset #PySpark2025년 06월 29일 Data Engineering Apache SparkApache Spark - 스파크 애플리케이션 구조와 RDD 이해하기Apache Spark의 애플리케이션 구조와 RDD 개념을 다루며, Driver Process, Executor, Job, Stage, Task부터 Transformation과 Action까지 단계별로 안내합니다.#Apache Spark #Spark Application #RDD #Spark Shell #Spark Web UI2025년 06월 28일 Data Engineering Apache SparkApache Spark - 로컬 환경에서 설치하고 PySpark 실행하기Apache Spark의 설치와 PySpark 실행 과정을 다루며, JDK와 HDFS 설정부터 호스트명 오류 해결까지 단계별로 안내합니다. 또한, HDFS 실행 중 발생한 호스트명과 관련된 오류를 해결하는 과정을 공유합니다.#Apache Spark #Spark Shell #JDK #Hadoop #HDFS2025년 06월 22일 Data Engineering Apache SparkApache Spark - 스파크의 기본 개념과 아키텍처Apache Spark의 기본 개념과 아키텍처를 다루며, 스파크의 시작부터 컴포넌트, Spark Driver, SparkSession, Cluster Manager, 배포 모드까지 단계별로 안내합니다. 데이터 엔지니어링과 빅데이터 처리를 위한 필수 지식을 습득하고 …#Apache Spark #Spark Architecture #SparkSession #Cluster Manager #PySpark2025년 06월 08일 Data Engineering Apache AirflowApache Airflow - 외부 시스템 연동 (Connection, Hook, PostgreSQL)Apache Airflow의 Connection과 Hook 개념을 소개하고, Docker Compose를 활용한 Postgres 컨테이너 생성부터 Connection 설정, Hook 사용, bulk_load 기능까지 단계별로 안내합니다. Docker Compose, …#Apache Airflow #Connection #Hook #Docker Compose #Postgres2025년 06월 07일 Data Engineering Apache AirflowApache Airflow - REST API 연동과 Custom Operator 구현Apache Airflow의 HttpOperator와 Custom Operator 개념을 소개하고, 네이버 Open API 연동과 BaseOperator 상속을 단계별로 안내합니다. REST API 호출, Connection 설정, Variable 활용, CSV 파 …#Apache Airflow #HttpOperator #BaseOperator #REST API #네이버 Open API2025년 06월 07일 Data Engineering Apache AirflowApache Airflow - DAG 흐름 제어 (Trigger Rule, TriggerDagRun, TaskGroup)Apache Airflow의 Trigger Rule과 TriggerDagRunOperator 개념을 소개하고, TaskGroup과 Edge Label 사용법을 단계별로 안내합니다. DAG 실행 트리거, 그룹화, 라벨링, Trigger Rule 옵션까지 다룹니다.#Apache Airflow #TriggerDagRunOperator #TaskGroup #Trigger Rule #Edge Label2025년 06월 06일 Data Engineering Apache AirflowApache Airflow - 조건부 실행과 알림 (Branch, Email Operator)Apache Airflow의 BranchOperator와 EmailOperator 개념을 소개하고, Branching 기능과 이메일 전송 방법을 단계별로 안내합니다. BranchPythonOperator, @task.branch 데코레이터, …#Apache Airflow #BranchOperator #EmailOperator #Branching #SMTP2025년 06월 01일 Data Engineering Apache AirflowApache Airflow - 데이터 전달과 템플릿 활용 (Jinja, XCom, Variable)Apache Airflow의 Jinja 템플릿과 XCom을 소개하고, 템플릿 변수 활용과 Task 간 데이터 공유 방법을 단계별로 안내합니다. Variable 사용법과 Airflow 3.0 업데이트 내용까지 다룹니다.#Apache Airflow #Jinja 템플릿 #XCom #Variable #템플릿 변수2025년 05월 30일 Data Engineering Apache AirflowApache Airflow - 기본 Operator 이해하기 (Bash, Python)Apache Airflow의 Operator 개념을 소개하고, BashOperator와 PythonOperator의 사용법을 단계별로 안내합니다. DAG 작성, Plugins 활용, Decorator 패턴, 파라미터 전달 방법까지 다룹니다.#Apache Airflow #BashOperator #PythonOperator #DAG #Plugins2025년 05월 27일 Data Engineering Apache AirflowApache Airflow - 설치하기 (Docker Compose)Apache Airflow의 개념과 장단점을 소개하고, Docker를 이용한 Airflow 설치 과정을 단계별로 안내합니다. DAG 구조와 워크플로우 이해, Docker Compose를 활용한 로컬 환경 구축, 웹 UI를 통한 Example DAG 실행까지 다룹니다 …#Apache Airflow #Airflow 설치 #Docker #Docker Compose #데이터 엔지니어링2023년 03월 26일 Data Engineering Crawling[Python] 만개의 레시피 크롤링 - BeautifulSoup, requests로 레시피·평점·댓글 수집만개의 레시피 웹사이트에서 레시피 데이터를 크롤링하는 방법입니다. 카테고리, 레시피 목록, 레시피 상세정보, 평점, 요리 후기, 댓글 등 다양한 데이터를 BeautifulSoup과 requests로 수집하고 JSON 구조로 변환하는 과정을 다룹니다. 데이터베이스 스 …#크롤링 #Python #BeautifulSoup #requests #웹 스크래핑2022년 12월 04일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (3)네이버 스마트스토어센터 로그인 최종 구현 방법입니다. OAuth 인증, GraphQL 쿼리, oauth_token 추출, 2단계 인증 처리를 통해 필요한 모든 쿠키 값을 획득하는 과정을 설명합니다.#크롤링 #Python #네이버 #스마트스토어 #OAuth 인증2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (2)Python requests를 이용한 네이버 로그인 구현 방법입니다. RSA 암호화, session_keys 처리, bvsd 값 생성, dynamicKey 활용 등 네이버 로그인의 핵심 기술을 다룹니다.#크롤링 #Python #네이버 로그인 #RSA 암호화 #requests2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (1)네이버 스마트스토어센터 자동 데이터 수집을 위한 로그인 구현 시리즈 첫 번째입니다. API를 활용한 데이터 수집 방식, 쿠키 기반 인증, requests 모듈을 통한 자동화 구현의 기초를 설명합니다.#크롤링 #Python #네이버 #스마트스토어 #로그인 자동화2022년 09월 08일 Frontend BlogHugo 블로그 만들기 [2022년] (3) - PaperMod 테마 커스터마이징Hugo PaperMod 테마 커스터마이징 가이드입니다. Archive, Search 페이지 추가, 검색 엔진 등록(Google, Naver, Bing), KaTex 수식 표현, CSS 너비 조정, 새탭 링크 오픈, Go Template 활용 등 기법을 다룹니다. …#Hugo #PaperMod #Go Template #KaTex #검색 엔진 최적화2022년 09월 08일 Frontend BlogHugo 블로그 만들기 [2022년] (2) - Utterances 댓글 시스템 설치 및 설정Hugo PaperMod 테마에 Utterances 댓글 기능을 추가하는 방법입니다. Github Issues 기반의 무료 댓글 시스템 Utterances 설치, 레이아웃 커스터마이징, 동적 설정 방법을 설명합니다. Disqus 대신 Utterances를 선택하는 …#Hugo #Utterances #댓글 시스템 #Github Issues #PaperMod2022년 09월 08일 Frontend BlogHugo 블로그 만들기 [2022년] (1) - PaperMod 테마 설치 및 Github Pages 배포Hugo와 PaperMod 테마를 이용한 깃허브 블로그 구축 가이드입니다. Hugo 설치, Github 저장소 생성, Submodule 연동, 테마 설정, 포스트 작성, Github Pages 배포 과정을 설명합니다. 쉘 스크립트를 활용한 자동 배포 방법도 포함합니 …#Hugo #PaperMod #깃허브 블로그 #Github #Github Pages2022년 08월 30일 Frontend Blog깃허브 블로그 시작하기 | Jekyll Chirpy 테마 설치 및 배포 가이드깃허브 블로그를 시작하는 가이드입니다. Jekyll과 Chirpy 테마를 활용한 깃허브 블로그 생성, 설정, 배포 방법을 단계별로 설명합니다. Github Pages 설정, YAML 설정 파일 커스터마이징, Front Matter를 이용한 포스트 작성 방법을 다룹니 …#깃허브 블로그 #Jekyll #Chirpy #Github #Github Pages2022년 08월 22일 Data Analysis DaconDACON 쇼핑몰 리뷰 평점 분류 - KoELECTRA와 RoBERTa 앙상블로 2위 달성쇼핑몰 리뷰 텍스트로 평점을 예측하는 NLP 대회 참가 후기. 역번역과 NLPAUG를 활용한 데이터 증강, KoELECTRA와 RoBERTa 모델 비교 실험, 그리고 hard-voting 앙상블을 통해 accuracy 0.7116으로 550팀 중 2위를 달성한 과정 …#DACON #NLP #텍스트 분류 #감정 분석 #KoELECTRA2022년 08월 22일 Data Analysis DaconDACON 음성 분류 경진대회 - Mel Spectrogram과 MFCC 앙상블로 97% 정확도 달성음성 녹음 데이터를 0~9 숫자로 분류하는 Audio MNIST 대회 참가 후기. Mel Spectrogram과 MFCC 특징 추출 방식 비교, ResNet 기반 모델 학습, 그리고 5-Fold 교차검증과 앙상블을 통해 accuracy 0.9765를 달성한 과정을 …#DACON #음성 분류 #Audio MNIST #Mel Spectrogram #MFCC2022년 08월 22일 Data Analysis DaconDACON 소비자 데이터 기반 소비 예측 AI 경진대회 - EDA + Soft Voting EnsembleDACON 소비자 데이터 기반 소비 예측 경진대회 참가 및 분석 결과입니다. EDA 시각화, Label Encoding, 파생 변수 생성, Optuna 하이퍼파라미터 튜닝, Soft Voting Ensemble 기법을 활용하여 NMAE 0.18533 성적으로 36위 …#DACON #소비 예측 #회귀 모델 #EDA #데이터 분석2022년 03월 20일 Algorithm PythonBig-O 시간복잡도 정리 | List, Set, Dictionary, Sort, SearchPython 자료구조와 알고리즘의 Big-O 시간복잡도를 표로 정리한 가이드. List, Set, Dictionary 연산, 정렬 알고리즘, 검색 알고리즘의 성능 비교표를 제공합니다.#Big-O #시간복잡도 #알고리즘 #자료구조 #Python2022년 03월 20일 Algorithm Graph[Python] 백준 1197 - 최소 스패닝 트리 (Gold 4)백준 1197 최소 스패닝 트리(MST) 문제를 DFS, 크루스칼, 프림 알고리즘으로 차례대로 접근하며 시행착오를 겪은 과정을 상세히 기록했습니다. 각 알고리즘의 한계와 개선 방향, 그리고 최종 해결까지의 여정을 코드와 함께 공유합니다.#백준 #최소 스패닝 트리 #MST #DFS #크루스칼 알고리즘2022년 03월 20일 Algorithm Python파이썬 알고리즘 스터디 노트 - Set, Heap, DFS, BFS 정리파이썬으로 자료구조(Set, Dictionary, Counter, Heap)와 알고리즘(Binary Search, DFS/BFS, Kruskal/Prim)을 학습한 스터디 노트입니다. 백준 문제를 통해 시간 복잡도 개선 사례와 시행착오 과정을 코드와 함께 기록했습니 …#Python #알고리즘 #자료구조 #백준 #Set
2025년 11월 22일 Frontend BlogHugo 블로그 만들기 (3) - Taxonomies로 태그/카테고리 페이지 커스터마이징Hugo의 taxonomies 기능을 활용하여 태그와 카테고리 페이지를 커스터마이징하는 방법을 소개합니다. 게시글 목록 템플릿과 페이지네이션 구현, 태그 및 카테고리 페이지 추가, 메뉴에 카테고리를 통합하는 과정을 안내합니다.#Hugo #Taxonomies #태그 #카테고리 #휴고 테마
2025년 11월 04일 Frontend BlogHugo 블로그 만들기 (2) - 메인 레이아웃 커스터마이징 (메뉴, 목차, 헤더)Hugo Book 테마의 구조를 이해하고 메인 레이아웃을 개선하는 방법을 소개합니다. 메뉴 영역에 프로필 사진과 소셜 링크를 추가하고, 목차 영역에 하이라이트와 스크롤 이동 버튼을 구현하는 과정을 안내합니다.#Hugo #Blog #휴고 테마 #휴고 레이아웃 #HTML
2025년 11월 01일 Frontend BlogHugo 블로그 만들기 (1) - 프로젝트 구성과 GitHub Pages 배포 (Submodule 활용)Hugo 블로그 프로젝트 기획부터 구조 설계까지 단계별로 안내합니다. 타 블로그 플랫폼과 비교하고 Hugo 테마를 선정하는 방법을 소개하며, GitHub Pages와 Submodule을 활용한 효율적인 배포 방법을 설명합니다.#Hugo #Blog #티스토리 #Velog #Git
2025년 10월 28일 Project Open Source[OSSCA] 2025 오픈소스 컨트리뷰션 아카데미 - PyTorch 문서 한글화 참여 후기2025 OSSCA 오픈소스 컨트리뷰션 아카데미 [체험형-2차]에서 PyTorch 문서 한글화 프로젝트에 참여한 경험을 공유합니다. 샘플 번역부터 통번역까지의 과정, RST 문법 이슈 해결, 용어집 추가, PR 리뷰 반영 등을 안내합니다.#OSSCA #PyTorch #OpenUp #Open Source #Translation
2025년 07월 23일 Project Tools[Python] uv로 프로젝트 구성하고 PyPI 배포하기 - Rust 기반 고속 패키지 관리uv를 활용한 Python 프로젝트 구성 및 배포 가이드. Rust 기반 고속 패키지 관리자로 프로젝트 초기화, 가상환경 생성, 의존성 추가부터 PyPI 배포까지 단계별로 안내합니다. pip보다 빠른 uv로 효율적인 개발 환경을 구축하세요.#uv #Python #프로젝트 관리 #가상환경 #PyPI
2025년 07월 19일 Data Engineering Apache SparkApache Spark - 사용자 정의 함수(UDF)와 고차 함수 활용하기Apache Spark의 고차 함수와 사용자 정의 함수를 다루며, UDF 생성부터 Pandas UDF, transform, filter 등 고차 함수 활용까지 단계별로 안내합니다. 빅데이터 분석과 데이터 엔지니어링을 위한 강력한 도구를 습득하고 실무에 적용하세요.#Apache Spark #고차 함수 #UDF #Pandas UDF #Spark SQL
2025년 07월 16일 Cloud Kubernetes쿠버네티스 클러스터 구축하기 - Ubuntu 24.04에서 kubeadm으로 멀티노드 설치Ubuntu 24.04에서 쿠버네티스 클러스터 설치 가이드. kubeadm, containerd, Calico CNI를 활용한 마스터/워커 노드 구성부터 대시보드 배포까지 단계별로 설명합니다. Apple Silicon(ARM64) 환경에서 실습 가능한 완벽한 K8s …#Kubernetes #쿠버네티스 설치 #Ubuntu 24.04 #kubeadm #containerd
2025년 07월 15일 Cloud Kubernetes컨테이너의 역사와 쿠버네티스 등장 배경 - LXC에서 containerd까지쿠버네티스 등장 배경과 컨테이너의 역사를 다룬 가이드. LXC, Docker, containerd부터 CRI, OCI까지 컨테이너 기술의 진화를 단계별로 설명하며, Kubernetes의 핵심 개념을 이해하세요. 클라우드 네이티브 환경 구축에 필수적인 지식입니다.#Kubernetes #Container #컨테이너 역사 #Docker #LXC
2025년 07월 12일 Data Engineering Apache SparkApache Spark - 외부 데이터베이스 연동 (PostgreSQL, MySQL)Apache Spark의 외부 데이터 소스 연결과 데이터 읽기/쓰기를 다루며, JDBC, RDBMS 등과의 연동을 단계별로 안내합니다. 빅데이터 처리를 위한 실용적인 기법을 배우세요.#Apache Spark #JDBC #RDBMS #Hive #PostgreSQL
2025년 07월 10일 Data Engineering Apache SparkApache Spark - 다양한 데이터 소스 읽기/쓰기 (Parquet, JSON, CSV, Avro)Apache Spark의 다양한 데이터 소스를 다루며, Parquet, JSON, CSV, Avro 등 형식의 데이터 읽기/쓰기를 단계별로 안내합니다. 빅데이터 처리를 위한 실용적인 기법을 배우세요.#Apache Spark #Data Sources #Parquet #JSON #CSV
2025년 07월 06일 Linux UbuntuMac에서 UTM으로 Ubuntu Server 24.04 설치하기Mac에서 UTM 가상화 소프트웨어를 사용하여 Ubuntu Server 24.04 LTS를 가상머신으로 설치하는 가이드를 제공합니다. ARM64 이미지 다운로드, 네트워크 구성, SSH 접속 설정까지 단계별로 안내합니다.#Ubuntu #Ubuntu Server #UTM #Virtual Machine #Mac
2025년 07월 05일 Data Engineering Apache SparkApache Spark - 스파크 SQL과 테이블/뷰 관리Apache Spark의 Spark SQL을 다루며, SQL 쿼리 실행부터 테이블/뷰 관리, 메타데이터 캐싱까지 단계별로 안내합니다. 빅데이터 분석과 데이터 엔지니어링을 위한 강력한 도구를 습득하고 실무에 적용하세요.#Apache Spark #Spark SQL #SQL #View #PySpark
2025년 07월 03일 Algorithm SQL프로그래머스 SQL Lv.4, 5 완전 정복 - 20문제 상세 풀이 (JOIN, GROUP BY, 윈도우 함수)이직 준비를 하면서 오랜만에 코딩테스트를 보게되었는데, SQL 코딩테스트는 어떻게 나오나 궁금해서 프로그래머스 Lv.4, 5 수준의 문제를 모두 풀어보았습니다. 표에서 제목을 클릭하면 프로그래머스 문제 풀이로 이동합니다.#프로그래머스 #알고리즘 #코딩테스트 #SQL #JOIN
2025년 06월 29일 Data Engineering Apache SparkApache Spark - DataFrame과 Dataset API 활용하기Apache Spark의 Structured API를 다루며, DataFrame과 Dataset의 기본 개념부터 Schema 정의, Column 연산, Row 처리까지 단계별로 안내합니다. 데이터 엔지니어링을 위한 효율적인 데이터 조작 기법을 배우고 실무에 적용하세 …#Apache Spark #Structured API #DataFrame #Dataset #PySpark
2025년 06월 29일 Data Engineering Apache SparkApache Spark - 스파크 애플리케이션 구조와 RDD 이해하기Apache Spark의 애플리케이션 구조와 RDD 개념을 다루며, Driver Process, Executor, Job, Stage, Task부터 Transformation과 Action까지 단계별로 안내합니다.#Apache Spark #Spark Application #RDD #Spark Shell #Spark Web UI
2025년 06월 28일 Data Engineering Apache SparkApache Spark - 로컬 환경에서 설치하고 PySpark 실행하기Apache Spark의 설치와 PySpark 실행 과정을 다루며, JDK와 HDFS 설정부터 호스트명 오류 해결까지 단계별로 안내합니다. 또한, HDFS 실행 중 발생한 호스트명과 관련된 오류를 해결하는 과정을 공유합니다.#Apache Spark #Spark Shell #JDK #Hadoop #HDFS
2025년 06월 22일 Data Engineering Apache SparkApache Spark - 스파크의 기본 개념과 아키텍처Apache Spark의 기본 개념과 아키텍처를 다루며, 스파크의 시작부터 컴포넌트, Spark Driver, SparkSession, Cluster Manager, 배포 모드까지 단계별로 안내합니다. 데이터 엔지니어링과 빅데이터 처리를 위한 필수 지식을 습득하고 …#Apache Spark #Spark Architecture #SparkSession #Cluster Manager #PySpark
2025년 06월 08일 Data Engineering Apache AirflowApache Airflow - 외부 시스템 연동 (Connection, Hook, PostgreSQL)Apache Airflow의 Connection과 Hook 개념을 소개하고, Docker Compose를 활용한 Postgres 컨테이너 생성부터 Connection 설정, Hook 사용, bulk_load 기능까지 단계별로 안내합니다. Docker Compose, …#Apache Airflow #Connection #Hook #Docker Compose #Postgres
2025년 06월 07일 Data Engineering Apache AirflowApache Airflow - REST API 연동과 Custom Operator 구현Apache Airflow의 HttpOperator와 Custom Operator 개념을 소개하고, 네이버 Open API 연동과 BaseOperator 상속을 단계별로 안내합니다. REST API 호출, Connection 설정, Variable 활용, CSV 파 …#Apache Airflow #HttpOperator #BaseOperator #REST API #네이버 Open API
2025년 06월 07일 Data Engineering Apache AirflowApache Airflow - DAG 흐름 제어 (Trigger Rule, TriggerDagRun, TaskGroup)Apache Airflow의 Trigger Rule과 TriggerDagRunOperator 개념을 소개하고, TaskGroup과 Edge Label 사용법을 단계별로 안내합니다. DAG 실행 트리거, 그룹화, 라벨링, Trigger Rule 옵션까지 다룹니다.#Apache Airflow #TriggerDagRunOperator #TaskGroup #Trigger Rule #Edge Label
2025년 06월 06일 Data Engineering Apache AirflowApache Airflow - 조건부 실행과 알림 (Branch, Email Operator)Apache Airflow의 BranchOperator와 EmailOperator 개념을 소개하고, Branching 기능과 이메일 전송 방법을 단계별로 안내합니다. BranchPythonOperator, @task.branch 데코레이터, …#Apache Airflow #BranchOperator #EmailOperator #Branching #SMTP
2025년 06월 01일 Data Engineering Apache AirflowApache Airflow - 데이터 전달과 템플릿 활용 (Jinja, XCom, Variable)Apache Airflow의 Jinja 템플릿과 XCom을 소개하고, 템플릿 변수 활용과 Task 간 데이터 공유 방법을 단계별로 안내합니다. Variable 사용법과 Airflow 3.0 업데이트 내용까지 다룹니다.#Apache Airflow #Jinja 템플릿 #XCom #Variable #템플릿 변수
2025년 05월 30일 Data Engineering Apache AirflowApache Airflow - 기본 Operator 이해하기 (Bash, Python)Apache Airflow의 Operator 개념을 소개하고, BashOperator와 PythonOperator의 사용법을 단계별로 안내합니다. DAG 작성, Plugins 활용, Decorator 패턴, 파라미터 전달 방법까지 다룹니다.#Apache Airflow #BashOperator #PythonOperator #DAG #Plugins
2025년 05월 27일 Data Engineering Apache AirflowApache Airflow - 설치하기 (Docker Compose)Apache Airflow의 개념과 장단점을 소개하고, Docker를 이용한 Airflow 설치 과정을 단계별로 안내합니다. DAG 구조와 워크플로우 이해, Docker Compose를 활용한 로컬 환경 구축, 웹 UI를 통한 Example DAG 실행까지 다룹니다 …#Apache Airflow #Airflow 설치 #Docker #Docker Compose #데이터 엔지니어링
2023년 03월 26일 Data Engineering Crawling[Python] 만개의 레시피 크롤링 - BeautifulSoup, requests로 레시피·평점·댓글 수집만개의 레시피 웹사이트에서 레시피 데이터를 크롤링하는 방법입니다. 카테고리, 레시피 목록, 레시피 상세정보, 평점, 요리 후기, 댓글 등 다양한 데이터를 BeautifulSoup과 requests로 수집하고 JSON 구조로 변환하는 과정을 다룹니다. 데이터베이스 스 …#크롤링 #Python #BeautifulSoup #requests #웹 스크래핑
2022년 12월 04일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (3)네이버 스마트스토어센터 로그인 최종 구현 방법입니다. OAuth 인증, GraphQL 쿼리, oauth_token 추출, 2단계 인증 처리를 통해 필요한 모든 쿠키 값을 획득하는 과정을 설명합니다.#크롤링 #Python #네이버 #스마트스토어 #OAuth 인증
2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (2)Python requests를 이용한 네이버 로그인 구현 방법입니다. RSA 암호화, session_keys 처리, bvsd 값 생성, dynamicKey 활용 등 네이버 로그인의 핵심 기술을 다룹니다.#크롤링 #Python #네이버 로그인 #RSA 암호화 #requests
2022년 12월 03일 Data Engineering Crawling[Python] requests로 네이버 스마트스토어센터 로그인 구현하기 (1)네이버 스마트스토어센터 자동 데이터 수집을 위한 로그인 구현 시리즈 첫 번째입니다. API를 활용한 데이터 수집 방식, 쿠키 기반 인증, requests 모듈을 통한 자동화 구현의 기초를 설명합니다.#크롤링 #Python #네이버 #스마트스토어 #로그인 자동화
2022년 09월 08일 Frontend BlogHugo 블로그 만들기 [2022년] (3) - PaperMod 테마 커스터마이징Hugo PaperMod 테마 커스터마이징 가이드입니다. Archive, Search 페이지 추가, 검색 엔진 등록(Google, Naver, Bing), KaTex 수식 표현, CSS 너비 조정, 새탭 링크 오픈, Go Template 활용 등 기법을 다룹니다. …#Hugo #PaperMod #Go Template #KaTex #검색 엔진 최적화
2022년 09월 08일 Frontend BlogHugo 블로그 만들기 [2022년] (2) - Utterances 댓글 시스템 설치 및 설정Hugo PaperMod 테마에 Utterances 댓글 기능을 추가하는 방법입니다. Github Issues 기반의 무료 댓글 시스템 Utterances 설치, 레이아웃 커스터마이징, 동적 설정 방법을 설명합니다. Disqus 대신 Utterances를 선택하는 …#Hugo #Utterances #댓글 시스템 #Github Issues #PaperMod
2022년 09월 08일 Frontend BlogHugo 블로그 만들기 [2022년] (1) - PaperMod 테마 설치 및 Github Pages 배포Hugo와 PaperMod 테마를 이용한 깃허브 블로그 구축 가이드입니다. Hugo 설치, Github 저장소 생성, Submodule 연동, 테마 설정, 포스트 작성, Github Pages 배포 과정을 설명합니다. 쉘 스크립트를 활용한 자동 배포 방법도 포함합니 …#Hugo #PaperMod #깃허브 블로그 #Github #Github Pages
2022년 08월 30일 Frontend Blog깃허브 블로그 시작하기 | Jekyll Chirpy 테마 설치 및 배포 가이드깃허브 블로그를 시작하는 가이드입니다. Jekyll과 Chirpy 테마를 활용한 깃허브 블로그 생성, 설정, 배포 방법을 단계별로 설명합니다. Github Pages 설정, YAML 설정 파일 커스터마이징, Front Matter를 이용한 포스트 작성 방법을 다룹니 …#깃허브 블로그 #Jekyll #Chirpy #Github #Github Pages
2022년 08월 22일 Data Analysis DaconDACON 쇼핑몰 리뷰 평점 분류 - KoELECTRA와 RoBERTa 앙상블로 2위 달성쇼핑몰 리뷰 텍스트로 평점을 예측하는 NLP 대회 참가 후기. 역번역과 NLPAUG를 활용한 데이터 증강, KoELECTRA와 RoBERTa 모델 비교 실험, 그리고 hard-voting 앙상블을 통해 accuracy 0.7116으로 550팀 중 2위를 달성한 과정 …#DACON #NLP #텍스트 분류 #감정 분석 #KoELECTRA
2022년 08월 22일 Data Analysis DaconDACON 음성 분류 경진대회 - Mel Spectrogram과 MFCC 앙상블로 97% 정확도 달성음성 녹음 데이터를 0~9 숫자로 분류하는 Audio MNIST 대회 참가 후기. Mel Spectrogram과 MFCC 특징 추출 방식 비교, ResNet 기반 모델 학습, 그리고 5-Fold 교차검증과 앙상블을 통해 accuracy 0.9765를 달성한 과정을 …#DACON #음성 분류 #Audio MNIST #Mel Spectrogram #MFCC
2022년 08월 22일 Data Analysis DaconDACON 소비자 데이터 기반 소비 예측 AI 경진대회 - EDA + Soft Voting EnsembleDACON 소비자 데이터 기반 소비 예측 경진대회 참가 및 분석 결과입니다. EDA 시각화, Label Encoding, 파생 변수 생성, Optuna 하이퍼파라미터 튜닝, Soft Voting Ensemble 기법을 활용하여 NMAE 0.18533 성적으로 36위 …#DACON #소비 예측 #회귀 모델 #EDA #데이터 분석
2022년 03월 20일 Algorithm PythonBig-O 시간복잡도 정리 | List, Set, Dictionary, Sort, SearchPython 자료구조와 알고리즘의 Big-O 시간복잡도를 표로 정리한 가이드. List, Set, Dictionary 연산, 정렬 알고리즘, 검색 알고리즘의 성능 비교표를 제공합니다.#Big-O #시간복잡도 #알고리즘 #자료구조 #Python
2022년 03월 20일 Algorithm Graph[Python] 백준 1197 - 최소 스패닝 트리 (Gold 4)백준 1197 최소 스패닝 트리(MST) 문제를 DFS, 크루스칼, 프림 알고리즘으로 차례대로 접근하며 시행착오를 겪은 과정을 상세히 기록했습니다. 각 알고리즘의 한계와 개선 방향, 그리고 최종 해결까지의 여정을 코드와 함께 공유합니다.#백준 #최소 스패닝 트리 #MST #DFS #크루스칼 알고리즘
2022년 03월 20일 Algorithm Python파이썬 알고리즘 스터디 노트 - Set, Heap, DFS, BFS 정리파이썬으로 자료구조(Set, Dictionary, Counter, Heap)와 알고리즘(Binary Search, DFS/BFS, Kruskal/Prim)을 학습한 스터디 노트입니다. 백준 문제를 통해 시간 복잡도 개선 사례와 시행착오 과정을 코드와 함께 기록했습니 …#Python #알고리즘 #자료구조 #백준 #Set