Data Engineering

Apache Spark의 고차 함수와 사용자 정의 함수를 다루며, UDF 생성부터 Pandas UDF, transform, filter 등 고차 함수 활용까지 단계별로 안내합니다. 빅데이터 분석과 데이터 엔지니어링을 위한 강력한 도구를 습득하고 실무에 적용하세요.

Apache Spark의 외부 데이터 소스 연결과 데이터 읽기/쓰기를 다루며, JDBC, RDBMS 등과의 연동을 단계별로 안내합니다. 빅데이터 처리를 위한 실용적인 기법을 배우세요.

Apache Spark의 다양한 데이터 소스를 다루며, Parquet, JSON, CSV, Avro 등 형식의 데이터 읽기/쓰기를 단계별로 안내합니다. 빅데이터 처리를 위한 실용적인 기법을 배우세요.

Apache Spark의 Spark SQL을 다루며, SQL 쿼리 실행부터 테이블/뷰 관리, 메타데이터 캐싱까지 단계별로 안내합니다. 빅데이터 분석과 데이터 엔지니어링을 위한 강력한 도구를 습득하고 실무에 적용하세요.

Apache Spark의 Structured API를 다루며, DataFrame과 Dataset의 기본 개념부터 Schema 정의, Column 연산, Row 처리까지 단계별로 안내합니다. 데이터 엔지니어링을 위한 효율적인 데이터 조작 기법을 배우고 실무에 적용하세 …

Apache Spark의 애플리케이션 구조와 RDD 개념을 다루며, Driver Process, Executor, Job, Stage, Task부터 Transformation과 Action까지 단계별로 안내합니다.

Apache Spark의 설치와 PySpark 실행 과정을 다루며, JDK와 HDFS 설정부터 호스트명 오류 해결까지 단계별로 안내합니다. 또한, HDFS 실행 중 발생한 호스트명과 관련된 오류를 해결하는 과정을 공유합니다.

Apache Spark의 기본 개념과 아키텍처를 다루며, 스파크의 시작부터 컴포넌트, Spark Driver, SparkSession, Cluster Manager, 배포 모드까지 단계별로 안내합니다. 데이터 엔지니어링과 빅데이터 처리를 위한 필수 지식을 습득하고 …

Apache Airflow의 Connection과 Hook 개념을 소개하고, Docker Compose를 활용한 Postgres 컨테이너 생성부터 Connection 설정, Hook 사용, bulk_load 기능까지 단계별로 안내합니다. Docker Compose, …

Apache Airflow의 HttpOperator와 Custom Operator 개념을 소개하고, 네이버 Open API 연동과 BaseOperator 상속을 단계별로 안내합니다. REST API 호출, Connection 설정, Variable 활용, CSV 파 …