Minystory

Spark study

최근 레시피 생성을 목적으로 한 사이드 프로젝트에 참여하게 되었는데 모델 학습을 위한 만개의 레시피 데이터 크롤링을 진행해보았습니다. 스키마 구성 기존엔 레시피 명칭과 음식 재료 정보만을 수집할 계획이었지만, 만개의 레시피의 각 페이지를 살펴보면서 추가적으로 가져갈만한 데이터가 있음을 확인하여 우선적으로 테이블 관계 및 스키마를 구성해보았습니다. 초기에 만개의 레시피와 공공데이터를 데이터 소스로 삼았기 때문에, 만개의 레시피에 대한 DB _10000, 공공데이터에 대한 DB food로 구성했습니다. _10000 DB 내 테이블은 만개의 레시피 내 각각의 페이지에서 가져온 데이터로 구성되며,...

Spark study

Spark study

Collaborative Filtering