Crawling

최근 레시피 생성을 목적으로 한 사이드 프로젝트에 참여하게 되었는데 모델 학습을 위한 만개의 레시피 데이터 크롤링을 진행해보았습니다. 스키마 구성 # 기존엔 레시피 명칭과 음식 재료 정보만을 수집할 계획이었지만, 만개의 레시피의 각 페이지를 살펴보면서 추가적으로 가져갈만한 데이터가 있음을 확인하여 우선적으로 테이블 관계 및 스키마를 구성해보았습니다. …

앞선 네이버 로그인 구현 과정을 통해 네이버 로그인에 대해 이해하고 스마트스토어센터 로그인 결과로 얻을 수 있는 쿠키 값의 일부를 획득했습니다. Copy python cookies = { "NNB": "...", "nid_inf": "...", "NID_AUT": …

이번 게시글에서는 스마트스토어센터 페이지에서 데이터를 수집하는 자동화 프로그램을 제작하기 위한 첫 번째 과정으로 네이버 로그인을 구현할 것입니다. 앞선 게시글에서 데이터를 수집하는 방식에 대해 알아보면서 로그인이 필요한 페이지에 접근하기 다음과 같은 쿠키 값이 필요함을 확인했습니다. Copy python cookies = { "NNB": …

네이버 스마트스토어센터에서는 매출 향상에 도움을 주는 유용한 통계 데이터를 제공해줍니다. 쇼핑몰 데이터를 분석하는 입장에서 무료로 제공되는 이런 데이터는 큰 도움이 되지만, 대부분이 엑셀 파일 다운로드를 지원하지 않고 빈번하게 수치가 바뀌는 데이터를 각각의 메뉴에서 매번 확인하기도 어렵습니다. 이런 데이터를 자동화 프로그램으로 수집 및 적재할 수 있다면 업 …