[scrapy] 엑셀(csv) 필드 정렬, 순서대로 저장, 한글 깨짐 현상

scrapy로 크롤링 할 정보를 엑셀(csv)로 저장할때 필요한 경우 사용할 수 있으나 sql,몽고db등 사용시에는 불필요. 속도만 느려짐.

 

scrapy로 크롤링 한 정보를 csv로 저장할 때 필드 정렬하는 방법

settings.py 파일에 추가

FEED_EXPORT_FIELDS=[출력순서]

예 ) FEED_EXPORT_FIELDS=["title", "price", "link"]

title, price, link 등은 items.py에서 필드값으로 정의한 것임.

 

크롤링 페이지마다 순서대로 저장하고 싶을때

settings.py 파일 수정

CONCURRENT_REQUESTS =1 로 수정하고 주석해제

단점: 아무래도 다소 크롤링 속도가 느려짐

 

엑셀(csv)한글 깨짐

settings.py 파일 수정

FEED_EXPORT_ENCODING="utf-8-sig" 로 수정