scrapy 함수에서 동일한 url로 요청(Request)할 경우 하나는 실행이 되지 않는다.
그럴 경우 settings.py에서 아래의 코드를 적용시킨다.
DUPEFILTER_CLASS ='scrapy.dupefilters.BaseDupeFilter'
반응형
'크롤링 > scrapy' 카테고리의 다른 글
| scrapy(스크래피) 크롤링 실전 (csv 저장까지) (0) | 2020.09.24 |
|---|---|
| scrapy[스크래피] mongo db 인서트 (0) | 2020.09.24 |
| [scrapy] 엑셀(csv) 필드 정렬, 순서대로 저장, 한글 깨짐 현상 (1) | 2020.09.22 |
| scrapy shell 접속, 크롤링 (0) | 2020.09.22 |
| scrapy(스크래피) 프로젝트 생성방법 (0) | 2020.09.18 |