크롤링/scrapy
scrapy 동일한 url Request
개발자J군
2020. 9. 24. 19:10
scrapy 함수에서 동일한 url로 요청(Request)할 경우 하나는 실행이 되지 않는다.
그럴 경우 settings.py에서 아래의 코드를 적용시킨다.
DUPEFILTER_CLASS ='scrapy.dupefilters.BaseDupeFilter'
반응형