scrapy shell 접속, 크롤링

쉘 접속

scrapy shell url

예시 >> scrapy shell http://naver.com 

 

response.css("css 셀렉터").get()  (제일 처음 하나)

response.css("css 셀렉터").getall()    (전체를 리스트로 반환)

예시 >>response.css("div.good > ul > li a").getall()

 

예시 >>response.css("div.good > ul > li a::text").getall()   (::text  태그 제외, 텍스트만)

 

url 주소와 같은 태그 내의 속성

response.css("div.good > ul > li a::attr(href)").getall()

->a태그 내의 링크주소 가져오기

쉘 나오기

exit 입력