받은 응답에서 HTML 코드를 긁는 방법은 무엇입니까? (How to scrape the html code from the response received?)

문제 설명

받은 응답에서 HTML 코드를 긁는 방법은 무엇입니까? (How to scrape the html code from the response received?)

스크레이피와 스플래시로 웹사이트를 크롤링하려고 합니다. 이미지에 보이는 응답에서 특정 html 코드를 긁고 싶습니다. 헤더가 있는 응답은 다음과 같습니다.

응답은 다음과 같습니다( 스크랩하려는 html):

HTML을 찾을 수 있습니다. 검사 도구로. 내 코드가 반환하는 것은 "페이지 소스 보기" 도구로 볼 수 있는 html입니다. 따라서 이것은 Javascript가 코드를 포함하기 전에 수정한다는 것을 의미합니다. 하지만 스플래시 역할은 자바스크립트를 실행하고 HTML을 반환하는 것 아닌가요?? 응답.

참조 솔루션

방법 1:

In order to load the full page, you will need to add the "wait" parameter. Try adding "args={'wait': 1.0}" to your SplashRequest.

yield SplashRequest(
            url='https://www.gaslicht.com/stroom‑vergelijken?partial=true&aanbieders=eneco&skip=0&take=10&_=1559207102962',
            callback=self.parse, args={'wait': 1.0}
        )

(by pap、mrhaanraadts)

참조 문서

1. How to scrape the html code from the response received? (CC BY‑SA 2.5/3.0/4.0)