[웹크롤링] 요청거절당한 동적크롤링

1.
보내는 사람: 클라이언트 정보(requests header)
받는 사람 : 서버정보(response header)

2.
브라우저는 OK : 브라우저의 requests header는  OK
크롤러는 403 : 크롤러의 requests heade를 복붙해서 GET 하자.

3.
브라우저의 requests header를 복붙해서 GET 하자.

4. 
requests header 정보 중에서
1순위) user-agent, referrer
2순위) cookies
3순위) auth, authorization 등 권한을 의미하는 단어가 포함된 값
4순위) 전부 다

'JQuery ~~~~({딕셔너리)};' ~~~

 

#전체 댓글을 가져오기(1페이지 ~14페이지)

1단계 : 1페이지에서 원하는 정보(댓글, 공감수, 비공감수) 가져오기

2단계 : 1~93 페이지 가져오도록 for 문 작성