• 목록
  • 아래로
  • 위로

PHP cURL을 이용하여 페이스북을 크롤링할 때에는 다음과 같은 점을 유의해야 하네요.


1. 


"curl_setopt($ch, CURLOPT_HEADER, 1);" 또는 curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);


이렇게 헤더정보를 보내는 옵션을 꼭 넣어야 하네요.


이걸 넣지 않으면 봇으로 인식해서 브라우저를 업데이트하라는 메시지만 뜨고 크롤링을 막아버리네요 ㅠㅠ


트위터나 인스타는 이런 방식으로 막지 않는데 유독 페북만 막는군요.


다행히 페북도 user-agent 등을 확인해서 봇을 차단하는 것은 아니네요.


참고로 파이썬에서 requests나 urllib을 사용할 때에는 별다른 옵션없이 바로 크롤링이 가능합니다.



2. 


페이스북 사이트는 자바스크립트가 작동되는 브라우저인지 확인을 하는군요 ㄷㄷ


이걸 우회하여 모든 내용에 접근하려면 m.facebook.com 또는 mobile.facebook.com으로 접속해야 되네요.


브라우저에서 자바스크립트를 끄고 바로 페북에 접속하면 막히지만,


모바일 페이지로 접속하면 뚫리는 것을 확인할 수 있어요.


다만 이 방법이 언제까지 가능할지는 모르겠네요.


작성자
이니스프리 119 Lv. (2%) 4239720/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 시스템 점검 작업 완료 안내 10 마스터 마스터 24.09.05.16:25 3946
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 마스터 23.01.14.02:23 10949
260 [Flutter 오프라인 강좌] 네이티브(Android, iOS) 앱개발자를 위한 Flutter 정복 image 이니스프리 이니스프리 19.10.15.01:32 239
259 구글 검색 Tip image 슬기 title: 투명 아이콘슬기 19.10.14.11:42 190
258 [Flutter] 오프라인 강좌 10/20(일) image 이니스프리 이니스프리 19.10.14.11:36 212
257 [Dropbox] 곧 시행될 세금 변경에 관한 중요한 알림 image 이니스프리 이니스프리 19.10.12.08:26 196
256 HEIC to JPG 변환 이니스프리 이니스프리 19.08.29.22:37 1601
255 목록통관건 개인통관고유부호 필수 사용안내 이니스프리 이니스프리 19.08.28.23:14 230
254 아미나의 썸네일 함수 관련 Q&A 1 이니스프리 이니스프리 19.08.28.14:57 456
253 [펌] 하이패스 미납요금 내기 귀찮을 땐, 동네 편의점? image 이니스프리 이니스프리 19.08.28.14:53 269
252 링크 파싱 모듈을 제작하다가 깨달은 점 ㅠㅠ 이니스프리 이니스프리 19.08.27.22:06 569
251 코스피 API에 대한 공공데이터포털의 답변 이니스프리 이니스프리 19.08.26.21:39 744
250 [끝말잇기] '슘'으로 시작되는 단어 중 XE타운에서 사용할 수 있는 단어 이니스프리 이니스프리 19.08.25.01:01 320
249 MS Chromium 엣지 브라우저 Beta의 공식버전 발표 image 이니스프리 이니스프리 19.08.24.22:39 312
248 [HiHost] 저렴한 트래픽 초과요금 없는 가상서버호스팅 image 이니스프리 이니스프리 19.08.24.16:37 420
247 CMS에 Selenium 봇이 글을 작성하는 것을 차단하는 방법 2 이니스프리 이니스프리 19.08.22.06:27 866
246 파이썬에서 실행한 결과를 PHP에서 받는 방법 이니스프리 이니스프리 19.08.21.21:25 2950
245 [끝말잇기] '슘'으로 시작하는 단어 이니스프리 이니스프리 19.08.20.01:10 4451
244 파이썬 3.X에서 animated GIF 파일을 곧바로 resize할 수 있는 라이브러리 이니스프리 이니스프리 19.08.19.17:19 606
243 Summernote용 이모지 플러그인 테스트 결과 작동하는 플러그인 이니스프리 이니스프리 19.08.19.00:19 452
PHP로 페이스북을 크롤링할 때 유의할 점 이니스프리 이니스프리 19.08.18.01:29 837
241 PyQt5에서 treeView의 헤더를 클릭하여 정렬하기 - treeView.setSortingEnabled 메서드와 관련하여 이니스프리 이니스프리 19.08.09.15:38 586