• 목록
  • 아래로
  • 위로

특정 페이지에 주기적으로 방문하도록 Crontab에 넣는 방법으로 Curl이나 Wget이 많이 사용되고 있습니다.


그런데 제 경험상으로도 그렇고 구글링을 해봐도 그렇고 간혹 Curl이나 Wget을 사용하면 잘 안 되는 경우가 있더군요 ㅠㅠ


예컨대 아미나에서 많이 사용되는 기능 중 하나인 Basic Feed 2.0도 누군가 피드보드를 방문해야 제대로 업데이트가 되는데요.



* * * * /path/wget -0 - URL > /dev/null 2>&1



이런 방식으로 Crontab에 집어넣어도 정확한 이유를 모르겠지만 잘 안 되는 경우가 간혹 있더군요.



아마도 Curl 또는 Wget을 이용한 방법이 먹히지 않는 이유는 


서버측에서 브라우저가 아닌 접속에 대해 예외처리를 해놓거나, 쿠키와 관련된 부분으로 추측됩니다.


이런 경우에는 텍스트 브라우저인 Lynx를 활용하면 해결되는 경우가 많습니다.



Crontab에서 Lynx를 활용하는 방법에 대한 웹문서는 많이 있습니다. 


명시적으로 저와 완전히 동일한 방법을 사용한 웹문서를 찾지는 못했지만 저는 아래와 같은 옵션으로 해결했습니다.



* * * * /path/lynx -accept_all_cookies -source URL > /dev/null 2>&1



-accept_all_cookies 

: Lynx로 접속해보면 쿠키 허용 여부를 묻는 경우가 많더군요.


-source 

: 포그라운드에서 이 옵션을 넣지 않으면 Lynx가 실행된 상태로 남아있습니다.


> /dev/null 2>&1 

: 다들 아시겠지만 > /dev/null 은 결과값에 대한 표준 출력을 /dev/null로 넣고, 2>&1 은 표준에러를 표준출력으로 redirection 합니다.


작성자
이니스프리 119 Lv. (1%) 2385570/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 마스터 24.02.11.17:21 1929
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 마스터 23.01.14.02:23 5613
196 [Windows] Windows 업데이트 원천 방지하기 5 image Seia Seia 21.04.10.07:10 251
195 [할인정보] 버거킹, 11일까지 와퍼주니어 1900원에 판매…정가 3900원에서 51% 할인 1 image 이니스프리 이니스프리 17.02.06.12:03 251
194 [할인정보] 버거킹 와퍼, 롱킹, 롱치킨버거 할인 (연말까지) image 이니스프리 이니스프리 16.12.19.10:45 249
193 [이벤트] 롯데리아 한우콤보 or 아재콤보 구매 시 트위스트 감자 무료! 1 image 부루마블 17.01.25.23:04 249
192 최근 클라우드플레어의 불안정 현상 5 image 이니스프리 이니스프리 20.03.24.19:27 248
191 ASUS DisplayWidget 실행시 메인모니터의 디스플레이 설정이 초기화 되는 것과 관련하여 1 이니스프리 이니스프리 19.03.21.21:18 247
190 [Vultr] 원클릭 NextCloud 설치 시 config.php 위치 이니스프리 이니스프리 23.03.05.10:16 246
189 [Python] 동영상 파일의 포맷 변환 - FFmpy 모듈 이니스프리 이니스프리 21.03.07.12:14 245
188 [관세청] 해외 직구 통관 길라잡이 (PDF 파일 다운로드 링크) 이니스프리 이니스프리 19.03.31.10:01 243
187 [미디어위키] Liberty 스킨 스타일 깨지는 문제 수정하기 2 image title: 은메달도다 21.09.19.12:51 242
186 [Python] 회문(Palindrome) 여부를 확인하는 함수 이니스프리 이니스프리 20.02.11.23:32 241
185 나라배움터 임시 점검 이니스프리 이니스프리 20.05.12.11:16 240
184 크롤링용 서버에서 홈서버가 VPS보다 유리한 점 이니스프리 이니스프리 19.11.07.20:53 238
183 [공연정보] 호세 카레라스 마지막 월드 투어 (내한공연 2017. 3. 4.) image 이니스프리 이니스프리 17.01.25.15:16 237
182 [이벤트] 한솥도시락 - 2월 치즈토핑 출시 이벤트! 2 image 이니스프리 이니스프리 17.02.01.00:17 236
181 [할인정보] KFC 스마트버켓2 14,800원 -> 9,900원 image 이니스프리 이니스프리 17.01.23.00:32 235
180 [Python] 구글 뉴스 RSS 파싱 2 이니스프리 이니스프리 21.07.04.13:49 235
179 윈도우10에서의 VPN 사용 이니스프리 이니스프리 19.10.20.21:21 234
178 [Python] 전기차 충전소 조회 사이트 크롤링 이니스프리 이니스프리 21.01.10.15:10 233
177 램노드에서 허용되는 행위 vs 금지되는 행위 1 이니스프리 이니스프리 19.11.19.12:59 232