조회 수 1117 추천 수 1 댓글 3
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
Extra Form
라이선스 MIT

안녕하세요?


어제 humit 님의 블로그에서 네이트 실시간 검색어 순위에 대한 크롤링 방법에 관한 글을 읽고 많은 점을 느껴서

(https://humit.tistory.com/304?category=847273)


이를 PHP로 응용하여 간단하게나마 아미나 위젯으로 만들어 봤어요 ^^



이용자가 많은 사이트에서는 curl로 인해 해당 서버와 네이트 측에 많은 로딩이 걸릴 수 있어서 


아미나의 위젯 캐시(apms_wiget_cache)를 적용하였습니다.


캐시에 대해 좀 더 공부해보고 싶었고, humit 님께서 저번에 올려주신 스크립트도 있지만,


일단 빠른 개발을 위해귀차니즘 때문에 아미나 자체의 위젯 캐시를 사용해봤네요 ^^


캐시 이외에는 설정할 부분이 없기 때문에 별도의 위젯 설정 파일을 만들지 않고 $wset['cache'] = 10 부분을 하드코딩했네요.


<?php
if (!defined('_GNUBOARD_')) exit;
$wset['cache'] = 10;
echo apms_widget_cache($widget_path.'/parse.php', $wname, $wid, $wset);
?>



크롤링에서는 User-agent를 크롬으로 변경했고, 인코딩 관련하여 약간 귀찮은 부분이 있었네요.


문자열 처리에 있어서는 humit 님처럼 json과 관련된 함수를 이용한 멋진 방법이 아니라 정규식을 사용했습니다 ㅠㅠ


1위부터 10위까지 순위를 직접 파싱하지 않고, foreach문에서 $cnt 변수를 사용해서 돌렸는데 


저의 예감으로는 아마도 최선의 방법은 아닐 것 같네요 ㅜㅜ


원래는 CSS 파일을 분리해서 widget.css 파일을 만들려고 했지만


구글링해보니 아미나의 캐싱과 관련하여 까다로운 부분이 있는 것 같아서 부득이 PHP 파일에 포함시켰습니다.


<?php
if (!defined('_GNUBOARD_')) exit;
?>
<style>
.myWidget {
-moz-box-shadow: 3px 4px 0px 0px #4a4e4f;
-webkit-box-shadow: 3px 4px 0px 0px #4a4e4f;
box-shadow: 3px 4px 0px 0px #4a4e4f;
background:-webkit-gradient(linear, left top, left bottom, color-stop(0.05, #fcfcfc), color-stop(1, #e3dae3));
background:-moz-linear-gradient(top, #fcfcfc 5%, #e3dae3 100%);
background:-webkit-linear-gradient(top, #fcfcfc 5%, #e3dae3 100%);
background:-o-linear-gradient(top, #fcfcfc 5%, #e3dae3 100%);
background:-ms-linear-gradient(top, #fcfcfc 5%, #e3dae3 100%);
background:linear-gradient(to bottom, #fcfcfc 5%, #e3dae3 100%);
filter:progid:DXImageTransform.Microsoft.gradient(startColorstr='#fcfcfc', endColorstr='#e3dae3',GradientType=0);
background-color:#fcfcfc;
-moz-border-radius:15px;
-webkit-border-radius:15px;
border-radius:15px;
border:1px solid #d6bcd6;
display:inline-block;
color:#000000;
font-size:15px;
padding:7px 25px;
text-decoration:none;
text-shadow:0px 1px 0px #e1e2ed;
}
.myWidget:hover {
background:-webkit-gradient(linear, left top, left bottom, color-stop(0.05, #e7eb0e), color-stop(1, #ffffff));
background:-moz-linear-gradient(top, #e7eb0e 5%, #ffffff 100%);
background:-webkit-linear-gradient(top, #e3dae3 5%, #ffffff 100%);
background:-o-linear-gradient(top, #e3dae3 5%, #ffffff 100%);
background:-ms-linear-gradient(top, #e3dae3 5%, #ffffff 100%);
background:linear-gradient(to bottom, #e3dae3 5%, #ffffff 100%);
filter:progid:DXImageTransform.Microsoft.gradient(startColorstr='#e3dae3', endColorstr='#ffffff',GradientType=0);
background-color:#e3dae3;
}
.myWidget:active {
position:relative;
top:1px;
}
a.no_underline {
  text-decoration:none;
}
a.no_underline:hover {
  text-decoration:underline;
</style>

<?php
$json_url = 'https://www.nate.com/nate/LiveKeyword';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $json_url);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($ch);
curl_close($ch);

preg_match_all('/\["[\d]{1,2}",\s"(.*?)",\s/', $result, $keyword);
$cnt = 1;
?>
<div class="myWidget">
<?php
echo '<span style="color:blue; font-weight:bold">'.date("m/d H:i:s").'</span><br>';
foreach ($keyword[1] as $data) {
    echo "<a class='no_underline' href='https://search.daum.net/nate?w=tot&q=".urlencode($data)."' target='_blank'><span style='color:red'>".$cnt."</span> ".iconv("EUC-KR", "UTF-8", $data).'</a><br>';
    ++$cnt;
}
?>
</div>


결과는 다음과 같고, 캐싱도 잘 작동합니다 ^^


일단 아미나를 사용하는 동안에는 아미나 자체의 캐시를 많이 연습하고 활용해보려구요.




여러모로 부족한 스크립트에 관한 글을 읽어주셔서 감사합니다 :)


제 연말 일정으로 볼 때 올해 소스 게시판에 글을 올리는 것은 이것으로 마지막이 될 것 같네요~


새해에는 저 혼자만의 스크립트 연습이 아니라 다른 분들께 보다 도움이 될 수 있는 스크립트를 올리도록 할게요 ^^


다른 분들께서도 바쁘실텐데 컨디션 관리 잘 하시고 그럼 남은 연말 즐겁고 뜻깊게 보내세요!


마스터 님을 비롯하여 모든 스포어 회원님들께 항상 감사드립니다~!

  • profile
    title: 황금 서버 (30일)humit 2018.12.18 20:52
    아미나에서 자체 캐시 함수가 있었군요!!
    코드 잘보고 갑니다 ㅎㅎ
  • profile
    이니스프리 2018.12.18 21:47

    앗 저의 부족한 코드를 봐주셔서 번번이 감사합니다~!

    humit 님께서 이미 파이썬으로 네이트 실검 크롤링 코드를 작성해주셔서 제가 허접하게나마 PHP로 옮길 수 있었네요 ^^

    아미나에 apms_widget_cache 함수와 apms_cache 함수라는 두 개의 캐시 함수가 있는데

    구글링해보니 후자는 예전 불당팩의 db_cache 함수를 수용한 것이라고 하더군요.

    캐싱이 정말 중요한 것 같은데 구글링해봐도 아미나(PHP 7.X)에서 redis를 바로 적용하는 팁이 없는 것 같더군요 ㅠㅠ

    다음주에 다시 추워진다는데 그럼 humit 님께서도 감기 조심하시고 즐거운 연말 되세요~!

  • profile
    니오 2019.04.29 23:34
    코드가 아직 안보이는 1인입니다

List of Articles
번호 분류 제목 글쓴이 날짜 조회 수
58 코드 사이트 서버 이전 (또는 미러링 사이트 구축) 쉽게하는 스크립트 1 NoYeah 2018.01.14 1029
57 코드 유튜브에 약간의 기능을 추가 해주는 크롬 확장 프로그램. 11 file Hanam09 2018.01.26 1077
56 코드 컴퓨터의 uuid 얻기 5 title: 황금 서버 (30일)humit 2018.01.28 1221
55 코드 CMD로 로컬 연결 고정 IP 설정하기 1 title: 황금 서버 (30일)humit 2018.02.06 1092
54 코드 Cmd 에서 서비스 시작 / 종료하기 1 ProjectSE 2018.02.18 691
53 코드 미완성 받아쓰기 (C) title: 대한민국 국기gimmepoint 2018.04.20 565
52 코드 아주 간단한 기초 C++ 6 제르엘 2018.04.21 567
51 코드 Hello, World!를 출력해보자 18 네모 2018.04.21 661
50 코드 html 초보가 만든 자소서 4 title: 대한민국 국기gimmepoint 2018.04.21 730
49 코드 c 이진트리 전,중,후위 알고리즘 2 title: 대한민국 국기gimmepoint 2018.04.24 642
48 코드 HEX를 RGB로, RGB를 HEX로 바꾸는 PHP 코드 1 네모 2018.05.05 674
47 코드 클라이언트단에서 이미지 리사이징 6 file 네모 2018.05.06 1154
46 코드 내가 만든 함수 모음집 4 title: 대한민국 국기gimmepoint 2018.05.08 525
45 코드 내가 만든 사칙연산 계산기 title: 대한민국 국기gimmepoint 2018.05.11 621
44 코드 내가 만든 함수 모음집 2 title: 대한민국 국기gimmepoint 2018.05.12 529
43 내가 만든 merge sort 3 title: 대한민국 국기gimmepoint 2018.05.17 529
42 코드 매우 특이한 버그 9 title: 대한민국 국기gimmepoint 2018.06.05 722
41 코드 잘못 쓰면 컴퓨터가 날아가는 코드 29 제르엘 2018.07.08 1016
40 코드 폰트를 자동 설치하는 코드 1 네모 2018.07.16 972
39 코드 C언어 삼중자를 이용한 코드 title: 황금 서버 (30일)humit 2018.07.22 481
Board Pagination Prev 1 2 3 4 Next
/ 4