조회 수 975 추천 수 1 댓글 3
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
Extra Form
라이선스 MIT

안녕하세요?


어제 humit 님의 블로그에서 네이트 실시간 검색어 순위에 대한 크롤링 방법에 관한 글을 읽고 많은 점을 느껴서

(https://humit.tistory.com/304?category=847273)


이를 PHP로 응용하여 간단하게나마 아미나 위젯으로 만들어 봤어요 ^^



이용자가 많은 사이트에서는 curl로 인해 해당 서버와 네이트 측에 많은 로딩이 걸릴 수 있어서 


아미나의 위젯 캐시(apms_wiget_cache)를 적용하였습니다.


캐시에 대해 좀 더 공부해보고 싶었고, humit 님께서 저번에 올려주신 스크립트도 있지만,


일단 빠른 개발을 위해귀차니즘 때문에 아미나 자체의 위젯 캐시를 사용해봤네요 ^^


캐시 이외에는 설정할 부분이 없기 때문에 별도의 위젯 설정 파일을 만들지 않고 $wset['cache'] = 10 부분을 하드코딩했네요.


<?php
if (!defined('_GNUBOARD_')) exit;
$wset['cache'] = 10;
echo apms_widget_cache($widget_path.'/parse.php', $wname, $wid, $wset);
?>



크롤링에서는 User-agent를 크롬으로 변경했고, 인코딩 관련하여 약간 귀찮은 부분이 있었네요.


문자열 처리에 있어서는 humit 님처럼 json과 관련된 함수를 이용한 멋진 방법이 아니라 정규식을 사용했습니다 ㅠㅠ


1위부터 10위까지 순위를 직접 파싱하지 않고, foreach문에서 $cnt 변수를 사용해서 돌렸는데 


저의 예감으로는 아마도 최선의 방법은 아닐 것 같네요 ㅜㅜ


원래는 CSS 파일을 분리해서 widget.css 파일을 만들려고 했지만


구글링해보니 아미나의 캐싱과 관련하여 까다로운 부분이 있는 것 같아서 부득이 PHP 파일에 포함시켰습니다.


<?php
if (!defined('_GNUBOARD_')) exit;
?>
<style>
.myWidget {
-moz-box-shadow: 3px 4px 0px 0px #4a4e4f;
-webkit-box-shadow: 3px 4px 0px 0px #4a4e4f;
box-shadow: 3px 4px 0px 0px #4a4e4f;
background:-webkit-gradient(linear, left top, left bottom, color-stop(0.05, #fcfcfc), color-stop(1, #e3dae3));
background:-moz-linear-gradient(top, #fcfcfc 5%, #e3dae3 100%);
background:-webkit-linear-gradient(top, #fcfcfc 5%, #e3dae3 100%);
background:-o-linear-gradient(top, #fcfcfc 5%, #e3dae3 100%);
background:-ms-linear-gradient(top, #fcfcfc 5%, #e3dae3 100%);
background:linear-gradient(to bottom, #fcfcfc 5%, #e3dae3 100%);
filter:progid:DXImageTransform.Microsoft.gradient(startColorstr='#fcfcfc', endColorstr='#e3dae3',GradientType=0);
background-color:#fcfcfc;
-moz-border-radius:15px;
-webkit-border-radius:15px;
border-radius:15px;
border:1px solid #d6bcd6;
display:inline-block;
color:#000000;
font-size:15px;
padding:7px 25px;
text-decoration:none;
text-shadow:0px 1px 0px #e1e2ed;
}
.myWidget:hover {
background:-webkit-gradient(linear, left top, left bottom, color-stop(0.05, #e7eb0e), color-stop(1, #ffffff));
background:-moz-linear-gradient(top, #e7eb0e 5%, #ffffff 100%);
background:-webkit-linear-gradient(top, #e3dae3 5%, #ffffff 100%);
background:-o-linear-gradient(top, #e3dae3 5%, #ffffff 100%);
background:-ms-linear-gradient(top, #e3dae3 5%, #ffffff 100%);
background:linear-gradient(to bottom, #e3dae3 5%, #ffffff 100%);
filter:progid:DXImageTransform.Microsoft.gradient(startColorstr='#e3dae3', endColorstr='#ffffff',GradientType=0);
background-color:#e3dae3;
}
.myWidget:active {
position:relative;
top:1px;
}
a.no_underline {
  text-decoration:none;
}
a.no_underline:hover {
  text-decoration:underline;
</style>

<?php
$json_url = 'https://www.nate.com/nate/LiveKeyword';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $json_url);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($ch);
curl_close($ch);

preg_match_all('/\["[\d]{1,2}",\s"(.*?)",\s/', $result, $keyword);
$cnt = 1;
?>
<div class="myWidget">
<?php
echo '<span style="color:blue; font-weight:bold">'.date("m/d H:i:s").'</span><br>';
foreach ($keyword[1] as $data) {
    echo "<a class='no_underline' href='https://search.daum.net/nate?w=tot&q=".urlencode($data)."' target='_blank'><span style='color:red'>".$cnt."</span> ".iconv("EUC-KR", "UTF-8", $data).'</a><br>';
    ++$cnt;
}
?>
</div>


결과는 다음과 같고, 캐싱도 잘 작동합니다 ^^


일단 아미나를 사용하는 동안에는 아미나 자체의 캐시를 많이 연습하고 활용해보려구요.




여러모로 부족한 스크립트에 관한 글을 읽어주셔서 감사합니다 :)


제 연말 일정으로 볼 때 올해 소스 게시판에 글을 올리는 것은 이것으로 마지막이 될 것 같네요~


새해에는 저 혼자만의 스크립트 연습이 아니라 다른 분들께 보다 도움이 될 수 있는 스크립트를 올리도록 할게요 ^^


다른 분들께서도 바쁘실텐데 컨디션 관리 잘 하시고 그럼 남은 연말 즐겁고 뜻깊게 보내세요!


마스터 님을 비롯하여 모든 스포어 회원님들께 항상 감사드립니다~!

  • profile
    title: 황금 서버 (30일)humit 2018.12.18 20:52
    아미나에서 자체 캐시 함수가 있었군요!!
    코드 잘보고 갑니다 ㅎㅎ
  • profile
    이니스프리 2018.12.18 21:47

    앗 저의 부족한 코드를 봐주셔서 번번이 감사합니다~!

    humit 님께서 이미 파이썬으로 네이트 실검 크롤링 코드를 작성해주셔서 제가 허접하게나마 PHP로 옮길 수 있었네요 ^^

    아미나에 apms_widget_cache 함수와 apms_cache 함수라는 두 개의 캐시 함수가 있는데

    구글링해보니 후자는 예전 불당팩의 db_cache 함수를 수용한 것이라고 하더군요.

    캐싱이 정말 중요한 것 같은데 구글링해봐도 아미나(PHP 7.X)에서 redis를 바로 적용하는 팁이 없는 것 같더군요 ㅠㅠ

    다음주에 다시 추워진다는데 그럼 humit 님께서도 감기 조심하시고 즐거운 연말 되세요~!

  • profile
    니오 2019.04.29 23:34
    코드가 아직 안보이는 1인입니다

List of Articles
번호 분류 제목 글쓴이 날짜 조회 수
78 코드 폰트를 자동 설치하는 코드 1 네모 2018.07.16 830
77 코드 파이썬을 이용한 텔레그램 새 글 알림 (허접합니다) 4 이니스프리 2017.11.19 2377
76 코드 파이선 셸에서 실행하면...? 3 제르엘 2018.07.22 499
75 코드 클라이언트단에서 이미지 리사이징 6 file 네모 2018.05.06 1078
74 코드 컴퓨터의 uuid 얻기 5 title: 황금 서버 (30일)humit 2018.01.28 1099
73 코드 잘못 쓰면 컴퓨터가 날아가는 코드 29 제르엘 2018.07.08 964
72 자료 이게 팔릴까 - Xe/라이믹스 에러페이지 [2017-10-04] 3 file title: 열려라 맛스타의 자물쇠TVJ 2017.10.04 671
71 코드 유튜브에 약간의 기능을 추가 해주는 크롬 확장 프로그램. 11 file Hanam09 2018.01.26 942
70 코드 엑셀파일 불러서 히스토그램 그려주는 함수 국내산라이츄 2017.08.03 723
69 코드 엑셀 읽어서 그래프 그려주는 함수 1 국내산라이츄 2017.08.03 1423
68 코드 아주 간단한 기초 C++ 6 제르엘 2018.04.21 477
67 자료 소셜XE / 기존 통합 로그인 스킨 V2.2 2 file NoYeah 2017.06.28 905
66 코드 세린서버에서 시도중인 백업 스크립트 입니다. 4 NoYeah 2017.06.27 744
65 코드 새 글 자동 댓글 스크립트 (AutoHotkey) 9 이니스프리 2017.11.26 3454
64 코드 사이트 서버 이전 (또는 미러링 사이트 구축) 쉽게하는 스크립트 1 NoYeah 2018.01.14 858
63 코드 브라우저 언어에 따라 다른 폴더를 사용하는 PHP 코드 4 file 네모 2017.10.10 639
62 코드 미완성 받아쓰기 (C) title: 대한민국 국기gimmepoint 2018.04.20 380
61 코드 매우 특이한 버그 9 title: 대한민국 국기gimmepoint 2018.06.05 569
60 자료 링크 파싱 애드온용 스킨 (트위터 스타일) 3 file SNAX 2017.10.03 516
59 코드 도박 중독자를 위한 광고 차단 규칙 file 제르엘 2020.08.21 291
Board Pagination Prev 1 2 3 4 Next
/ 4