• 목록
  • 아래로
  • 위로

다름이 아니고 크롤링을 한번 익혀볼까 합니다.

기어가는 법은 어렸을 때부터 알고 있었기 때문에 다시 배우는 것은 쉽겠지만(!) 이걸 어디다가 써먹냐가 문제일 듯 하더라고요.

 

어디에 써먹을 수 있을까요?

작성자
갱생협스 53 Lv. (20%) 226440/233280EXP

sudo rm -rf ./*

댓글 13

이니스프리
profile image

댓글을 아주 길게 작성했는데 서버가 불안정해서 날아갔네요 ㅠㅠ
요지만 말씀드리면 사용할 용도가 정해진 후에 공부하시는게 좋을 것 같아요~!
방향성이 정해지지 않으면 일단 의욕이 반감되는 것 같구요 ㄷㄷ
어떤 언어로 어떤 웹페이지의 정보를 크롤링할지에 따라서 공부방향이 많이 달라지니깐요 :)

PHP 사이트를 보면 보통 크롤링의 필요성이 생겨서 공부를 시작하시는 분들이 많더군요!

 

처음에는 SIR 자게처럼 비교적 구조화가 잘 되어 있으면서도 크롤링하기 간단한 페이지부터 연습하세요~
결정하기 어려우시면 학교 홈페이지나 할인정보가 담긴 홈페이지를 목표로 하시구요 ㅎㅎ
그럼 홧팅하세요~!

comment menu
2020.05.04. 22:09

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

갱생협스 작성자 → 이니스프리
profile image
흐에에 오늘은 서버가 나빴네요...
우선 가상서버에 컴퓨팅 파워가 좀 남아서 어떻게 써볼까 고민하다 크롤링을 생각하게 된 겁니다. 그런데 그닥 쓸 데도 없고 해서 어디에 써먹어야 할 지 질문 드린거고요.

그나저나 SIR 자게가 구조화가 잘 되어있나 보네요. 복잡해보여서 흐음🤔 이러고 넘어갔었습니다 ㅋㅋㅋㅋ

아, 미세먼지 데이터를 긁어오는 것도 괜찮을 것 같네요.
생각해보니 꼭 필요하진 않아도 활용도가 꽤 높아보이니 한번쯤은 익혀봐도 좋을 것 같습니다.

늘 정성스러운 댓글 감사드리고, 스포티콘이 새로 하나 추가되었습니다. 제가 만든겁니다 lol
comment menu
2020.05.05. 00:01

신고

"갱생협스님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 → 갱생협스
profile image

SIR이 개발자분들께서 운영하는 사이트여서 여러모로 배울 점이 많더군요~!
물론 프로페셔널한 개발자분들께서 보시기에 구조화가 잘 되어있지 않다고 생각하신다면
감히 저같은 아마추어가 드릴 말씀은 없지만

그래도 딱히 크롤링을 차단한 부분도 없고 전반적으로 크롤링 연습하기에 좋은 것 같아요 :)

미세먼지 데이터는 저도 예전에 작업을 한 적이 있었는데
무료 API로 제공되고 있어서 이런건 크롤링 공부의 대상으로 생각하시는 범위는 아니라고 생각해서 말씀을 안 드렸네요~!
물론 API부터 연습하는 것도 도움이 되죠 :)

저도 시간이 날 때 디시콘을 퍼올게요 ^-^
그럼 굿밤 되세요! :)

comment menu
2020.05.05. 00:10

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 → 갱생협스
profile image
덧붙여 말씀드리면 파이썬 크롤링을 하실거라면 Selenium -> 정적 웹페이지 Requests -> 동적 웹페이지 Requests 순으로 연습하시면 될 것 같네요 ^-^
comment menu
2020.05.05. 00:13

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

갱생협스 작성자 → 이니스프리
profile image
앗 번번히 감사합니다!
요즘 프로그래밍을 전혀 하지 않은 덕택에 api 구현 방식도 다 잊어버렸네요~
api request 후에 음.. 정보를 받아와서.. 파싱을 하..는 거였나? 헷갈려요 🤣

아, 카카오톡 봇을 돌려도 되겠네요. 서버 자체의 활용도는 무궁무진한걸로!
comment menu
2020.05.05. 12:38

신고

"갱생협스님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 → 갱생협스
profile image

옙 그렇게 하시면 되어요~ ^^
일반적인 크롤링보다 전반적으로 훨씬 간단하죠!

+)
VPS의 가용 자원 중에 스토리지가 많이 남아있다면 클라우드 스토리지,
네트워크가 많이 남아있다면 VPN을 돌리는 것도 좋을 것 같네요 :)
둘 다 남아있다면 Pictshare 같은 이미지 호스팅 서버를 돌리시는 것도 좋구요!

Requests 크롤링은 엄청나게 이미지를 긁어오는게 아니라면 시스템 리소스를 별로 안 잡아먹어서 말이죠 ㄷㄷ

comment menu
2020.05.05. 12:57

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

갱생협스 작성자 → 이니스프리
profile image
이미 VPN을 셋팅해둔 서버인데 뭐 몇명 안 쓰다보니 전체적으로 컴퓨팅 파워가 남더라고요.

네트워크는 어 음.. 많이 남네요 ㅎㅎ,,,
1테라 플랜에서 대략 50기가정도를 쓴 것으로 나오니 말이죠.
스토리지 20기가중 쓴 건 1기가도 안 될 것 같고..
제일싼 3.5불 플랜임에도 불구하고 많이 남네요;;;
comment menu
2020.05.05. 13:47

신고

"갱생협스님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 → 갱생협스
profile image

오오~ 그렇군요! ^^
그럼 네트워크도 남고 스토리지도 남으니...
스포어의 유머게시판이나 마나모아처럼 이미지가 많은 사이트를 크롤링하는 연습을 해보세요!! :)

후자의 경우에는 github에 참고할만한 자료가 있는 것 같네요 ㅎㄷㄷ

 

+) 제가 예전에 팁게시판에 올려놓은 글이 조금 참고가 될 수 있겠네요 ^^

comment menu
2020.05.05. 13:54

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

갱생협스 작성자 → 이니스프리
profile image
짤줍해다가 짤만 어찌어찌 받아놓는걸로 짤 생성기를 만들 수도 있겠네요!!

감사합니다 많이 도움이 되었습니다 :)
comment menu
2020.05.05. 14:16

신고

"갱생협스님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 → 갱생협스
profile image

그쵸! 짤 생성기 좋은 것 같아요 :)

파이썬을 조금만 만져보시면 짤을 자동으로 퍼와서 이미지 호스팅 URL을 반환하는 방식이나
이모티콘을 A 사이트에서 퍼와서 B 사이트로 그대로 옮기는 로직도 구현 가능해요 ^-^

comment menu
2020.05.05. 20:46

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

갱생협스 작성자 → 이니스프리
profile image
(그렇게 협스는 짤 생성기를 만들게 되었다고 한다)
comment menu
2020.05.05. 21:01

신고

"갱생협스님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 → 갱생협스
profile image

혹시 구체적으로 어떤 방식의 짤 생성기를 생각하고 계시는가요오?? ^-^

저는 예전에 A 사이트에 올라온 짤을 캡쳐하여 하나의 파일로 만들어서

B 사이트에 새 글을 작성하여 첨부하는 스크립트를 작성한 적이 있었거든요 :)

이런걸 말씀하시는건 아닌 것 같은데요 ㄷㄷ

comment menu
2020.05.05. 21:02

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 382
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 4066
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4464
722 스마트폰 케이스 추천 부탁드립니다! 14 이니스프리 20.05.08.20:56 243
721 포인트 폭탄 포인트 지급 안되엇내요 9 image 핫슈 20.05.08.20:17 234
720 스마트폰(노트10+) 구매 관련하여 질문 드립니다! ^-^ 16 이니스프리 20.05.07.00:01 223
719 현재로서는 CKEditor 4.14를 사용하는게 최선일까요? 37 이니스프리 20.05.06.01:47 577
718 외부 접속가능한 db프로그램 문의 4 슬기 20.05.05.21:41 228
717 스포티콘도 게시글 본문에 사용 가능한가요?? 10 image 이니스프리 20.05.05.13:05 209
크롤링과 관련해 질문 있습니다! 13 갱생협스 20.05.04.21:24 285
715 키보드 재설정을 위한 트윅 프로그램 추천 부탁드려요! ^^ 5 이니스프리 20.05.04.18:39 189
714 스포티콘을 퍼오는 것은 어느 범위 내에서 허용되는가요?? 5 이니스프리 20.05.04.18:33 408
713 프리미어와 에펙을 제대로 구동할 수 있는 랩탑은 어느 정도 사양인가요?? 11 이니스프리 20.04.29.22:16 484
712 XE3에 사이트에 다른 cms를 이용한 하위 사이트 접속 방법 알고 계시는 분 있나요? 1 입체그림 20.04.18.19:56 191
711 호스팅과 ftp 설정에서 용량 관련 1 마당쇠15 20.04.16.11:30 160
710 저전력 nas 용도 개발보드 구매? 8 {Cog} 20.04.09.00:05 341
709 StartupCheckLibrary.dll / winscomrssrv.dll 지정된 모듈을 찾을 수 없습니다. 3 image 갱생협스 20.04.07.11:08 1241
708 [앱개발 질문] 초보입니다. 2 Chobo 20.04.07.10:21 213
707 Liberty Skin 대제목 관련 질문 3 image sweetenpotato 20.04.06.01:49 209
706 네이버 카페의 게시글 크롤링과 관련하여 질문 드려요 ^^ 7 image 이니스프리 20.04.04.23:33 1489
705 파이썬 Requests과 HTTP 통신에 관하여 이론적으로 궁금한건데요~ 4 이니스프리 20.04.03.15:55 205
704 아이콘 구매와 활용법에 대한 질문 10 해피보이 20.04.02.18:04 233
703 사이트 메인페이지에 갈림길 화면이 뜨게 하는 법에 대하여 어쭈어 봅니다. 5 image 입체그림 20.04.01.19:31 218