크롤링과 관련해 질문 있습니다!

흐에에 오늘은 서버가 나빴네요...
우선 가상서버에 컴퓨팅 파워가 좀 남아서 어떻게 써볼까 고민하다 크롤링을 생각하게 된 겁니다. 그런데 그닥 쓸 데도 없고 해서 어디에 써먹어야 할 지 질문 드린거고요.

그나저나 SIR 자게가 구조화가 잘 되어있나 보네요. 복잡해보여서 흐음🤔 이러고 넘어갔었습니다 ㅋㅋㅋㅋ

아, 미세먼지 데이터를 긁어오는 것도 괜찮을 것 같네요.
생각해보니 꼭 필요하진 않아도 활용도가 꽤 높아보이니 한번쯤은 익혀봐도 좋을 것 같습니다.

늘 정성스러운 댓글 감사드리고, 스포티콘이 새로 하나 추가되었습니다. 제가 만든겁니다 lol

SIR이 개발자분들께서 운영하는 사이트여서 여러모로 배울 점이 많더군요~!
물론 프로페셔널한 개발자분들께서 보시기에 구조화가 잘 되어있지 않다고 생각하신다면
감히 저같은 아마추어가 드릴 말씀은 없지만

그래도 딱히 크롤링을 차단한 부분도 없고 전반적으로 크롤링 연습하기에 좋은 것 같아요 :)

미세먼지 데이터는 저도 예전에 작업을 한 적이 있었는데
무료 API로 제공되고 있어서 이런건 크롤링 공부의 대상으로 생각하시는 범위는 아니라고 생각해서 말씀을 안 드렸네요~!
물론 API부터 연습하는 것도 도움이 되죠 :)

저도 시간이 날 때 디시콘을 퍼올게요 ^-^
그럼 굿밤 되세요! :)

덧붙여 말씀드리면 파이썬 크롤링을 하실거라면 Selenium -> 정적 웹페이지 Requests -> 동적 웹페이지 Requests 순으로 연습하시면 될 것 같네요 ^-^

앗 번번히 감사합니다!
요즘 프로그래밍을 전혀 하지 않은 덕택에 api 구현 방식도 다 잊어버렸네요~
api request 후에 음.. 정보를 받아와서.. 파싱을 하..는 거였나? 헷갈려요 🤣

아, 카카오톡 봇을 돌려도 되겠네요. 서버 자체의 활용도는 무궁무진한걸로!

옙 그렇게 하시면 되어요~ ^^
일반적인 크롤링보다 전반적으로 훨씬 간단하죠!

+)
VPS의 가용 자원 중에 스토리지가 많이 남아있다면 클라우드 스토리지,
네트워크가 많이 남아있다면 VPN을 돌리는 것도 좋을 것 같네요 :)
둘 다 남아있다면 Pictshare 같은 이미지 호스팅 서버를 돌리시는 것도 좋구요!

Requests 크롤링은 엄청나게 이미지를 긁어오는게 아니라면 시스템 리소스를 별로 안 잡아먹어서 말이죠 ㄷㄷ

이미 VPN을 셋팅해둔 서버인데 뭐 몇명 안 쓰다보니 전체적으로 컴퓨팅 파워가 남더라고요.

네트워크는 어 음.. 많이 남네요 ㅎㅎ,,,
1테라 플랜에서 대략 50기가정도를 쓴 것으로 나오니 말이죠.
스토리지 20기가중 쓴 건 1기가도 안 될 것 같고..
제일싼 3.5불 플랜임에도 불구하고 많이 남네요;;;

오오~ 그렇군요! ^^
그럼 네트워크도 남고 스토리지도 남으니...
스포어의 유머게시판이나 마나모아처럼 이미지가 많은 사이트를 크롤링하는 연습을 해보세요!! :)

후자의 경우에는 github에 참고할만한 자료가 있는 것 같네요 ㅎㄷㄷ

 

+) 제가 예전에 팁게시판에 올려놓은 글이 조금 참고가 될 수 있겠네요 ^^

짤줍해다가 짤만 어찌어찌 받아놓는걸로 짤 생성기를 만들 수도 있겠네요!!

감사합니다 많이 도움이 되었습니다 :)

그쵸! 짤 생성기 좋은 것 같아요 :)

파이썬을 조금만 만져보시면 짤을 자동으로 퍼와서 이미지 호스팅 URL을 반환하는 방식이나
이모티콘을 A 사이트에서 퍼와서 B 사이트로 그대로 옮기는 로직도 구현 가능해요 ^-^

(그렇게 협스는 짤 생성기를 만들게 되었다고 한다)

혹시 구체적으로 어떤 방식의 짤 생성기를 생각하고 계시는가요오?? ^-^

저는 예전에 A 사이트에 올라온 짤을 캡쳐하여 하나의 파일로 만들어서

B 사이트에 새 글을 작성하여 첨부하는 스크립트를 작성한 적이 있었거든요 :)

이런걸 말씀하시는건 아닌 것 같은데요 ㄷㄷ