• 목록
  • 아래로
  • 위로

안녕하세요?


제가 예전에 저희 동문들의 싸이월드 미니홈피 크롤링 작업에 대해 질문을 드렸고


이에 대해 humit 님께서 상세한 답변을 해주셨습니다 ^^


https://studyforus.com/help/591303


그런데 javascript로 처리되는 부분이 의외로 많고, iframe과 관련된 처리도 해야 되어서 


부득이하게 requests만 사용하는 것은 포기하고 selenium을 사용하고 있네요 ㄷㄷ



머지 않아 싸이월드 도메인이 만료된다고 하여서


일단 jpg, gif 등 일반적인 이미지 파일을 모두 다운로드 받는 것까지는 날림으로 구현을 했습니다.


selenium으로 이미지 파일의 url을 알아낸 후에 urllib.request.urlretrieve으로 다운받는 다소 무식한 방법을 사용했네요 ^^;

('더보기'에 대한 자바스크립트를 반복 실행한 후에, 이미지를 여는 자바스크립트를 숫자만 바꿔서 실행하는 방식으로 구현했네요.)



다만 swf 파일의 다운로드와 관련하여 막히는 부분이 있는데요 ㅠㅠ


저번에는 공인인 박주영 선수 홈페이지를 예로 들어 질문 드렸는데, 이번에는 배우 김희선을 예시로 하겠습니다 ^^

(swf 파일의 예시를 찾기가 어려웠네요.)


https://cy.cyworld.com/home/23452603


첫번째 사진을 클릭하면 swf 파일이 뜨는데, 해당 swf 파일과 관련된 요소는 다음과 같습니다.


<dd class="thum">
<object data="http://cyimg36.cyworld.com/common/file_down.asp?redirect=%2F360025%2F2011%2F10%2F18%2F26%2F20111018030324_23452603_0580x0435.swf" id="" classid="clsid:D27CDB6E-AE6D-11cf-96B8-444553540000" width="663" height="377">
    <param name="movie" value="http://cyimg36.cyworld.com/common/file_down.asp?redirect=%2F360025%2F2011%2F10%2F18%2F26%2F20111018030324_23452603_0580x0435.swf">
    <!--[if !IE]>-->
    <object type="application/x-shockwave-flash" data="http://cyimg36.cyworld.com/common/file_down.asp?redirect=%2F360025%2F2011%2F10%2F18%2F26%2F20111018030324_23452603_0580x0435.swf" width="663" height="377">
    <!--<![endif]-->
    <div>
        <!--h1>Alternative content</h1-->
        <!-- <img src="http://cythumb.cyworld.com/100x100/cyimg36.cyworld.com/common/file_down_swf.asp?redirect=%2F360025%2F2011%2F10%2F18%2F26%2F20111018030324_23452603_0580x0435.swf" alt="플래시 파일입니다" /> -->
        <img src="http://nthumb.cyworld.com/thumb?width=100&height=100&url=http%3A%2F%2Fcyimg36.cyworld.com%2Fcommon%2Ffile_down_swf.asp%3Fredirect%3D%252F360025%252F2011%252F10%252F18%252F26%252F20111018030324_23452603_0580x0435.swf" alt="플래시 파일입니다">
    </div>
    <!--[if !IE]>-->
    </object>
    <!--<![endif]-->
</object>
</dd>



미니홈피에 접속한 상태에서 object 태그의 data 속성에 있는 url을 크롬 최신버전에서 열면 저절로 swf 파일이 다운로드 됩니다.


그런데 파이어폭스에서는 다운로드가 되지 않고, 로그인하라는 창이 뜨더군요 ㅠㅠ


아쉽게도 제 계정은 이미 삭제되었는지 로그인이 안 되고, 신규 회원가입도 막혀있네요 ㄷㄷ

(전화 또는 이메일 인증이 안 되네요)



그런데 urllib.request.urlretrieve을 이용하거나, selenium의 크롬 또는 파이어폭스에서 webdriver.get을 하여도


swf 파일을 다운받을 수는 없고, 로그인하라는 창으로 연결되더군요 ㅜㅜ


참고로 플래시가 설치된 PC에서 IE로 미니홈피에 접속해보니 플래시가 아무런 문제가 없이 잘 재생되네요.



미니홈피에서 어떤 방식으로 유저가 swf 파일에 접근하는 것을 차단하는지, 


저의 허접한 수준에서 swf 파일을 다운받을 수 있는 방법은 없는지 여쭤봅니다.


구글링을 해보니 브라우저에 캐싱된 파일을 복사하라고 하던데 이 방법 이외에 파이썬으로 구현할 수 있는 다른 방법을 찾고 있네요 ^^


그럼 일교차가 큰데 감기 조심하시고, 답변 달아주실 분들께 미리 감사드립니다!


작성자
이니스프리 119 Lv. (0%) 1876250/115200000EXP

당분간 일신상의 사정으로 쪽지나 댓글로 답변을 드리기 어렵습니다. 죄송합니다.

 

CSVpuymXAAAVVpd.jpg

댓글 6

이니스프리 작성자
profile image
count = 0
while True:
    try:
        driver.execute_script("viewDetail(" + str(count) + ",'Y');") # 게시글로 이동합니다.
        time.sleep(waiting_time)
        frame = driver.find_element_by_xpath('/html/body/div[1]/article[2]/iframe')
        driver.switch_to.frame(frame) # 게시글의 프레임으로 이동합니다.
        time.sleep(1)
        html = driver.page_source
        soup = BeautifulSoup(html, 'html.parser')
        date = soup.select_one('div.view1 p') # 태그에 작성일이 들어있습니다.
        unwanted = date.find('strong')
        unwanted.extract() # p 태그 내부의 strong 태그(글 작성자)를 제거합니다.

        image = soup.select_one('div.webPage object param')
        extension = '.' + image['value'].split('.')[-1] # 확장자를 추출합니다.
        print(image['value'])
        filename = date.text.replace('\n', '').split()[0].replace('.', '-')
        # 게시글을 작성한 날짜를 추출하여 파일명으로 지정합니다.
        full_filename = filename + extension
        add_number = 1
        while os.path.isfile(full_filename) == True: # 파일명이 중복되는 경우를 처리합니다.
            full_filename = filename + '-' + str(add_number) + extension
            add_number += 1
        driver.switch_to.default_content() # 원래의 프레임으로 돌아갑니다.
        driver.get(image['value'])
        time.sleep(1)
        count += 1
    except:
        break


급히 작성해서 두서가 없는데 문제가 되는 부분은 위와 같습니다 ^^;


driver.get()으로 swf 파일에 접근할 수가 없고, 로그인하라는 페이지로 연결되네요.


selenium이 아닌 일반 크롬과 IE에서는 swf 파일에 접근할 수 있는데 말이죠 ㅠㅠ


제가 테스트한 바로는 적어도 user agent의 문제는 아닌 것 같네요.


그럼 굿밤 되세요!

comment menu
2019.11.05. 01:31

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자
profile image

어젠 너무 졸려서 못 올렸는데 보시기 편하게 전체 스크립트 중에 질문의 요지가 되는 스크립트만 정리해서 올리면 다음과 같습니다.


from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time, os

options = webdriver.ChromeOptions()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko")
preferences = {"safebrowsing.enabled": True }
options.add_experimental_option("prefs", preferences)

driver = webdriver.Chrome(executable_path='chromedriver', chrome_options=options)
driver.implicitly_wait(15)
waiting_time = 3 # time.sleep()의 대기시간을 지정합니다.

url = 'http://cy.cyworld.com/home/23452603'
driver.get(url)
time.sleep(waiting_time)

count = 0
while True:
    driver.execute_script("viewDetail(" + str(count) + ",'Y');") # 게시글로 이동합니다.
    time.sleep(waiting_time)
    frame = driver.find_element_by_xpath('/html/body/div[1]/article[2]/iframe')
    driver.switch_to.frame(frame) # 게시글의 프레임으로 이동합니다.
    time.sleep(1)
    html = driver.page_source
    soup = BeautifulSoup(html, 'html.parser')
    date = soup.select_one('div.view1 p') # 태그에 작성일이 들어있습니다.
    unwanted = date.find('strong')
    unwanted.extract() # p 태그 내부의 strong 태그(글 작성자)를 제거합니다.
    image = soup.select_one('div.webPage object param')
    extension = '.' + image['value'].split('.')[-1] # 확장자를 추출합니다.
    print(image['value'])
    filename = date.text.replace('\n', '').split()[0].replace('.', '-')
    # 게시글을 작성한 날짜를 추출하여 파일명으로 지정합니다.
    full_filename = filename + extension
    add_number = 1
    while os.path.isfile(full_filename) == True: # 파일명이 중복되는 경우를 처리합니다.
        full_filename = filename + '-' + str(add_number) + extension
        add_number += 1
    driver.switch_to.default_content() # 원래의 프레임으로 돌아갑니다.
    driver.get(image['value'])
    #driver.execute_script("window.open('" + image["value"] + "');") # 이 방식도 안 되네요.
    time.sleep(1)
    count += 1
driver.quit()



결과적으로 이런 창이 뜨네요 ㅠㅠ



comment menu
2019.11.05. 10:28

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

title: 황금 서버 (30일)humit
profile image
+1

header에 Referer로 https://cy.cyworld.com/home/23452603 와 같이 줘서 요청을 해보시기 바랍니다.

comment menu
2019.11.06. 16:34

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image
+1

오오~ humit 님께서도 요새 바쁘실텐데 답글 달아주셔서 정말 감사합니다!


파이썬 selenium 라이브러리에 referer 처리와 관련된 자체적인 명령어가 없길래


저는 selenium에서는 referer를 별도로 지정하지 않더라도 일반적인 브라우저를 사용할 때처럼 문제없이 돌아갈 줄 알았는데 아닌가 보네요 ㅠㅠ


말씀해주신대로 referer를 이용하여 아래와 같은 방법으로 해결했습니다!


    req = urllib.request.Request(image['value'])
    req.add_header('Referer', 'http://cy.cyworld.com/home/23452603')
    sourcecode = urllib.request.urlopen(req).read()
    with open("temp.swf","wb") as f:
        f.write(sourcecode)


humit 님 덕분에 싸이월드 도메인이 만료되기 전에 미니홈피 백업 잘 하겠습니다~


다른 분들께서도 필요하실 것 같아서 스크립트를 완성하면 스포어에 올릴게요.


그럼 humit 님께서도 편안한 저녁 되시고, 다시 한 번 감사드립니다! ^-^

comment menu
2019.11.06. 18:49

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

연우빠
profile image

기대하겠습니다.

comment menu
2019.11.08. 00:27

신고

"연우빠님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → 연우빠
profile image

감사합니다!

일단 그럭저럭 제대로 작동하는 스크립트는 올렸습니다~

https://studyforus.com/share/621104

윈도우용 GUI 버전은 주말에 시간이 되는대로 올릴게요 ^^

그럼 굿밤 되세요!

comment menu
2019.11.08. 00:39

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 394
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 4075
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4465
842 머신러닝 용도로 노트북을 구매하려고 하는데 MSI 게이밍 노트북도 괜찮을까요? 12 이니스프리 21.01.31.22:26 375
841 최근에 혹시 phpmyadmin 주소가 바뀌었나요? 2 막시모 21.01.28.17:42 75
840 [수강신청] Java 개론 강좌를 수강해도 괜찮을까요?? 9 image 이니스프리 21.01.23.22:30 155
839 php 1 wikiowner 21.01.22.11:10 69
838 예)www.123.com > 123.com리디렉트 질문 1 image HighSpeed 21.01.21.17:27 74
837 The lua binary is not executable 문구 1 wikiowner 21.01.20.13:17 78
836 가비아에서 www 붙이지 않고 접속하게 하는 방법 질문합니다. 2 HighSpeed 21.01.15.21:58 86
835 가비아 도메인 스터디 포 어스 연결되나요? 1 HighSpeed 21.01.15.17:28 68
834 도메인 개인정보 보호에 대해 질문합니다. 3 HighSpeed 21.01.12.19:24 124
833 아바스트 왜 이럴까요? 11 image 국내산라이츄 21.01.12.04:26 139
832 여러분들고 퍼미션 권한 바뀌나요? 1 HighSpeed 21.01.11.22:28 90
831 PHP 중복체크 관련 질문합니다 3 title: 에그joyful 21.01.09.21:58 127
830 SFU ssh 계정으로 ssh 접속이 안됩니다 8 wikiowner 21.01.06.13:36 169
829 [라이믹스] 스킨 설치가 안됩니다. 2 260578 20.12.31.08:43 109
828 Mac 입문! 10 갱생협스 20.12.27.22:31 188
827 저번에 쓴 글인 루아 오류가 여기 관리자분들중 한분이 해결해주셔야 한다고 하네요 5 image wikiowner 20.12.15.11:45 132
826 루아 오류??? 1 image wikiowner 20.12.14.10:34 100
825 500 에러 4 wikiowner 20.12.12.10:05 134
824 서버 초심자가 쓰기에 어떤 OS가 나을까요? 12 제르엘 20.12.11.23:00 278
823 사이트 들어가려는데 오류 2 image wikiowner 20.12.09.19:09 103