도와주세요

싸이월드 미니홈피 크롤링 과정에서 swf 파일 다운로드와 관련하여 질문 드립니다 ㅠㅠ

이니스프리2019.11.05 00:45조회 수 125댓글 6

    • 글자 크기

안녕하세요?


제가 예전에 저희 동문들의 싸이월드 미니홈피 크롤링 작업에 대해 질문을 드렸고


이에 대해 humit 님께서 상세한 답변을 해주셨습니다 ^^


https://studyforus.com/help/591303


그런데 javascript로 처리되는 부분이 의외로 많고, iframe과 관련된 처리도 해야 되어서 


부득이하게 requests만 사용하는 것은 포기하고 selenium을 사용하고 있네요 ㄷㄷ



머지 않아 싸이월드 도메인이 만료된다고 하여서


일단 jpg, gif 등 일반적인 이미지 파일을 모두 다운로드 받는 것까지는 날림으로 구현을 했습니다.


selenium으로 이미지 파일의 url을 알아낸 후에 urllib.request.urlretrieve으로 다운받는 다소 무식한 방법을 사용했네요 ^^;

('더보기'에 대한 자바스크립트를 반복 실행한 후에, 이미지를 여는 자바스크립트를 숫자만 바꿔서 실행하는 방식으로 구현했네요.)



다만 swf 파일의 다운로드와 관련하여 막히는 부분이 있는데요 ㅠㅠ


저번에는 공인인 박주영 선수 홈페이지를 예로 들어 질문 드렸는데, 이번에는 배우 김희선을 예시로 하겠습니다 ^^

(swf 파일의 예시를 찾기가 어려웠네요.)


https://cy.cyworld.com/home/23452603


첫번째 사진을 클릭하면 swf 파일이 뜨는데, 해당 swf 파일과 관련된 요소는 다음과 같습니다.


<dd class="thum">
<object data="http://cyimg36.cyworld.com/common/file_down.asp?redirect=%2F360025%2F2011%2F10%2F18%2F26%2F20111018030324_23452603_0580x0435.swf" id="" classid="clsid:D27CDB6E-AE6D-11cf-96B8-444553540000" width="663" height="377">
    <param name="movie" value="http://cyimg36.cyworld.com/common/file_down.asp?redirect=%2F360025%2F2011%2F10%2F18%2F26%2F20111018030324_23452603_0580x0435.swf">
    <!--[if !IE]>-->
    <object type="application/x-shockwave-flash" data="http://cyimg36.cyworld.com/common/file_down.asp?redirect=%2F360025%2F2011%2F10%2F18%2F26%2F20111018030324_23452603_0580x0435.swf" width="663" height="377">
    <!--<![endif]-->
    <div>
        <!--h1>Alternative content</h1-->
        <!-- <img src="http://cythumb.cyworld.com/100x100/cyimg36.cyworld.com/common/file_down_swf.asp?redirect=%2F360025%2F2011%2F10%2F18%2F26%2F20111018030324_23452603_0580x0435.swf" alt="플래시 파일입니다" /> -->
        <img src="http://nthumb.cyworld.com/thumb?width=100&height=100&url=http%3A%2F%2Fcyimg36.cyworld.com%2Fcommon%2Ffile_down_swf.asp%3Fredirect%3D%252F360025%252F2011%252F10%252F18%252F26%252F20111018030324_23452603_0580x0435.swf" alt="플래시 파일입니다">
    </div>
    <!--[if !IE]>-->
    </object>
    <!--<![endif]-->
</object>
</dd>



미니홈피에 접속한 상태에서 object 태그의 data 속성에 있는 url을 크롬 최신버전에서 열면 저절로 swf 파일이 다운로드 됩니다.


그런데 파이어폭스에서는 다운로드가 되지 않고, 로그인하라는 창이 뜨더군요 ㅠㅠ


아쉽게도 제 계정은 이미 삭제되었는지 로그인이 안 되고, 신규 회원가입도 막혀있네요 ㄷㄷ

(전화 또는 이메일 인증이 안 되네요)



그런데 urllib.request.urlretrieve을 이용하거나, selenium의 크롬 또는 파이어폭스에서 webdriver.get을 하여도


swf 파일을 다운받을 수는 없고, 로그인하라는 창으로 연결되더군요 ㅜㅜ


참고로 플래시가 설치된 PC에서 IE로 미니홈피에 접속해보니 플래시가 아무런 문제가 없이 잘 재생되네요.



미니홈피에서 어떤 방식으로 유저가 swf 파일에 접근하는 것을 차단하는지, 


저의 허접한 수준에서 swf 파일을 다운받을 수 있는 방법은 없는지 여쭤봅니다.


구글링을 해보니 브라우저에 캐싱된 파일을 복사하라고 하던데 이 방법 이외에 파이썬으로 구현할 수 있는 다른 방법을 찾고 있네요 ^^


그럼 일교차가 큰데 감기 조심하시고, 답변 달아주실 분들께 미리 감사드립니다!


ཇོ་མོ་གླང་མ

    • 글자 크기
피규어샵 방문과 관련하여 질문 드립니다 (by 이니스프리) 갤럭시노트10+ 구매해도 괜찮을까요?? (by 이니스프리)
  • 이니스프리글쓴이
    2019.11.5 01:31
    count = 0
    while True:
        try:
            driver.execute_script("viewDetail(" + str(count) + ",'Y');") # 게시글로 이동합니다.
            time.sleep(waiting_time)
            frame = driver.find_element_by_xpath('/html/body/div[1]/article[2]/iframe')
            driver.switch_to.frame(frame) # 게시글의 프레임으로 이동합니다.
            time.sleep(1)
            html = driver.page_source
            soup = BeautifulSoup(html, 'html.parser')
            date = soup.select_one('div.view1 p') # 태그에 작성일이 들어있습니다.
            unwanted = date.find('strong')
            unwanted.extract() # p 태그 내부의 strong 태그(글 작성자)를 제거합니다.
    
            image = soup.select_one('div.webPage object param')
            extension = '.' + image['value'].split('.')[-1] # 확장자를 추출합니다.
            print(image['value'])
            filename = date.text.replace('\n', '').split()[0].replace('.', '-')
            # 게시글을 작성한 날짜를 추출하여 파일명으로 지정합니다.
            full_filename = filename + extension
            add_number = 1
            while os.path.isfile(full_filename) == True: # 파일명이 중복되는 경우를 처리합니다.
                full_filename = filename + '-' + str(add_number) + extension
                add_number += 1
            driver.switch_to.default_content() # 원래의 프레임으로 돌아갑니다.
            driver.get(image['value'])
            time.sleep(1)
            count += 1
        except:
            break


    급히 작성해서 두서가 없는데 문제가 되는 부분은 위와 같습니다 ^^;


    driver.get()으로 swf 파일에 접근할 수가 없고, 로그인하라는 페이지로 연결되네요.


    selenium이 아닌 일반 크롬과 IE에서는 swf 파일에 접근할 수 있는데 말이죠 ㅠㅠ


    제가 테스트한 바로는 적어도 user agent의 문제는 아닌 것 같네요.


    그럼 굿밤 되세요!

  • 이니스프리글쓴이
    2019.11.5 10:28

    어젠 너무 졸려서 못 올렸는데 보시기 편하게 전체 스크립트 중에 질문의 요지가 되는 스크립트만 정리해서 올리면 다음과 같습니다.


    from bs4 import BeautifulSoup
    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    import time, os
    
    options = webdriver.ChromeOptions()
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-dev-shm-usage')
    options.add_argument("user-agent=Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko")
    preferences = {"safebrowsing.enabled": True }
    options.add_experimental_option("prefs", preferences)
    
    driver = webdriver.Chrome(executable_path='chromedriver', chrome_options=options)
    driver.implicitly_wait(15)
    waiting_time = 3 # time.sleep()의 대기시간을 지정합니다.
    
    url = 'http://cy.cyworld.com/home/23452603'
    driver.get(url)
    time.sleep(waiting_time)
    
    count = 0
    while True:
        driver.execute_script("viewDetail(" + str(count) + ",'Y');") # 게시글로 이동합니다.
        time.sleep(waiting_time)
        frame = driver.find_element_by_xpath('/html/body/div[1]/article[2]/iframe')
        driver.switch_to.frame(frame) # 게시글의 프레임으로 이동합니다.
        time.sleep(1)
        html = driver.page_source
        soup = BeautifulSoup(html, 'html.parser')
        date = soup.select_one('div.view1 p') # 태그에 작성일이 들어있습니다.
        unwanted = date.find('strong')
        unwanted.extract() # p 태그 내부의 strong 태그(글 작성자)를 제거합니다.
        image = soup.select_one('div.webPage object param')
        extension = '.' + image['value'].split('.')[-1] # 확장자를 추출합니다.
        print(image['value'])
        filename = date.text.replace('\n', '').split()[0].replace('.', '-')
        # 게시글을 작성한 날짜를 추출하여 파일명으로 지정합니다.
        full_filename = filename + extension
        add_number = 1
        while os.path.isfile(full_filename) == True: # 파일명이 중복되는 경우를 처리합니다.
            full_filename = filename + '-' + str(add_number) + extension
            add_number += 1
        driver.switch_to.default_content() # 원래의 프레임으로 돌아갑니다.
        driver.get(image['value'])
        #driver.execute_script("window.open('" + image["value"] + "');") # 이 방식도 안 되네요.
        time.sleep(1)
        count += 1
    driver.quit()



    결과적으로 이런 창이 뜨네요 ㅠㅠ



  • 2019.11.6 16:34

    header에 Referer로 https://cy.cyworld.com/home/23452603 와 같이 줘서 요청을 해보시기 바랍니다.

  • @humit
    이니스프리글쓴이
    2019.11.6 18:49

    오오~ humit 님께서도 요새 바쁘실텐데 답글 달아주셔서 정말 감사합니다!


    파이썬 selenium 라이브러리에 referer 처리와 관련된 자체적인 명령어가 없길래


    저는 selenium에서는 referer를 별도로 지정하지 않더라도 일반적인 브라우저를 사용할 때처럼 문제없이 돌아갈 줄 알았는데 아닌가 보네요 ㅠㅠ


    말씀해주신대로 referer를 이용하여 아래와 같은 방법으로 해결했습니다!


        req = urllib.request.Request(image['value'])
        req.add_header('Referer', 'http://cy.cyworld.com/home/23452603')
        sourcecode = urllib.request.urlopen(req).read()
        with open("temp.swf","wb") as f:
            f.write(sourcecode)


    humit 님 덕분에 싸이월드 도메인이 만료되기 전에 미니홈피 백업 잘 하겠습니다~


    다른 분들께서도 필요하실 것 같아서 스크립트를 완성하면 스포어에 올릴게요.


    그럼 humit 님께서도 편안한 저녁 되시고, 다시 한 번 감사드립니다! ^-^

  • 2019.11.8 00:27

    기대하겠습니다.

  • @연우빠
    이니스프리글쓴이
    2019.11.8 00:39

    감사합니다!

    일단 그럭저럭 제대로 작동하는 스크립트는 올렸습니다~

    https://studyforus.com/share/621104

    윈도우용 GUI 버전은 주말에 시간이 되는대로 올릴게요 ^^

    그럼 굿밤 되세요!

댓글 달기

번호 제목 글쓴이 날짜 조회 수
공지 [중요] IP 변경이 있습니다.20 마스터 2019.09.20 949
공지 [중요] 고정 IP에 문제가 발생한 것 같습니다.1 마스터 2019.09.20 607
공지 회원 전용 페이지가 생겼습니다.15 마스터 2018.03.20 9194
공지 [필독] 질문하는 방법6 마스터 2018.02.23 1236
637 스포어 호스팅 사용 중에 실수로 반복문을 잘못 돌리면 계정이 정지되나요? ㅠㅠ 이니스프리 12시간 전 15
636 가계부 프로그램 추천 부탁드립니다!2 이니스프리 2019.11.12 39
635 유튜브에 유튜버 '분류' 또는 '장르'라는 것이 존재하나요??2 이니스프리 2019.11.12 24
634 현재 신제품 구매가 가능한 배터리 탈착식 스마트폰에 어떤 것이 있을까요? 이니스프리 2019.11.10 29
633 [SSD] Micron 1100 vs Samsung 860 QVO 어떻게 생각하시는가요?5 이니스프리 2019.11.09 57
632 파이썬에서 requests.Session()에 대한 간단한 질문을 드립니다 ^^2 이니스프리 2019.11.09 32
631 리눅스에서 랜섬웨어 감염 원인이 무엇일까요?14 맛스타 2019.11.08 87
630 명함 제작 업체 추천 부탁드립니다!2 협스 2019.11.08 35
629 피규어샵 방문과 관련하여 질문 드립니다6 이니스프리 2019.11.06 57
싸이월드 미니홈피 크롤링 과정에서 swf 파일 다운로드와 관련하여 질문 드립니다 ㅠㅠ6 이니스프리 2019.11.05 125
627 갤럭시노트10+ 구매해도 괜찮을까요??2 이니스프리 2019.11.03 34
626 PC 원격접속을 위한 스마트폰 앱 추천을 부탁드립니다.14 이니스프리 2019.11.02 73
625 히어로 무비 추천 부탁드립니다!30 이니스프리 2019.10.29 151
624 크롤링한 어절 또는 문장의 유사성을 구하는 방법에 대해 질문 드립니다9 이니스프리 2019.10.26 83
623 무접점 방식의 키보드의 윤활과 관련하여 질문 드려요~! 이니스프리 2019.10.25 31
622 스마트폰 지문인식 과정에서 에러가 덜 발생하는 방법을 질문 드립니다6 이니스프리 2019.10.25 50
621 JS 반복 처리에 대한 로컬저장문제와 PHP의 Request의 비동기처리2 Hanam09 2019.10.20 55
620 VPS에서 홈서버의 네트워크 접속 이상 여부를 확인하는 방법이 있을까요?6 이니스프리 2019.10.15 84
619 크롤링 머신(미니PC) 세팅과 관련하여 질문 드립니다2 이니스프리 2019.10.14 69
618 파이썬에서 유니코드 문자열 처리와 관련하여 질문 드립니다6 이니스프리 2019.10.12 86
이전 1 2 3 4 5 6 7 8 9 10... 32다음
첨부 (0)
서버에 요청 중입니다. 잠시만 기다려 주십시오...