Home
✔ 뷰어로 보기
코드
2020.05.15 20:24

[Python/Telegram] Studyforus 알림봇 (댓글, 스티커 파싱)

이니스프리
조회 수 996 추천 수 1 댓글 7
?

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
?

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
Extra Form
라이선스 기타(따로 작성)

안녕하세요?

 

한 주 동안 다들 고생 많으셨네요~!

 

마스터 님의 허락을 받고 Studyforus 텔레그램 알림봇을 만들었어요 :)

 

필요로 하시는 분이 얼마나 계실지 모르겠지만요 ㄷㄷ

 

 

 

1. 스포어 알림 봇

 

내 알림 목록을 파싱하여 텔레그램으로 전송하는 스크립트입니다.

 

이 스크립트를 리눅스 크론이나 윈도우 작업스케줄러에 넣고 주기적으로 돌리면 되구요.

 

 

다음과 같은 특징이 있네요~!

 

1. 긴 댓글의 경우 내 알림 목록에서 짤리기 때문에 댓글 원문을 퍼옵니다.

 

2. 스티커의 경우 스티커를 다운받아서 텔레그램으로 전송하구요.

(다만 텔레그램에서 움짤을 지원하지 않아서 마치 JPG처럼 보입니다 ㅠㅠ)

 

3. 댓글 원문을 퍼오거나, 스티커를 다운받더라도 알림을 읽지 않은 상태를 유지합니다 ^^

 

 

?
sfu_tlgr.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
from requests_html import HTMLSession
from bs4 import BeautifulSoup
import telegram, time
 
 
## 스포어에 로그인을 합니다. ##
def login(): 
    s = HTMLSession()
    s.get('https://studyforus.com')
    headers = {
        'origin': 'https://studyforus.com',
        'referer': 'https://studyforus.com'
    }
    formdata = {
        'error_return_url': '/',
        'mid': 'main',
        'vid': '',
        'ruleset': '@login',
        'act': 'procMemberLogin',
        'success_return_url': '/',
        'user_id': '***ID를 입력하세요***',
        'password': '***PW를 입력하세요***',
    }
    s.post('https://studyforus.com', headers = headers, data = formdata)
    return s
 
 
## 내 알림 목록을 크롤링합니다. ##
def parse(s):
    count = 0
    for i in range(1, 11):
        html = s.get('https://studyforus.com/index.php?mid=main&act=dispNcenterliteNotifyList&page=' + str(i)).text
        soup = BeautifulSoup(html, 'html5lib')
        trees = soup.find('table', {'class':'cl table table-striped table-hover'}).find('tbody').select('tr')
        result = []
        for t in trees:
            if t.select('td')[3].text.strip() == '읽음':
                count = 1
                break
            href = t.select('td')[2].find('a')['href']
            url = 'https://studyforus.com' + href
            msg = t.select('td')[2].text
            filename = ''
 
            if msg.endswith('..."라고 댓글을 남겼습니다.'): # 댓글의 경우 댓글 원문을 크롤링합니다.
                s2 = HTMLSession()
                html = s2.get(url).text
                soup = BeautifulSoup(html, 'html5lib')
                temp = soup.find('article', {'id': href.split('#')[-1]}).find('div', {'class':'cmt_body'}).find('div').text
                alarm = msg.split('"')[0] + '"' + temp + '"' + msg.split('"')[-1]
                time.sleep(0.5)
            elif '"{@sticker:' in msg: # 스티커의 경우 이미지를 다운받습니다.
                alarm = t.select('td')[2].text
                s2 = HTMLSession()
                html = s2.get(url).text
                soup = BeautifulSoup(html, 'html5lib')
                url = soup.find('article', {'id': href.split('#')[-1]}).find('div', {'class':'cmt_body'}).find('a')['style'].split('(')[1].split(')')[0][1:]
                rsp = s2.get('https://studyforus.com/' + url)
                filename = url.split('/')[-1]
                if rsp.status_code == 200:
                    with open(filename, 'wb') as f:
                        f.write(rsp.content)
            else: # 이외의 경우에는 알림 자체를 파싱합니다.
                alarm = t.select('td')[2].text
 
            if filename == '':
                result.append([alarm, url, 'no_image'])
            else:
                result.append([alarm, url, filename])
        if count == 1:
            break
        time.sleep(0.5)
    return result
 
 
## 텔레그램으로 전송합니다. ##
def telegram_bot(result):
    token = '***토큰을 입력하세요***'
    bot = telegram.Bot(token)
    try:
        chat_id = bot.getUpdates()[-1].message.chat.id
    except:
        chat_id = '***chat_id를 입력하세요***'
    try: # 로그 파일을 확인하여 한 번 알림이 오면 다시 알림이 오지 않도록 처리합니다.
        lines = [line.rstrip('\n') for line in open('sfu_tlgr.log', 'rt', encoding='utf8')]
    except: # 파일이 존재하지 않는 경우를 예외처리합니다.
        lines = ['노데이터']
    for r in result:
        if r[0] in lines:
            continue
        msg = '<a href="' + r[1] + '">' + r[0] + '</a>'
        bot.sendMessage(chat_id=chat_id, text=msg, parse_mode=telegram.ParseMode.HTML)
        if r[2] != 'no_image':
            bot.send_photo(chat_id, open(r[2], 'rb'))
    temp = [x[0] for x in result]
    with open('sfu_tlgr.log', 'wt', encoding='utf8') as f:
        f.write('\n'.join(temp))
    return
 
 
if __name__ == '__main__':
    session = login()
    alarms = parse(session)
    telegram_bot(alarms)

 

 

 

2. 봇 핸들러

 

만약 크론탭에서 지정한 시간이 되기 전에 다시 알림을 불러오고 싶다면 아래 스크립트를 이용하시면 됩니다 :)

 

텔레그램에서 '/get'이라고 입력하면 다시 크롤링을 합니다!

 

?
sfu_tlgr_server.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
from telegram.ext import Updater, CommandHandler, CallbackQueryHandler
import telegram
import sfu_tlgr as sfu
 
 
def get_command(bot, update):
    session = sfu.login()
    alarms = sfu.parse(session)
    sfu.telegram_bot(alarms)
    return
 
 
def server():
    token = '***토큰을 입력합니다***'
    updater = Updater(token, use_context=True)
    get_handler = CommandHandler('get', get_command)
    updater.dispatcher.add_handler(get_handler)
    updater.start_polling(timeout=1, clean=True)
    updater.idle()
    return
 
 
if __name__ == '__main__':
    server()

 

 

 

3. 테스트 결과

 

현재까지 제가 테스트한 바로는 잘 작동하네요~!

 

네모 님에 대한 오마주로서 봇 이름은 샤로라고 했네요 ㄷㄷ

 

 

1. 스티커도 잘 파싱되네요 :)

 

Screenshot_20200515-195417_Telegram.jpg

 

 

 

2. 댓글의 경우 원문 전체를 퍼옵니다!

 

Screenshot_20200515-195437_Telegram.jpg

 

 

 

3. 메시지를 클릭하면 브라우저에서 해당 페이지로 바로 연결됩니다 ^^

 

Screenshot_20200515-195626_Telegram.jpg

 

 

 

추가할 만한 기능이 있으면 댓글로 말씀해주세요 :)

 

마스터 님께 그동안 여러모로 신세를 져서 항상 빚을 지고 있다는 생각이 들었는데...

 

비록 허접한 스크립트이지만 이걸로 조금이나마 마음의 빚을 갚는 기분이네요!

(물론 이 스크립트를 실제로 사용하실 분은 안 계시겠지만요 ㅜㅜ)

 

그럼 다들 좋은 주말 되세요 ^-^

 

Who's 이니스프리

profile

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

Facebook Twitter Google Pinterest
위로 아래로 댓글로 가기 인쇄 첨부
에디터 선택하기
?
Comments '7'
List of Articles
번호 분류 제목 글쓴이 날짜 조회 수
78 자료 AdBlock 접근 방지 애드온 v0.1 3 file 네모 2017.10.05 885
77 자료 AdminLTE용 에디터 스타일 4 file title: 은메달도다 2017.07.07 1021
76 코드 AWSCLI, in a single file (portable, linux) 1 file Seia 2021.04.10 472
75 코드 c 이진트리 전,중,후위 알고리즘 2 title: 대한민국 국기gimmepoint 2018.04.24 892
74 코드 Cmd 에서 서비스 시작 / 종료하기 1 ProjectSE 2018.02.18 798
73 코드 CMD로 로컬 연결 고정 IP 설정하기 1 title: 황금 서버 (30일)humit 2018.02.06 1196
72 코드 C언어 삼중자를 이용한 코드 title: 황금 서버 (30일)humit 2018.07.22 597
71 자료 even_move - 감성적인 에러 페이지 7 file title: 열려라 맛스타의 자물쇠TVJ 2017.08.08 1070
70 자료 Gentelella 3 file NoYeah 2017.06.29 1161
69 자료 Gentelella 레이아웃에 사용가능한 가격 테이블 위젯입니다. 3 file NoYeah 2017.07.03 852
68 코드 Git 저장소에서 자동으로 받아 업데이트하는 쉘 스크립트 5 NoYeah 2017.09.16 967
67 코드 Hello, World!를 출력해보자 18 네모 2018.04.21 834
66 코드 HEX를 RGB로, RGB를 HEX로 바꾸는 PHP 코드 1 네모 2018.05.05 871
65 코드 html 초보가 만든 자소서 4 title: 대한민국 국기gimmepoint 2018.04.21 902
64 코드 JavaScript에서 파이썬 문자열 처리 함수 중 하나 (바인딩)를 구현 7 Seia 2020.01.20 710
63 코드 Koa에서 자동으로 라우팅 채워주기 Seia 2020.01.22 879
62 자료 RBGE - 이쁘고 깔끔한 에러페이지 4 file title: 열려라 맛스타의 자물쇠TVJ 2017.08.08 886
61 자료 [1.8a] Bootstrap 'Panel' 위젯 스타일 1 file title: 은메달도다 2017.08.09 784
60 자료 [Autohotkey] 매분 정각에 전체화면을 캡쳐하는 스크립트 4 file 이니스프리 2020.05.22 1449
59 자료 [Bootstrap] xeACE 레이아웃 3 title: 은메달도다 2017.09.17 896
쓰기
Board Pagination Prev 1 2 3 4 Next
/ 4