Extra Form
라이선스 MIT

안녕하세요?


지난 주말에 친구의 부탁으로 정부기관 사이트(gosi.kr)를 파싱해서 텔레그램 봇으로 새글알림을 하는 코드를 짜봤습니다.


텔레그램 봇과 관련해서는 매우 허접하지만 이미 작년에도 제가 스포어에 글을 올렸기 때문에


원래 작성한 코드를 조금 변형해서 PC통신이나 텍스트 기반 브라우저처럼 열람하고 싶은 게시글 번호를 입력하면 


해당 게시글의 내용을 출력해주는 것으로 수정했습니다.


해당 웹페이지는 정부기관의 공고와 관련된 것으로서 


저작권법 등 관련법률에 저촉되지 않는다고 생각되어서 코드를 올립니다.



소스는 파이썬 3.7에서 작성되었으며 


다른 스포어 회원님들께서 기본적으로 알고계실 수준의 아주 기초적인 BeautifulSoup과 정규식을 사용했습니다.


작성하고보니 파이썬이 추구하는 아름답고 간결한 코딩과는 굉장히 거리가 멀지만 

(아스날의 아름다운 축구를 보다가 이란의 침대축구를 보는 것처럼 가슴이 답답해지는군요 -_-;;;)


일단 2018년 9월 현재 기준으로 오류 없이 돌아가는 데에 의의를 두겠습니다 ㅠㅠ


1~10까지 게시글 번호를 input으로 입력받은 후 그 문자열을 정수로 바꿔서


해당 게시글을 출력하는 부분에서 여러 유형의 오류가 발생하던데요.


len 함수와 아스키코드로 최대한 걸러내긴 했는데 제가 미처 발견하지 못한 버그가 있을 수도 있겠네요 ㅜㅜ


아쉽게도 게시글 목록의 페이지 넘김과 첨부파일 다운로드는 아직 지원하지 않습니다 T.T



제가 한가지 궁금한 점이 파싱하려는 페이지가 POST 방식으로 페이지 이동을 할 때 


저는 파이어폭스 개발자도구에서 Convert form POSTs to GETs로 URL을 알아낸 후에 


숫자 네자리로 된 파라미터를 정규식으로 파싱해서 


URL과 파라미터를 조합하는 방식으로 파싱하려는 페이지에 접근했는데요. 


상당히 조잡하고 주먹구구식 방법이지만 제 수준에서는 뾰족한 방법이 없더군요 ㅠㅠ


스포어의 고수님들께서 알고계시는 더 깔끔한 방법은 없을지 여쭤봅니다 ^^


허접한 글 읽어주셔서 감사합니다!



추신: 파이참을 추천해주신 humit 님께 감사합니다 ^-^



import urllib.request
import re
from bs4 import BeautifulSoup

url = "https://www.gosi.kr/cop/bbs/selectBoardList.do?bbsId=BBSMSTR_000000000131"
response = urllib.request.urlopen(url)

soup = BeautifulSoup(response, 'html.parser')
results = soup.select("span.nobr")

a = 1
for result in results:
    print(a, "\b. ", end='')
    print(result.string)
    a+=1

links = soup.find_all('a', href=True)
link_result = []

for link in links:
    if link.get('href') == "#":
        continue
    this = link.get('href')
    this2 = re.search('\'[1-9][0-9]{3}\'', this)
    if this2:
        link_result.append(this2.group()[1:5])
    else:
        continue


order = "m"
while order != "q" and order !="Q":
    order = input("목록(l), 나가기(q) >> ")
    if order == "l" or order == "L":
        a = 1
        for result in results:
            print(a, "\b. ", end='')
            print(result.string)
            a+=1

    elif order == "q" and order !="Q":
        print ('종료합니다.\n')

    elif len(order) > 1 and order != "10":
        print ('잘못 입력하였습니다.\n')
        continue

    elif order == "10" or (ord(order) >= 48 and ord(order) <=57):
        order2 = 0 - int(order)
        codenumber = link_result[order2]

        url1 = "https://www.gosi.kr/cop/bbs/selectBoardArticle.do;jsessionid=+xTTfDIqxVVspsCsttQPVTnn.node_cybergosiwas11?bbsId=BBSMSTR_000000000131&nttId="
        url2 = "&bbsTyCode=BBST01&bbsAttrbCode=BBSA01&authFlag=Y&examgubunPosblAt=Y&anonymous=&examGubuncd=&searchCnd=0&searchWrd=&pageIndex=1"
        url3 = url1 + codenumber + url2

        response2 = urllib.request.urlopen(url3)
        soup2 = BeautifulSoup(response2, 'html.parser')
        results2 = soup2.select("div.board_con p")

        for result2 in results2:
            print(result2.text)
 
    else:
        print ('잘못 입력하였습니다.\n')
        continue


  • profile
    title: 황금 서버 (30일)humit 2018.09.15 08:01
    단순히 1부터 10까지의 숫자만 인식하길 원한다면 아래와 같은 방법도 있겠네요.

    avail_input = [str(i) for i in range(1, 11)]
    if order not in avail_input:
    print("잘못 입력하셨습니다.")
  • profile
    이니스프리 2018.09.15 08:14
    역시 humit 님 같은 고수님의 코딩은 간결하고 아름답군요! ^-^

    제가 range() 함수를 사용하려고 시도해봤는데

    str(i) 부분을 누락해서 그런지 if 문에서 제대로 작동을 안 하더군요 ㅠㅠ

    humit 님께서 str() 함수를 알려주신 덕분에 구글링해서 공부했습니다!

    주말에 시간을 내서 내장함수를 더 공부해야겠네요~

    번번이 감사합니다 ^-^

    그럼 humit 님께서도 좋은 주말 되세요~!
  • profile
    네모 2018.09.15 17:46
    이런 방법도 있습니다.

    if not order.isdigit() or 1 > int(order) or 10 < int(order):
    print("잘못 입력하셨습니다.")
  • profile
    이니스프리 2018.09.15 19:35
    역시 현직 개발자분들께선 대단하시네요!!

    저도 그 부분 코드를 짜면서 "이렇게 하는 것보다 훨씬 좋은 방법이 있을텐데"라고 생각했는데 말이죠 ㅠㅠ

    제가 고민했던 부분을 정말 간결하게 처리해주셔서 감사합니다!

    isdigit() 메소드란 것이 있었군요~

    네모 님 덕분에 덕분에 많이 배우고 갑니다!

    그럼 네모 님께서도 즐거운 주말 저녁 되세요 ^-^

    다시 한 번 감사드립니다 :)

List of Articles
번호 분류 제목 글쓴이 날짜 조회 수
38 코드 잘못 쓰면 컴퓨터가 날아가는 코드 29 제르엘 2018.07.08 1016
37 코드 매우 특이한 버그 9 title: 대한민국 국기gimmepoint 2018.06.05 720
36 내가 만든 merge sort 3 title: 대한민국 국기gimmepoint 2018.05.17 528
35 코드 내가 만든 함수 모음집 2 title: 대한민국 국기gimmepoint 2018.05.12 528
34 코드 내가 만든 사칙연산 계산기 title: 대한민국 국기gimmepoint 2018.05.11 621
33 코드 내가 만든 함수 모음집 4 title: 대한민국 국기gimmepoint 2018.05.08 520
32 코드 클라이언트단에서 이미지 리사이징 6 file 네모 2018.05.06 1154
31 코드 HEX를 RGB로, RGB를 HEX로 바꾸는 PHP 코드 1 네모 2018.05.05 672
30 코드 c 이진트리 전,중,후위 알고리즘 2 title: 대한민국 국기gimmepoint 2018.04.24 642
29 코드 html 초보가 만든 자소서 4 title: 대한민국 국기gimmepoint 2018.04.21 730
28 코드 Hello, World!를 출력해보자 18 네모 2018.04.21 661
27 코드 아주 간단한 기초 C++ 6 제르엘 2018.04.21 567
26 코드 미완성 받아쓰기 (C) title: 대한민국 국기gimmepoint 2018.04.20 565
25 코드 Cmd 에서 서비스 시작 / 종료하기 1 ProjectSE 2018.02.18 691
24 코드 CMD로 로컬 연결 고정 IP 설정하기 1 title: 황금 서버 (30일)humit 2018.02.06 1092
23 코드 컴퓨터의 uuid 얻기 5 title: 황금 서버 (30일)humit 2018.01.28 1220
22 코드 유튜브에 약간의 기능을 추가 해주는 크롬 확장 프로그램. 11 file Hanam09 2018.01.26 1076
21 코드 사이트 서버 이전 (또는 미러링 사이트 구축) 쉽게하는 스크립트 1 NoYeah 2018.01.14 1027
20 코드 새 글 자동 댓글 스크립트 (AutoHotkey) 9 이니스프리 2017.11.26 3561
19 코드 파이썬을 이용한 텔레그램 새 글 알림 (허접합니다) 4 이니스프리 2017.11.19 2516
Board Pagination Prev 1 2 3 4 Next
/ 4