• 목록
  • 아래로
  • 위로

안녕하세요? 주말 잘 보내고 계시는지요?


파이썬 3.X에서 유니코드 문자열의 처리와 관련하여 질문 드립니다 ^^



https://www.apt2you.com/houseSaleSimpleInfo.do


Selenium을 이용하여 이 사이트를 크롤링하는 스크립트를 작성했는데요.



html = driver.page_source

soup = BeautifulSoup(html, 'html.parser')

names = soup.find_all('a', {'href':'#laySale'})



일단 이런 방식으로 해서 크롤링을 하고



names = [name.text.strip() for name in names]



이렇게 문자열 처리를 한 후에 다시 names 리스트에 넣어서 리스트를 출력하면 캡쳐화면처럼 유니코드 3000 문자가 포함되어 있네요.



반면 for name in names로 print(name)을 하면 유니코드가 두 칸의 공백의 형태로 보이네요.



제가 궁금한 점은 다음과 같습니다.


1. 리스트 자체를 출력하는 것과 리스트의 원소를 출력하는 것에 차이가 발생하는 이유는 무엇인가요?


2. replace 메소드를 이용하여 u'u3000'을 ' '로 바꾸거나, 두 칸의 공백 '  '을 한 칸의 공백 ' '으로 바꾸는 것이 잘 안 되네요 ㅠㅠ


파이썬 3.X에서는 유니코드가 자동 변환이 되기 때문에 


name.replace('\u3000', ' ') 또는 name.replace('\\u3000', ' ')가 먹힐 것 같은데 


아무리 시도해봐도 바뀌는 것이 없이 그대로 출력되네요 ㅜㅜ



기초적인 질문 같은데 해결책을 찾지 못하고 있네요 ㅠㅠ


그럼 즐거운 주말 되시고, 답변해주실 분께 미리 감사드립니다!

작성자
이니스프리 119 Lv. (0%) 1921910/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 6

title: 황금 서버 (30일)humit
profile image

name.replace('\u3000', ' ') 로 하면 동작할텐데요..??

 

from bs4 import BeautifulSoup

import requests

 

url='https://www.apt2you.com/houseSaleSimpleInfo.do'

html = requests.get(url).content

soup=BeautifulSoup(html, 'html.parser')

names = soup.find_all('a', href='#laySale')

names = [name.text.strip().replace('\u3000', ' ') for name in names]

 

print(names)

comment menu
2019.10.13. 00:04

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

허걱 ㅠㅠ 잘 되네요! 바쁘신데 리플 달아주셔서 감사합니다 ^^

for 문으로 따로 돌려서 replace할 때에는 안 되었는데

댓글에 올려주신대로 리스트 컴프리헨션으로 처리하니깐 잘 되네요 ㄷㄷ

아마도 제가 어느 부분에선가 실수한 것 같네요 ㅠㅠ

 

혹시 replace하기 이전 상태에서 리스트 자체를 출력하면 \u3000이 그대로 보이고

for name in names로 print(name)을 출력하면 두 칸 공백으로 보이는 것의 차이는 어떠한 이유로 발생하는 것인지 여쭤봐도 될까요?

그럼 편안한 주말 되시고 새벽 날씨가 쌀쌀한데 감기 조심하세요!

항상 감사드립니다 ^-^



for 문으로 출력한 결과




리스트 자체를 출력한 결과

comment menu
2019.10.13. 00:34

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

title: 황금 서버 (30일)humit → 이니스프리
profile image

replace의 경우에 문자열을 직접 수정하는 것이 아니라서 대입하는 과정이 있어야 합니다. 아마 그냥 replace 함수로만 사용하셔서 그랬던 것 같네요.

comment menu
2019.10.13. 00:42

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

앗 감사합니다! 생각해보니 말씀해주신 그 부분을 실수했네요 ^^

제가 8월 이후로 계속 바쁘게 지내서 오래간만에 코딩을 하다보니 많이 잊어버렸네요 ㅠㅠ

혹시 제가 캡쳐한 1번과 2번의 차이는 무엇 때문일까요?

 

반복문에서는 print 함수가 반복하여 실행되어 반복될 때마다 별도의 행에 출력되고,

리스트 자체를 출력하면 대괄호 안에 따옴표로 원소를 표시하는 것까지는 이해를 했는데요.

유니코드 자체를 출력하는지 여부가 달라지는 이유가 이해가 안 되어서요 ㅜㅜ

아주 기본적인 내용일 것 같은데 계속 생각을 하고 구글링을 해봐도 어떤 이유 때문인지 모르겠네요 ㅠㅠ

 

1.

url='https://www.apt2you.com/houseSaleSimpleInfo.do'

html = requests.get(url).content

soup=BeautifulSoup(html, 'html.parser')

names = soup.find_all('a', href='#laySale')

names = [name.text.strip() for name in names]

for name in names:

    print(name)

 

2.

url='https://www.apt2you.com/houseSaleSimpleInfo.do'

html = requests.get(url).content

soup=BeautifulSoup(html, 'html.parser')

names = soup.find_all('a', href='#laySale')

names = [name.text.strip() for name in names]

print(names)

comment menu
2019.10.13. 01:05

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

title: 황금 서버 (30일)humit → 이니스프리
profile image

바뻐서 완전한 답변을 드리지는 못하지만 간략하게 설명하면 print를 할 때 동작 방식이 약간 차이가 있어서 그렇습니다.

 

문자열의 경우에는 str를 활용해서 출력하는 반면 리스트의 경우에는 repr를 통해서 출력을 하게 되며 이 때 각 원소들도 repr를 활용해서 출력이 되게 됩니다.

 

그래서 print('\u3000') 과 repr('\u3000')을 각각 실행해보시면 첫 번째 경우에는 공백이 출력이 되지만 두 번째의 경우에는 '\\u3000'이 출력됩니다.

 

CPython의 C로 작성된 코드를 보시면 이해가 되실 수도 있겠네요.

comment menu
2019.10.13. 15:32

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image
+1

바쁘신데 댓글 달아주셔서 정말 감사합니다!

제가 C 언어를 배운지 너무 오래되어 차마 C로 작성된 코드를 볼 엄두가 나지는 않고

말씀해주신 __repr__과 __str__의 차이에 대해 구글링하여 어렴풋하게나마 이해했습니다 ^^

왜 이런 차이를 두었는지에 대해서 이해하려면 제가 아직 공부가 더 필요할 것 같은데

여튼 앞으로 스크립트를 작성할 때 이러한 부분까지 신경을 써서 작성해야겠네요~

그럼 humit 님께서도 저녁식사 맛있게 드시고 바쁘시겠지만 남은 주말 뜻깊게 보내세요!

다시 한 번 감사드립니다 :)

comment menu
2019.10.13. 17:23

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 801
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 4471
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4475
925 계속 사용중이던 네트워크 공유 폴더가 갑자기 액세스 불가라고 뜹니다. 6 image 장윤서 18.06.07.16:55 34343
924 팀뷰어 대체할 원격 제어 프로그램 추천 부탁드립니다 16 이니스프리 17.11.30.15:38 32326
923 엑셀 그래프의 축 간격 조절 문제입니다. 2 image 국내산라이츄 17.08.10.11:06 12496
922 아이폰/아이패드 충전기 발열 관련 질문 드립니다 9 image 이니스프리 19.05.02.22:52 11115
921 PyQt 실행시 프리징 현상 관련하여 질문 드립니다! ㅠㅠ 3 이니스프리 19.07.06.03:37 6714
920 에러 523 해결법 4 입체그림 20.02.21.16:48 6706
919 프린터가 지 맘대로 프린트를 하네요. 3 곰도리푸 18.04.04.18:20 6065
918 윈도우용 메일 클라이언트가 필요합니다. 9 네모 18.01.11.20:15 5867
917 크롬에서 특정 사이트 접속 문제 관련하여 질문 드립니다 9 이니스프리 17.03.27.18:03 5325
916 오라클 클라우드 프리티어 가입이 안 되네요 ㅠㅠ 20 이니스프리 20.06.26.21:31 4844
915 파이썬 에디터로 어떤 것이 좋나요? 14 NoYeah 20.01.08.21:08 4534
914 라떼판다와 라즈베리 파이 중 어느 쪽을 사는 게 나을까요? 9 제르엘 18.10.14.19:25 3836
913 나무 위키의 수익구조는 무엇일까요? 2 NoYeah 18.03.18.15:56 3836
912 파티션 복구 프로그램 TestDisk 잘 아시는 분 계시나요? 29 이니스프리 17.11.10.14:53 3748
911 IE11에서 이미지가 깨지는 현상을 해결할 수 있을까요? 2 이니스프리 19.08.02.00:01 3705
910 파일질라로 연결하니까 보안되지 않은 서버입니다. TLS를 통한 FTP를 지원하지 않습니다. 이렇게떠요 해결방안좀 1 마카오 16.09.11.00:57 3657
909 자바스크립트 FormData와 관련된 메서드의 IE 호환성과 관련하여 질문 드립니다 ^^ 6 image 이니스프리 19.08.05.14:22 3433
908 선택약정 안 되는 중고폰의 경우에는 어떤 단점이 있는 것인가요?? 6 이니스프리 20.01.21.14:30 3103
907 [Requests] multipart/form-data의 전송에 대해 질문 드립니다 ^^ 4 이니스프리 19.12.18.22:00 2994
906 집에서 시놀로지 NAS로 워드프레스나 미디어위키 돌리면 느릴까요? 10 이니스프리 17.01.16.20:56 2983