- 질문 게시판입니다.
Date 18/02/12 21:39:55
Name   호라타래
File #1   크롤링_코드_1.PNG (71.6 KB), Download : 44
File #2   크롤링_코드_2.PNG (80.8 KB), Download : 40
Subject   웹사이트 분석 / 크롤링 관련 질문 있습니닷




http://www.genie.co.kr/detail/songInfo?xgnm=87759645

파이썬을 이용해서 노래 관련된 정보들을 크롤링/분석하려고 해요.

이미지에 나와있듯이

for문을 이용해서 8~9천만개 정도 존재하는 songInfo 페이지를 하나씩 긁어들이게 만들었는데, 이 중 상당수는 빈페이지입니다.

지금과 같은 코드는 시간도 오래 걸리고, 비효율적이라 개선 방안을 고민하는 중이에요.

1) 셀레니움을 이용하지 않아도 Alert 창을 컨트롤 할 수 있나요?

http://www.genie.co.kr/detail/songInfo?xgnm=1

페이지를 눌러보면 보이듯이 Alert창이 뜨기 때문에, 셀레니움을 이용해서 컨트롤을 해주고 있어요. 근데 속도가 상당히 느리더라고요. BeautifulSoup만 써서 정적 스크래핑을 하면 속도가 개선될 듯한데, Alert를 처리할 수 있는 방법이 있을까요? Ajax인지 아닌지도 모르겠네요 ㅋㅋㅋㅋㅋㅋ

2) 지금 코드를 효율화 할 수 있는 방법이 있을까요?

향후 전처리를 염두에 두고 코드를 짜기는 했는데, 이게 효율적인지 아닌지도 감이 안 잡히네요.

3) 구글 크롬 개발자 도구 외에 사이트 구조를 분석할 수 있는 방법이 있을까요?

비어있지 않은 songInfo 페이지를 사전에 파악한 후, 인덱스를 부여해서 for문을 돌리면 훨씬 효율적이지 않을까 싶은데, 구글 크롬 개발자 도구로는 파악을 못하겠습니당

조언 부탁드립니다ㅠㅠ 영어 사이트여도 활용 가능하니 힌트/키워드라도 얻을 수 있다면 흑흑...

맞다. 제 작업 환경은 램 4G, CPU 2.93Ghz, winddow7, Anaconda3(32bit) - Jupyter notebook - Python 3.6입니다. 설날 전까지는 이 환경에서 작업을 해야 해요. 코드 정리되고 나면 프롬프트 창에서 파이썬을 돌리려고요 8ㅅ8



0


목록
번호 제목 이름 날짜 조회 추천
13701 법률아파트 분양 시 법무법인은 어떻게 수익을 얻나요? 3 아재 22/07/31 8132 0
11748 진로코스트코 취업 질문입니다. 부탁드려요 6 [익명] 21/06/20 8131 0
4384 진로교육행정직 현직분 계신가요? 2 [익명] 18/04/01 8127 0
12637 연애게임하는 남자친구 때문에 고민입니다 26 [익명] 21/12/02 8124 0
192 IT/컴퓨터VGA 적정온도와 팬속도가 어떻게 되나요? 4 Raute 15/07/26 8117 0
13263 연애(성적 묘사 주의) 몽정 관련된 질문이 있습니다 ㅠㅠ 18 [익명] 22/04/18 8116 0
13210 의료/건강성적 상상력이 혐오스러울 정도로 뛰어나서 괴롭습니다 44 [익명] 22/04/04 8115 0
4146 연애지나간 인연이 자꾸 떠오르면 어떻게 해야하죠 15 [익명] 18/02/11 8115 0
11905 IT/컴퓨터공용 와이파이 접속은 현실적으로 정말 위험한가요? 10 조선전자오락단 21/07/16 8113 0
9743 기타드셔보신 음주전 숙취해소제 중 가장 잘 듣는게 뭐였나요? 27 ebling mis 20/07/10 8113 0
2325 기타휴대용 가스렌지(부르스타) 추천 받습니다 :) 5 별빛 17/02/15 8107 0
12740 의료/건강발을 다쳤을 때 할 수 있는 유산소 운동은? 6 로냐프 21/12/25 8106 0
7570 IT/컴퓨터공부용으로 아이패드 사는 것 어떨까요? 24 천안무쇠다리 19/08/01 8106 0
2142 의료/건강간수치를 어떻게 낮춰야 할까요? 11 와인하우스 17/01/20 8104 0
4154 IT/컴퓨터웹사이트 분석 / 크롤링 관련 질문 있습니닷 22 호라타래 18/02/12 8100 0
9606 기타러브홀릭 같은 스타일의 노래 없을까요? 24 swear 20/06/17 8099 1
10402 진로일이 많은 일복은 좋은 것일까요? 16 [익명] 20/11/06 8089 0
4896 의료/건강왼쪽옆구리 복통이 지속될시 어디로가야하나요 7 장자 18/06/25 8089 0
1845 의료/건강쌍방 폭행 진단서 질문인데요. 5 tannenbaum 16/11/30 8089 0
13303 IT/컴퓨터해상도/크기 다른 듀얼모니터 사용 7 여우아빠 22/04/28 8080 0
11430 가정/육아인천에 어르신 모시고 쉬어갈만한 곳이 있을까요 14 토비 21/04/26 8078 0
768 기타대출이자를 연체중입니다. 12 안녕하셈 16/01/25 8075 0
5521 IT/컴퓨터컴퓨터 스피커(드라이버?) 관련 질문드립니다. 8 [익명] 18/09/27 8073 0
4974 진로MBTI 성격유형(INTP) 16 [익명] 18/07/05 8073 0
272 연애이런 상황에서 제가 실수한 걸까요? 27 줄리아 15/09/05 8072 0
목록

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글