'멜론차트#파이썬 웹크롤링#파이썬#웹크롤링#BeautifulSoup4#빅데이터'에 해당되는 글 1건

  1. 2020.04.12 파이썬 멜론차트 웹크롤링 1-50위
파이썬2020. 4. 12. 22:17

BeautifulSoup를 이용한 멜론차트 웹크롤링입니다.

 

request를 이용해 html 태그를 전체 불러오고 헤더정보를 입력해줌.

 

멜론차트에서 크롬 개발자도구 F12를 누른후 확인한 태그 정보
멜론차트에서 크롬 개발자도구 F12를 누른후 확인한 태그 정보

 

노래제목은 ellipsis rank01  태그의 <a> 에 저장되어있고

가수이름은 ellipsis rank02 태그에 <a>  에 저장되어있음.

노래제목 정보와 가수정보가 적힌 태그들을 전부 가져옴
rank01 과 rank02에 저장된 정보를 a에 저장된 text만 뽑아옴

 

결과를 출력하는 코드

-실행결과

 

 

 

전체소스코드

import requests
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko'}
response = requests.get('https://www.melon.com/chart/index.htm',headers=header) #멜론차트는 헤더정보를 입력해줘야함
 

html = response.text

from bs4 import BeautifulSoup    #BeautifulSoup import
soup = BeautifulSoup(html, 'html.parser')    #html.parser를 사용해서 soup에 넣겠다

title = soup.find_all("div",{"class":"ellipsis rank01"})  #노래제목

singer = soup.find_all("div",{"class":"ellipsis rank02"}) #가수


real_title = []
real_singer = []

for i in title:
    real_title.append(i.find('a').text)

for j in singer:
    real_singer.append(j.find('a').text)
    


rank = 50
for r in range(rank):
    print( '%2d위 : %s  -  %s'%(r+1, real_singer[r],real_title[r]))

 

 

 

Posted by 민초.