크롤링 기초 - urlopen 함수

728x90

# urlopen 함수 기초 사용법
import urllib.request as req #
from urllib.error import URLError, HTTPError # 예외처리 위해 가져오기

# 다운로드 경로 및 파일명

path_list = ["D:/test/test1.jpg", "D:/test/index.html"]

# 다운로드 리소스 url
target_url =["https://search.pstatic.net/common/?src=http%3A%2F%2Fpost.phinf.naver.net%2FMjAyMDAzMjRfODgg%2FMDAxNTg1MDQ4MDU1Mjcz.LRS_hM6gnaQyqRX9dSe-ngoIK7-GyAQll_myvbE_2bcg.iucaFGlXky1kuJmnqaHaZgjmAlhFbx1BsEL147spE3og.JPEG%2FIO3lgU5bq42HdMueuhht3T-ov40E.jpg&type=sc960_832","https://google.com"]

for i, url in enumerate(target_url):
    # 예외 처리
    try:
        # 웹 수신 정보 읽기
        response = req.urlopen(url)
        
        # 수신 내용
        contents = response.read()
        
        print("--------------------------------------------------------")
        
        #상태 정보 중간 확인
        print("Header info-{} : {}".format(i, response.info()))
        print("HTTP Status Code: {}".format(response.getcode()))
        print('--------------------------------------------------------')
        
        
        with open(path_list[i], 'wb')as c:
            c.write(contents)
        
        
        
        
    except HTTPError as e:
        print("Download failed")
        print("HTTPError Code : ",e.code) # 코드
    except URLError as e:
        print("Download failed")
        print("URLError Reason : ", e.reason) # .reason 이유
    else: # 성공시
        print()
        print("Download Succeed.")