꾸숑의 IT 월드

파이썬 웹 크롤링을 할때 매번 인터넷 브라우저 뜨면 코딩하는 입장에서 불편할 때가 있다. 이때 인터넷 브라우저를 잠시 뜨지 않게 하는 방법이 있다. 지금부터 그 방법을 알아보자. 일반적으로 웹 크롤링을 하는 코드이다. 위의 파이썬 파일을 실행 시키면 좌측에 인터넷 브라우저가 뜨면서 코딩 화면을 가리기 때문에 화면에서 무슨일이 일어나고 있는지 알 수 없어 불편한 측면이 있다. 이때 Options를 이용하면 인터넷 브라우저가 뜨는 것을 막고 화면에서 일어나는 상황을 볼 수 있게 해 준다. from selenium.webdriver.chrome.options import Options 로 chrome.options 에서 Options 라이브러리를 불러 온다. 또 options = webdriver.Chrome..

이번에는 파이썬 웹크롤링 방법2 시간으로 방법1과는 좀 다른 방식을 소개하겠다. 아직 '파이썬 웹 크롤링 방법 1'을 보지 않은 분들은 한번 읽어보고 와 주시기 바란다. 방법1이 추출한 이미지를 한장씩 따로 따로 저장하는 방법이라면 방법2는 추출한 이미지 전체의 주소 링크를 저장하고 이미지 추출이 끝나면 한꺼번에 이미지를 다운 받는 형식이다. 이미지를 다운 받기 위한 selenium 과 크롬 드라이버등은 이미 설치가 되어 있는 것으로 간주하고 시작하겠다. 아직 selenium 과 크롬 드라이버가 설치가 되지 않은 분은 '파이썬 웹 크롤링 방법 1'의 앞부분을 보고 설치해 주기 바란다. 1. 구글 검색창의 CSS 선택자 복사하기 import urllib.request import time from sele..

파이썬으로 웹 크롤링 하는 방법들은 많이 알려져 있는데 그 방법들이 중구난방이라 그 방법들을 따라 해서 이미지를 다운 받는 것이 쉽지만은 않다. 이번 시간에는 웹 크롤링하는 방법들을 단계별로 나누어서 처음 웹 크롤링을 하는 사람이라도 쉽게 따라 할 수 있도록 설명해 보겠다. 일단 컴퓨터에 최신 버전의 파이썬 프로그램이 설치되어 있고 vs code를 사용할 수 있는 환경이라고 가정한다. 두 프로그램이 설치되어 있지 않다면 설치하고 시작하기 바란다. 1.파이썬 웹 크롤링 파일 만들기 탐색기에 파이썬 웹 크롤링 파일을 저장할 폴더를 하나 만든다. 그리고 vs code 상단 메뉴바에서 '파일' -> '폴더 열기'를 선택하고 그 안에 파이썬 파일을 하나 만든다. 2. selenium 설치 selenium은 웹을 ..