목록웹 크롤링 (4)

서비스 기획자의 성장기록

[웹크롤링] 유용한 스크립트 모음

더보기 목차 01. 필요한 모듈 import 02. 로봇이 아님 (User-agent 값) 03. 페이지 하단까지 스크롤 1. 필요한 모듈 import 하기 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup import time from bs4 import BeautifulSoup from..
웹 크롤링/데이터 수집 (Python) 2023. 11. 2. 18:15
[웹크롤링/데이터 수집] 네이버 웹툰에서 요일별 웹툰 목록 가져오기

네이버 웹툰 페이지 (https://comic.naver.com/index) 스크립트 import requests from bs4 import BeautifulSoup import time # 컨텐츠 생성될때까지 sleep() from selenium.webdriver.chrome.service import Service from selenium.webdriver import Chrome, ChromeOptions from webdriver_manager.chrome import ChromeDriverManager # 크롬 웹브라우저 자동 실행 driver = Chrome(service=Service(ChromeDriverManager().install()), options=ChromeOptions())..
웹 크롤링/데이터 수집 (Python) 2023. 11. 2. 17:34
[웹 크롤링/데이터수집] 언론사별 랭킹 뉴스 추출하기

네이버 뉴스 (news.naver.com) 랭킹에서 언론사 별 Top 5 랭킹 뉴스의 헤드라인을 가져오겠습니다. 스크립트: import requests from bs4 import BeautifulSoup url = 'https://news.naver.com/main/ranking/popularDay.naver' headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'} res = requests.get(url, headers=headers) soup = BeautifulSoup(res.text, 'lxml..
웹 크롤링/데이터 수집 (Python) 2023. 11. 2. 10:22
[웹 크롤링/데이터 수집] Request 모듈로 원하는 데이터 불러오기

웹에서 원하는 데이터를 추출하기 위해서는 일단 웹 페이지의 정보를 불러와야한다. 이때 사용되는 패키지가 requests 모듈의 get() 함수이다. 1. 기본 형식 - url: 데이터를 가지고 오고 싶은 웹의 url - params: Query string을 전달하는 변수 구글에서 python을 검색하면 해당 url은 google.com/search?q=python 로 표기된다. 이 때 ? 뒤에 들어가는 q=python 형식의 문자열이 query string에 해당한다. 이를 params 객체로 전달할 때는 {"q":"python"} 과 같이 딕셔너리 형태로 전달한다. - **kwargs: 그 외의 매개변수를 전달하는 값; 요청 메세지에서 header에 포함되는 값 2. 실습 네이버 검색엔진에서 'pyt..
웹 크롤링/데이터 수집 (Python) 2023. 10. 31. 19:01
이전 Prev 1 Next 다음