안녕하세요! 이전 포스팅에서 bs4를 이용한 정적 크롤링을 포스팅했습니다. 하지만 데이터 수집을 하면서 느낀 점은 다양한 데이터를 수집하는데 한계가 있고 페이지가 동작하여 동적으로 여러 곳에서 데이터를 받아오기 위해 셀레니움을 실습해보려고 합니다. 개발 환경 Language: python 3.9.4 IDE: PyCharm community Library: selenium 실습하기에 앞서 라이브러리를 먼저 설치해주겠습니다. pip install selenium 셀레니움을 통한 동적 크롤링을 실습하기 전에 동적 크롤링이 무엇인지 간단하게 알아보기 동적 크롤링은 동적인 데이터를 수집하는 방법을 말합니다. - 동적인 데이터는 입력, 클릭, 로그인 같이 페이지 이동이 있어야 보이는 데이터를 의미합니다. - 정적 ..

안녕하세요! 전국의 카페 정보(카페 이미지, 카페 이름, 카페 주소, 카페 메뉴 등)를 얻기 위해서 크롤링을 하다가 정적 크롤링으로 데이터 수집을 시도했습니다. 데이터를 수집하는데 한계를 느껴 셀레니움을 통한 동적 크롤링을 사용했습니다. 이번 시간에는 bs4를 이용한 정적 크롤링을 실습해보도록 하겠습니다. 우선 정적 크롤링이 무엇인지 알아야겠죠? 개발 환경 Language: python 3.9.4 IDE: PyCharm community Library: bs4 (BeatifulSoup) 라이브러리를 먼저 설치하겠습니다. pip install bs4 https://jaaamj.tistory.com/101 크롤링 종류(정적 VS 동적) 크롤링이란? 크롤링(crawling) 또는 스크레이핑(scraping) ..

최근에 파이썬을 다룰 일이 많이 없었는데 이번에 셀레니움으로 동적 크롤링을 공부하다가 파이썬 처음 입문했을 때 requests와 bs4로 처음 만들었던 코드를 찾아 학사 홈페이지에서 강의목록을 스크래핑하여 보여주는 것도 좋겠다 싶어서 오늘은 간단한 포스팅을 하려고 합니다. 세세한 내용은 Django 카테고리에서 다루려고 합니다. 실습 환경 OS: window 10 Language: python 3.9 IDE: visual studio code 라이브러리 설치 pip install requests pip install bs4 import requests from bs4 import BeautifulSoup login_info = { 'username': 'id', 'password': 'password',..