안녕하세요! 이전 포스팅에서 bs4를 이용한 정적 크롤링을 포스팅했습니다. 하지만 데이터 수집을 하면서 느낀 점은 다양한 데이터를 수집하는데 한계가 있고 페이지가 동작하여 동적으로 여러 곳에서 데이터를 받아오기 위해 셀레니움을 실습해보려고 합니다. 개발 환경 Language: python 3.9.4 IDE: PyCharm community Library: selenium 실습하기에 앞서 라이브러리를 먼저 설치해주겠습니다. pip install selenium 셀레니움을 통한 동적 크롤링을 실습하기 전에 동적 크롤링이 무엇인지 간단하게 알아보기 동적 크롤링은 동적인 데이터를 수집하는 방법을 말합니다. - 동적인 데이터는 입력, 클릭, 로그인 같이 페이지 이동이 있어야 보이는 데이터를 의미합니다. - 정적 ..

안녕하세요! 전국의 카페 정보(카페 이미지, 카페 이름, 카페 주소, 카페 메뉴 등)를 얻기 위해서 크롤링을 하다가 정적 크롤링으로 데이터 수집을 시도했습니다. 데이터를 수집하는데 한계를 느껴 셀레니움을 통한 동적 크롤링을 사용했습니다. 이번 시간에는 bs4를 이용한 정적 크롤링을 실습해보도록 하겠습니다. 우선 정적 크롤링이 무엇인지 알아야겠죠? 개발 환경 Language: python 3.9.4 IDE: PyCharm community Library: bs4 (BeatifulSoup) 라이브러리를 먼저 설치하겠습니다. pip install bs4 https://jaaamj.tistory.com/101 크롤링 종류(정적 VS 동적) 크롤링이란? 크롤링(crawling) 또는 스크레이핑(scraping) ..

안녕하세요 이번 시간에는 Django를 시작하기 전 파이참에서 가상환경 설정하는 방법에 대해 포스팅하겠습니다. 1. 가상 환경(Virtual environment) ​Python 가상환경(Virtual Environment)은 하나의 시스템에 여러 개의 파이썬 환경을 구성하여, 각각의 프로젝트에서 필요한 패키지 및 라이브러리들을 격리하여 사용할 수 있도록 하는 개념입니다. 가상환경을 사용하면 한 번에 여러 프로젝트를 진행할 때, 패키지나 라이브러리간의 충돌을 방지하고, 각 프로젝트마다 필요한 환경을 쉽게 구성할 수 있습니다. 2. 새 프로젝트 만들기 이전 포스팅에서 설치한 파이참을 실행합니다. 새 프로젝트가 만들어지고 프로젝트 위에 가상 환경 역시 만들어졌습니다. 터미널을 켜고 Command Prompt..

안녕하세요 이번 시간에는 프로그래밍 언어인 Python과 IDE 에디터인 Pycharm을 설치하는 실습을 진행하겠습니다. 1. 개발 환경 Language: Python 3.9.1 Editor: PyCharm Community 2. 파이썬 설치 파이썬은 파이썬 소프트웨어 재단 (PSF)에서 개발한 언어이며 2022년 6월 6일 최신 버전 기준으로 3.10.5 버전이 릴리즈 되어 있습니다. 먼저 파이썬을 설치하겠습니다. https://www.python.org/downloads/ Download Python The official home of the Python Programming Language www.python.org 다음 화면에 보이시는 노란색 버튼 Download Python 3.9.1을 눌러서..