활동내역.zip/개인
[WebCrawling] 웹사이트를 직접 분석해보자 -6편
TMInstaller
2022. 12. 27. 00:00
728x90
Type: 데이터 수집 / 분석
주제: Web Crawling
사용 IDE: IntelliJ IDEA
사용 언어: Python
사용 패키지: selenium, BeautifulSoup
GitHub Link: https://github.com/TMInstaller/WebCrawling_Myblog
설계 - 어떤 기능을 추가할까?
이번 편의 목표는 다음과 같다
목표1: 코드 함수화 및 옮겨두기
목표2: 얻은 정보를 csv파일을 생성하여 저장하기
코드 작성
1. 기존 코드 옮겨서 함수로 만들어두기
2. csv파일을 생성해서 저장하는 일련의 과정 하기
이번 글에서는 .write 기능을 이용하여 파일을 생성해 넣는 간단한 작업을 진행하였고
이 프로젝트를 여기서 일단락 하였다
웹 크롤링에 대해 굉장히 간단한 작업이라고 생각하고 있었던 나에게 신선한 충격을 주었던 일이었고,
중간중간 문제해결능력이 필요했을 때
파이썬 알고리즘 연습을 진행하였던 일들이 굉장히 의미있었던 것 같다
전체 코드
마지막 코드는 위의 깃허브 링크에서 확인할 수 있다
시리즈 종료!
지금까지 글을 읽어주셔서 감사합니다
728x90