ubuntu에서 python를 사용한 web crawling을 위해 기본적인 아래 모듈 설치
requests - http 사용을 위해 설치
sudo pip install requests
http://docs.python-requests.org/en/master/
BeautifulSoup - HTML 해석에 사용
sudo pip install bs4
https://www.crummy.com/software/BeautifulSoup/
Selenium - 테스트 목적의 웹 자동화 라이브러리, 동적으로 생성되는 웹페이지 크롤링을 쉽게 할 수 있게 해줌
sudo pip install selenium
http://www.seleniumhq.org/download/ 에서 원하는 브라우저와 os에 맞는 버전 선택 후 저장
pip가 설치되어 있지 않아 위에 설치에 실패하는 경우 아래 실행
sudo apt-get install python-pip
'Dev' 카테고리의 다른 글
| aws ubuntu 인스턴스 파일 복사 (0) | 2018.01.07 |
|---|---|
| ubuntu timezone 설정 (0) | 2018.01.07 |
| ubuntu cron (0) | 2018.01.03 |
| python ide -pycharm (0) | 2017.12.26 |
| putty를 사용해서 AWS Linux 인스턴스 접속 방법 (0) | 2017.12.26 |
