....

ubuntu에서 python를 사용한 web crawling을 위해 기본적인 아래 모듈 설치

requests - http 사용을 위해 설치

sudo pip install requests

http://docs.python-requests.org/en/master/

BeautifulSoup - HTML 해석에 사용

sudo pip install bs4

https://www.crummy.com/software/BeautifulSoup/

Selenium - 테스트 목적의 웹 자동화 라이브러리, 동적으로 생성되는 웹페이지 크롤링을 쉽게 할 수 있게 해줌

sudo pip install selenium

http://www.seleniumhq.org/download/ 에서 원하는 브라우저와 os에 맞는 버전 선택 후 저장

http://www.seleniumhq.org/

pip가 설치되어 있지 않아 위에 설치에 실패하는 경우 아래 실행

sudo apt-get install python-pip

putty를 사용해서 aws linux 인스턴스에 접속하는 경우 아래 순서로 진행

1. puttygen를 이용해서 인스턴스 생성에 사용했던 키를 변환

2. putty를 실행 후 아래 메뉴에 생성한 private key 추가

3. putty 아래 메뉴에 Host_name 입력 후 Open으로 접속

(현재 상태에서 Saved Sessions에 save 하는 경우 다음 실행 시 Load를 사용해서 해당 설정 그대로 사용 가능)

user_name의 경우 아래 참고

public_dns_name의 경우 aws 인스턴스 화면에서 확인 가능

※ 자세한 내용은 아래에서 확인 가능

http://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/putty.html