....

cron - 특정 일, 시간 등에 등록한 작업을 실행해 주는 스케줄링 프로그램

crontab - cron에서 사용하는 테이블

crontab -l : 현재 등록된 스케줄 확인

crontab -e : 스케줄 등록, 아래 순서로 추가

분 시 일 월 요일 명령어

ex) 매일 12시 a 실행 : 0 12 0 0 0 a

     매주 수요일 15시 10분 b 실행 : 10 15 0 0 4 b

실행 로그는 syslog에서 확인 가능(/var/log/syslog)

스케줄 등록 이후는 서비스 재시작 필요

   service cron restart

아래와 같이 설치 가능

sudo add-apt-repository ppa:mystic-mirage/pycharm

sudo apt update

sudo apt install pycharm-community

자세한 내용은 아래 참고

https://www.jetbrains.com/pycharm/

ubuntu에서 python를 사용한 web crawling을 위해 기본적인 아래 모듈 설치

requests - http 사용을 위해 설치

sudo pip install requests

http://docs.python-requests.org/en/master/

BeautifulSoup - HTML 해석에 사용

sudo pip install bs4

https://www.crummy.com/software/BeautifulSoup/

Selenium - 테스트 목적의 웹 자동화 라이브러리, 동적으로 생성되는 웹페이지 크롤링을 쉽게 할 수 있게 해줌

sudo pip install selenium

http://www.seleniumhq.org/download/ 에서 원하는 브라우저와 os에 맞는 버전 선택 후 저장

http://www.seleniumhq.org/

pip가 설치되어 있지 않아 위에 설치에 실패하는 경우 아래 실행

sudo apt-get install python-pip