박미미의 지식에서 쌓는 즐거움

안녕하세요. 파이썬으로 크롤링하고 이것저것 만져보던 도중, 제가 작업한 내용들은 DB에 저장하고 싶다는 생각을 하게되었어요. 지금까지는 양이 많지 않아 일회성으로 정보를 보고 날렸거든요. 여태까지 ORACLE, MS-SQL과 같은 DB설치 후 접속했는데, sqlite로 사용하려다보니 편하기도 하고 불편하기도 하고...ㅎㅎ 우선 데이터가 크지 않기때문에 사용해보기로 했어요.sqlite가 자동으로 생성된다는데 그게 무슨말이야?? 이러기도 했습니다. ㅎㅎ 장고 프로젝트에 sqlite3 설정하기 1. 모델 클래스 생성하기model.py 파일에 내가 사용할 클래스를 생성합니다. (ex) class Test(models.Model): field1 = models.CharField(max_length=20) 2. s..

안녕하세요!파이참에서 github를 연결하는 방법에 대해 포스팅 하겠습니다.(별거 아닌데 파이참 툴이 익숙치 않아 엄청 헤맸네요.) 파이참에 Github 연결 ** 아래의 포스팅은 이미 github에 가입이 되어있다는 전재에 작성했습니다! 가입이 안되있으시면 먼저 가입해주세요. 1. git.exe 설치 먼저 git.exe 파일을 설치해서 파이참과 연결해주어야 합니다. 이게 자동으로 경로가 잡히는 경우가 있다는데, 제 경우는 자동으로 경로가 잡히지 않아 수동설치 후 연결했습니다.https://git-scm.com/download 설치는 특별한 설정없이 next 눌러서 완료했습니다.아래의 경로에 설치됐네요. 2. 이제 파이참을 켜봅시다. 파이참의 Settings > Version Control > Git 메..

요즘 파이참 안에서 virtualenv 를 설치해서 사용하고있다. 이 가상환경 구축은 필수로 해야하는건 아니다. 다만 프로젝트가 여러개가 되고, 사용해야하는 패키지 버전이 다르거나 하면 pip 명령어를 통해 패키지 삭제/재설치를 해야하는 번거로움이 있다.그래서 virtualenv 를 이용하면 지정된 공간에 파이썬을 실행할 수 있는 가상환경을 호스트 환경과 별도로 구성할 수 있어 사용한다. Virtualenv 가상환경 설치 및 사용 설치법은 간단하다.pip install virtualenv 해당 디렉터리에 파이썬 실행파일과 패키지를 독립적으로 관리할 수 있는 pip 라이브러리를 모두 해당 디렉터리(venv)에 복사virtualenv venv (여기서 venv는 내가 사용할 가상환경 이름) 이렇게 설치하면 ..

파이썬에 데이터를 사용할 일이 있어 MYSQL을 설치해 관리하기로 했다.이럴려면 먼저 mysql을 window 환경에 설치한 후에 pycharm에서 mysql를 연결해주는 라이브러리를 통해 mysql 서버를 연결해주면 된다. [개발환경]Windows10 64bit + Pycharm + mysql 1. mysql을 컴퓨터에 설치해준다. * 다운로드 링크https://dev.mysql.com/downloads/installer/ 여기서 어? 내 컴퓨터는 64비트인데? 라고 생각하시는 분들이 있을텐데, 읽어보면 아래와 문구가 있는 것을 볼 수 있다.Note: MySQL Installer is 32 bit, but will install both 32 bit and 64 bit binaries. 다운로드 버튼을..

html 페이지 전체를 크롤링하는것까지 배웠다. (하단링크 참고) 파이썬:: 웹크롤링 준비하기(1편) https://parkmimi.tistory.com/23 그러면 이제 특정페이지에 내가 원하는 데이터를 가져와보자. 지금 예로 들건 '네이버 뮤직' 에서 일간 top100 하는 노래 제목, 가수 이름 등을 알기 위한 작업이다. (https://music.naver.com/listen/top100.nhn?domain=TOTAL&duration=1d&page=1) f12를 눌러 html 코드를 확인해보자. 난 top100의 노래제목을 가져오고 싶다. 노래제목 부분의 를 확인해서 한 행을 보자. 내가 필요한 부분을 아래 소스. 술이 문제야 장혜진 html코드가 조금 길다고 당황하지 말고 내가 필요한부분, 주황..

[ 크롤링 준비하기 ] 웹크롤링을 하기 위해 cmd 실행 후 두가지 라이브러리를 설치한다. 1. 리퀘스트(requests) 설치 pip install requests 2. BeautifulSoup 설치 pip install beautifulsoup4 BeautifulSoup 은 웹페이지 크롤링할 때 많이 사용한다. HTML태그 등 컨텐츠를 가져온 뒤 사용자가 파싱하기 쉽게 도와주는 라이브러리이다. 이 라이브러리의 내용은 다음 url에서 Documentation 확인 가능하다. https://www.crummy.com/software/BeautifulSoup/ [참고] 이 설치 파일들은 파이썬 기본 설치 위치 (예: C:\python35\Lib\site-packages) 에 설치된다. 3. 설치 확인하기 ..

예외처리 코드 try: except : except (예외 1, 예외 2): except 예외 as 인자: else: finally: # test01.py # 함수 정의 def divide(a,b): return a/b try: result = divide(5,"0") except ZeroDivisionError: print("0으로 나누면 안됩니다.") except TypeError: print("숫자여야 합니다.") else: print("결과:{0}".format(result)) finally: print("무조건 실행.") print("전체 코드 실행 종료") 강제로 예외를 일으키는 경우: raise구문을 사용한다. raise [Exception] : 해당 예외를 발생시킨다. raise [Exce..

파이썬 사전(Dictionary) Key와 Value를 가진 집합. (자바에서 해쉬맵의 개념인듯)- Key에는 변하지 않는 값을 사용하고, Value에는 변하는 값과 변하지 않는 값 모두 사용할 수 있다.- Key로 값을 찾기때문에 순서를 갖지 않는다. * 딕셔너리 형태 {Key1:Value1, Key2:Value2, Key3:Value3, ...} * 사용 용도 키를 통한 빠른 검색이 필요할 때 사용한다. * 딕셔너리 예ex. 과일의 색을 저장하고 싶다면??>>> dic = {'apple':'red', 'banana':'yellow', 'cherry': 'red'} 위에서 Key는 각각 'apple', 'banana', 'cherry'이고, 각각의 Key에 해당하는 Value는 'red', 'yello..