mongoDB를 전후로, 이틀에 걸쳐서 전부 수강했다. 총 수강시간은 6시간 정도 걸린 듯하다. 일단 아침 9시부터 상쾌하게 DB에 대한 설명을 듣고 강의 순서대로 mongoDB를 Pycharm에서 연결하려고 하는데, 갑자기 아래와 같은 에러 메시지가 나왔다. 강의 속에서는 엄청 스무스하게 넘어갔기 때문에 별 문제가 아닌가 보다 하고 구글링을 시작했는데, 그 후로 3시간 동안 해결하지 못했다. 그래서 팀원들한테 물어봤더니 dnspython이나 네트워크 문제 같다고 해서 그렇구나 하고, 패키지들을 삭제 후 재설치를 했다. 그러나 혹시 몰라서 pip, wheel 등의 패키지 버전을 다 업그레이드했는데도 되지 않았다. 내가 뭔가 잘못 건드렸나 싶어서 아예 파이썬을 싹 다 지우고 재설치를 했다. 그래서는 안됐는데... (Stay...)
첫 번째 에러
그랬더니 아래의 두 번째 에러가 나와서 이건 또 뭐지 싶었다. 기존 강의 차시에서도 잘 돌아가던 모듈마저 먹통이 되었다. 분명 패키지는 다 있는데 대체 뭐가 문제인가 싶어서 오버스택플로우에 검색했더니 역시 나와 같은 문제를 가진 사람들이 수두룩했다. 그러나 해결책은 없었다. 내 부족한 지식으로는 이해하는 것도 어려웠다.
두 번째 에러
어쨌든 이것저것 건드려보다가 다시 전부 초기화하고 구글링하는 과정에서 다양한 방법들을 찾았다. 갑자기 문득 다른 수강생들 생각이 나서 슬랙 채널에 들어가 보니 나와 똑같은 오류를 가진 사람들이 많았고 그곳엔 해결책이 있었다! 와! 입력하자마자 신속히 mongoDB에 데이터가 들어갔다.
// 해결방법
// DB 사용시 이 5줄을 붙여준다.
// certifi 패키지를 가상환경에 먼저 설치해준다.
from pymongo import MongoClient
import certifi
ca = certifi.where()
client = MongoClient('mongodb+srv://test:sparta@cluster0.내주소.mongodb.net/내DB명?retryWrites=true&w=majority', tlsCAFile=ca)
db = client.dbsparta
해결되어서 다행이지만 앞으로도 이런 문제는 새로운 기술을 접할 때마다 종종 마주하게 될 것이다. 그렇지만 대부분의 문제는 나한테 처음 일어난 것이 아니니, 다른 사람들의 해결책을 찾아서 열심히 구글링 해야겠다. 같은 강의를 듣는 사람들이 많아서 다행이다. 처음 에러가 났을 때는 어디서부터 손을 대야 할지 감도 안 왔지만, 점점 이런 순간들을 겪다 보면 익숙해질 것이다. 그 때까지 화이팅~
가상환경(virtual environment, venv): 프로젝트 별로 패키지들을 담을 공구함. 같은 시스템에서 실행되는 다른 파이썬 응용프로그램들의 동작에 영향을 주지 않기 위해, 파이썬 배포 패키지 설치 및 업그레이드를 가능하게 하는 격리된 실행 환경임. 라이브러리를 모아두는 곳. 건드리지 말라고 했던 그 폴더. 라이브러리가 담기기 때문에 우리가 건드리는 게 아님.
01. Requests 라이브러리 사용해보기 + List / Dictionary / 함수 / If / For문 연습
import requests # requests 라이브러리 설치 필요
# request 쓰는 방법 (라이브러리마다 전부 다르다)
r = requests.get('http://spartacodingclub.shop/sparta_api/seoulair') # 미세먼지
rjson = r.json()
rows = rjson['RealtimeCityAir']['row']
for row in rows: # 파이썬으로 반복문 돌리기
gu_name = row['MSRSTE_NM']
gu_mise = row['IDEX_MVL']
if gu_mise < 200:
print(gu_name)
크롤링: 1. 원하는 페이지의 html 가져오기, 2. html 중에서 영화 제목이 뭔지 어떻게 알지
패키지 설치 / 사용하면 된다: beautifulSoup (bs4)
## 크롤링 기본 세팅
import requests
from bs4 import BeautifulSoup
# 타겟 URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)
# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
# 이제 코딩을 통해 필요한 부분을 추출하면 된다.
soup = BeautifulSoup(data.text, 'html.parser')
#############################
# (입맛에 맞게 코딩)
#############################
## 파이썬이 아니라 BeautifulSoup 사용방법임
import requests
from bs4 import BeautifulSoup
# 헤더는 코드에서 콜 날린 것을 브라우저(사람)가 콜을 날린 것처럼 해주려고 사용
# 타겟 URL을 읽어서 HTML을 받아옴
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)
# HTML을 BeautifulSoup 이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
# soup 라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
# 이제 코딩을 통해 필요한 부분을 추출하면 됨.
soup = BeautifulSoup(data.text, 'html.parser')
# selector 복사, tr까지만 동일함
#old_content > table > tbody > tr:nth-child(2) > td.title > div > a
#old_content > table > tbody > tr:nth-child(3) > td.title > div > a
# title = soup.select_one('#old_content > table > tbody > tr:nth-child(2) > td.title > div > a')
# print(title.text) # 밥정
# print(title['href']) # href
# select 이용해서, tr들 불러오기
movies = soup.select('#old_content > table > tbody > tr') # 리스트 형태임
# movies (tr들)의 반복문 돌리기
for movie in movies:
# movie 안에 a가 있으면
a_tag = movie.select_one('td.title > div > a')
if a_tag is not None: # != 도 가능함
# a의 text를 찍어본다.
print (a_tag.text)
# select 이용해서, tr들 불러오기
movies = soup.select('#old_content > table > tbody > tr') # 리스트 형태임
# movies (tr들)의 반복문 돌리기
for movie in movies:
# movie 안에 a가 있으면
a = movie.select_one('td.title > div > a')
if a is not None: # != 도 가능함
# a의 text를 찍어본다.
title = a.text
rank = movie.select_one('td:nth-child(1) > img')['alt']
star = movie.select_one('td.point').text #글씨 밖에 없었으니까
print(rank, title, star)
# 'users'라는 collection에 DB 연결하고 데이터 넣기
db.users.insert_one({'name':'bobby','age':21})
db.users.insert_one({'name':'kay','age':27})
db.users.insert_one({'name':'john','age':30})
# 모든 데이터 뽑아보기
all_users = list(db.users.find({},{'_id':False}))
print(all_users[0]) # 0번째 결과값을 보기
print(all_users[0]['name']) # 0번째 결과값의 'name'을 보기
for user in all_users: # 반복문을 돌며 모든 결과값을 보기
print(user)
02. pymongo 사용법, 코드요약
딱 4가지 기능만 알면 된다. (저장, 찾기, 변경, 삭제)
# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)
# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})
# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({},{'_id':False}))
# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})
# 지우기 - 예시
db.users.delete_one({'name':'bobby'})
import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient
import certifi
ca = certifi.where()
client = MongoClient('mongodb+srv://test:sparta@cluster0.frvlk.mongodb.net/Cluster0?retryWrites=true&w=majority', tlsCAFile=ca)
db = client.dbsparta
(중간 생략, 위의 강의와 같은 코드임)
# movies (tr들)의 반복문 돌리기
for movie in movies:
# movie 안에 a가 있으면
a = movie.select_one('td.title > div > a')
if a is not None: # != 도 가능함
# a의 text를 찍어본다.
title = a.text
rank = movie.select_one('td:nth-child(1) > img')['alt']
star = movie.select_one('td.point').text #글씨 밖에 없었으니까
doc = {
'title': title,
'rank': rank,
'star': star
}
db.movies.insert_one(doc)
## 영화제목 '가버나움' 평점 가져오기
movie = db.movies.find_one({'title':'가버나움'})
# print(movie['star'])
star = movie['star']
## '가버나움' 평점과 같은 평점의 영화 제목들 가져오기
# (1) 나는 조건문을 썼는데 굳이 쓸 필요 없었음. (2)으로 고
# all_movies = list(db.movies.find({},{'_id':False}))
# for movies in all_movies:
# a = movies['star']
# if a == star:
# print(movies['title'])
# (2) 그냥 식에 조건 달아주기
all_movies = list(db.movies.find({'star':star},{'_id':False}))
for m in all_movies:
print(m['title'])
## '가버나움' 영화의 평점을 0으로 만들기
db.movies.update_one({'title':'가버나움'},{'$set':{'star':'0'}})
