목록전체 글 (60)

94년생 스피노자

[코드 블록] 캡챠 우회해서 웹 스크래핑/ 크롤링하기

오늘 크롤링을 하다가 캡챠로 인한 오류를 처음으로 경험했다. 0. 문제 상황 onlinelibrary.wiley.com/journal/10970266 Strategic Management Journal Click on the title to browse this journal onlinelibrary.wiley.com 위 논문 저널에서 경영학 논문의 키워드를 스크래핑하여 추세를 살펴보려고 했다. 그래서 아래와 같은 코드를 작성해서 돌렸다. import requests from bs4 import BeautifulSoup b_url = "https://onlinelibrary.wiley.com/action/doSearch?SeriesKey=10970266&content=articlesChapters&cou..
철기시대 석공 벗어나기/코딩 조각 2021. 5. 9. 12:48
[코랩 소개] Colaboratory는 무엇인가

0. 코랩 접속 주소 colab.research.google.com/ Google Colaboratory colab.research.google.com 1. 코랩 구동방식 코랩은 온라인 PPT나 온라인 Excel과 비슷한 방식으로 작동한다. 모든 것이 구글 서버에 깔려있고 구글 서버가 코드를 돌려준다. 그러니 사용자의 GPU가 좋지 않아도 코드를 돌릴 수 있게 된다. 코랩은 기본적으로 Jupyter Notebook과 형식이 동일하다. PPT나 Excel이 온라인으로 옮겨왔듯 Jupyter Notebook이 온라인으로 옮겨진 것이다. 2. 코랩 장점 기존에는 코딩을 하기 위해서는 정말 많은 것들을 설치해야했다. Python 언어 자체 PyCharm과 같은 편리한 Workstation 여러 코드를 위해 필요..
코드스테이츠 AI 부트캠프/i) 데이터사이언스 기본 2021. 5. 8. 15:39
[코드 블록] Matplotlib & Seaborn 한글표기

해당 글은 Colab에서 작업하는 것을 기준으로 만들었다. 대부분 프로그램들이 영어를 기준으로 만들어졌다. 그래서 한글을 출력할 때 오류가 일어나는 경우가 있다. 특히 그래프를 그려야할 때 한글이 깨지면 매우 곤란하다. 아래 코드를 활용하면 Matplotlib과 Seaborn에서의 한글깨짐을 고칠 수 있다. * 코드 블록 # 글꼴 설치 !sudo apt-get install -y fonts-nanum !sudo fc-cache -fv !rm ~/.cache/matplotlib -rf # 글꼴 설정 import matplotlib.pyplot as plt plt.rc('font', family='NanumBarunGothic') 모두 행복하길 -끝-
철기시대 석공 벗어나기/코딩 조각 2021. 5. 8. 15:20
[코드 블록] 웹 스크래핑/ 크롤링

웹 스크래핑은 생각보다 유용하다. 인터넷에 떠도는 정보들을 정리할 수 있기 때문이다. 웹 스크래핑을 여러번 하면서 익숙해졌다고 생각했다. 그런데 다시 하려면 처음부터 블록을 쌓는 기분이다. 그래서 웹 스크래핑에 필요한 코드들을 간단하게 정리하였다. 나중에 프로그래밍을 할 때 복붙을 할 수 있게 만드는 것이 목표다. * 코드 블록 ############################################################ # 작성 날짜 : 2021년 5월 8일 # 작성자 : 94spinoza ############################################################ # 목차 : 1. URL 페이지 소스 가져오기 2. HTML 파일 읽어오기 3. 페이지 소스..
철기시대 석공 벗어나기/코딩 조각 2021. 5. 8. 12:41
이전 Prev 1 ··· 7 8 9 10 11 12 13 ··· 15 Next 다음