[Python] NAVER 금융 ETF 종목 크롤링 and 엑셀 추출하기(selenium, BeautifulSoup)
NAVER 금융 ETF 종목 엑셀 추출 매번 ETF 종목 현재가 검색하는 귀차니즘이 발동하여... NAVER 금융 ETF 페이지 Scraping 을 해보려고 한다. 항상 Scraping 전에 robots.txt 확인이 필요한다. https://finance.naver.com/robots.txt를 확인해보면 Allow: /sise/ 라고 automated scraping 허용이 되는 것을 확인할 수 있다. Get Chrome Debug Mode Driver chrome 을 자동화 모드가 아닌 Debug 모드로 실행 def get_driver(url): subprocess.Popen( r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe --r..
[Python] Scrape Linkedin People Search Results with Python (링크드인 인물 결과 크롤링)
Scrape Linkedin People Search Results with Python 먼저 scraping 하고자 하는 링크는 https://www.linkedin.com/search/results/people/?keywords.. 이고 https://www.linkedin.com/robots.txt 에 접속해서 automated scraping 허용 여부를 확인해보자. Disallow 목록에 포함되지 않는다면 시작 !! Run Chrome Debug mode chrome 을 자동화 모드가 아닌 Debug 모드로 실행 subprocess.Popen( r'C:\Program Files\Google\Chrome\Application\chrome.exe --remote-debugging-port=9..
[Python] Crawling Useful features (엑셀 읽기, 진행률 표시, Selenium)
Python Crawling Useful features Read Excel File & Show Progress bar & Make DataFrame import pandas as pd from tqdm import tqdm file_name = 'test_file' file_df = pd.read_excel('C:\\Users\\cristoval\\Desktop\\data\\' + file_name + '.xlsx') data = {'id': [], 'title': [], 'link' : []} result_df = pd.DataFrame(data=data) for idx, row in tqdm(file_df.iterrows()): # do something result_df = result_df.a..
[Node.js] cheerio module 로 크롤링하기
.Install cheerio module- Install Cheerio from npm npm i cheerio .Using cheerio 달러 환율의 일별 시세를 크롤링 해보려고 한다. 12345678910111213141516171819202122232425const request = require("request");const cheerio = require("cheerio"); scrapingResult = { 'date': '', 'the_basic_rate': '', 'buy': '', 'sell': ''} function getData() { request("https://finance.naver.com/marketindex/exchangeDailyQuote.nhn", function (e..
[Python] 파이썬으로 구글 이미지 크롤링하기 - google_images_download
#. 구글 이미지 크롤링 + 2020.04.22 추가 (google-images-download does not work)해당 라이브러리로 이미지 크롤링이 제대로 작동하지 않는다는 댓글이 생겨서 확인해보았습니다.google images download library 홈페이지 에 명시된대로 다시 구현해보았는데 역시나 같은 현상이 발생하였습니다.문제 해결을 위해 구글링을 해본 결과 stack overflow, google-images-download github issue 에서도 같은 현상을 보이는 개발자들이 많은 것을 알게 되었습니다.Google 이미지 형식이 변경되어 크롤링을 하는 과정에서 기존에 파싱이 가능한 객체를 보내주었다면, 지금은 파싱이 가능했던 깨끗한(?) 하나의 객체를 보내주지 않고 정보를 ..