Data Makes Our Future

NAVER 금융 ETF 종목 엑셀 추출 매번 ETF 종목 현재가 검색하는 귀차니즘이 발동하여... NAVER 금융 ETF 페이지 Scraping 을 해보려고 한다. 항상 Scraping 전에 robots.txt 확인이 필요한다. https://finance.naver.com/robots.txt를 확인해보면 Allow: /sise/ 라고 automated scraping 허용이 되는 것을 확인할 수 있다. Get Chrome Debug Mode Driver chrome 을 자동화 모드가 아닌 Debug 모드로 실행 def get_driver(url): subprocess.Popen( r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe --r..

Python Crawling Useful features Read Excel File & Show Progress bar & Make DataFrame import pandas as pd from tqdm import tqdm file_name = 'test_file' file_df = pd.read_excel('C:\\Users\\cristoval\\Desktop\\data\\' + file_name + '.xlsx') data = {'id': [], 'title': [], 'link' : []} result_df = pd.DataFrame(data=data) for idx, row in tqdm(file_df.iterrows()): # do something result_df = result_df.a..

1. DataFrame 생성 & data 삽입--123456789import pandas as pd result_df = pd.DataFrame(columns=['col1', 'col2', 'col3'], dtype=str)res_idx = 0 for i in tqdm(range(0,100)): ... result_df.loc[res_idx] = [col1, col2, col3] res_idx += 1Colored by Color Scriptercs

import pandas as pdimport numpy as npfrom pandas import Series, DataFrame # 데이터 병합(Join) - pandas.mergedf1.merge?df1.merge(right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False, validate=None) # 주요 옵션# how : join 방법 (default는 inner join), - Outer Join은 'outer' / Inner Join은 'inner' / Left Join은..

참고글[Python] Pandas - Series [Python] Pandas - DataFrame[Python] DataFrame 그룹 함수 적용(map,apply,applymap) # 행/열 전치 (T 메서드)fruits.T 0 1 2 3nameapplemango bananacherryprice2000 150 500 400qty 5 4 10 NaN # 연산 (add, sub, div, mul 메서드)# NA 처리 가능한 연산 메서드 df1 = DataFrame({'a':[1,2,3], 'b':[10,NA,20]})a b0 1 10.01 2 NaN2 3 20.0 df2 = DataFrame({'b':[1,2,3], 'c':[10,NA,20]}, index = [0,1,3])b c0 1 10.01 2 N..

참고글[Python] Pandas - DataFrame 관련 메서드[Python] DataFrame 그룹 함수 적용(map,apply,applymap)[Python] Pandas - Series [Python] profile 만들기 (import를 한 번에) DataFrame - Series의 집합 - 서로 다른 데이터 타입을 갖는 column - Data Frame의 Key : column / Series의 Key : row를 의미 # 생성%run profileimport pandas as pdfrom pandas import Series, DataFrame 1. 한 번에 생성fruits = DataFrame({'name':['apple','mango','banana','cherry'], 'price'..

참고글 : [Python] Pandas - DataFrame Series - 1차원 배열 구조(벡터) - 단 하나의 데이터 타입 허용 - 데이터 프레임을 구성하는 하나의 특정 row나 column으로 설명 가능 - DataFrame의 기본 (Series가 모여 DataFrame이 만들어짐) # Pandas 적용 import pandas as pd from pandas import Series, DataFrame # 함수를 이름 그대로 사용 # 생성 s1 = Series([1,2,3,4])s10 1 # 행 번호를 갖는 형태로 저장 (0부터 시작)1 22 33 4dtype: int64 # Index row(Key) 설정1. Series 생성 시 row index 이름(Key) 선언s1= Series([1,2..