[Python] Crawling Useful features (엑셀 읽기, 진행률 표시, Selenium)
Python Crawling Useful features Read Excel File & Show Progress bar & Make DataFrame import pandas as pd from tqdm import tqdm file_name = 'test_file' file_df = pd.read_excel('C:\\Users\\cristoval\\Desktop\\data\\' + file_name + '.xlsx') data = {'id': [], 'title': [], 'link' : []} result_df = pd.DataFrame(data=data) for idx, row in tqdm(file_df.iterrows()): # do something result_df = result_df.a..
1. DataFrame 생성 & data 삽입--123456789import pandas as pd result_df = pd.DataFrame(columns=['col1', 'col2', 'col3'], dtype=str)res_idx = 0 for i in tqdm(range(0,100)): ... result_df.loc[res_idx] = [col1, col2, col3] res_idx += 1Colored by Color Scriptercs
[Python] DataFrame의 멀티인덱스와 멀티컬럼(Multi-index, Multi-column)
Multi-index & Multi-column #. 생성 - 인덱스의 개수, 상위 level & 하위 level의 개수가 일치해야 함 - 생성할 일은 많지 않음 :( 1. Series s1 = Series([1,2,3,4,5,6], index=[['a','a','b','b','c','c'], [1,2,1,2,1,2]]) s1a 1 1 2 2 b 1 3 2 4 c 1 5 2 6 dtype: int64 2. DataFrame 생성 후 설정 df1 = DataFrame({'value':[1,2,3,4,5,6], 'ind1':['a','a','b','b','c','c'], 'ind2':[1,2,1,2,1,2]}) df1 = df1.set_index(['ind1','ind2']) # 리스트 형식으로 인덱스에 동..
[Python] Pandas - DataFrame 관련 메서드
참고글[Python] Pandas - Series [Python] Pandas - DataFrame[Python] DataFrame 그룹 함수 적용(map,apply,applymap) # 행/열 전치 (T 메서드)fruits.T 0 1 2 3nameapplemango bananacherryprice2000 150 500 400qty 5 4 10 NaN # 연산 (add, sub, div, mul 메서드)# NA 처리 가능한 연산 메서드 df1 = DataFrame({'a':[1,2,3], 'b':[10,NA,20]})a b0 1 10.01 2 NaN2 3 20.0 df2 = DataFrame({'b':[1,2,3], 'c':[10,NA,20]}, index = [0,1,3])b c0 1 10.01 2 N..
[Python] DataFrame 그룹 함수 적용 - map,apply,applymap
참고글 : [Python] 사용자 정의 함수 및 적용 함수(def, lambda, map) # test Data df1 = DataFrame({'a':[1,3,7,4],'b':[17,86,52,68],'c':[134,874,592,246]}) 1. map 함수 - map(func, **iterable) - 1차원 원소별 적용 - 다수의 인자 전달 시 각 인자의 크기 일치 필요 - in numpy - Return to List f1 = lambda x : '%03d'%x list(map(f1, df1['b']))['017', '086', '052', '068'] 2. map 메서드 - data.map(func, **iterable) - 1차원(Series) 원소별 적용 - 다수의 인자 전달 시 각 인자의 ..
[Python] Pandas - DataFrame
참고글[Python] Pandas - DataFrame 관련 메서드[Python] DataFrame 그룹 함수 적용(map,apply,applymap)[Python] Pandas - Series [Python] profile 만들기 (import를 한 번에) DataFrame - Series의 집합 - 서로 다른 데이터 타입을 갖는 column - Data Frame의 Key : column / Series의 Key : row를 의미 # 생성%run profileimport pandas as pdfrom pandas import Series, DataFrame 1. 한 번에 생성fruits = DataFrame({'name':['apple','mango','banana','cherry'], 'price'..