[Python] Scrape Linkedin People Search Results with Python (링크드인 인물 결과 크롤링)
Scrape Linkedin People Search Results with Python 먼저 scraping 하고자 하는 링크는 https://www.linkedin.com/search/results/people/?keywords.. 이고 https://www.linkedin.com/robots.txt 에 접속해서 automated scraping 허용 여부를 확인해보자. Disallow 목록에 포함되지 않는다면 시작 !! Run Chrome Debug mode chrome 을 자동화 모드가 아닌 Debug 모드로 실행 subprocess.Popen( r'C:\Program Files\Google\Chrome\Application\chrome.exe --remote-debugging-port=9..
[Python] Crawling Useful features (엑셀 읽기, 진행률 표시, Selenium)
Python Crawling Useful features Read Excel File & Show Progress bar & Make DataFrame import pandas as pd from tqdm import tqdm file_name = 'test_file' file_df = pd.read_excel('C:\\Users\\cristoval\\Desktop\\data\\' + file_name + '.xlsx') data = {'id': [], 'title': [], 'link' : []} result_df = pd.DataFrame(data=data) for idx, row in tqdm(file_df.iterrows()): # do something result_df = result_df.a..