개발 335

Python 크롤링 user-agent

개복치개발자 강의는 아래의 링크에서 확인할 수 있습니다. 개복치개발자 | Linktree uyalae@naver.com linktr.ee 가끔 beautifulSoup로 크롤링을 할 때 크롤링이 막히는 경우가 종종 있습니다. 그 때 사이트에서 user-agent정보를 확인해서, 이 정보가 없는 경우 막는 방법으로 크롤링을 차단하는데 크롬에서 network -> Headers에 있는 user-agent 정보입니다. 저 정보를 아래의 사이트에서 받아올 수 있습니다. http://www.useragentstring.com/pages/useragentstring.php UserAgentString.com - List of User Agent Strings www.useragentstring.com 아래와 같이 ..

개발/잡다개발 2020.07.01

Selenium Wait

from selenium.webdriver.common.by import By from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC try : WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.XPATH, 'id 넣기')) ) driver.find_element_by_xpath('id 넣기').click() except : print("error") Selenium 로딩이 완료될 때 까지 기다리는 코드입니다. WebDriverWait에서 driver가 10초동안 기다리면..

개발/잡다개발 2020.06.30

selenium scroll down

driver = webdriver.Chrome("./chromedriver") driver.get('크롤링 할 웹 사이트') # 스크롤 끝까지 내리기 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") # 스크롤 1000만큼 내리기 driver.execute_script("window.scrollTo(0, 1000);") # 현재 상태에서 200만큼 쭉쭉 4번 내리기 driver.execute_script("window.scrollTo(0, window.scrollY + 200);") driver.execute_script("window.scrollTo(0, window.scrollY + 200);") driver.execut..

개발/잡다개발 2020.06.30

Synchronization Examples

Readers-Writers Problem 전산학에서 독자-저자 문제(readers-writers problem)란 여러 명의 독자와 저자들이 하나의 저장 공간(버퍼)을 공유하며 이를 접근할 때 발생하는 문제이다. 독자는 공유 공간에서 데이터를 읽어온다. 여러 명의 독자가 동시에 데이터를 읽어오는 것이 가능하다. 저자는 공유 공간에 데이터를 쓴다. 한 저자가 공유 공간에 데이터를 쓰고 있는 동안에는 그 저자만 접근이 가능하며, 다른 독자들과 저자들은 접근할 수 없다. 생산자-소비자 문제(producer-consumer problem)[1][2]는 여러 개의 프로세스를 어떻게 동기화할 것인가에 관한 고전적인 문제이다. 한정 버퍼 문제(bounded-buffer problem)라고도 한다. 유한한 개수의 물..

개발/잡다개발 2020.06.18