개복치개발자

텍스트를 딥러닝 형태로 넣어주기 위해 텍스트를 벡터형태로 변환합니다. 이 과정을 Encoding이라고 합니다. thank you love you thank -> 0 you -> 1 love -> 와 같이 변환 할 수 있습니다. 원 핫 인코딩으로도 가능한데 위와 같이 만들어줄 수 있습니다. 다만 단어의 유사도는 원핫인코딩으로 표현할 수 없는데 이 것들을 Embedding이라는 것을 사용합니다. word2vec은 skipgram이라는 것을 사용해서 컴퓨터가 word와 neighbor를 만들 수 있습니다. window1 window2 참고 [1] - https://www.youtube.com/watch?v=sY4YyacSsLc [2] - https://github.com/minsuk-heo/python_tut..

https://cyc1am3n.github.io/2018/11/10/classifying_korean_movie_review.html [Keras] KoNLPy를 이용한 한국어 영화 리뷰 감정 분석 이 포스트에서는 KoNLPy, nltk, Keras를 이용해서 한국어 영화 리뷰의 감정을 분석하는 방법에 대해 다룹니다. cyc1am3n.github.io 메모메모

Non-ASCII Character 에러라고 빨간 불이 뜰 때가 있습니다. 한글 인코딩 문제인데 코드 위에 얘를 넣어주면 됩니다. # -*- coding: utf-8 -*- 앞의 #표시를 지우시면 안됩니다. 끝.

메모해놓습니다. https://dvpzeekke.tistory.com/1 위의 블로그에서 가져온 글입니다. chrome 설치하기 이제 chrome 브라우저를 설치해보겠습니다. $ wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo apt-key add - $ sudo sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google.list' $ sudo apt-get update $ sudo apt-get install google-chrome-stable chromedriver 설치..

개복치개발자 강의는 아래의 링크에서 확인할 수 있습니다. 개복치개발자 | Linktree uyalae@naver.com linktr.ee 가끔 beautifulSoup로 크롤링을 할 때 크롤링이 막히는 경우가 종종 있습니다. 그 때 사이트에서 user-agent정보를 확인해서, 이 정보가 없는 경우 막는 방법으로 크롤링을 차단하는데 크롬에서 network -> Headers에 있는 user-agent 정보입니다. 저 정보를 아래의 사이트에서 받아올 수 있습니다. http://www.useragentstring.com/pages/useragentstring.php UserAgentString.com - List of User Agent Strings www.useragentstring.com 아래와 같이 ..

크롤링 할 때 브라우저 사이즈때문에 원하는대로 안될 때가 있습니다. driver.set_window_size(1400, 1000) 위의 코드로 윈도우 사이즈를 조절할 수 있습니다.

뭔가 버튼을 클릭했을 때 새 탭이 떠버리는 경우가 있습니다. 그 때 아래와 같이 작업하는 창을 change 할 수 있습니다. driver.switch_to.window(driver.window_handles[1]) -> 두번째 탭 driver.switch_to.window(driver.window_handles[0]) -> 첫번째 탭

import logging logging.basicConfig(filename='dummy.log', level=logging.INFO) logging.debug('this is a debug') logging.info('this is an info') logging.warning('this is a warning') 위와 같이 dummy.log에 저장할 수 있습니다. 참고 [1] - https://hwangheek.github.io/2019/python-logging/

from selenium.webdriver.common.by import By from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC try : WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.XPATH, 'id 넣기')) ) driver.find_element_by_xpath('id 넣기').click() except : print("error") Selenium 로딩이 완료될 때 까지 기다리는 코드입니다. WebDriverWait에서 driver가 10초동안 기다리면..

driver = webdriver.Chrome("./chromedriver") driver.get('크롤링 할 웹 사이트') # 스크롤 끝까지 내리기 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") # 스크롤 1000만큼 내리기 driver.execute_script("window.scrollTo(0, 1000);") # 현재 상태에서 200만큼 쭉쭉 4번 내리기 driver.execute_script("window.scrollTo(0, window.scrollY + 200);") driver.execute_script("window.scrollTo(0, window.scrollY + 200);") driver.execut..