naverNews.md
1.07 KB
Data 받아오기 1) selenuim을 이용하여 웹페이지에서 데이터를 검색 2) 원하는 URL 입력받음(구현예정) 3) headless하게 구현하기 위해 chrome option 적용하여 driver 생성 4) naverNews는 댓글 영역 하단 부 '더보기'를 지속적으로 눌러줘야하므로 driver의 find_element_by_css_selector함수로 해당 class인 u_cbox_btn_more을 페이지가 끝날 때까지 돌림 5) 위의 과정에서 얻은 페이지 소스를 beautifulSoup을 이용하여, find_all을 통해 {사용자ID, 댓글, 작성시간}의 데이터를 각각 raw하게 뽑음. (naverNews의 제한적인 특징으로 사용자ID 뒤 4자리는 비공개처리됨)
사용할 DataSet으로 가공 1) 리스트 형태로 각각 nicknames(사용자ID), comments(댓글), times(작성시간)을 뽑아냄 2) 세 리스트에서 짝을 이루는 쌍을 dictionary형태로 {사용자ID, 댓글, 작성시간} 다음과 같이 저장 3) 저장된 dictionary list(info_dic)을 최종 결과 리스트인 naverNewsList에 저장한다.
함수 구현 위에서 받아온 데이터를 바탕으로 기능 구현 예정 1) KEYWORD 기반 검색 기능 2) 가장 자주 나온 단어 검색 기능 3) ID 기반 검색 기능 4) 시간 대별 검색 기능 등 여러 함수 구현 예정