김서영

add search.js description

......@@ -10,6 +10,13 @@ const searchURL = {
"google" : "https://www.google.com/search?"
}
/**
* @param {string} keywordText 검색할 키워드
* @param {cheerio} $ cheerio임.
* @param {string} elem 내용을 찾을 html의 selector인거같음
* @return {boolean} 찾았다면 true
* @description 주어진 html의 selector에서 keyword의 내용을 찾아 여부를 반환
*/
const keywordChecking = ( keywordText, $, elem ) => {
let tempCheck = false;
keywordText.split( ' ' ).forEach( ( Word ) => {
......@@ -24,6 +31,13 @@ const keywordChecking = ( keywordText, $, elem ) => {
return false;
}
/**
* @param {Object} searchResult 검색된 내용이 담긴 빈 오브젝트
* @param {cheerio} $ cheerio임.
* @param {string} elem 내용을 찾을 html의 selector인거같음
* @param {string} defaultURL url이 없을 경우 달아주는 비상용 원래 링크
* @description 구글용 title passage 찾기함수
*/
const google = ( searchResult, $, elem , defaultURL ) => {
searchResult.passage = entities.decode( $( elem ).parent().parent().parent().text()).trim(),
searchResult.url = decodeURIComponent( $( elem ).attr( "href" ) );
......@@ -38,6 +52,13 @@ const google = ( searchResult, $, elem , defaultURL ) => {
}
}
/**
* @param {object} searchResult 검색된 내용이 담긴 빈 오브젝트
* @param {cheerio} $ cheerio임.
* @param {string} elem 내용을 찾을 html의 selector인거같음
* @param {string} defaultURL url이 없을 경우 달아주는 비상용 원래 링크
* @description 네이버용 title passage 찾기함수
*/
const naver = ( searchResult, $, elem , defaultURL ) => {
searchResult.title = $( elem ).parent().attr( "title" );
searchResult.passage = entities.decode( $( elem ).parent().parent().parent().text()).trim(),
......@@ -48,6 +69,12 @@ const naver = ( searchResult, $, elem , defaultURL ) => {
}
}
/**
* @param {{title:string,passage:string,ulr:string}} searchResult 검색 결과가 담긴 object
* @param {[]} result 최종 결과가 담기는 어레이
* @param {boolean} keywordCheck 키워드가 확인됐는지 여부
* @description 타이틀이 없을 경우 달아주거나 중복된 것들 제거하는 등의 역활을 해 최종적으로 결과에 담아주는 함수
*/
const searchToResult = (searchResult, result, keywordCheck) => {
searchResult.passage = searchResult.passage.replace( /(http(s)?:\/\/)([a-z0-9\w]+\.*)+[a-z0-9]{2,4}/gi, ' ' ).replace( /\s{1,}|\s{1,}|\r\n|\r|\n/g, ' ' ).trim();
......@@ -70,6 +97,15 @@ const searchToResult = (searchResult, result, keywordCheck) => {
}
}
/**
* @param {string} main 검색할 사이트의 메인 내용이 들어있는 셀렉터를 줘야합니다.
* @param {string} keywordText 분석할 키워드의 내용
* @param {string} html html 파싱한 내용
* @param {string} defaultURL url이 없을 경우 달아주는 비상용 원래 링크
* @param {()=>{}} findSearchResult search result를 찾아주는 함수
* @returns {{url:string,title:string,passage:string}[]} object 여러 개를 가진 list를 준다. 각 json의 url, title, passage로 접근가능
* @description html을 크롤링한 데이터에서 url title passage를 캐오는 함수이다.
*/
const getHtmlMain = ( main, keywordText, html, defaultURL, findSearchResult ) => {
const $ = cheerio.load( html );
let result = [];
......@@ -86,6 +122,11 @@ const getHtmlMain = ( main, keywordText, html, defaultURL, findSearchResult ) =>
const search = {};
/**
* @param {string} keywordText 검색할 내용
* @returns {{url:string,title:string,passage:string}[]} object 여러 개를 가진 list를 준다. 각 json의 url, title, passage로 접근가능
* @description 네이버에서 키워드의 내용을 크롤링해온다.
*/
search.naver = ( keywordText ) => {
return new Promise( async ( resolve, reject ) => {
let naverMain = "#main_pack strong",
......@@ -104,6 +145,11 @@ search.naver = ( keywordText ) => {
})
}
/**
* @param {string} keywordText 검색할 내용
* @returns {{url:string,title:string,passage:string}[]} object 여러 개를 가진 list를 준다. 각 json의 url, title, passage로 접근가능
* @description 구글에서 키워드의 내용을 크롤링해온다.
*/
search.google = ( keywordText ) => {
return new Promise( ( resolve, reject ) => {
let googleMain = "#main a",
......