김건 / Comment_Analysis

Go to a project
Toggle navigation Toggle navigation pinning
김건
2f9831b5 2 parents 760e53bc f0ea8d9d

Merge branch 'twitter' into 'master' 

Twitter

Twitter Crawl 구현

See merge request !3
Inline Side-by-side
Showing 3 changed files with 184 additions and 0 deletions
현재 검색 기능 구현 완료와 더불어
검색 속도 향상 완료
\ No newline at end of file
적합하지 않은 webtoon 브랜치 삭제
twitter branch 새로 구현
추가로 twitter에서 댓글 받아오는 것을 아이디, 날짜, 내용, 링크로 구성된
딕셔너리로 만듬
이를 이용해서 더 구현 예정
\ No newline at end of file
import GetOldTweets3 as got
from bs4 import BeautifulSoup
import datetime
import time
from random import uniform
from tqdm import tqdm_notebook
def get_tweets(criteria):
tweet = got.manager.TweetManager.getTweets(criteria)
tweet_list = []
for index in tqdm_notebook(tweet):
# 메타데이터 목록
username = index.username
link = index.permalink
content = index.text
tweet_date = index.date.strftime("%Y-%m-%d")
retweets = index.retweets
favorites = index.favorites
# 결과 합치기
info_list = {'username' : username, 'text': content, 'time': tweet_date, 'link': link}
tweet_list.append(info_list)
# 휴식
time.sleep(uniform(1,2))
print("====================================")
if(len(tweet_list) == 0):
print("조건에 맞는 tweet이 없습니다.")
else:
print(tweet_list)
print("====================================")
days_range = []
start = datetime.datetime.strptime("2019-11-25", "%Y-%m-%d")
end = datetime.datetime.strptime("2019-11-26", "%Y-%m-%d")
date_generated = [start + datetime.timedelta(days=x) for x in range(0, (end-start).days)]
for date in date_generated:
days_range.append(date.strftime("%Y-%m-%d"))
print("=== 기본으로 설정된 트윗 수집 기간은 {} 에서 {} 까지 입니다 ===".format(days_range[0], days_range[-1]))
print("=== 총 {}일 간의 데이터 수집 ===".format(len(days_range)))
# 수집 기간 맞추기
start_date = days_range[0]
end_date = (datetime.datetime.strptime(days_range[-1], "%Y-%m-%d")
+ datetime.timedelta(days=1)).strftime("%Y-%m-%d") # setUntil이 끝을 포함하지 않으므로, day + 1
my_key = input("검색할 키워드를 입력해주세요: ")
while(True):
temp1 = "현재 검색어는 " + my_key + "입니다. "
print(temp1)
print("기간은 기본적으로 최근 1일입니다.")
print("빠른 검색을 지원하기 위해 최대 50건까지만 표시됩니다.")
print("1. 닉네임을 통한 검색")
print("2. 키워드를 통한 검색")
print("3. 시간을 통한 검색")
print("4. 종료")
userNum = int(input("무엇을 하시겠습니까?: "))
if userNum == 1:
nick = input("검색할 닉네임을 입력해주세요: ")
print("1. 최근 10개만 보기")
print("2. 해당 닉네임의 트윗 50건 보기")
print("3. 현재 검색어를 적용시켜 보기")
tweetNum = int(input("무엇을 하시겠습니까?: "))
if(tweetNum == 1):
tweetCriteria = got.manager.TweetCriteria().setUsername(nick)\
.setSince(start_date)\
.setUntil(end_date)\
.setMaxTweets(10)
get_tweets(tweetCriteria)
elif(tweetNum == 2):
tweetCriteria = got.manager.TweetCriteria().setUsername(nick)\
.setSince(start_date)\
.setUntil(end_date)\
.setMaxTweets(50)
get_tweets(tweetCriteria)
elif(tweetNum == 3):
tweetCriteria = got.manager.TweetCriteria().setUsername(nick)\
.setQuerySearch(my_key)\
.setSince(start_date)\
.setUntil(end_date)\
.setMaxTweets(50)
get_tweets(tweetCriteria)
else:
print("잘못된 보기를 선택하셨습니다.")
elif userNum == 2:
my_key = input("검색할 키워드를 입력해주세요: ")
tweetCriteria = got.manager.TweetCriteria().setQuerySearch(my_key)\
.setSince(start_date)\
.setUntil(end_date)\
.setMaxTweets(50)
get_tweets(tweetCriteria)
elif userNum == 3:
user_start = int(input("시작일을 입력해주세요(yyyymmdd형태): "))
if(user_start < 20170000 or user_start > 20191200):
print("최근 3년 이내만 검색가능합니다.")
continue
user_end = int(input("종료일을 입력해주세요(yyyymmdd형태): "))
if(user_end > 20191200):
print("미래로 갈 수는 없습니다.")
continue
elif(user_end < user_start):
print("시작일보다 작을 수 없습니다.")
continue
if(user_end - 8 > user_start):
print("최대 1주일까지 검색이 가능합니다.")
continue
else:
start_year = user_start // 10000
start_month = user_start // 100 - start_year * 100
start_day = user_start - start_year * 10000 - start_month * 100
end_year = user_end // 10000
end_month = user_end // 100 - end_year * 100
end_day = user_end - end_year * 10000 - end_month * 100
d1 = str(start_year) + "-" + str(start_month) + "-" + str(start_day)
# d2는 보여주기용, d3는 실제 코드에 넣기용(코드에 넣을때는 +1을 해줘야 한다.)
d2 = str(end_year) + "-" + str(end_month) + "-" + str(end_day)
d3 = str(end_year) + "-" + str(end_month) + "-" + str(end_day + 1)
print("1. 현재 검색어를 적용시켜 검색")
print("2. 다른 검색어를 적용시켜 검색")
myNum = int(input("무엇을 선택하시겠습니까?: "))
if(myNum == 1):
print("1. 닉네임을 적용시켜 검색")
print("2. 닉네임 상관없이 전부 검색")
myNum1 = int(input("무엇을 선택하시겠습니까?: "))
if(myNum1 == 1):
nick2 = input("검색할 닉네임을 입력해주세요: ")
tweetCriteria = got.manager.TweetCriteria().setUsername(nick)\
.setQuerySearch(my_key)\
.setSince(d1)\
.setUntil(d3)\
.setMaxTweets(50)
elif(myNum1 == 2):
tweetCriteria = got.manager.TweetCriteria().setQuerySearch(my_key)\
.setSince(d1)\
.setUntil(d3)\
.setMaxTweets(50)
else:
print("잘못된 입력입니다.")
continue
elif(myNum == 2):
my_key = input("검색할 키워드를 입력해주세요: ")
print("1. 닉네임을 적용시켜 검색")
print("2. 닉네임 상관없이 전부 검색")
myNum2 = int(input("무엇을 선택하시겠습니까?: "))
if(myNum2 == 1):
nick2 = input("검색할 닉네임을 입력해주세요: ")
tweetCriteria = got.manager.TweetCriteria().setUsername(nick)\
.setQuerySearch(my_key)\
.setSince(d1)\
.setUntil(d3)\
.setMaxTweets(50)
elif(myNum2 == 2):
tweetCriteria = got.manager.TweetCriteria().setQuerySearch(my_key)\
.setSince(d1)\
.setUntil(d3)\
.setMaxTweets(50)
else:
print("잘못된 입력입니다.")
continue
else:
print("잘못된 입력입니다.")
continue
print("=== 현재 설정된 트윗 수집 기간은 {} 에서 {} 까지 입니다 ===".format(d1, d2))
print("=== 총 {}일 간의 데이터 수집 ===".format(user_end - user_start))
get_tweets(tweetCriteria)
elif userNum == 4:
break
else:
print("잘못된 입력입니다.")
continue