패스트캠퍼스 캐시백 챌린지 04일차 - 추천시스템[Part2]

반응형

👉🏻 참여 인강 : 딥러닝을 활용한 추천시스템 구현 올인원 패키지 Online.
데일리 미션 진행 기간(66일)일 동안 진행된다. 제발 이번에는 꼭 성공하기를 🙏🏻 Plz

 

오늘 들은 인강

[Part2] 03-06. TF-IDF란 --

 

오늘 배운 내용

 

:  Vector Representation

- review 문서 전체에 등장하는 단어의 수는 n개

- m개의 review 문서가 있다고 가정

- m과 n의 조합

- 빈도수를 가지고 활용함.

 

:TF - IDF
- 흔하게 등장하는 단어는 중요하지 않은 단어

- Information Retrieval에서 많이 사용하는 개념
- 각 단어에서 가중치를 부여해서 Keyword extraction 등에 활용
- 문서에서 특정 단어가 등장하는 것으로 문서끼리 관련있음을 표현할 수 있음.


- TF : 단어가 문서에 등장한 빈도수
- DF : 단어가 등장한 문서의 수

- N : 전체 문서의 수

만약 어떤 단어가 모든 문서에서 등장한다면 흔하다고 간주하고 그 단어의 정보력은 없다고 판단함

 

- DF가 큰 단어는 정보력이 적다.

- 문서 (말뭉치)에 모두 포함된 단어는 흔히 등장하는 단어로, 의미가 크지 않음.

- 흔하게 등장하는 단언ㄴ 유사도 계산에서도 제외하게 됨.

- 대부분 문법적인 역할을 하는 조사, 관사 등이 해당.

 

- TF는 해당 언어가 해당 문서에 알마나 자주 등장하는지 체크

- IDF는 해당 단어가 얼마나 다른 문서에서 특별한지 체크

 

 

 

 

 

 

 

--
실습을 진행하였는데, 세상에 급격하게 어려워진다.
아마 파이썬 문법이 좀 약해서 그런가?

kss : 한국어 문장 분리 모듈 설치, 

Konlpy : 형태소 기반 토크나이징

mecab 설치

- 특수문자를 전처리하는 함수 생성
- 뉴스 정보 가져오기
- with as 객체 사용
- 명사만 추출하기
- 문장 분리해서 사용하기

- Scikit-learn을 이용하여 TF-IDF
- TfidfVectorizer

 

import os
import pandas as pd
import numpy as np
from tqdm import tqdm

from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

path = '/content/drive/MyDrive/data/movielens'

ratings_df = pd.read_csv(os.path.join(path, 'ratings.csv'), encoding = 'utf-8')
movies_df = pd.read_csv(os.path.join(path, 'movies.csv'), index_col ='movieId', encoding= 'utf-8')
tags_df = pd.read_csv(os.path.join(path, 'tags.csv'), encoding='utf-8')

total_count = len(movies_df.index)
total_genres = list(set([genre for sublist in list(map(lambda x: x.split('|'), 
                                                       movies_df['genres'])) for genre in sublist]))
                                                       
genre_count = dict.fromkeys(total_genres)

for each_genre_list in movies_df['genres']:
  for genre in each_genre_list.split('|'):
    if genre_count[genre] == None:
      genre_count[genre] = 1
    else:
      genre_count[genre] = genre_count[genre]+1

genre_count


for each_genre in genre_count:
  genre_count[each_genre] = np.log10(total_count/genre_count[each_genre])
  # 장르 가중치를 계산 하겠다는 의미임. Drama의 경우 많이 나와 가중치를 낮췄음.

genre_count



# Compute IDF for tag
total_movie_count = len(set(tags_df['movieId']))
# key: tag, value : numver of movies with such tag
tag_count_dict = dict.fromkeys(unique_tags)

for each_movie_tag_list in tags_df['tag']:
  for tag in each_movie_tag_list.split(","):
    if tag_count_dict[tag.strip()] == None:
      tag_count_dict[tag.strip()] = 1
    else:
      tag_count_dict[tag.strip()] += 1

tag_idf = dict()
for each_tag in tag_count_dict:
  tag_idf[each_tag] = np.log10(total_movie_count / tag_count_dict[each_tag])
  # 많이 나온 tag에 가중치를 덜 주기 위함. / tag_count_dict[each_tag]

tag_idf

 

 

 

 

 

내일을 위한 다짐

내일은 좀 어려울 것 같다. ㅜㅜ 하나만 듣고 잘 정리해두자





https://bit.ly/3L3avNW

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.

 

저작자표시비영리변경금지

'STUDY 📖 > 패스트 캠퍼스 챌린지 - 2022.04~' 카테고리의 다른 글

패스트캠퍼스 캐시백 챌린지 06일차 - 추천시스템[Part2]  (0)	2022.04.23
패스트캠퍼스 캐시백 챌린지 05일차 - 추천시스템[Part2]  (0)	2022.04.22
패스트캠퍼스 캐시백 챌린지 04일차 - 추천시스템[Part2]  (0)	2022.04.21
패스트캠퍼스 캐시백 챌린지 03일차 - 추천시스템[Part2]  (0)	2022.04.20
패스트캠퍼스 캐시백 챌린지 02일차 - 추천시스템[Part2]  (0)	2022.04.19
패스트캠퍼스 캐시백 챌린지 01일차 - 추천시스템[Part2]  (0)	2022.04.18