통계기반1 자연어 처리 임베딩 기술 1. 자연어 처리 임베딩 기술의 개요 가. 자연어 처리 임베딩 기술의 정의 -자연어 처리를 위해 단어를 0과 1의 수치로 표현하는 기법 나. 자연어 처리 임베딩 기술의 특징 -(벡터화), 텍스트를 0과 1의 값으로 바꾸는 작업을 벡터화 또는 임베딩이라 함 -(유사도 계산), 전체 단어들 간의 관계에 맞춰 해당 단어의 특성을 갖는 벡터로 변화 2. 자연어 처리 임베딩 기술 가. 임베딩 기술 흐름 구분 기술 설명 통계적 기반 TDM EF-IDF One-Hot Encoding -초기 임베딩 기법 -통계적 기반을 중심으로 말뭉치(코퍼스)의 통계량을 활용 -차원 축소 뉴럴 네트워크 기반 Word2Vec FastText ELMO BERT -안공망을 이용하여 주변 단어의 등장 확률을 예측 -Neural Network.. 2021. 5. 23. 이전 1 다음
