워드임베딩2 트랜스포머(Transformer) 1. 트랜스포머(Transformer)의 개요 가. 트랜스포머의 정의 -017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델 나. 트랜스포머의 특징 -(인코더-디코더 구조), 기존의 seq2seq의 구조 -(어텐션(Attention)), 어텐션(Attention)만으로 구현한 모델 -(RNN 미사용), 인코더-디코더 구조를 설계하였음에도 성능도 RNN보다 우수 -(seq2seq 단점 극복), 인코더가 입력 시퀀스를 하나의 벡터로 압축하는 과정에서 입력 시퀀스의 정보가 일부 손실된다는 단점 극복 -(N 단계), N 단계의 인코더와 디코덕 존재 2. 트랜스포머의 개념도 및 구성요소 가. 트랜스포머의 개념도 나. 트랜스포머의 구성요소 구성요소 설명 워드 임베딩 -각 단.. 2021. 5. 12. 희소 표현 & 밀집 표현 & 워드 임베딩 1. 희소 표현(Sparse Representation) -원-핫 인코딩을 통해서 나온 원-핫 벡터들은 표현하고자 하는 단어의 인덱스의 값만 1이고, 나머지 인덱스에는 전부 0으로 표현되는 벡터 표현 방법 -원-핫 벡터 = 희소 벡터(sparse vector) -문제점은 단어의 개수가 늘어나면 벡터의 차원이 한없이 커진다는 점 (원-핫 벡터로 표현할 때는 갖고 있는 코퍼스에 단어가 1,000개였다면 벡터의 차원은 1,000이어야만 함) 2. 밀집 표현(Dense Representation) -사용자가 설정한 값으로 모든 단어의 벡터 표현의 차원을 맞추며 이 과정에서 0과 1값이 아닌 실수값을 가지게 됨 예) -희소표현을 사용하여 고양이의 벡터값이 [ 0 0 0 0 1 0 0 0 0 0 0 0 ... 중략.. 2021. 5. 12. 이전 1 다음
