Seq2Seq2 트랜스포머(Transformer) 1. 트랜스포머(Transformer)의 개요 가. 트랜스포머의 정의 -017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델 나. 트랜스포머의 특징 -(인코더-디코더 구조), 기존의 seq2seq의 구조 -(어텐션(Attention)), 어텐션(Attention)만으로 구현한 모델 -(RNN 미사용), 인코더-디코더 구조를 설계하였음에도 성능도 RNN보다 우수 -(seq2seq 단점 극복), 인코더가 입력 시퀀스를 하나의 벡터로 압축하는 과정에서 입력 시퀀스의 정보가 일부 손실된다는 단점 극복 -(N 단계), N 단계의 인코더와 디코덕 존재 2. 트랜스포머의 개념도 및 구성요소 가. 트랜스포머의 개념도 나. 트랜스포머의 구성요소 구성요소 설명 워드 임베딩 -각 단.. 2021. 5. 12. 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq) 1. 시퀀스-투-시퀀스(Sequence-to-Sequence)의 개요 가. 시퀀스-투-시퀀스(Sequence-to-Sequence)의 정의 -입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 다양한 분야에서 사용되는 모델 나. 시퀀스-투-시퀀스의 특징 -(질문 & 답변), 챗봇(Chatbot), 기계 번역(Machine Translation), 내용 요약(Text Summarization), STT(Speech to Text) 등 -(LSTM 셀), 인코더/디코더에 RNN 대신 LSTM 또는 GRU로 구성 2. 시퀀스-투-시퀀스의 개념도 및 학습절차 가. 시퀀스-투-시퀀스의 개념도 -인코더 RNN 셀은 모든 단어를 입력받은 뒤에 인코더 RNN 셀의 마지막 시점의 은닉 상태를 디코더 RNN 셀로 넘겨주는.. 2021. 5. 12. 이전 1 다음
