시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq)

1. 시퀀스-투-시퀀스(Sequence-to-Sequence)의 개요

가. 시퀀스-투-시퀀스(Sequence-to-Sequence)의 정의

-입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 다양한 분야에서 사용되는 모델

 

나. 시퀀스-투-시퀀스의 특징

-(질문 & 답변), 챗봇(Chatbot), 기계 번역(Machine Translation), 내용 요약(Text Summarization), STT(Speech to Text) 등

-(LSTM 셀), 인코더/디코더에 RNN 대신 LSTM 또는 GRU로 구성

 

2. 시퀀스-투-시퀀스의 개념도 및 학습절차

가. 시퀀스-투-시퀀스의 개념도

 

딥 러닝을 이용한 자연어 처리 입문 참조

-인코더 RNN 셀은 모든 단어를 입력받은 뒤에 인코더 RNN 셀의 마지막 시점의 은닉 상태를 디코더 RNN 셀로 넘겨주는 것을 '컨텍스트 벡터'라 함

 

나. 시퀀스-투-시퀀스의 학습절차

1) 초기 입력으로 문장의 시작을 의미하는 심볼 <sos>가 디코더에 입력

2) <sos>가 입력되면, 다음에 등장할 확률이 높은 단어를 예측 첫번째 시점(time step)의 디코더 RNN 셀은 다음에 등장할 단어로 je를 예측 첫번째 시점의 디코더 RNN 셀은 예측된 단어 je를 다음 시점의 RNN 셀의 입력으로 전달

3) 디코더는 이런 식으로 기본적으로 다음에 올 단어를 예측 그 예측한 단어를 다음 시점의 RNN 셀의 입력으로 넣는 행위를 반복

4) 이 행위는 문장의 끝을 의미하는 심볼인 <eos>가 다음 단어로 예측될 때까지 반복