nlp2 BERT 1. BERT의 개요 가. BERT의 정의 -구글에서 개발한 NLP 사전 훈련 기술로써 기존 앙상블 모델보다 우수한 성능의 모델 나. BERT의 특징 -(트랜스포머 이용), 트랜스포머을 이용하여 구현, 이키피디아와 BooksCorpus와 같은 레이블이 없는 텍스트 데이터로 사전 훈련 모델 -(파인 튜닝), 레이블이 없는 방대한 데이터로 사전 훈련된 모델을 가지고, 레이블이 있는 다른 작업(Task)에서 추가 훈련과 함께 하이퍼파라미터를 재조정 -(인코더 구조 변경), 트랜스포머의 인코더를 다수 쌓아올린 구조 -(양방향 사전 학습), 자연언어 처리 태스크를 교육 없이 양방향으로 사전학습 -(마스크드 언어 모델), 입력 텍스트의 15% 단어를 랜덤으로 마스킹하여 마스킹된 단어를 예측하는 모델 2. BERT의.. 2021. 5. 13. 트랜스포머(Transformer) 1. 트랜스포머(Transformer)의 개요 가. 트랜스포머의 정의 -017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델 나. 트랜스포머의 특징 -(인코더-디코더 구조), 기존의 seq2seq의 구조 -(어텐션(Attention)), 어텐션(Attention)만으로 구현한 모델 -(RNN 미사용), 인코더-디코더 구조를 설계하였음에도 성능도 RNN보다 우수 -(seq2seq 단점 극복), 인코더가 입력 시퀀스를 하나의 벡터로 압축하는 과정에서 입력 시퀀스의 정보가 일부 손실된다는 단점 극복 -(N 단계), N 단계의 인코더와 디코덕 존재 2. 트랜스포머의 개념도 및 구성요소 가. 트랜스포머의 개념도 나. 트랜스포머의 구성요소 구성요소 설명 워드 임베딩 -각 단.. 2021. 5. 12. 이전 1 다음
