GPT-3

1. GPT-3의 개요

가. GPT-3의 정의

-Transformer의 디코더만을 사용하는 OpenAI가 20년 5월 공개한 새로운 NLP 모델

 

나. GPT-3의 특징

-(few-shot learning), 소수의 입력 데이터로 예측하는 기법 

-(fine-tuning), 레이블이 없는 방대한 데이터로 사전 훈련된 모델을 NLP 목적에 맞도록 파라미터 재조정을 위한 추가 훈련 과정 (3000억개 데이터로 사전 훈련)

-(NLP), OpenAI가 20년 6월 공개한 새로운 NLP 모델

 

2. GPT-3의 개념도

 

3. GPT-3의 한계

-인터넷의 게시글을 통한 학습으로 종교적 문제나 차별적 언어를 학습