𝘚𝘭𝘰𝘸 𝘣𝘶𝘵 𝘴𝘵𝘦𝘢𝘥𝘺

어느덧 인공지능의 대명사가 된 GPT..OpenAI의 GPT의 초기 모델이었던 GPT-1, GPT-2, GPT-3를 이제야 읽고 정리해보았다. GPT-1, 2, 3 논문 정리GPT-1: Improving Language Understanding by Generative Pre-TrainingGPT-2: Language Models are Unsupervised Multitask LearnersGPT-3: Language Models are Few-Shot Learners GPT란?Generative Pre-Trained Transformer로, 말 그대로사전 훈련된 Transformer 모델 기반 언어 생성 모델이다.즉, GPT-1, 2, 3 그 외 모든 GPT 모델은 Decoder-only 구조로, T..

딥러닝 학계 전반에 혁신적인 돌풍을 몰고 온 논문,Attention is All You Need: https://dl.acm.org/doi/10.5555/3295222.3295349 Attention is all you need | Proceedings of the 31st International Conference on Neural Information Processing SystemsPublication History Published: 04 December 2017dl.acm.org BERT 논문도 컨퍼런스 논문에다 거의 Encoder 구조를 그대로 갔다 썼기 때문에모델의 구조적인 부분은 나와있지 않아 어쩔 수 없이 Transformer 논문도 같이 공부하게 되었고,읽은 김에 정리해서 기록으로 남..

남들 DeepSeek 읽을때 이제서야 BERT 읽고 정리한다https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingWe introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from ..