𝘚𝘭𝘰𝘸 𝘣𝘶𝘵 𝘴𝘵𝘦𝘢𝘥𝘺

LangChain?LangChain은 대형 언어 모델(LLM)을 효율적으로 활용할 수 있도록 지원하는 프레임워크로, AI 기반 애플리케이션 개발을 보다 체계적이고 유연하게 설계할 수 있도록 돕는다. LangChain은 다양한 LLM과 연동할 수 있으며, 이를 통해 AI 모델을 쉽게 호출하고, 대화형 응답을 생성하거나 데이터 분석 및 자동화 프로세스를 구축하는 데 활용할 수 있다.- ChatGPT LangChain은 다양한 LLM 모델을 손쉽게 호출하고 사용할 수 있게 지원한다. 특히 OpenAI API를 직접 활용하여 프롬프트를 전달하는 방식보다 LangChain을 활용하면 LLM을 활용하는 측면에서 확장성도 좋고 코드 활용도 훨씬 간편하다. 실제 코드를 놓고 비교해도 아래와 같이 더 직관적으로 이해하기..

Temperature?언어 모델이 텍스트를 생성할 때 랜덤성을 제어하는 하이퍼 파라미터로, 모델이 생성할 다음 단어의 확률 분포를 조정한다. 값의 범위는 일반적으로 [0, 1]을 갖는다.낮은 값일수록 모델이 더 예측 가능한 출력을 생성하고, 높은 값일 수록 모델이 더 다양하고 창의적인 출력을 생성한다. 이론적으로 1.0 이상의 값을 가질 수 있으나, 값을 키워 다양성을 늘릴 수록 무작위성도 함께 증가하기 때문에 단순 랜덤 텍스트 생성에 그칠 수 있다. 또한, 한국어의 경우 1.0 이상의 값으로 넘어가면 맞춤법이 달라질 수 있다.0에 가까울 수록 정해진 답변을 수행하기 때문에, 일반적으로 0 ~ 0.5 이하의 값을 사용하는 것을 권장한다.  근데1 이상의 자유도를 가질 때 답변이 어떻게 달라지는지 궁금해서..

어느덧 인공지능의 대명사가 된 GPT..OpenAI의 GPT의 초기 모델이었던 GPT-1, GPT-2, GPT-3를 이제야 읽고 정리해보았다. GPT-1, 2, 3 논문 정리GPT-1: Improving Language Understanding by Generative Pre-TrainingGPT-2: Language Models are Unsupervised Multitask LearnersGPT-3: Language Models are Few-Shot Learners GPT란?Generative Pre-Trained Transformer로, 말 그대로사전 훈련된 Transformer 모델 기반 언어 생성 모델이다.즉, GPT-1, 2, 3 그 외 모든 GPT 모델은 Decoder-only 구조로, T..

딥러닝 학계 전반에 혁신적인 돌풍을 몰고 온 논문,Attention is All You Need: https://dl.acm.org/doi/10.5555/3295222.3295349 Attention is all you need | Proceedings of the 31st International Conference on Neural Information Processing SystemsPublication History Published: 04 December 2017dl.acm.org BERT 논문도 컨퍼런스 논문에다 거의 Encoder 구조를 그대로 갔다 썼기 때문에모델의 구조적인 부분은 나와있지 않아 어쩔 수 없이 Transformer 논문도 같이 공부하게 되었고,읽은 김에 정리해서 기록으로 남..

남들 DeepSeek 읽을때 이제서야 BERT 읽고 정리한다https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingWe introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from ..

https://arxiv.org/abs/0711.0189 Von Luxburg, U. (2007). A tutorial on spectral clustering. Statistics and computing, 17, 395-416. 내용 정리 1. Introduction Spectral clustering : 고유값을 사용한 그래프 기반 클러스터링 Spectrum : 행렬의 고유값들의 집합 ⇒ 즉, 그래프의 스펙트럼을 분석하겠다는 의미 데이터의 feature값을 하나의 좌표로 생각하여 유클리디안 공간에서 클러스터링을 하는 k-means 클러스터링과 달리 연결 정보를 판단하는 그래프 기반의 스펙트럴 클러스터링을 사용하면 convex 모양의 클러스터 뿐만 아니라 더 복잡한 모양의 클러스터의 경우에도 쉽게 클..