𝘚𝘭𝘰𝘸 𝘣𝘶𝘵 𝘴𝘵𝘦𝘢𝘥𝘺

드디어 마지막..이전 포스팅: [LLM] 화상회의 중 STT to TTS 수행하는 시스템 설계 - 2. 실시간 STT와 번역이 가능한 시스템 구현(+ FastAPI 모델서빙) 프로젝트 목적코드 소개에 앞서, 해당 기능이 필요했던 프로젝트의 목적에 대해 먼저 설명하고자 한다. 현지 공장의 문제해결을 더욱 용이하게 만들고, 본사와 현지 공장 간 의사소통 차이를 완화시킬 수 있는 시스템을 설계하였다. 현지 공장에서는 만약 공장 내 이슈가 발생하면 1단계: 이상현상 모니터링 및 감지현장에서는 자체적으로 문제 감지 시스템을 구축하여, 이상현상 발생 시 언제 발생한 어떠한 종류의 문제인지 현지 공장에서 확인할 수 있도록 알림을 전송한다. 2단계: 챗봇을 통한 문제 해결발생한 문제상황과 촬영 이미지를 챗봇에 업로드하..

Special thanks to. 다건🙌 이전 포스팅: [LLM] 화상회의 중 STT to TTS 수행하는 시스템 설계 - 1. OpenAI API 'Whisper-1' 활용하여 실시간 STT 구현 이전에 만들었던 음성 녹음 + 실시간 STT 코드를 가지고녹음 시작 버튼을 누르면 중단 없이 프로그램이 자체적으로 문장의 끝을 판단하여 한 문장씩 전사와 번역을 수행하는 프로그램을 설계했다.사실 FE/BE 설정은 거의 다건이가 다 해줬고,음성 관련 트러블슈팅 부분만 내가 발 얹었다. 감사합니다👍 사진은 5초 정도 길이의 문장을 3초만에 전사하고 -> 곧이어 1초 내로 번역이 완료되는 실행 결과 모습이다. 프론트 못함 + 저게 메인 프로젝트가 아니었음 이슈로 보여주는 완성도를 생각하지 않고 기능에만 집중..

🗣️ STT?Speech-To-Text 로, 음성을 텍스트로 변환하는 작업이다.그걸 누가모릅니까 '본사와 현지 공장 간 트러블 처리 지원 시스템' 중 화상회의 동안의 실시간 STT - 번역 - TTS 파이프라인 설계와 구현을 담당하게 되었는데, (사실 STT 재미있어보여서 내가 하고싶다고 자원함) 그 중 '실시간 STT 시스템'부터 작게 구현해보고자 간단한(코드1823641줄짜리) 프로그램을 설계하게 되었다. 사용 모델현재 듣고 있는 교육에서 OpenAI API를 사용할 수 있도록 key를 제공해줬기 때문에(스칼라 짱), stt모델 중에서도 토큰 효율적이면서 꽤 예전에 나와 코딩 참고 자료가 많은 'whisper-1'을 사용하게 되었다. 🔗 Whisper-1 공식 API 문서: https://plat..

LangChain?LangChain은 대형 언어 모델(LLM)을 효율적으로 활용할 수 있도록 지원하는 프레임워크로, AI 기반 애플리케이션 개발을 보다 체계적이고 유연하게 설계할 수 있도록 돕는다. LangChain은 다양한 LLM과 연동할 수 있으며, 이를 통해 AI 모델을 쉽게 호출하고, 대화형 응답을 생성하거나 데이터 분석 및 자동화 프로세스를 구축하는 데 활용할 수 있다.- ChatGPT LangChain은 다양한 LLM 모델을 손쉽게 호출하고 사용할 수 있게 지원한다. 특히 OpenAI API를 직접 활용하여 프롬프트를 전달하는 방식보다 LangChain을 활용하면 LLM을 활용하는 측면에서 확장성도 좋고 코드 활용도 훨씬 간편하다. 실제 코드를 놓고 비교해도 아래와 같이 더 직관적으로 이해하기..

Temperature?언어 모델이 텍스트를 생성할 때 랜덤성을 제어하는 하이퍼 파라미터로, 모델이 생성할 다음 단어의 확률 분포를 조정한다. 값의 범위는 일반적으로 [0, 1]을 갖는다.낮은 값일수록 모델이 더 예측 가능한 출력을 생성하고, 높은 값일 수록 모델이 더 다양하고 창의적인 출력을 생성한다. 이론적으로 1.0 이상의 값을 가질 수 있으나, 값을 키워 다양성을 늘릴 수록 무작위성도 함께 증가하기 때문에 단순 랜덤 텍스트 생성에 그칠 수 있다. 또한, 한국어의 경우 1.0 이상의 값으로 넘어가면 맞춤법이 달라질 수 있다.0에 가까울 수록 정해진 답변을 수행하기 때문에, 일반적으로 0 ~ 0.5 이하의 값을 사용하는 것을 권장한다. 근데1 이상의 자유도를 가질 때 답변이 어떻게 달라지는지 궁금해서..