30902 윈도우에서 gemma3 로컬 활용하기(ollama활용, sLLM) 최근 microsoft에서 발표한 gemma3가 상당한 성능을 자랑 최근 microsoft에서 발표한 gemma3가 상당한 성능을 자랑하기에 간략한 사용법을 설명드리려 합니다. 먼저 장점을 간략하게 확인하자면, 압도적인 가성비와 유용성입니다. 1. 뛰어난 성능 가성비 - 27B 모델으로 o3-mini 보다 높은 성능. llama 405b보다 높은 성능 2. 다국어 지원 - 140개국어 지원 3. 오픈소스 - 무료입니다.4. 멀티모달 - 이미지도 분석 가능합니다. 5. 128K Context window - GPT4, Claude3 모델보다 더 긴 내용을 한번에 입력/출력 가능합니다. 6. 공식 양자화 모델 제공 - 별도 양자화 하거나, 양자화된 모델을 찾을 필요 없이 활용 가능합니다. 준비사.. 2025. 3. 19. LLM 모델 크기에 따른 GPU 세팅 가이드 ( RTX3090, H100 기준 ) 소개 작은 대형 언어 모델(sLLM)을 사용하려 할 때는 모델이 내 장비에서 돌아갈지, 혹은 어느정도 모델을 사용하려면 어느정도 장비가 필요할지 아는 것 부터 시작합니다. 특히 GPU 메모리(GRAM)의 용량이 중요합니다. Llama 3.1같은 sLLM 같은 모델을 다룰 때, 어느정도 사양의 GPU가 얼마나 필요할까요? 다양한 LLM 크기에 따른 GPU 메모리 요구 사항을 살펴보고, 다양한 양자화 기법에 따른 사양 변화까지 확인해 보겠습니다. 주요 개념LLM을 다룰 때 고려해야 할 두 가지 주요 요소는 다음과 같습니다: 1. 모델 크기 (파라미터 수) - 모델의 전체 용량과 성능을 결정하는 요소입니다. - 주로 B로 정리되며, 10억개의 파라미터를 의미합니다. .. 2024. 9. 19. 이전 1 다음
