H1003 OpenAI의 공개모델 gpt-oss 에 대한 생각 gpt-oss 의 핵심 의의 OpenAI가 2025년 8월 공개한 gpt‑oss 시리즈는 두 가지 크기로 제공됩니다.20B 모델은 21 억 파라미터 중 3.6 억만 활성화되는 Mixture‑of‑Experts 구조로 설계되어, 16 GB 메모리 또는 RTX 3090과 같은 고급 소비자 GPU에서 실행될 수 있습니다.120B 모델은 117 억 파라미터(활성 파라미터 5.1 억)로, H100 같은 80 GB급 데이터센터 GPU가 필요합니다.두 모델 모두 오픈 웨이트 방식으로 제공돼 개발자가 자유롭게 수정·추론할 수 있습니다. 각각 개인용, 사업용 분야에서 왠만한 일은 할 수 있는 기준선이 gpt-oss로 그어진 것 같습니다. 모델별 상세 20B: RTX 3090급 하드웨어를 겨냥한 경량 모델사양: 24층.. 2025. 8. 13. LLM GPU 요구사항 계산기: LLM활용을 위한 요구사항 확인 도구 안녕하세요, 오늘은 새롭게 개발한 LLM GPU 요구사항 계산기를 소개해드리려고 합니다.링크 LLM GPU 요구사항 계산기 | MIRAI 모델의 파라미터 수에 따른 GPU 메모리 요구사항과 필요 GPU 개수를 계산해보세요.gram.mir.so 개발 배경최근 LLaMA, GPT 등 대규모 언어 모델(LLM)이 대중화되면서, 많은 연구자와 기업들이 이러한 모델을 직접 구축하고 운영하려는 시도를 하고 있습니다. 하지만 이 과정에서 가장 큰 고민 중 하나는 "어떤 GPU를 몇 개나 준비해야 하는가?"입니다. 이러한 고민을 해결하기 위해, 모델 크기(파라미터 수)를 입력하면 필요한 GPU 메모리와 개수를 자동으로 계산해주는 도구를 개발하게 되었습니다.주요 기능3B부터 405B까지 다양한 모델 크기 지원RTX 시리.. 2025. 1. 20. LLM 모델 크기에 따른 GPU 세팅 가이드 ( RTX3090, H100 기준 ) 소개 작은 대형 언어 모델(sLLM)을 사용하려 할 때는 모델이 내 장비에서 돌아갈지, 혹은 어느정도 모델을 사용하려면 어느정도 장비가 필요할지 아는 것 부터 시작합니다. 특히 GPU 메모리(GRAM)의 용량이 중요합니다. Llama 3.1같은 sLLM 같은 모델을 다룰 때, 어느정도 사양의 GPU가 얼마나 필요할까요? 다양한 LLM 크기에 따른 GPU 메모리 요구 사항을 살펴보고, 다양한 양자화 기법에 따른 사양 변화까지 확인해 보겠습니다. 주요 개념LLM을 다룰 때 고려해야 할 두 가지 주요 요소는 다음과 같습니다: 1. 모델 크기 (파라미터 수) - 모델의 전체 용량과 성능을 결정하는 요소입니다. - 주로 B로 정리되며, 10억개의 파라미터를 의미합니다. .. 2024. 9. 19. 이전 1 다음
