GPT-OSS 120B를 8GB VRAM, 메모리 64GB로 구동시켜볼 수 있다하여 다음 레딧글을 참고해서 시도해봤습니다.
https://old.reddit.com/r/LocalLLaMA/comments/1mke7ef/120b_runs_awesome_on_just_8gb_vram/
테스트에 사용한 노트북 사양입니다.
CPU AMD Ryzen 7 8845HS w/ Radeon 780M Graphics (3.80 GHz)
Geforce RTX 4060 8G
시스템 메모리 64GB
2025. 8. 15 최초작성
2025. 8. 16 스레드에서 한 분이 실행결과가 CPU에서 돌린것 수준이라하셔서 다시 확인해보니 그런거 같아서 다시 시도해봤습니다.
2025. 8. 31 버전차이로 옵션 변경됨.
영상으로도 제작했지만 주요 명령은 블로그 글을 참고 해야 합니다.
참고한 레딧글에서 llama.cpp를 사용한걸 확인하고 깃허브 저장소를 찾았습니다.
https://github.com/ggml-org/llama.cpp
최근에 릴리즈된 것을 확인해보니 윈도우용이 압축파일로 제공되네요. 빨간 사각형으로 표시한 llama cpp 파일을 다운로드 받았습니다. 그리고 CUDA를 사용하면 필요할거 같아 파란색 사각형으로 표시한 것도 다운로드 받았습니다.
https://github.com/ggml-org/llama.cpp/releases
압축을 풀었더니 여러 파일들이 있네요.
명령 프롬프트에서 해당 폴더로 이동합니다.
llama-server를 실행시켜보니 CPU를 사용하는 듯 보입니다.
앞에서 다운로드 받았던 cudart-llama-bin-win-cuda-12.4-x64.zip 파일을 압축풀어 해당 폴더에 넣어보고 다시 실행해봅니다.
압축파일엔 다음 파일들이 있습니다.
llama-server를 다시 실행시켜본 결과입니다. 예상대로 CUDA를 사용가능하게 된 걸로 보입니다. 앞에서 보인거랑 메시지에 CUDA 관련 내용이 있습니다.
이제 모델이 필요하다 싶어 참고한 레딧글에서 사용한 gpt-oss-120b-mxfp4-00001-of-00003.gguf라는 모델을 구글에서 우선 찾아보니 다음 링크에 있네요.
https://huggingface.co/ggml-org/gpt-oss-120b-GGUF
다음 명령을 사용하여 모델을 다운로드 하였습니다. 좀 시간이 걸립니다.
llama-cli -hf ggml-org/gpt-oss-120b-GGUF
진행화면이 다음처럼 보여서 혼란스럽지만 다운로드는 되는게 분명해보였습니다. 로그 시작 부분을 확인해보니 예상시간이 17분이지만… 네트워크 속도에 따라 다를 수 있을 듯합니다.
다운로드가 완료되면 다음 화면이 보이는데 Ctrl + C를 눌러 종료시킵니다. 종료시키기전 LLM에게 질문을 할 수 있는 것으로 보이지만 해보진 않았습니다. CUDA 가속을 활성화해준 DLL을 복사하기 전에 다운로드를 시작했기 때문에 스크린샷엔 CPU만 사용가능한걸로 보입니다.
다운로드 받은 모델은 현재 디렉토리에 없고 다음 경로에 있습니다. 그래서 아래 명령어 실행시 모델 파일 앞에 $LLAMA_MODEL_DIR를 추가하는 듯합니다. everything(https://www.voidtools.com/ko-kr/ )이란 프로그램을 사용하면 파일 위치를 찾을 수 있습니다.
C:\Users\freem\AppData\Local\llama.cpp\ggml-org_gpt-oss-120b-GGUF_gpt-oss-120b-mxfp4-00001-of-00003.gguf
이제 다음 명령으로 모델을 실행할 수 있습니다. 다음 두 명령의 차이는 n-cpu-moe 옵션값 차이입니다.
레딧글에서 5G VRAM에서 실행했다는 명령입니다. gpt-oss-120b 모델은 36개의 MOE 블록을 가지고 있는데 cpu-moe가 36이란 것은 모든 MOE가 CPU에서 실행됨을 의미합니다.
llama-server -m $LLAMA_MODEL_DIR/gpt-oss-120b-mxfp4-00001-of-00003.gguf --n-cpu-moe 36 --n-gpu-layers 999 -c 0 -fa --jinja --reasoning-format none --host 0.0.0.0 --port 8502 --api-key "dummy"
레딧글에서 8G VRAM에서 실행했다는 명령입니다. gpt-oss-120b 모델은 36개의 MOE 블록을 가지고 있는데 cpu-moe가 28이란 것은 대부분의 MOE는 CPU에서 실행되고 일부 MOE는 GPU에서 실행됨을 의미합니다.
llama-server -m $LLAMA_MODEL_DIR/gpt-oss-120b-mxfp4-00001-of-00003.gguf --n-cpu-moe 28 --n-gpu-layers 999 -c 0 -fa --jinja --reasoning-format none --host 0.0.0.0 --port 8502 --api-key "dummy"
레딧글에서 옵션을 설명한 내용입니다.
~/build/llama.cpp/build-cuda/bin/llama-server \
-m $LLAMA_MODEL_DIR/gpt-oss-120b-mxfp4-00001-of-00003.gguf \
--n-cpu-moe 36 \ # 이 모델은 36개의 MOE 블록을 가지고 있습니다. cpu-moe 36은 모든 MOE가 CPU에서 실행됨을 의미합니다. 일부 MOE를 GPU로 이동시키도록 조정할 수 있지만, 그렇게 해도 그리 빨라지지는 않습니다.
--n-gpu-layers 999 \ # 나머지 모든 것을 GPU에서 처리, 약 8GB 사용
-c 0 -fa \ # 최대 컨텍스트 길이 (128k), 플래시 어텐션 사용
--jinja --reasoning-format none \
--host 0.0.0.0 --port 8502 --api-key "dummy"
두번째 명령을 사용하여 실행해봅니다. 단 여기에선 릴리즈된 것을 다운로드하여 사용하기 때문에 모델 파일 앞에 붙어있는 $LLAMA_MODEL_DIR 환경변수가 정의 안되어 있습니다. 앞에서 찾은 모델 위치를 사용합니다. 윈도우에선 같은 위치에 다운로드 될거라고 생각되지만 문제 있으면 앞에서 사용한 everything 프로그램으로 모델 위치를 찾아보세요.
2025. 8. 31 사용하는 llama cpp 버전이 올라간후 일부 옵션을 제거하고 옵션을 변경해야 했습니다.
llama-server -m C:\Users\freem\AppData\Local\llama.cpp\ggml-org_gpt-oss-120b-GGUF_gpt-oss-120b-mxfp4-00001-of-00003.gguf --n-cpu-moe 28 --n-gpu-layers 999 -c 0 --reasoning-format none --host 127.0.0.1 --port 8502
2025. 8. 16
스레드에서 한 분이 CPU에서 돌린거랑 비슷한 수준이라며 Attention만 GPU에서 돌린걸로 시도해보라고 하셔서 클로드를 사용하여 옵션을 변경해봤습니다. 총 5가지 명령이 있는데 각각의 실행 결과는 아래쪽에서 기존 결과와 같이 보여드립니다.
똑같은 질문을 했지만 서로 다른 답변을 해서 차이가 생길 수 도 있다 싶습니다.
똑같은 환경인데 문제가 생겨서 다음 두 옵션을 변경했습니다.
네트워크 환경이 바뀌어서인지 실행결과 The drive at '/mnt/main: server is listening on http://0.0.0.0:8502 - starting the main loop 처럼 출력되어 옵션을 추가로 변경했습니다.
질문시 Invalid API Key 에러도 나서 API KEY 옵션도 제거했습니다.
llama-server -m C:\Users\freem\AppData\Local\llama.cpp\ggml-org_gpt-oss-120b-GGUF_gpt-oss-120b-mxfp4-00001-of-00003.gguf --n-cpu-moe 28 --n-gpu-layers 0 -c 0 --jinja --reasoning-format none --host 127.0.0.1 --port 8502
클로드에게 추가로 최적화 옵션을 알려달라하여 얻은 명령입니다.
llama-server -m C:\Users\freem\AppData\Local\llama.cpp\ggml-org_gpt-oss-120b-GGUF_gpt-oss-120b-mxfp4-00001-of-00003.gguf --n-cpu-moe 28 --n-gpu-layers 20 -c 0 -fa --jinja --reasoning-format none --host 127.0.0.1 --port 8502 -b 512 --mlock
클로드에게 더 최적화 해달라고 해봤습니다. 2025.8.31 기준으로 -fa와 --jinja를 제거해야 했습니다.
llama-server -m C:\Users\freem\AppData\Local\llama.cpp\ggml-org_gpt-oss-120b-GGUF_gpt-oss-120b-mxfp4-00001-of-00003.gguf --n-cpu-moe 28 --n-gpu-layers 999 -c 0 --reasoning-format none --host 127.0.0.1 --port 8502 -b 1024 --mlock
GPU를 사용안하나 싶어 확인해보니 GPU 메모리를 사용하고 있습니다.
추가로 CPU만 사용한 경우도 해봤습니다. 64G 메모리를 사용하도록 -c 32768 옵션을 추가했습니다. 클로드에게 CPU만 사용하게 해달라고 했지만 로그를 보니 CUDA 관련 할당이 보입니다.
llama-server -m C:\Users\freem\AppData\Local\llama.cpp\ggml-org_gpt-oss-120b-GGUF_gpt-oss-120b-mxfp4-00001-of-00003.gguf --n-cpu-moe 28 --n-gpu-layers 0 -c 32768 --jinja --reasoning-format none --host 127.0.0.1 --port 8502 -b 512 --mlock -t -1
cuda 관련 DLL을 제거 하고 같은 명령으로 다시 해봤습니다. 이번엔 GPU를 사용안하고 있네요. 똑같은 명령을 사용합니다.
llama-server -m C:\Users\freem\AppData\Local\llama.cpp\ggml-org_gpt-oss-120b-GGUF_gpt-oss-120b-mxfp4-00001-of-00003.gguf --n-cpu-moe 28 --n-gpu-layers 0 -c 32768 --jinja --reasoning-format none --host 127.0.0.1 --port 8502 -b 512 --mlock -t -1
문제 없이 실행되는데 다음 화면에서 좀 대기하네요.
잠시 후 다음 메시지가 보이면서 접속 가능한 URL을 알려줍니다. 여기에선 http://127.0.0.1:8080 입니다. 웹브라우저로 접속해봅니다.
다음처럼 보입니다. 질문을 해봅니다.
답변이 바로 나오지는 않네요. 옵션에 따라 달라집니다.
일분 정도 기다렸나 답변이 시작되었는데 빠른 편이 아니라서 모든 답변을 얻는 데 까지 꽤 걸릴듯합니다. 옵션에 따라 달라집니다.
다음 질문을 모두 얻는데 2분 내로 걸린듯합니다.옵션에 따라 달라집니다.
답변완료후 명령 프롬프트 상태입니다. 걸린 시간이 출력되어 있습니다.
prompt eval time = 2283.92 ms / 17 tokens ( 134.35 ms per token, 7.44 tokens per second)
eval time = 220028.80 ms / 1215 tokens ( 181.09 ms per token, 5.52 tokens per second)
total time = 222312.73 ms / 1232 tokens
2025. 8. 16
추가 테스트 결과입니다.
Attention만 GPU에서 돌리는 걸로 다시 실행할 경우 실행시간입니다.
prompt eval time = 136670.48 ms / 78 tokens ( 1752.19 ms per token, 0.57 tokens per second)
eval time = 487443.87 ms / 1596 tokens ( 305.42 ms per token, 3.27 tokens per second)
total time = 624114.36 ms / 1674 tokens
추가로 클로드에게 최적화된 옵션을 알려달라하여 다시 실행한 경우 실행시간입니다.
prompt eval time = 10019.25 ms / 78 tokens ( 128.45 ms per token, 7.79 tokens per second)
eval time = 255915.06 ms / 1854 tokens ( 138.03 ms per token, 7.24 tokens per second)
total time = 265934.32 ms / 1932 tokens
클로드에게 추가로 최적화 해달라고 한 경우 실행시간입니다.
prompt eval time = 9724.32 ms / 78 tokens ( 124.67 ms per token, 8.02 tokens per second)
eval time = 154393.32 ms / 1343 tokens ( 114.96 ms per token, 8.70 tokens per second)
total time = 164117.64 ms / 1421 tokens
CPU만 사용한 경우 실행시간입니다. CPU만 사용한 결과로 보기 힘들어 보입니다.
prompt eval time = 9727.71 ms / 78 tokens ( 124.71 ms per token, 8.02 tokens per second)
eval time = 184597.39 ms / 1483 tokens ( 124.48 ms per token, 8.03 tokens per second)
total time = 194325.11 ms / 1561 tokens
cuda 관련 DLL을 제거 하고 CPU만 사용한 경우와 같은 명령으로 다시 해본 경우 실행시간입니다.
prompt eval time = 19287.76 ms / 78 tokens ( 247.28 ms per token, 4.04 tokens per second)
eval time = 505948.49 ms / 1554 tokens ( 325.58 ms per token, 3.07 tokens per second)
total time = 525236.25 ms / 1632 tokens
Ctrl + C를 눌러 중지시킬 수 있습니다.
이게 가능한게 원래는 GPU 메모리에 모두 올려야 하지만 일부를 시스템 메모리에 올려서인 듯합니다. 그로인해 적은 GPU 메모리로도 실행은 가능해지지만 속도가 느려질 수 밖에 없어보이네요. 시스템 메모리가 64GB인게 최소 사양이고 쓸만한 시스템 메모리 크기는 96GB라고 합니다.
다음은 레딧글을 번역한 일부 내용입니다.
llama-cpp의 --cpu-moe 옵션을 활용해 MOE 전문가 레이어를 CPU에서 처리하고, 주의(attention) 레이어만 GPU에 오프로드해 5~8GB VRAM으로 빠른 프리필 성능을 구현
GPU에는 KV 캐시, Attention 가중치·활성값, 라우팅 테이블, LayerNorm 등 비전문가 파라미터만 상주해 메모리 사용량이 낮음
RTX 3060Ti급 GPU와 64GB~96GB 시스템 RAM으로도 120B 모델을 가볍게 구동 가능하며, BF16 지원 GPU(RTX 3000+)에서 최적 성능을 발휘함
5GB VRAM 사용 시 토큰당 8.15ms(122.66 토큰/초) 성능을 기록했고, 8GB VRAM 사용 시 7.44ms(134.44 토큰/초)까지 개선됨