added .env env-example, refactored docker-compose
This commit is contained in:
5
.env
Normal file
5
.env
Normal file
@@ -0,0 +1,5 @@
|
||||
# Porta esposta sull'host e usata internamente dal server
|
||||
SERVER_PORT=8000
|
||||
|
||||
# Nome esatto del file GGUF presente nella cartella ./models
|
||||
MODEL_FILENAME=Qwen3.5-0.8B-UD-Q8_K_XL.gguf
|
||||
@@ -1,20 +1,18 @@
|
||||
services:
|
||||
qwen-08b:
|
||||
llamacpp-server:
|
||||
build: .
|
||||
container_name: qwen_08b_server
|
||||
container_name: llamacpp_${SERVER_PORT}
|
||||
ports:
|
||||
- "8000:8000"
|
||||
- "${SERVER_PORT}:${SERVER_PORT}"
|
||||
devices:
|
||||
- /dev/kfd:/dev/kfd
|
||||
- /dev/dri:/dev/dri
|
||||
volumes:
|
||||
- /opt/models:/models
|
||||
# -ngl 99 offloada tutti i layer sulla GPU AMD
|
||||
# --host 0.0.0.0 lo rende accessibile fuori dal container
|
||||
- ./models:/models
|
||||
command: >
|
||||
-m /models/Qwen3.5-0.8B-UD-Q8_K_XL.gguf
|
||||
-m /models/${MODEL_FILENAME}
|
||||
--host 0.0.0.0
|
||||
--port 8000
|
||||
--port ${SERVER_PORT}
|
||||
-ngl 99
|
||||
-c 4096
|
||||
restart: unless-stopped
|
||||
|
||||
5
env-example
Normal file
5
env-example
Normal file
@@ -0,0 +1,5 @@
|
||||
# Porta esposta sull'host e usata internamente dal server
|
||||
SERVER_PORT=8000
|
||||
|
||||
# Nome esatto del file GGUF presente nella cartella ./models
|
||||
MODEL_FILENAME=Qwen3.5-0.8B-UD-Q8_K_XL.gguf
|
||||
Reference in New Issue
Block a user