fix docker-compose and Dockerfile
This commit is contained in:
@@ -5,20 +5,19 @@ ENV HSA_OVERRIDE_GFX_VERSION="11.0.0"
|
||||
ENV AMDGPU_TARGETS="gfx1100"
|
||||
ENV HIP_VISIBLE_DEVICES="0"
|
||||
|
||||
# Aggiunti hipblas-dev e rocblas-dev necessari per la compilazione GGML_HIP
|
||||
RUN apt-get update && apt-get install -y \
|
||||
build-essential cmake git libcurl4-openssl-dev \
|
||||
hipblas-dev rocblas-dev \
|
||||
&& rm -rf /var/lib/apt/lists/*
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
# Little often: cloniamo e compiliamo
|
||||
RUN git clone https://github.com/ggerganov/llama.cpp.git .
|
||||
|
||||
# Compilazione con supporto HIP nativo per AMD
|
||||
RUN cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1100 -DCMAKE_BUILD_TYPE=Release
|
||||
RUN cmake --build build --config Release -j $(nproc)
|
||||
|
||||
EXPOSE 8000
|
||||
|
||||
# Punto d'ingresso nudo e crudo
|
||||
ENTRYPOINT ["/app/build/bin/llama-server"]
|
||||
|
||||
@@ -12,7 +12,7 @@ services:
|
||||
# -ngl 99 offloada tutti i layer sulla GPU AMD
|
||||
# --host 0.0.0.0 lo rende accessibile fuori dal container
|
||||
command: >
|
||||
-m /models/qwen1_5-0_8b-chat-q8_0.gguf
|
||||
-m /models/Qwen3.5-0.8B-UD-Q8_K_XL.gguf
|
||||
--host 0.0.0.0
|
||||
--port 8000
|
||||
-ngl 99
|
||||
|
||||
Reference in New Issue
Block a user