
Du har en GGUF-fil, eller vill hämta en, och vill nå den som ett lokalt API utan Ollama eller LM Studio emellan. Då är llama-server rätt verktyg: llama.cpp:s egen HTTP-server, med OpenAI-kompatibla anrop och ett inbyggt chattfönster. Har du inte bestämt dig för llama.cpp än, läs först jämförelsen mellan llama.cpp och Ollama. Kör du redan Ollama finns samma grund i guiden om Ollamas API.
Du behöver Windows med winget och en terminal i PowerShell. Flaggor, standardvärden och svar följer llama.cpp:s server-README och installationssida som de såg ut 17 november 2026, och winget-paketets uppgifter samma dag. På redaktionens dator installerades llama.cpp inte och servern startades aldrig, så inget svar nedan är uppmätt. Nyckelkontrollens felkod har dessutom kontrollerats i källkoden för b12428. Facit beskriver vad du ska se och kontrollera på din egen dator.
1. Installera med winget och läs av bygget
Installationssidan för llama.cpp anger winget-paketet för Windows och att det uppdateras automatiskt när llama.cpp släpper nya versioner. Titta på paketet innan du installerar det:
winget show llama.cpp
winget install llama.cpp
När vi läste paketuppgifterna 17 november 2026 var versionen b12428, installationstypen en portabel zip och filen Vulkan-bygget för x64. Paketet låg alltså några byggen efter releasesidan, där b12451 publicerades samma dag. Läs av raderna Version och Installer Url hos dig; det är de som gäller för din installation.
Vill du ha ett CUDA-bygge för ett Nvidia-kort anger installationssidan conda-forge, som har både CUDA- och Vulkan-byggen för Windows. Releasesidan har dessutom färdiga zip-filer för bland annat CPU, CUDA 12.4, CUDA 13.5, Vulkan, SYCL och ROCm. Resten av guiden fungerar likadant oavsett bygge.
conda install -c conda-forge llama.cpp
Öppna ett nytt PowerShell-fönster efter installationen och kör:
llama-server --version
llama-server --list-devices
Facit: det första kommandot visar version och bygginformation, och byggnumret ska stämma med det winget installerade. Det andra listar de enheter bygget kan lägga modellager på. Står ditt grafikkort med kan servern avlasta dit; saknas det körs modellen på processorn. Känner PowerShell inte igen llama-server, kontrollera med winget list llama.cpp att paketet finns och prova i ett helt nytt fönster innan du letar vidare. Anteckna byggnumret. Säkerhetsfel i llama-server anges per bygge; se till exempel sårbarheten i byggena b7492 till b9060.
2. Starta servern med en GGUF och en uttrycklig port
Servern tar modellen på två sätt. Med -m pekar du på en GGUF-fil du redan har. Med -hf hämtar servern en modell från Hugging Face i formen användare/modell:kvantisering. Enligt server-README:n är kvantiseringen valfri och blir Q4_K_M om du utelämnar den och den kvantiseringen finns; annars väljs enligt README:n den första filen i repot. Exemplet använder en modell som README:n själv nämner.
# Alternativ A: en fil du redan har
llama-server -m C:\modeller\din-modell.gguf -c 4096 --port 9931
# Alternativ B: hämta från Hugging Face
llama-server -hf ggml-org/gemma-3-4b-it-GGUF:Q4_K_M -c 4096 --port 9931 --no-mmproj
Tre val är medvetna. Porten: aktuell README anger 9931 som standard, men Docker-exemplen i samma README och många äldre skript använder 8080. Med --port vet du vart du ska ansluta, oavsett vad ditt bygge har som standard. Kontexten: -c har standardvärdet 0, vilket betyder att storleken läses från modellen. Den kan då bli så stor som modellen tillåter, och större kontext tar mer minne. Börja med 4096 token och höj när allt fungerar. Projektorn: -hf hämtar automatiskt en multimodal projektorfil om modellen har en. Den behövs bara för bilder, och --no-mmproj hoppar över den. Antalet lager i grafikminnet, -ngl, har standardvärdet auto och behöver inte anges i första provet.
Servern blir kvar i fönstret och skriver en startlogg. Öppna ett andra PowerShell-fönster för resten av guiden och kontrollera vad som lyssnar:
Get-NetTCPConnection -LocalPort 9931 -State Listen | Select-Object LocalAddress,LocalPort
Facit: LocalAddress är 127.0.0.1, README:ns standard för --host, och LocalPort är 9931. Leta också i startloggen efter adressen servern anger; den ska ha samma port. Får du ingen rad alls kan servern fortfarande hämta eller läsa in modellen. Vänta och gör om provet, eller läs felet i serverfönstret om processen har avslutats.
3. Vänta på /health
Modellen måste vara inläst innan servern kan svara på frågor. README:n beskriver /health så här: statuskod 503 med meddelandet Loading model medan modellen läses in, och 200 med {"status": "ok"} när servern är redo. Slingan nedan frågar varannan sekund och skriver ut statuskoden. Skriv curl.exe med ändelsen; varför förklarar Ollama-guiden i sitt första steg.
do {
$kod = curl.exe -s -o NUL -w "%{http_code}" http://127.0.0.1:9931/health
"$(Get-Date -Format T) $kod"
if ($kod -ne '200') { Start-Sleep -Seconds 2 }
} until ($kod -eq '200')
curl.exe -s http://127.0.0.1:9931/health
Facit: servern kan redan vara redo och svara 200 direkt. Annars går raderna från 000 (inget HTTP-svar än) eller 503 till 200, och sista kommandot skriver {"status":"ok"}, eventuellt med mellanslag. En liten modell på en snabb disk kan bli klar innan du hinner se 503; då ser du bara 000 och 200, och det räcker. Står slingan kvar på 000, titta i serverfönstret om processen har stannat med ett fel. Avbryt slingan med Ctrl+C.
4. Ställ första frågan mot /v1/chat/completions
Ta först reda på vilket namn servern ger modellen. Enligt README:n innehåller /v1/models alltid exakt ett element, och fältet id är som standard sökvägen till modellfilen. Skriptet nedan hämtar värdet, bygger frågan med ConvertTo-Json så att bakstreck och citattecken blir rätt, och skriver den till en fil utan BOM innan curl skickar den.
$id = (Invoke-RestMethod http://127.0.0.1:9931/v1/models).data[0].id
$id
$fraga = @{
model = $id
messages = @(
@{ role = 'system'; content = 'Svara kort på svenska.' },
@{ role = 'user'; content = 'Vad är en GGUF-fil? Svara med en mening.' }
)
} | ConvertTo-Json -Depth 5
[System.IO.File]::WriteAllText("$PWD\fraga.json", $fraga)
curl.exe -s http://127.0.0.1:9931/v1/chat/completions -H "Content-Type: application/json" -d "@fraga.json"
Facit: ett JSON-svar i OpenAI-format där modellens text ligger i choices[0].message.content. Kontrollera att svaret kommer från modellen du laddade: jämför fältet model i svaret, om det finns, med värdet $id skrev ut. README:n lovar inte full kompatibilitet med OpenAI:s specifikation, så kontrollera fälten innan du kopplar på ett program. Ser å, ä och ö konstiga ut i terminalen men rätt när du sparar svaret med -o svar.json och öppnar filen, är felet konsolens visning och inte modellens.
Vill du hellre ha svaret som PowerShell-objekt, skicka samma fil med Invoke-RestMethod:
$svar = Invoke-RestMethod -Uri http://127.0.0.1:9931/v1/chat/completions -Method Post -ContentType 'application/json; charset=utf-8' -Body ([System.IO.File]::ReadAllBytes("$PWD\fraga.json"))
$svar.choices[0].message.content
5. Öppna Llama Chat i webbläsaren
README:n anger att webbgränssnittet nås på samma adress som API:et. Öppna http://127.0.0.1:9931 och ställ samma fråga där. Gränssnittet heter numera Llama Chat: i bygge b12451, publicerat 17 november 2026, döptes det om i dokumentation och hjälptexter. Ett äldre bygge kan därför fortfarande kalla det webbgränssnitt. Flaggan heter --ui, och de gamla namnen --webui och --no-webui finns kvar som alias. Gränssnittet är påslaget som standard; --no-ui stänger av det om du bara vill ha API:et.
Facit: chattfönstret laddas och svarar på frågan. Svarar API:et men inte sidan, kontrollera att servern inte startades med --no-ui eller --no-webui.
6. Lås API:et med --api-key innan du öppnar det utåt
Standardvärdet för --api-key är ingen nyckel alls: den som når porten kan använda modellen. Med bindningen till 127.0.0.1 är det bara den egna datorn. README:n anger dessutom att servern som standard svarar på CORS-förfrågningar från alla ursprung, så en nyckel är ett rimligt grundskydd även lokalt. Stoppa servern med Ctrl+C och starta om den med en nyckel i serverfönstret:
$env:LLAMA_API_KEY = [guid]::NewGuid().ToString('N')
$env:LLAMA_API_KEY
llama-server -hf ggml-org/gemma-3-4b-it-GGUF:Q4_K_M -c 4096 --port 9931 --no-mmproj
Miljövariabeln LLAMA_API_KEY motsvarar --api-key enligt README:n och håller nyckeln borta från själva kommandoraden. Den gäller bara i det här fönstret. Kopiera nyckeln som skrivs ut. Ska den överleva omstarter kan --api-key-file peka på en fil med en nyckel per rad. Kör sedan tre prov i det andra fönstret, där fraga.json från steg 4 ligger:
$nyckel = 'klistra-in-nyckeln'
curl.exe -s -w "`n%{http_code}`n" http://127.0.0.1:9931/health
curl.exe -s -w "`n%{http_code}`n" http://127.0.0.1:9931/v1/chat/completions -H "Content-Type: application/json" -d "@fraga.json"
curl.exe -s -w "`n%{http_code}`n" http://127.0.0.1:9931/v1/chat/completions -H "Content-Type: application/json" -H "Authorization: Bearer $nyckel" -d "@fraga.json"
Facit: /health svarar 200 utan nyckel, eftersom README:n anger att den är publik och inte kontrollerar nyckeln. Det andra anropet ska nekas. I källkoden för b12428 sätter nyckelkontrollen status 401 och meddelandet Invalid API Key när nyckeln saknas eller är fel. Det är en kodgranskning, inte ett uppmätt serversvar; skriv ned vad ditt bygge faktiskt ger. Det tredje anropet, med nyckeln som Bearer som i README:ns exempel, ska ge ett svar som i steg 4. Går anropet utan nyckel igenom har servern inte fått nyckeln: kontrollera att du satte variabeln i samma fönster som du startade servern i.
Först nu är det läge att släppa ut servern på nätverket. --host tar en eller flera adresser, och Windows brandvägg måste också släppa igenom porten. För publik drift rekommenderar README:n API-nyckel och en omvänd proxy framför servern, och för ett lokalt nätverk att --cors-origins sätts till ursprunget för det gränssnitt du använder. Kontrollera bindningen med Get-NetTCPConnection från steg 2 efter varje ändring.
Klart, och vad du sparar
Du är klar när de tre proven i steg 6 gav 200, nekat och ett svar. Anteckna byggnummer, port, modellens id, kontextstorlek och var nyckeln finns. Med de uppgifterna kan du starta om servern på samma sätt nästa vecka och se direkt om en uppdatering via winget har ändrat något.
FAQ
Vilken port använder llama-server som standard?
Aktuell README anger 9931, men Docker-exemplen och många äldre skript använder 8080. Ange porten med --port och kontrollera vilken port servern faktiskt lyssnar på, så spelar standardvärdet ingen roll.
Varför svarar /health med 503?
Statuskoden 503 med meddelandet Loading model betyder att modellen fortfarande läses in. Vänta tills endpointen svarar 200 med status ok innan du skickar frågor.
Kräver /health en API-nyckel?
Nej. README anger att /health är publik och inte kontrollerar nyckeln, så den svarar även när --api-key är satt. Prova skyddet med ett chattanrop utan nyckel i stället.
Vilket bygge installerar winget?
När paketet lästes 17 november 2026 pekade winget på Vulkan-bygget för x64, som en portabel zip. Kör winget show llama.cpp för att se vad som gäller hos dig. Vill du ha ett CUDA-bygge anger installationssidan conda-forge.
Källor och metod
- llama.cpp: server-README – flaggor och standardvärden (port, host, -c, -ngl, -hf, --ui, --api-key), /health, /v1/models, /v1/chat/completions, felformat och CORS.
- llama.cpp: installationssidan – winget och conda-forge med CUDA- och Vulkan-byggen.
- llama.cpp: release b12451 – namnbytet till Llama Chat och kvarvarande --webui-alias.
- llama.cpp: releasesidan – byggvarianter för Windows.
Källorna kontrollerades 17 november 2026. Uppgifterna om winget-paketet (version b12428, portabel zip, Vulkan-bygget för x64) kommer från winget show samma dag, utan installation. Kommandona är dokumentationsbaserade läsarprov; ingen server startades och inga svar mättes för guiden. Kontextvärdet 4096, exempelfrågan och provordningen är redaktionella val.