
Release-noten för Ollama v0.40.16 har en rad som är lätt att missa: ”/v1/responses respects truncation and no longer silently truncates by default”. För dig som kör en lokal modell bakom en klient som pratar Responses-formatet betyder det att ett anrop som tidigare gick igenom kan börja ge HTTP 400. Artikeln gäller en lokal server på http://localhost:11434. Molnmodeller har vi inte granskat.
Ett 400-svar här betyder inte att uppgraderingen gick sönder. Det betyder att Ollama slutat svara på en annan fråga än den du ställde. Tidigare kunde modellen läsa en kortad version av ditt underlag utan att något i svaret visade det.
Vad som ändrades i koden
Ändringen kommer från pull request 19501, mergad 6 november och första gången med i v0.40.16. Enligt PR-texten skickades fältet truncation aldrig vidare till chatthanteraren, och där tolkades ett saknat värde som att trunkera. Det gällde också när klienten uttryckligen skickade "disabled", som dessutom är förvalet i OpenAI:s specifikation. I responses.go vid taggen ser översättningen nu ut så här:
| Klienten skickar | Till och med v0.40.15 | Från v0.40.16 |
|---|---|---|
Inget truncation | Kortas | Kortas inte, fel om det inte ryms |
"disabled" | Kortas | Kortas inte, fel om det inte ryms |
"auto" | Kortas | Kortas |
| Något annat värde | Kortas, värdet ekas bara tillbaka i svaret | HTTP 400: unknown truncation strategy |
Ändringen gäller /v1/responses. Vi har inte prövat /v1/chat/completions eller /api/chat och påstår inget om dem. Kör du en MLX-modell stänger chatthanteraren enligt routes.go av trunkeringen oavsett fält, så där ändrar fältet inget. Det är vår läsning av koden, inte prövat.
Bakgrunden är en användarrapport där 6166 tokens blev 1026 med HTTP 200 och status completed, trots "disabled".
Provet: samma överlånga anrop fyra gånger
Vi körde provet 16 november 2026 i Windows PowerShell 5.1 mot Ollama 0.40.16 och llama3:latest. För att få en liten kontext skapade vi en tillfällig modell. Ollamas dokumentation för OpenAI-kompatibilitet säger att OpenAI-API:t saknar ett sätt att ange kontextstorlek och visar en Modelfile med num_ctx i stället. Sidans exempel gäller chat completions, men samma grepp fungerade mot /v1/responses i vårt prov. Spara två rader som Modelfile:
FROM llama3
PARAMETER num_ctx 512
ollama create prov-ctx512 -f Modelfile
ollama show prov-ctx512 --parameters
Spara sedan skriptet som prov.ps1 och kör det med powershell -ExecutionPolicy Bypass -File .\prov.ps1. Det bygger en text på drygt 7 500 tokens, skickar den med fyra olika värden på truncation och visar statuskod och svar.
$modell = "prov-ctx512"
$fyllnad = "fyllnadsrad " * 1500
$text = "Provtext om kontextgrans. " + $fyllnad + " Svara bara: KLAR."
function Skicka($namn, $extra) {
$kropp = @{ model = $modell; input = $text; stream = $false; max_output_tokens = 5 }
foreach ($k in $extra.Keys) { $kropp[$k] = $extra[$k] }
$json = $kropp | ConvertTo-Json -Compress
[IO.File]::WriteAllText("$PWD\$namn.json", $json, (New-Object Text.UTF8Encoding $false))
$status = curl.exe -s -o "$namn-svar.json" -w "%{http_code}" http://localhost:11434/v1/responses -H "Content-Type: application/json" -d "@$namn.json"
"== $namn HTTP $status"
Get-Content "$namn-svar.json" -Raw
}
Skicka "utan-falt" @{}
Skicka "disabled" @{ truncation = "disabled" }
Skicka "auto" @{ truncation = "auto" }
Skicka "okant" @{ truncation = "last_messages" }
Den femte raden i facit fick vi genom att byta till num_ctx 8192 i Modelfile, skapa en andra modell och skicka fallet utan fält igen. Ta bort testmodellerna efteråt med ollama rm.
Döp inte textvariabeln till $input. Det är en automatisk variabel i PowerShell, och i vår första körning gav det fyra fel om fel indataformat i stället för provets riktiga utfall. Filen skrivs utan BOM för att kroppen ska skickas som ren UTF-8.
Facit från vår körning
| Fall | HTTP | Utfall |
|---|---|---|
Inget truncation, num_ctx 512 | 400 | request (7526 tokens) exceeds the available context size (512 tokens), try increasing it |
"disabled", num_ctx 512 | 400 | Samma fel |
"auto", num_ctx 512 | 200 | Status completed, usage.input_tokens 268 |
"last_messages", num_ctx 512 | 400 | unknown truncation strategy: "last_messages" |
Inget truncation, num_ctx 8192 | 200 | Status completed, usage.input_tokens 7526 |
Felen har typen invalid_request_error och saknar usage. Siffran att jämföra med är därför antalet tokens i felmeddelandet. Med "auto" läste modellen 268 av 7526 tokens, alltså under fyra procent av texten, och svaret sa ingenting om det. Svarstexten är inget facit, för modellen följde inte instruktionen i någon av de två körningar som gav svar, med eller utan kortning.
Välj väg efter felet
Större kontext är rätt när hela underlaget ska läsas. Sätt num_ctx i en Modelfile som ovan, eller sätt standardvärdet för hela servern med OLLAMA_CONTEXT_LENGTH enligt sidan om kontextlängd. Kontrollera sedan kolumnen CONTEXT i ollama ps medan modellen är laddad: i vårt prov stod där 512 respektive 8192. Mer kontext kostar minne, och artikeln om kontext och minne visar hur du hittar gränsen på din dator. Utgå inte från ett standardvärde. FAQ:n säger 4096 tokens, medan sidan om kontextlängd anger 4k under 24 GiB VRAM, 32k vid 24–48 GiB och 256k från 48 GiB.
Medvetet "auto" passar en lång chatt där äldre repliker får falla bort. Enligt prompt.go tar Ollama då bort meddelanden framifrån och behåller systemmeddelanden och det senaste meddelandet. I vårt prov kortades också ett enda långt meddelande. Logga usage.input_tokens varje gång, så att kortningen syns.
Uppdelat underlag är rätt för ett dokument som är större än vad din maskin rimligen klarar. Sammanfatta i delar och slå ihop, som i artikeln om att sammanfatta långa dokument.
Kontrollera till sist vad klienten skickar. Från v0.40.16 avvisas andra strängvärden i truncation än "auto" och "disabled"; utelämnat fält är fortfarande tillåtet. Ett bibliotek som skickar ett eget eller felstavat värde i fältet får alltså HTTP 400 där värdet tidigare ignorerades. Det är en kontroll av fältets värde, inte av felstavade fältnamn. Inspelningsskriptet i nyheten om samplingsförvalen i 0.40.14 visar fältet, och guiden till Ollamas API går igenom grundanropen.
FAQ
Varför får jag HTTP 400 från Ollamas /v1/responses efter uppgraderingen?
Från v0.40.16 kortas för lång input inte längre i tysthet när truncation saknas eller är disabled. Servern svarar i stället med ett fel som anger hur många tokens begäran har och hur stor kontexten är.
Ändrades /v1/chat/completions också?
Ändringen gäller /v1/responses. Vi har inte prövat de andra vägarna och påstår inget om dem.
Hur ser jag att min input blev kortad?
Jämför usage.input_tokens i svaret med antalet tokens i felet du får utan trunkering. I vårt prov blev 7526 tokens 268 med truncation auto.
Hur stor är Ollamas standardkontext?
Dokumentationen säger olika på olika sidor: FAQ anger 4096 tokens och sidan om kontextlängd anger 4k, 32k eller 256k efter mängden VRAM. Läs kolumnen CONTEXT i ollama ps för det värde som gäller hos dig.
Källor och metod
- Ollama v0.40.16, 9 nov 2026 – release-noten om
truncationi/v1/responses. - Pull request 19501 – orsaken till den tysta kortningen och de nya reglerna.
- openai/responses.go vid v0.40.16 – översättningen av
auto,disabled, utelämnat och okänt värde. - server/routes.go vid v0.40.16 – undantaget för MLX-modeller.
- server/prompt.go vid v0.40.16 – vilka meddelanden som tas bort vid trunkering.
- Ollama Docs: OpenAI compatibility – att kontextstorlek inte kan anges via OpenAI-API:t och Modelfile-greppet med
num_ctx. - Ollama Docs: Context length – standardkontext efter VRAM och
OLLAMA_CONTEXT_LENGTH. - Ollama Docs: FAQ – standardkontexten 4096 tokens.
- Issue 19492 – användarrapporten som ledde till ändringen, bara som bakgrund.
- Microsoft Learn: about_Automatic_Variables (PowerShell 5.1) – att
$inputär en automatisk variabel.
Källorna kontrollerades 16 nov 2026. Då listade dokumentationen för OpenAI-kompatibilitet fortfarande truncation som ett fält utan stöd, så release-noten och koden är det som beskriver beteendet. Provet kördes en gång per fall på en Windows-dator med llama3:latest helt på GPU. Vi har inte nedgraderat till v0.40.15 för att jämföra, och vi har inte prövat strömmande svar, flera meddelanden, MLX eller molnmodeller. De tillfälliga testmodellerna togs bort efteråt med ollama rm.