NyhetLokal AI

Ollama Responses API: för lång input ger nu fel i stället för att kortas i tysthet

Fram till v0.40.15 kunde Ollamas /v1/responses korta en för lång begäran och ändå svara HTTP 200. Från v0.40.16, släppt 9 november 2026, får du ett fel i stället, om du inte uttryckligen ber om trunkering. Här är vad som ändrades, hur felet ser ut och hur du väljer väg.

Publicerad · Senast granskad

Ljus pappersremsa som slingrar sig från vänster mot en mörkgrå låda med tunn grön ram. Vid lådans vänstra kant stoppas remsans ände av en smal grind med en grönt lysande stav. I lådan syns en tom svart springa, tre små prickar och grå streck. Nedanför ligger en öppen sax på golvet.
Utan truncation stoppas för lång input vid grinden. Saxen kommer bara fram när klienten ber om auto.

Release-noten för Ollama v0.40.16 har en rad som är lätt att missa: ”/v1/responses respects truncation and no longer silently truncates by default”. För dig som kör en lokal modell bakom en klient som pratar Responses-formatet betyder det att ett anrop som tidigare gick igenom kan börja ge HTTP 400. Artikeln gäller en lokal server på http://localhost:11434. Molnmodeller har vi inte granskat.

Felet är rättelsen

Ett 400-svar här betyder inte att uppgraderingen gick sönder. Det betyder att Ollama slutat svara på en annan fråga än den du ställde. Tidigare kunde modellen läsa en kortad version av ditt underlag utan att något i svaret visade det.

Vad som ändrades i koden

Ändringen kommer från pull request 19501, mergad 6 november och första gången med i v0.40.16. Enligt PR-texten skickades fältet truncation aldrig vidare till chatthanteraren, och där tolkades ett saknat värde som att trunkera. Det gällde också när klienten uttryckligen skickade "disabled", som dessutom är förvalet i OpenAI:s specifikation. I responses.go vid taggen ser översättningen nu ut så här:

Klienten skickarTill och med v0.40.15Från v0.40.16
Inget truncationKortasKortas inte, fel om det inte ryms
"disabled"KortasKortas inte, fel om det inte ryms
"auto"KortasKortas
Något annat värdeKortas, värdet ekas bara tillbaka i svaretHTTP 400: unknown truncation strategy

Ändringen gäller /v1/responses. Vi har inte prövat /v1/chat/completions eller /api/chat och påstår inget om dem. Kör du en MLX-modell stänger chatthanteraren enligt routes.go av trunkeringen oavsett fält, så där ändrar fältet inget. Det är vår läsning av koden, inte prövat.

Bakgrunden är en användarrapport där 6166 tokens blev 1026 med HTTP 200 och status completed, trots "disabled".

Provet: samma överlånga anrop fyra gånger

Vi körde provet 16 november 2026 i Windows PowerShell 5.1 mot Ollama 0.40.16 och llama3:latest. För att få en liten kontext skapade vi en tillfällig modell. Ollamas dokumentation för OpenAI-kompatibilitet säger att OpenAI-API:t saknar ett sätt att ange kontextstorlek och visar en Modelfile med num_ctx i stället. Sidans exempel gäller chat completions, men samma grepp fungerade mot /v1/responses i vårt prov. Spara två rader som Modelfile:

FROM llama3
PARAMETER num_ctx 512
ollama create prov-ctx512 -f Modelfile
ollama show prov-ctx512 --parameters

Spara sedan skriptet som prov.ps1 och kör det med powershell -ExecutionPolicy Bypass -File .\prov.ps1. Det bygger en text på drygt 7 500 tokens, skickar den med fyra olika värden på truncation och visar statuskod och svar.

$modell = "prov-ctx512"
$fyllnad = "fyllnadsrad " * 1500
$text = "Provtext om kontextgrans. " + $fyllnad + " Svara bara: KLAR."

function Skicka($namn, $extra) {
  $kropp = @{ model = $modell; input = $text; stream = $false; max_output_tokens = 5 }
  foreach ($k in $extra.Keys) { $kropp[$k] = $extra[$k] }
  $json = $kropp | ConvertTo-Json -Compress
  [IO.File]::WriteAllText("$PWD\$namn.json", $json, (New-Object Text.UTF8Encoding $false))
  $status = curl.exe -s -o "$namn-svar.json" -w "%{http_code}" http://localhost:11434/v1/responses -H "Content-Type: application/json" -d "@$namn.json"
  "== $namn  HTTP $status"
  Get-Content "$namn-svar.json" -Raw
}

Skicka "utan-falt" @{}
Skicka "disabled"  @{ truncation = "disabled" }
Skicka "auto"      @{ truncation = "auto" }
Skicka "okant"     @{ truncation = "last_messages" }

Den femte raden i facit fick vi genom att byta till num_ctx 8192 i Modelfile, skapa en andra modell och skicka fallet utan fält igen. Ta bort testmodellerna efteråt med ollama rm.

Döp inte textvariabeln till $input. Det är en automatisk variabel i PowerShell, och i vår första körning gav det fyra fel om fel indataformat i stället för provets riktiga utfall. Filen skrivs utan BOM för att kroppen ska skickas som ren UTF-8.

Facit från vår körning

FallHTTPUtfall
Inget truncation, num_ctx 512400request (7526 tokens) exceeds the available context size (512 tokens), try increasing it
"disabled", num_ctx 512400Samma fel
"auto", num_ctx 512200Status completed, usage.input_tokens 268
"last_messages", num_ctx 512400unknown truncation strategy: "last_messages"
Inget truncation, num_ctx 8192200Status completed, usage.input_tokens 7526

Felen har typen invalid_request_error och saknar usage. Siffran att jämföra med är därför antalet tokens i felmeddelandet. Med "auto" läste modellen 268 av 7526 tokens, alltså under fyra procent av texten, och svaret sa ingenting om det. Svarstexten är inget facit, för modellen följde inte instruktionen i någon av de två körningar som gav svar, med eller utan kortning.

Välj väg efter felet

Större kontext är rätt när hela underlaget ska läsas. Sätt num_ctx i en Modelfile som ovan, eller sätt standardvärdet för hela servern med OLLAMA_CONTEXT_LENGTH enligt sidan om kontextlängd. Kontrollera sedan kolumnen CONTEXT i ollama ps medan modellen är laddad: i vårt prov stod där 512 respektive 8192. Mer kontext kostar minne, och artikeln om kontext och minne visar hur du hittar gränsen på din dator. Utgå inte från ett standardvärde. FAQ:n säger 4096 tokens, medan sidan om kontextlängd anger 4k under 24 GiB VRAM, 32k vid 24–48 GiB och 256k från 48 GiB.

Medvetet "auto" passar en lång chatt där äldre repliker får falla bort. Enligt prompt.go tar Ollama då bort meddelanden framifrån och behåller systemmeddelanden och det senaste meddelandet. I vårt prov kortades också ett enda långt meddelande. Logga usage.input_tokens varje gång, så att kortningen syns.

Uppdelat underlag är rätt för ett dokument som är större än vad din maskin rimligen klarar. Sammanfatta i delar och slå ihop, som i artikeln om att sammanfatta långa dokument.

Kontrollera till sist vad klienten skickar. Från v0.40.16 avvisas andra strängvärden i truncation än "auto" och "disabled"; utelämnat fält är fortfarande tillåtet. Ett bibliotek som skickar ett eget eller felstavat värde i fältet får alltså HTTP 400 där värdet tidigare ignorerades. Det är en kontroll av fältets värde, inte av felstavade fältnamn. Inspelningsskriptet i nyheten om samplingsförvalen i 0.40.14 visar fältet, och guiden till Ollamas API går igenom grundanropen.

FAQ

Varför får jag HTTP 400 från Ollamas /v1/responses efter uppgraderingen?

Från v0.40.16 kortas för lång input inte längre i tysthet när truncation saknas eller är disabled. Servern svarar i stället med ett fel som anger hur många tokens begäran har och hur stor kontexten är.

Ändrades /v1/chat/completions också?

Ändringen gäller /v1/responses. Vi har inte prövat de andra vägarna och påstår inget om dem.

Hur ser jag att min input blev kortad?

Jämför usage.input_tokens i svaret med antalet tokens i felet du får utan trunkering. I vårt prov blev 7526 tokens 268 med truncation auto.

Hur stor är Ollamas standardkontext?

Dokumentationen säger olika på olika sidor: FAQ anger 4096 tokens och sidan om kontextlängd anger 4k, 32k eller 256k efter mängden VRAM. Läs kolumnen CONTEXT i ollama ps för det värde som gäller hos dig.


Källor och metod

Källorna kontrollerades 16 nov 2026. Då listade dokumentationen för OpenAI-kompatibilitet fortfarande truncation som ett fält utan stöd, så release-noten och koden är det som beskriver beteendet. Provet kördes en gång per fall på en Windows-dator med llama3:latest helt på GPU. Vi har inte nedgraderat till v0.40.15 för att jämföra, och vi har inte prövat strömmande svar, flera meddelanden, MLX eller molnmodeller. De tillfälliga testmodellerna togs bort efteråt med ollama rm.