Forskare från MIT CSAIL har introducerat en ny inferensstrategi benämnd Recursive Language Models (RLM). Denna teknik är specifikt utformad för att kringgå de fysiska begränsningar som existerar i kontextfönster hos stora språkmodeller (LLM) och för att eliminera fenomenet “context rot” (kontextröta). Genom att fundamentalt förändra hur modeller hanterar massiva datamängder har RLM visat sig kunna hantera kontextlängder som överstiger 10 miljoner tokens, vilket markerar ett betydande tekniskt språng jämfört med standardkapaciteten hos basmodeller.
Rekursiv Dekomposition via Python REPL
Kärnan i RLM-arkitekturen bygger på en metodik kallad rekursiv dekomposition. Istället för att försöka hålla all information i modellens interna minne, utnyttjar systemet en Python REPL-miljö (Read-Eval-Print Loop).
Denna tekniska integration möjliggör för modellerna att generera Python-kod för att manipulera prompter på ett rekursivt sätt. Genom denna process kan modellen programmatiskt navigera och bearbeta massiva indata som externa objekt snarare än att belasta det interna minnet. Systemet använder sig av underanrop (sub-calls) för att upprätthålla precisionen i informationstäta uppgifter där standardmodeller typiskt sett misslyckas.
Skalbarhet och Kapacitet
RLM har testats framgångsrikt med kontextlängder som överstiger 10 miljoner tokens. Denna kapacitet representerar en 100-faldig ökning jämfört med kapaciteten hos standardmässiga bas-LLM:er. Genom att behandla indata som externa objekt möjliggörs en skalbarhet som inte begränsas av modellens inbyggda fönsterstorlek.
Prestandamätningar: RLM(GPT-5-mini)
I tekniska utvärderingar har implementeringen av RLM visat markanta prestandaförbättringar. Specifikt demonstrerade konfigurationen RLM(GPT-5-mini) en prestandaförbättring på 114 % jämfört med basmodellen GPT-5 vid tester mot benchmarks för långa kontexter. Detta indikerar att den rekursiva metoden inte bara hanterar mer data, utan även bearbetar den mer effektivt än den mer resurskrävande basmodellen.
Mångsidighet och Uppgiftshantering
RLM överträffar traditionella metoder för kontextkomprimering (context compaction) över flera komplexa domäner. Tekniken har visat sig särskilt effektiv inom:
- Djupgående forskning (Deep research): Förmågan att navigera stora informationsmängder utan att tappa tråden.
- Informationsaggregering: Sammanställning av data från omfattande källor.
- Analys av kodförråd (Code repository analysis): Hantering av stora kodbaser där precision är kritisk.
Genom att använda den kodgenererande strategin för att manipulera prompter säkerställer RLM att noggrannheten bibehålls även i dessa krävande scenarier.