Tänk dig en idrottare som inte bara tränar inför loppet, utan som faktiskt bygger om sina muskler och förbättrar sin teknik under själva loppet. Det är i princip vad forskare från Stanford, Nvidia och Together AI nu har åstadkommit i den digitala världen. Med introduktionen av “Test-Time Training to Discover” (TTT-Discover) tar vi ett kliv bort från statiska modeller mot en mer dynamisk framtid.
Traditionellt sett har artificiell intelligens fungerat i två distinkta faser: först träning, sedan användning (inferens). När modellen väl används har den varit “låst” – dess kunskap och vikter har varit statiska. Men den nya tekniken TTT-Discover vänder upp och ner på detta koncept genom att tillåta AI-modeller att uppdatera sina vikter mitt under själva inferensprocessen.
Prestanda som slår mänskliga experter
Detta är inte bara teoretisk forskning; resultaten är högst påtagliga. Systemet sattes på prov för att optimera en kritisk GPU-kärna, en uppgift som kräver extrem precision. Resultatet? TTT-Discover lyckades få kärnan att köra två gånger snabbare än de riktmärken som satts av mänskliga experter.
Detta genombrott är inte isolerat till hårdvaruoptimering. Tekniken har redan satt nya prestandarekord inom en rad tunga discipliner:
- Systemteknik
- Algoritmdesign
- Biologi
- Matematik
Vad händer under huven?
För att lyckas med denna bedrift har forskarteamet kombinerat flera avancerade tekniska komponenter. En nyckelkomponent är vad de kallar ett “entropic objective”. Syftet med detta är att uppmuntra modellen till utforskning som ger hög belöning, snarare än att bara välja den säkraste vägen.
För att navigera genom komplexa problem använder systemet dessutom sökalgoritmen PUCT (Predictor + Upper Confidence Bound applied to Trees). Denna träd-sökningsalgoritm hjälper AI:n att identifiera effektiva delsteg på vägen mot en lösning, vilket gör processen både snabbare och mer pricksäker.
Tillgänglighet och kostnadseffektivitet
En av de mest intressanta aspekterna med TTT-Discover är att den inte är låst till stängda, proprietära system. Metoden är kompatibel med modeller som har öppna vikter, exempelvis gpt-oss-120b.
Dessutom är kostnaden för att använda tekniken förvånansvärt överkomlig i sammanhanget. En “discovery run” – alltså en körning för att upptäcka nya lösningar eller optimeringar – kostar ungefär 500 dollar. Detta öppnar dörren för att fler aktörer ska kunna använda avancerad “test-time training” för att lösa komplexa problem utan att behöva en budget i miljonklassen.
Sammanfattningsvis visar samarbetet mellan Stanford, Nvidia och Together AI att vi är på väg in i en era där våra AI-verktyg inte längre är statiska encyklopedier, utan aktiva problemlösare som anpassar sig i realtid.