Drömmen om rekursiv självförbättring inom artificiell intelligens – där ett system inte bara blir bättre på en specifik uppgift, utan blir bättre på själva inlärningsprocessen – har länge betraktats som fältets “heliga graal”. Teoretiska modeller som Gödelmaskinen (Gödel Machine) har existerat i årtionden, men förblev i stort sett opraktiska i verkliga tillämpningar. Detta förändrades med Darwin Gödel Machine (DGM), som bevisade att öppen självförbättring var möjlig inom kodning. Nu har Meta AI, i samarbete med forskare från UBC (University of British Columbia), Vector Institute, NYU (New York University) och andra institutioner, introducerat Hyperagents, ett ramverk som uppnår rekursiv självförbättring i AI-system.
Att lösa den oändliga regressen
Tidigare system har begränsats av fasta förbättringslogiker, vilket skapat ett problem med “oändlig regress” (infinite regress) av metanivåer. Ramverket DGM-H (DGM-Hyperagent) löser detta genom att integrera uppgiftsagenten (task agent), som löser problem, och metaagenten (meta agent), som förbättrar systemet, till ett enda, självrefererande och fullt modifierbart program.
Eftersom metaagenten är en del av samma redigerbara kodbas som uppgiftsagenten, kan den skriva om sina egna modifieringsprocedurer. Forskningsteamet kallar denna process för “metakognitiv självmodifiering” (metacognitive self-modification). Hyperagenten letar inte bara efter en bättre lösning; den redigerar själva förbättringsproceduren och skriver om reglerna för hur den genererar bättre versioner av sig själv. Genom att göra metanivåns procedurer redigerbara elimineras behovet av mänskligt designade gränser.
Arkitektur och fundamentala modeller
I denna arkitektur definieras en agent som vilket beräkningsbart program (computable program) som helst, vilket kan inkludera anrop till fundamentala modeller (foundation model calls, FM) och externa verktyg. Systemet stödjer dessa FM-anrop och externa verktyg över alla beräkningsbara uppgifter, vilket skapar en infrastruktur där förmågan att förbättra sig själv är inbyggd i systemets kärna.
Robotik och nollskottsinlärning i Genesis-simulatorn
Forskningsteamet testade DGM-H över flera olika domäner. I tester rörande design av belöningsfunktioner för robotik (robotics reward design) fick hyperagenten i uppdrag att designa belöningsfunktioner i Python för att träna en fyrbent robot (quadruped robot) i Genesis-simulatorn.
Under träningsfasen krävdes det att agenterna designade belöningar för att roboten skulle gå framåt. För det utelämnade testet (held-out testing) var agenterna tvungna att generera belöningsfunktioner med nollskottsinlärning (zero-shot) för en helt annan uppgift: att maximera robotens överkroppshöjd (torso height). Resultaten visade att DGM-H förbättrade prestandan avsevärt, med en ökning från en initial poäng på 0,060 till 0,372 (Konfidensintervall, CI: 0,355–0,436).
Kodning, granskning och matematik
Utöver robotik demonstrerades ramverkets kapacitet i andra krävande domäner. Systemet testades för kodning, pipelines för granskning av vetenskapliga artiklar (paper review pipelines) samt rättning av matematik på olympiadnivå (Olympiad-level math grading). I samtliga dessa uppgifter visade hyperagenterna förmågan att kontinuerligt anpassa och skriva om sina egna inlärningsregler för att uppnå högre precision och effektivitet.
En ny era av autonom utveckling
Genom att förena uppgifts- och metaagenter i ett självrefererande program har Meta AI och deras samarbetspartners skapat en arkitektur som gör metakognitiv självmodifiering till verklighet. DGM-H representerar en övergång från system som enbart löser uppgifter till system som autonomt förbättrar mekanismerna för sin egen utveckling, vilket markerar ett avgörande steg framåt för artificiell intelligens.