ByteDance lanserar Lance – kraftfull multimodal AI-modell för lokal körning
ByteDance har offentliggjort Lance, en ny AI-modell med öppen källkod som är utformad för att hantera både bild och video i en enhetlig arkitektur. Modellen markerar ett viktigt steg framåt genom att vara "native" multimodal, vilket innebär att den integrerar olika medietyper direkt i arkitekturen istället för att koppla samman flera separata modeller.
Designad för lokal drift och edge-applikationer
Lance är specifikt framtagen för lokal driftsättning, vilket eliminerar behovet av molnbaserad infrastruktur. Med 3 miljarder aktiveringsparametrar är modellen optimerad för att kunna köras på hårdvara med relativt begränsade resurser, vilket öppnar upp för nya användningsområden.
Viktiga tekniska specifikationer:
- VRAM-krav: Grundversionen av modellen kräver 40 GB VRAM för att köras lokalt.
- Kvantiserade versioner: Community-drivna versioner har redan lanserats, vilket gör det möjligt att köra modellen på GPU:er med endast 24 GB VRAM.
- Tillgänglighet: ByteDance har publicerat modellvikter, inferenskod och dokumentation för kvantisering på Hugging Face.
Snabbt genomslag i communityn
Redan inom ett dygn efter sin debut nådde Lance Hugging Faces trendlista. Det stora intresset har även resulterat i att flera kvantiserade varianter snabbt gjorts tillgängliga av communityn. Modellen beskrivs som en mångsidig lösning för både förståelse och generering av bilder och video lokalt.
Syftet med släppet är att stödja enskilda utvecklare och mindre team som bygger applikationer för edge AI. Detta är särskilt relevant för projekt inom robotik och mobilutveckling, där lokal bearbetning är avgörande för att undvika beroende av molntjänster.
