„Osaurus“ į jūsų „Mac“ pateikia vietinius ir debesies AI modelius

Dirbtinio intelekto modeliams vis labiau prekiaujant, startuoliai lenktyniauja, kad sukurtų ant jų esantį programinės įrangos sluoksnį. Vienas įdomus šios erdvės dalyvis yra „Osaurus“, atvirojo kodo, tik „Apple“ LLM serveris, leidžiantis vartotojams judėti tarp skirtingų vietinių AI modelių vietoje arba debesyje, o failus ir įrankius saugoti savo aparatinėje įrangoje.

„Osaurus“ išsivystė iš idėjos sukurti kompiuterinį dirbtinio intelekto kompanioną Dinoki, kurį „Osaurus“ įkūrėjas Terence’as Pae apibūdino kaip savotišką „AI varomą klipą“. Dinoki klientai jo klausė, kodėl jie turėtų pirkti programą, jei vis tiek turi mokėti už žetonus – AI įmonės ima mokestį už raginimų apdorojimą ir atsakymų generavimą.

Tai paskatino Pae giliau susimąstyti apie AI paleidimą vietoje.

„Taip prasidėjo Osaurus“, – „Tesla“ ir „Netflix“ programinės įrangos inžinierius Pae pasakojo „TechCrunch“ pokalbio metu. Jis paaiškino, kad idėja buvo pabandyti paleisti AI asistentą vietoje. „Mac“ galite atlikti beveik viską vietoje, pvz., naršyti failus, pasiekti naršyklę, pasiekti sistemos konfigūracijas. Maniau, kad tai būtų puikus būdas „Osaurus“ nustatyti kaip asmeninį AI asmenims.

Pae pradėjo kurti įrankį viešai kaip atvirojo kodo projektą, pridėdamas funkcijų ir taisydamas klaidas.

Šiandien „Osaurus“ gali lanksčiai susisiekti su vietoje priglobtais AI modeliais arba debesų tiekėjais, tokiais kaip „OpenAI“ ir „Anthropic“. Vartotojai gali laisvai pasirinkti, kuriuos AI modelius jie naudoja, ir išlaikyti kitus DI patirties aspektus savo aparatinėje įrangoje, pvz., modelio atmintyje, failuose ir įrankiuose.

Atsižvelgiant į tai, kad skirtingi AI modeliai turi skirtingą stiprumą, šios sistemos pranašumas yra tas, kad vartotojai gali pereiti prie jų poreikius geriausiai atitinkančio AI modelio.

Dėl tokios struktūros „Osaurus“ yra vadinamasis „pakinktas“ – valdymo sluoksniu, jungiančiu skirtingus AI modelius, įrankius ir darbo eigas per vieną sąsają, panašią į įrankius, tokius kaip „OpenClaw“ ar „Hermes“. Tačiau skirtumas tas, kad tokie įrankiai dažnai yra skirti kūrėjams, kurie išmano savo kelią terminale. Ir kartais, kaip „OpenClaw“ atveju, jie gali sukelti saugumo problemų ir spragų, dėl kurių reikia nerimauti.

Tuo tarpu „Osaurus“ pristato lengvai naudojamą sąsają, kuria gali naudotis vartotojai, ir sprendžia saugumo problemas paleisdami dalykus nuo aparatinės įrangos izoliuotoje virtualioje smėlio dėžėje. Tai apriboja AI iki tam tikros apimties, todėl jūsų kompiuteris ir duomenys yra saugūs.

Žinoma, dirbtinio intelekto modelių paleidimo įrenginyje praktika dar tik prasideda, nes tai reikalauja daug išteklių ir priklauso nuo aparatinės įrangos. Norint paleisti vietinius modelius, jūsų sistemai reikės bent 64 GB RAM. Jei naudojate didesnius modelius, pvz., DeepSeek v4, Pae rekomenduoja sistemas su maždaug 128 GB RAM.

Tačiau Pae mano, kad vietinio AI poreikiai laikui bėgant sumažės.

„Aš matau jos potencialą, nes intelektas, tenkantis vienai galiai, o tai yra kaip vietinio dirbtinio intelekto metrika, labai išaugo. Tai yra naujovių kreivė. Praėjusiais metais vietinis dirbtinis intelektas vos galėjo baigti sakinius, bet šiandien jis iš tikrųjų gali paleisti įrankius, rašyti kodą, pasiekti naršyklę ir užsisakyti dalykų iš „Amazon” (…), tai darosi vis geriau ir geriau”, – sakė jis.

Osaurus šiandien gali paleisti MiniMax M2.5, Gemma 4, Qwen3.6, GPT-OSS, Llama, DeepSeek V4 ir kitus modelius. Jis taip pat palaiko „Apple“ įrenginyje esančius pagrindinius modelius, „Liquid AI“ LFM įrenginių modelių šeimą, o debesyje gali prisijungti prie „OpenAI“, „Anthropic“, „Gemini“, „xAI/Grok“, „Venice AI“, „OpenRouter“, „Ollama“ ir „LM Studio“.

Kaip pilnas MCP (modelio konteksto protokolo) serveris, bet kuriam su MCP suderinamu klientu taip pat galite suteikti prieigą prie savo įrankių. Be to, jis pristatomas su daugiau nei 20 vietinių papildinių, skirtų paštui, kalendoriui, vizijai, macOS naudojimui, XLSX, PPTX, naršyklei, muzikai, „Git“, failų sistemai, paieškai, gavimui ir kt.

Visai neseniai „Osaurus“ buvo atnaujintas, kad būtų įtrauktos ir balso galimybės.

Nuo tada, kai projektas pradėjo veikti beveik prieš metus, jis buvo atsisiųstas į šiaurę nuo 112 000 kartų, teigiama jo svetainėje.

Šiuo metu „Osaurus“ įkūrėjai (tarp jų yra vienas iš įkūrėjų Sam Yoo) dalyvauja Niujorke įsikūrusiame startuolių greitintuvo aljanso veikloje. Jie taip pat galvoja apie tolesnius veiksmus, kurių metu „Osaurus“ gali būti pasiūlytas įmonėms, pavyzdžiui, dirbančioms teisinėje erdvėje ar sveikatos priežiūros srityje, kur vietinių LLM valdymas galėtų išspręsti privatumo problemas.

Augant vietinių AI modelių galiai, komanda mano, kad tai gali sumažinti AI duomenų centrų paklausą.

„Pastebime šį sprogstamąjį augimą dirbtinio intelekto erdvėje, kur (debesų AI teikėjai) turi plėstis naudodami duomenų centrus ir infrastruktūrą, tačiau manome, kad žmonės dar nepastebėjo vietinio AI vertės“, – sakė Pae. „Užuot pasikliavę debesimi, jie iš tikrųjų gali įdiegti „Mac Studio” on-prem, ir ji turėtų sunaudoti daug mažiau energijos. Jūs vis dar turite debesies galimybes, bet nebūsite priklausomi nuo duomenų centro, kad galėtumėte paleisti tą AI”, – pridūrė jis.