Sub-Millisecond RAG ile Apple Silicon. Leai se Server. Leai API. Tasi faila

\u003ch2\u003eSub-Millisecond RAG i luga ole Apple Silicon. Leai se Server. Leai API. Tasi File\u003c/h2\u003e \u003cp\u003e O lenei fa'aputuga GitHub fa'atalatala o lo'o fa'atusalia ai se sao taua i le atina'e fa'anatura. O lo'o fa'aalia e le poloketi faiga fa'aonaponei tau atina'e ma fa'asologa fa'atasi.\u003c/p\u003e \u003ch3\u003eFaiga Fa'ainisinia\u003c/h3\u003e \u003cp\u003eO le fale teu oloa e ono aofia ai:\u003c/p\u003e \u003cul\u003e \u003cli\u003e mama, fa'amaonia lelei\u003c/li\u003e \u003cli\u003e README atoatoa ma fa'ata'ita'iga fa'aoga\u003c/li\u003e \u003cli\u003eTa'iala mo le sailia o fa'amatalaga ma saofaga\u003c/li\u003e \u003cli\u003e Fa'afouga masani ma tausiga\u003c/li\u003e \u003c/ul\u003e \u003ch3\u003eAafiaga o Nuu\u003c/h3\u003e \u003cp\u003eO galuega fa'apitoa e pei o lenei e fa'aleleia ai le fefa'asoaa'i o le malamalama ma fa'avavevave le fa'afouga fa'atekinisi e ala i le fa'aogaina o tulafono ma atina'e galulue fa'atasi.\u003c/p\u003e

Fesili e Fai soo

O le a le RAG ma aisea e taua ai le saoasaoa i lalo-milisecond?

RAG (Retrieval-Augmented Generation) o se metotia e faʻaleleia ai tali AI e ala i le toe maua mai o faʻamatalaga talafeagai mai se faʻamatalaga faʻalotoifale aʻo leʻi faia se tali. O le toe maua mai i lalo-milisekona o lona uiga o le su'ega i luga e toetoe lava a le mafai ona iloa, e lagona ai le AI vave. Mo tagata atia'e o lo'o fauina meafaigaluega fa'apitonu'u ole AI po'o le tu'ufa'atasia o le atamai i totonu o polokalame, o le saoasaoa lea e fa'ate'aina ai le fa'amaualuga e masani ona fa'alavelaveina ai paipa e maua mai i le ao—leai se fa'atali i luga o feso'otaiga femalaga'iga po'o tapulaa API.

Ou te mana'omia se server po'o se ao API e fa'atino ai lenei mea?

Leai. O le autu autu lena o lenei poloketi-o mea uma e alu atoa i lau Apple Silicon Mac, i le lotoifale ma le tuusao. E leai se 'au'aunaga e tu'uina atu, leai se ki API e fa'atautaia, ma leai se tau fa'aoga ile fesili. E fetaui lelei lea mo mataupu fa'aoga fa'alilolilo po'o si'osi'omaga avanoa ea. Afai o lo'o e su'eina se fa'alapotopotoga lautele lautele-i-tasi, e ofoina atu e Mewayz 207 modules mo le $19/masina, e aofia ai meafaigaluega AI e fa'atutusa ai galuega fa'alotoifale ma foliga fa'aola pe a maua feso'ota'iga.

O le a le mea e sili ona fetaui lelei ai Apple Silicon mo le RAG i le lotoifale?

Apple Silicon chips (M1 ma mulimuli ane) o loʻo faʻaalia ai se faʻataʻitaʻiga tuʻufaʻatasia e manatua ai le PPU, GPU, ma le Neural Engine e tutusa le vaitaele manatua maualuga-bandwidth. Ole mea lea e fa'ate'aina ai le fa'aliliuina o fa'amatalaga i luga ole va o iunite fa'agaoioiga, faia o su'esu'ega tutusa o vete ma fa'apipi'i fa'ai'uga fa'avave vave. O le i'uga, o gaioiga e masani ona mana'omia ai masini GPU tu'ufa'atasia po'o se server mamao e mafai ona fa'agaoioia lelei i se faiga e tasi i luga o le MacBook, e mafai ai ona maua le la'ititi-milisekona taimi e fa'aalia ai e lenei poloketi.

E fa'afefea ona ou fuaina lenei faiga mo se fa'aoga gaosiga?

Mo galuega a le tagata lava ia po'o le au laiti, o lenei faiga e tasi-faila e lava ma matagofie. Mo le fua o le gaosiga-taulimaina le tele o tagata faʻaoga, faʻamatalaga eseese, ma le faʻaogaina o galuega-e te manaʻomia se meafaigaluega lautele. Platforms pei o Mewayz bundle 207 modules, e aofia ai AI, CRM, mea e aofia ai, ma auʻiliʻili meafaigaluega, mo le $ 19 / masina, tuʻuina atu i 'au se siosiomaga pulea e faʻalautele faʻataʻitaʻiga faʻalotoifale i oloa atoatoa e aunoa ma le toe fausia o atinaʻe mai le sasa. O le fa'ata'ita'iga a le RAG fa'alotoifale o lo'o fa'aalia iinei e mafai ona avea ma autu atamai i totonu o se fausaga tetele.