Privát helyi AI — az adatai nem hagyják el a céget

A modellméret és a hardver együtt dönt

A helyi AI legfontosabb kérdése nem az, hogy „melyik a legjobb modell”, hanem hogy melyik a legkisebb modell, amely az adott feladatot még megbízhatóan megoldja. Minden paraméter memóriába kerül, és a videokártya VRAM-ja szab határt.

Négybites kvantálással — ez ma a bevett gyakorlat, és a minőségromlás a legtöbb üzleti feladatnál alig érzékelhető — nagyjából a következő nagyságrendekkel érdemes számolni: egy 7–8 milliárd paraméteres modell 6–8 GB VRAM-ot igényel, egy 12–14 milliárdos 10–12 GB-ot, egy 30 milliárd körüli 20–24 GB-ot, a 70 milliárdos kategória pedig már 40–48 GB-ot, azaz több kártyát vagy egy dedikált gyorsítót.

A gyakorlatban a legtöbb magyar KKV-feladat — dokumentumkeresés, összefoglalás, e-mail-fogalmazás, belső kérdés-válasz — kényelmesen elfut egy 8–14 milliárd paraméteres modellen, ami egyetlen 16 GB-os kártyát jelent. Ez fontos, mert ez a különbség egy százezres nagyságrendű munkaállomás és egy milliós szerverberuházás között.

RAG vagy finomhangolás? Szinte mindig RAG

Amikor egy cég a saját dokumentumaira akar AI-t, két út merül fel: finomhangolni a modellt a saját adatokon, vagy RAG-ot (retrieval-augmented generation) építeni. A kettő nem ugyanarra való, és a választás rendszerint egyértelmű.

A finomhangolás a modell stílusát és formátumkövetését tanítja — arra jó, hogy a válasz úgy nézzen ki, ahogy Ön szeretné. Tényeket viszont rosszul rögzít, drágán frissül, és minden dokumentumváltozásnál újra kell futtatni.

A RAG ezzel szemben nem tanítja a modellt: keresést tesz elé. A dokumentumokat darabokra bontjuk, vektoradatbázisba tesszük, és kérdéskor a releváns részleteket a modell elé rakjuk, hogy azokból válaszoljon. Egy új szerződés feltöltése után azonnal használható, a válasz forrása visszakövethető, és a modell sokkal kevésbé hajlamos kitalálni dolgokat. Céges tudásbázishoz ez a helyes alapértelmezés.

Mit jelent pontosan, hogy „az adat nem hagyja el a céget”

A GDPR szempontjából az a lényeges kérdés, hogy történik-e adattovábbítás harmadik félnek, és ha igen, hová. Egy nyilvános AI-szolgáltatásnál a beírt szöveg elhagyja a szervezetet, gyakran EU-n kívüli szerverre kerül, és a feldolgozó szerepe szerződéssel rendezendő.

Helyi telepítésnél ez a kérdés nem merül fel: a modell a cég saját vasán fut, a dokumentumok és a kérdések a belső hálózaton maradnak, adatfeldolgozói szerződésre pedig nincs szükség, mert nincs külső adatfeldolgozó. Ez ügyvédi, könyvelő-, egészségügyi és HR-adatoknál nem kényelmi szempont, hanem gyakran a bevezetés feltétele.

Mikor NEM javasoljuk a helyi AI-t

Nem minden feladatra ez a jó válasz, és ezt jobb az elején tisztázni. Ha a cél a legerősebb elérhető érvelési képesség — összetett kódolás, nehéz elemzés —, a legnagyobb zárt modellek ma még előrébb tartanak, és nincs értelme házon belül utánozni őket.

Ha a használat ritka és kiszámíthatatlan, egy felhőalapú megoldás használatarányos díja olcsóbb, mint egy folyamatosan amortizálódó GPU. És ha nincs a cégben senki, aki a rendszert üzemeltetni tudja, a helyi telepítés fenntartási terhet jelent — ezt vagy szolgáltatásként érdemes megrendelni, vagy nem belevágni.