Szerver nélküli következtetés a Gradient Platformon

A server nélküli következtetés jogosan az egyik legforróbb téma mind a technikai, mind a nem technikai AI felhasználók körében, és ennek jó oka van. Miközben a telepítés minden aspektusának ellenőrzése gyakran szükséges a testreszabott modellek telepítésekor, a server nélküli megoldás megszünteti a modellek telepítésének és API végpontjának karbantartásával és kezelésével kapcsolatos fejfájásokat. Ez rendkívül hasznos lehet számos különböző agentic LLM használati eset számára.

Ebben a bemutatóban megmutatjuk, hogyan lehet elkezdeni a Serverless Inference használatát a Gradient Platformon a DigitalOcean API segítségével. Ezután megbeszéljük a módszertan potenciális felhasználási eseteit a gyártásban és a napi munkafolyamatokban.

Hozzáférés a Serverless Inferencia platformhoz a Gradient platformon

A kezdéshez használhatjuk a DigitalOcean API-t vagy a Cloud Console-t. Nézzük meg mindkét módszert.

1a. lépés: Hozzon létre egy DigitalOcean API kulcsot

A kezdéshez először létre kell hoznod a saját DigitalOcean fiókodat és be kell jelentkezni. Miután ezt megtetted, navigate a választott csapat térbe. Itt létre fogunk hozni egy DigitalOcean API kulcsot. Ez segíteni fog a modell hozzáférési tokenünk létrehozásában később, így valóban átugorhatjuk ezt a lépést, és mehetünk a „2b lépés: Modell hozzáférési kulcs létrehozása a Cloud Console-lal” szakaszra.

Használja a kezdőlap bal oldali navigációs sávját, és lapozzon le, amíg meg nem találja az „API”-t. Kattintson rá az API kezdőlapjának megnyitásához. Ezután a jobb felső sarokban található gomb segítségével létrehozhatunk egy új kulcsot.

A kulcs létrehozási oldalon nevezd el a kulcsodat szükség szerint, és adj meg megfelelő engedélyeket. Ehhez vagy adj teljes engedélyt, vagy görgess le a „genai” lehetőségig a testreszabott terjedelem kiválasztásánál, és válaszd ki az összeset. Ezután hozd létre a kulcsot. Mentsd el ezt az értéket a későbbi használatra.

2A lépés: Hozzon létre egy Model Access kulcsot az API-hoz.

Most létrehozzuk a modellünk hozzáférési kulcsát a Gradient Serverless Inference-hez. Ehhez használhatjuk a konzolt vagy az API-t. Az API használatához használd a korábban elmentett API kulcsot a következő curl kérésben a terminálban. Cseréld ki a $DIGITALOCEAN_TOKEN értékét a sajátodra.

curl -X POST -H 'Authorization: Bearer $DIGITALOCEAN_TOKEN' https://api.linux-console.net/v2/gen-ai/models/api_keys

Ez ki fogja adni a modell hozzáférési kulcsunkat. Mentse el ezt az értéket későbbre. Szükségünk lesz rá a modell lekérdezéséhez.

2B lépés: Hozzon létre egy Model Access kulcsot a Cloud Console segítségével

Ha használni akarjuk a konzolt, egyszerűen navigáljunk a Gradient platform "Serverless Inference" fülére a Konzolban. Miután ott vagyunk, használjuk a jobb alsó sarokban lévő gombot az "Modellek hozzáférési kulcsának létrehozásához".

Ezután csak annyit kell tennünk, hogy megnevezzük a kulcsunkat. Mentse el a kimeneti értéket későbbre! Szükségünk lesz rá a szerver nélküli inferenciához Pythonban.

3. lépés: Szöveg generálása Pythonnal és serverless következtetéssel

Új modell hozzáférési kulcsunkkal bármely internetkapcsolattal rendelkező gépről elindíthatjuk a DigitalOcean Serverless Inference-t! Javasoljuk, hogy Jupyter Notebook-ból dolgozzon. Kövesse az ebben a bemutatóban leírt lépéseket, hogy tippeket kapjon a környezetének beállításához ehhez a cikkhez.

Miután beállítottad a környezetedet, nyiss meg egy új .ipynb IPython Notebook fájlt. Használj alább egy kódrészletet, hogy elkezdj szöveget generálni, különösen válaszolva arra, hogy mi Franciaország fővárosa. Módosítsd a kódrészletet, hogy tükrözze a megváltozott API kulcs értékedet az 5. sorban.

from openai import OpenAI
import os

client = OpenAI(
    api_key= **“your_model_access_key_here”**,
    base_url="https://inference.do-ai.run/v1"
)

stream = client.chat.completions.create(
    model="llama3-8b-instruct",
    messages=[
        {
            "role": "developer",
            "content": "You are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "What is the capital of France?",
        },
    ],
    stream=True,
    max_completion_tokens=10
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Ennek a következőt kellene produálnia: „Franciaország fővárosa Párizs.” Azt javasoljuk, hogy a max_completion_tokens értékeit módosítsa a kérésének megfelelően. Az 10. sorban a modellszám értékét is szerkeszthetjük, hogy bármely, a DigitalOcean Gradient Model ajánlatai között elérhető modell legyen. Ez a modellállomány folyamatosan frissül az ipar növekvő igényeinek megfelelően, ezért gyakran ellenőrizze a frissítéseket.

Funkcionális példák a Serverless AI-hoz a DigitalOcean-tól

Most, hogy beállítottuk a környezetünket a Serverless Inference futtatásához, számos lehetséges tevékenység áll rendelkezésünkre, amelyeket a modell segítségével végezhetünk. Mivel az LLM képességei szinte határtalanok, erőteljes ügynöki alkalmazásokat hozhatunk létre, amelyek kihasználják az AI modell erejét. Néhány lehetséges felhasználási eset a következők:

• Eseményvezérelt alkalmazások: Ahol egy adott esemény aktiválja az LLM futását, ez gyakori az ügynöki felhasználási esetekben.
• Skálázható háttérszolgáltatások: Amikor a háttérben végzett következtetésnek végtelen mértékben skálázhatónak kell lennie, a szerver nélküli megoldás garantálja, hogy a felhasználói soha nem kell várniuk.
• Adatfeldolgozás: a kötegelt feldolgozások és az adatfeldolgozás hatékonyan és eredményesen kezelhető, anélkül hogy költséges beállításokat igényelne.
• És még sok más!

Záró gondolatok

A Serverless Inference valódi megoldás a cégek számára, akik LLM alapú megoldásokat keresnek anélkül, hogy a saját szerverük telepítéséhez szükséges lépések megtanulásával vagy munkaerő felvételével kellene törődniük. A DigitalOcean Gradient Platformjával a Serverless Inference elérése erőteljes NVIDIA GPU-król még sosem volt ennyire egyszerű! Mindenkit arra bátorítunk, hogy próbálja ki az új megoldást!