Skoči na vsebino

SLAIF API Gateway — Nadzorovan dostop do UI in izpostavljanje storitev

En prehod, dve smeri

V eni smeri MSP uporablja UI. Zaposleni, aplikacije, delavnice in avtonomni agenti s ključi prehoda dostopajo do odobrenih zunanjih modelov, ne da bi prejeli dejanske poverilnice organizacije pri ponudniku.

V nasprotni smeri MSP ponuja UI. Stranke, partnerji ali notranje aplikacije prek istega z OpenAI združljivega vmesnika dostopajo do modela ali specializirane storitve UI v lasti MSP.

Dvojna vloga poveže cilj SLAIF po poenostavljenem dostopu z operacionalizacijo dokazov koncepta: ena nadzorna ravnina za varno uporabo UI drugih organizacij in varno izpostavljanje lokalno razvitih storitev UI.

Izvedba je na voljo kot preizkušen temelj RC-beta. To ni trditev o produkcijski pripravljenosti, skladnosti, varnostni certifikaciji ali SLA.

Odpri SLAIF API Gateway na GitHubu

Opis

SLAIF API Gateway je odprtokodna, samostojno nameščena in z OpenAI združljiva nadzorna ravnina za organizacije, ki uporabljajo zunanjo UI in izpostavljajo lastne storitve UI. V izhodni smeri zaposleni, aplikacije, delavnice in kodirni agenti uporabljajo ključe prehoda, dejanske poverilnice ponudnikov pa ostanejo na strežniku. V nasprotni smeri odobreni odjemalci prek istega standardnega vmesnika dostopajo do organizacijskega z OpenAI združljivega ozadja ali pregledanega namenskega modula. Prehod v obeh smereh uveljavlja izrecne politike modelov, končnih točk, zmogljivosti, kvot, proračunov, hitrosti, sočasnosti, veljavnosti, usmerjanja, obračunavanja in revizije.

Pričakovani rezultati

En organizacijski prehod za nadzorovan dostop do zunanjih ponudnikov in nadzorovano objavo lokalno razvitih storitev UI. Obstoječi odjemalci, združljivi z OpenAI, običajno spremenijo le OPENAI_API_KEY in OPENAI_BASE_URL. Upravljavci dobijo upravljanje življenjskega cikla ključev, nastavitve ponudnikov in poti, kvote in obračunsko stanje v PostgreSQL, varne metapodatke uporabe, skrbniško nadzorno ploščo, ukazni vmesnik in orodja za lastno namestitev.

Kartica storitve

KategorijaInfrastructure and data-related services
DomenaInfrastruktura UI, upravljanje API, upravljanje dostopa, spremljanje uporabe
VertikalaCross-domain
Ciljni uporabnikiMala in srednja podjetja, raziskovalne organizacije, javne ustanove, razvijalci UI, upravljavci platform in izvajalci izobraževanj
Tip storitvePlatforma / API-prehod / storitev za nadzor dostopa
RezultatZ OpenAI združljiva končna točka API; ključi prehoda; politike modelov in zmogljivosti; kvote, proračuni, omejitve hitrosti in sočasnosti; metapodatki uporabe in stroškov v EUR; revizijski izvozi; skrbniška plošča in ukazni vmesnik; usmerjanje ponudnikov; integracija združljivih ozadij in pregledanih namenskih modulov; namestitvena gradiva Docker Compose in Nginx.
ZahteveLastna namestitev Python 3.12 in Docker Compose s PostgreSQL in Redis, upravljavsko nadzorovane skrivnosti, izrecna konfiguracija ponudnikov ali lokalnega ozadja ter utrditev HTTPS in povratnega posrednika pri izpostavljenih namestitvah. Trenutni MVP za MSP predvideva eno organizacijo na namestitev in zaupanja vredne upravljavce s polnimi pravicami.
OmejitveTrenutna izvedba je temelj RC-beta in ne pomeni produkcijske, varnostne ali skladnostne certifikacije oziroma SLA. Ne zagotavlja kriptografske večnajemniške izolacije, polnega RBAC, MFA, SSO, natančnega obračunavanja na ravni računa ali popolne združljivosti z vsemi API-ji OpenAI. Podprte končne točke in polja so izrecno omejeni, neznane zmogljivosti pa se varno zavrnejo.
Na voljoOdprtokodni RC-beta je na voljo za omejeno vrednotenje v lastni namestitvi
LicencaApache License 2.0

Zakaj MSP potrebuje nadzorno ravnino za UI

Uvajanje UI se pogosto začne neformalno. En ključ ponudnika se kopira v razvojna okolja, zvezke, navodila za delavnice, notranje aplikacije in profile kodirnih agentov. To je priročno pri prvem poskusu, vendar majhna ekipa kmalu ne more zanesljivo odgovoriti na osnovna operativna vprašanja:

  • Kdo sme uporabljati katerega ponudnika in model?
  • Kako preklicati enega uporabnika brez menjave ključev za vse?
  • Koliko je porabila posamezna aplikacija, projekt ali avtonomni agent?
  • Ali lahko ključ za delavnico samodejno poteče?
  • Ali sme agent uporabljati besedilno inferenco, ne pa tudi gostovanih orodij ponudnika?
  • Ali je mogoče zamenjati ponudnika brez predelave vseh odjemalcev?
  • Kako izpostaviti lokalno razvito storitev UI brez ponovne izdelave avtentikacije in obračunavanja?

SLAIF API Gateway ta vprašanja obravnava kot ena organizacijska nadzorna ravnina. Je samostojno nameščen, odprtokoden in za izrecno podprt podnabor API združljiv s standardnimi odjemalci OpenAI.

En prehod, dva nasprotna tokova zahtev

Najpomembnejša lastnost je dvojna vloga. MSP je lahko hkrati uporabnik in ponudnik UI.

flowchart LR
    subgraph CONSUME["Tok 1 - MSP uporablja zunanjo UI"]
        STAFF["Zaposleni aplikacije delavnice in agenti"] --> GATE1["SLAIF API Gateway"]
        GATE1 --> EXTERNAL["OpenAI OpenRouter ali odobren ponudnik"]
    end

    subgraph PROVIDE["Tok 2 - MSP ponuja lastno UI"]
        CLIENTS["Stranke partnerji ali notranji odjemalci"] --> GATE2["SLAIF API Gateway"]
        GATE2 --> LOCAL["Združljivo ozadje ali pregledan modul v lasti MSP"]
    end

Tehnično oba tokova vstopita skozi isti API prehoda. Organizacijsko pa sta njuni smeri nasprotni:

  • Uporaba UI pošlje zahtevo MSP navzven k zunanjemu ponudniku.
  • Ponujanje UI pošlje zahtevo odjemalca navznoter k modelu ali specializirani storitvi v lasti MSP.

Prehod v obeh smereh uporabi isti temelj za ključe, politiko, usmerjanje, kvote, obračunavanje in revizijo.

Tok 1: nadzorovana uporaba zunanje UI

Uporabniki prejmejo ključe prehoda in ne neomejene poverilnice organizacije za OpenAI ali OpenRouter. Prehod pri vsaki zahtevi preveri:

  • stanje ključa, obdobje veljavnosti, lastnika, ustanovo in skupino;
  • dovoljene ponudnike, modele, končne točke in zmogljivosti poti;
  • omejitve zahtev, žetonov in proračuna v EUR;
  • hitrost in sočasnost;
  • podprta orodja ter izrecno prepovedana gostovana pooblastila;
  • nastavljeno usmerjanje, cene in metapodatke pretvorbe valut.

Po odobritvi prehod zamenja poverilnico odjemalca z dejansko strežniško poverilnico ponudnika in posreduje na novo sestavljeno zahtevo z dovoljenimi polji. Nepodprta polja in zmogljivosti se varno zavrnejo. Kjer so na voljo, se podatki ponudnika uporabijo za dokončanje obračuna, katerega trajni vir resnice je PostgreSQL.

To je posebej pomembno za avtonomne kodirne agente. Agent lahko prejme namenski kratkotrajni ključ z velikim, vendar končnim proračunom ter natančno določenimi modeli in končnimi točkami. Ne prejme glavne poverilnice organizacije pri ponudniku.

Tok 2: nadzorovano izpostavljanje UI v lasti MSP

MSP morda že ima uporaben model ali specializirano storitev, nima pa spremljajoče infrastrukture za varen dostop odjemalcev.

Prehod trenutno podpira dve obliki integracije:

  1. Usmerjanje na splošno ozadje, združljivo z OpenAI. Upravljavec registrira pregledano ozadje /v1, njegovo strežniško poverilnico, poti, modele, zmogljivosti in cenovne metapodatke.
  2. Pregledani namenski moduli. Statično registriran prilagodilnik prevede zahtevo v obliki OpenAI v specializirano notranjo pogodbo in rezultat nazaj v odgovor v obliki OpenAI. Repozitorij vsebuje omejen prilagodilnik za ocenjevanje manipulacije obrazov kot prvi izvedeni primer.

Dinamični uvozi in poljubni vtičniki namenoma niso dovoljeni. Vsak namenski modul je pregledana izvorna koda z izrecno mejo zahtev, poverilnic, odgovorov in obračunavanja.

MSP lahko tako pred lastno storitev UI postavi:

  • ustvarjanje, menjavo, začasno ustavitev in preklic ključev;
  • politiko modelov in zmogljivosti za vsakega odjemalca;
  • omejitve zahtev, hitrosti, sočasnosti in veljavnosti;
  • metapodatke fiksne cene na zahtevo ali cene na žetone;
  • vsebinsko varčne zapise uporabe in revizije;
  • skrbniško ploščo in ukazni vmesnik;
  • standardno površino odjemalca, združljivo z OpenAI.

MSP se lahko osredotoči na svoj razlikovalni model, namesto da bi za vsak dokaz koncepta znova izdelal sistem za upravljanje dostopa.

Ena standardna nastavitev odjemalca

Za podprte poti obstoječe aplikacije običajno potrebujejo le dve okoljski spremenljivki:

export OPENAI_API_KEY="sk-slaif-..."
export OPENAI_BASE_URL="https://gateway.example.com/v1"

Nato je mogoče uporabiti običajni odjemalec OpenAI Python brez posebnega SDK SLAIF:

from openai import OpenAI

client = OpenAI()
response = client.chat.completions.create(
    model="odobren-model",
    messages=[{"role": "user", "content": "Pozdravljeni"}],
)
print(response.choices[0].message.content)

Ta prenosljivost zniža strošek uvajanja in odvisnost od enega ponudnika na meji odjemalca. Ne pomeni podpore vseh končnih točk ali polj OpenAI; prehod objavlja izrecno matriko združljivosti in zavrne neznane zmogljivosti.

Kaj upravlja nadzorna ravnina

Področje Izvedeni temelj
Poverilnice Ključi prehoda se prikažejo enkrat in shranijo kot izvlečki HMAC; ključi ponudnikov ostanejo na strežniku.
Politika dostopa Politike ponudnikov, modelov, končnih točk, zmogljivosti, veljavnosti, življenjskega cikla, orodij, hitrosti in sočasnosti za vsak ključ.
Kvote in stroški Rezervacija in dokončanje zahtev, žetonov in nastavljenih proračunov v EUR v PostgreSQL.
Usmerjanje Izrecne poti modelov do OpenAI, OpenRouter, združljivih ozadij ali pregledanih namenskih modulov.
Obračunavanje Varni metapodatki o žetonih, viru stroška, gotovosti, prekoračitvah, poteh in delovanju brez privzetega shranjevanja pozivov.
Delovanje Skrbniška plošča, ukazni vmesnik Typer, metrike, revizijski izvozi, varnostne kopije, obnova ter postopki za incidente in nadgradnje.
Namestitev Razvojna in produkcijska topologija Docker Compose s PostgreSQL, Redis, API, delavci, razporejevalnikom in Nginx.

PostgreSQL je trajni vir resnice za obračunavanje. Redis se uporablja za začasne operativne omejitve in koordinacijo; ni edini finančni ali kvotni zapis.

Podprta površina API

Trenutna glavna veja izvaja omejene podnabore:

  • GET /v1/models;
  • POST /v1/chat/completions, brez pretakanja in s pretakanjem SSE;
  • POST /v1/responses ter izbrane operacije življenjskega cikla Responses;
  • POST /v1/audio/speech, /audio/transcriptions in /audio/translations;
  • POST /v1/embeddings;
  • POST /v1/realtime/client_secrets z ozko dokumentirano mejo odobritve.

Natančna dovoljena polja so odvisna od končne točke, poti ponudnika, metapodatkov zmogljivosti modela in politike ključa. Izvorni API Anthropic ni izveden; do modelov družine Anthropic je mogoče dostopati le prek nastavljenega ponudnika z vmesnikom, združljivim z OpenAI, na primer OpenRouter.

Praktični profili za MSP

  • Dostop organizacije

    Ločeni ključi zaposlenih in aplikacij z odobrenimi modeli, mesečnimi proračuni, potekom in preklicem brez razdeljevanja poverilnic ponudnika.

  • Agenti in kodirna opravila

    Omejen ključ za avtonomnega agenta s konservativnimi pooblastili orodij ter omejitvami sočasnosti, žetonov, zahtev in stroškov.

  • Delavnice in izobraževanja

    Kratkotrajni ključi udeležencev z ozkim naborom modelov in majhnimi kvotami. Razkrit ključ udeleženca ne razkrije poverilnice ponudnika.

  • Raziskovalni projekti

    Projekti, predstavljeni z lastniki, skupinami, predlogami, potmi in proračuni znotraj ene organizacijske namestitve.

  • Objava storitve UI

    Nadzorovan dostop, združljiv z OpenAI, pred lokalno razvitim modelom, storitvijo vrste ZAP-IT ali pregledanim specializiranim modulom.

  • Zaupanja vredno vrednotenje

    Kratkotrajni kalibracijski ključi za razumevanje varnih vzorcev uporabe pred izdelavo običajne uporabniške politike.

Profili sestavljajo obstoječe kontrole in dokumentirane cilje; niso ločeni najemniki ali pet popolnih načinov z enim klikom.

Arhitektura in življenjski cikel zahteve

flowchart TD
    CLIENT["Z OpenAI združljiv odjemalec"] --> NGINX["Nginx in HTTPS"]
    NGINX --> API["SLAIF Gateway API"]
    API --> AUTH["Avtentikacija ključa in politika"]
    AUTH --> LIMITS["Preverjanje hitrosti sočasnosti in zmogljivosti"]
    LIMITS --> RESERVE["Rezervacija kvote in stroška v PostgreSQL"]
    RESERVE --> ROUTE["Razrešitev modela in poti ponudnika"]
    ROUTE --> OUT["Zunanji ponudnik"]
    ROUTE --> OWN["Organizacijsko ozadje ali namenski modul"]
    OUT --> FINAL["Dokončanje uporabe in stroška"]
    OWN --> FINAL
    FINAL --> LEDGER["Resnica uporabe in revizije v PostgreSQL"]
    FINAL --> RESPONSE["Odgovor v obliki OpenAI"]

Pozivi, odgovori, naložene vsebine, neobdelana telesa ponudnikov in vsebina sklepanja se privzeto ne shranjujejo. Dovoljene zahteve zunanjemu ponudniku vsebino vseeno pošljejo izbranemu ponudniku skladno s pogodbenim razmerjem organizacije s tem ponudnikom.

Varnostna in upravljavska drža

Prehod temelji na izrecnih pooblastilih in varnem zavračanju:

  • odjemalčeva avtentikacija se nikoli ne posreduje kot avtentikacija ponudnika;
  • skrivnosti ponudnikov se navajajo prek okolijskih spremenljivk ali skrivnosti pod nadzorom upravljavca;
  • neznane končne točke, polja, poti, orodja in cene se zavrnejo, kadar politika zahteva gotovost;
  • ključi prehoda se shranijo kot neobnovljive vrednosti HMAC;
  • začasne skrivnosti za enkratno dostavo so šifrirane in potečejo;
  • skrbniške spremembe uporabljajo prijavljene seje, zaščito CSRF, potrditve in revizijske razloge;
  • vsebina zahtev je izključena iz običajnih zapisov uporabe, dnevnikov, metrik in izvozov;
  • varne napake ponudnika se sestavijo na novo, namesto da bi se vračala neobdelana telesa odgovorov.

Lastna namestitev sama po sebi ne zagotovi pravne skladnosti. Upravljavec ostaja odgovoren za pogodbe s ponudniki, pogoje obdelave podatkov, utrditev namestitve, hrambo, uporabniško politiko, oceno tveganja in veljavno pravo.

Pomen za SLAIF in Evropo

SLAIF naj bi zagotavljal enotno dostopno točko, znižal vstopne ovire za MSP, ponudil splošne horizontalne platformne storitve ter pomagal uporabnikom operacionalizirati dokaze koncepta. Prehod izvaja manjkajočo plast dostopa in upravljanja med temi cilji:

poenostavljen dostop do zunanjih modelov
                +
nadzorovano izpostavljanje lokalnih storitev UI
                +
prenosljivi odjemalci, združljivi z OpenAI
                +
organizacijska politika in obračunavanje

To je skladno z evropsko usmeritvijo v zaupanja vredno uvajanje UI, dostop MSP do virov tovarn UI, interoperabilno infrastrukturo, organizacijski nadzor in prehod iz poskusov v uporabne storitve. Gre za inženirski temelj odgovornega uvajanja in ne za potrdilo skladnosti z Aktom o UI.

Trenutni dokazi in meja

Repozitorij se trenutno opredeljuje kot verodostojen temelj RC-beta za eno organizacijo na namestitev. Trenutni main ima uspešne delovne tokove CI, CodeQL in kakovosti kode. Repozitorij vsebuje obsežne enotske in integracijske teste, preizkuse E2E z uradnim odjemalcem, brskalniške teste, kvalifikacijo Docker Compose, migracije, varnostno kopiranje in obnovo, validacijo Nginx, preverjanje dokumentacije ter omejeno kvalifikacijo produkcijske naprave z dvojniki ponudnikov.

Edina objavljena izdaja ostaja v0.1.0-rc.1; poznejša dokumentacija RC2 ni objavljena izdaja. Popolna kvalifikacija obračunavanja s pravim ponudnikom trenutno ni potrjena.

Prehod ne trdi, da zagotavlja:

  • kriptografsko izolacijo več organizacij;
  • polni RBAC, MFA, SSO ali SCIM;
  • obračunavanje na ravni računa ali natančno omejevanje stroška med zahtevo;
  • popolno združljivost z vsemi API-ji OpenAI;
  • penetracijski test, varnostno ali skladnostno certifikacijo oziroma produkcijsko potrditev;
  • podjetniški podporni SLA.

Te omejitve ne izničijo delujoče ponudbe za MSP. Določajo mejo omejenega vrednotenja v lastni namestitvi in delo, potrebno pred konkretno produkcijsko uporabo.

Raziščite izvedbo

Odpri repozitorij SLAIF API Gateway Preberi obseg izdelka Preberi matriko združljivosti Preberi navodila za namestitev