oneStack
Jedes offene Modell auf Ihren eigenen GPUs. Eine API für alle.
oneStack bringt Open-Weight-Modelle aus dem Hugging-Face-Katalog auf Ihre NVIDIA-Server, für Chat, Vision, Embeddings, Suche, Sprache und Bilder. Es teilt die Karten in Slices auf, routet den Traffic und rechnet jedem Team ab, was es nutzt.
- Ganze Karten oder MIG-Slices
- Jedes Deployment bekommt eine ganze GPU oder ein isoliertes Slice davon, mit eigenem Netz pro Organisation.
- Der Hugging-Face-Katalog
- gpt-oss, Kolibri, Llama, Qwen, Mistral und Tausende mehr, direkt in der Konsole gesucht und bereitgestellt.
- OpenAI-kompatibel
- Bestehende SDKs zeigen auf Ihr Gateway und funktionieren weiter.
Was es leistet
Von der GPU bis zur API, gesteuert aus einer Konsole. Bereitstellen, aufteilen, routen und abrechnen, ohne eine Compose-Datei zu schreiben.
Ein Assistent, acht Engines
Sie wählen Engine, Modell und Karte. oneStack schreibt das Deployment, richtet das Routing ein, stellt das Zertifikat aus und prüft den Zustand.
Eine Karte, ein Slice pro Mandant
NVIDIA MIG teilt eine GPU in isolierte Slices, und jede Organisation erhält zusätzlich ihr eigenes Netzwerk.
Routing, das den Cache nutzt
Anfragen mit gleichem Prompt-Präfix landen auf derselben Instanz, damit ihr Cache greift. Eine fehlerhafte Instanz wird herausgenommen, und der Traffic weicht aus.
Live-Nutzer haben Vorrang
Interaktive Anfragen überholen Bulk-Jobs auf denselben GPUs, damit die Indexierung nie einen Chat warten lässt.
Vor dem Deployment wissen, was passt
Der Rechner bezieht Gewichte, KV-Cache und Parallelität ein und empfiehlt das Slice, in das alles passt.
Kosten pro Team
Jede Instanz kostet ihren Anteil am VRAM des Servers, zusammengefasst pro Organisation und Team, bereit für den Export.
Modelle
Die offenen Modelle, die man kennt. Und Tausende mehr von Hugging Face.
Beispiele. Durchsuchen Sie den ganzen Hugging-Face-Katalog in der Konsole, oder laden Sie eigene Gewichte hoch.
Im Arbeitsalltag
Ihre Modelle, genutzt wie jede andere API.
index.tsconst gpu = new OpenAI({ baseURL: "https://ai.nordwerk.internal/v1", apiKey: process.env.GATEWAY_KEY,});await gpu.chat.completions.create({ model: "gpt-oss-120b"Auf Ihren GPUs, messages,});SDK umstellen, Code behalten
Alles, was für die API von OpenAI geschrieben ist, spricht mit Ihrem Gateway: Chat, Responses, Embeddings, Rerank und Audio.
Engine-Image aktualisiert06:10
vLLM auf drei Instanzen in der Gruppe chat. Health Checks bestanden.
Rollback ausgeführt06:14
Instanz 4 hat ihren Health Check nicht bestanden und läuft wieder mit dem vorherigen Image.
Updates, die sich selbst zurückrollen
Ein neues Engine-Image wird mit Health Check auf die Instanzen ausgerollt, und eine Instanz, die ihn nicht besteht, kehrt zum vorherigen Image zurück.
Embeddings · RTX PRO 6000 BlackwellBenchmark61.206Tokens pro Sekunde
Ein Open-Weight-Embedding-Modell auf zwei Karten, der 2,0-fache Durchsatz einer Karte.
- Eine Karte30.544
- Zwei Karten61.206
Gemessen, nicht versprochen
Zwei Blackwell-Karten verarbeiten ein Open-Weight-Embedding-Modell mit dem doppelten Durchsatz einer Karte.
Workloads
Was darauf läuft. Fünf Arten von Arbeit, auf Ihren eigenen GPUs.
- ModellOpen-Weight-Embeddings
- Durchsatz auf zwei Karten61.206 tok/s
- Große BatchesAuf Instanzen verteilt
- StatusFehlerfrei
Dokumente und Nachrichten werden auf Ihren eigenen GPUs eingebettet. So verlässt die Suche nie Ihre Infrastruktur.
Nativ in oneAI
Ihre Modelle, direkt in oneAI. Private Modelle neben den Frontier-Modellen, unter denselben Regeln.
oneAISuche, Lesen, Compliance- Privates Modell01
- LoRA-Adapter04
- interaktiv · Hintergrund03
Alles in oneStack
Gebaut für eine GPU-Flotte, nicht für eine Demo. Alles, um offene Modelle auf Ihren eigenen GPUs zu betreiben.
Modelle und Engines
- vLLM für Chat, Vision, Embeddings, Reranking und Sprache
- TEI für Embeddings, Ollama für GGUF-Modelle
- ComfyUI für Bilder, Speaches für Spracherkennung
- Der Hugging-Face-Katalog, durchsuchbar in der Konsole
- Ollama-Modelle und eigene Uploads
- Eine signierte, per Digest fixierte Modell-Registry
- Gewichte in FP8, AWQ, GPTQ und INT8, FP8-KV-Cache
- Tool Calling, Reasoning, spekulatives Decoding, Präfix-Caching
- Bis zu vier LoRA-Adapter pro Instanz
GPUs
- NVIDIA, eine ganze Karte oder ein MIG-Slice pro Instanz
- MIG auf H100, H200, A100, A30 und RTX PRO 6000 Blackwell
- Slices nach einem Neustart wiederhergestellt
- VRAM-Rechner mit KV-Cache und Parallelität
- Slice-Empfehlung für jedes Modell
- Freie Wahl der Karte für jedes Deployment
Gateway
- Chat Completions, Responses, Embeddings und Models
- Rerank und Score, Cohere-kompatibel
- Sprachausgabe, Transkription und Übersetzung
- Verfügbarkeitsgruppen über mehrere Server hinter einem Modellnamen
- Round Robin, Least Connections, gewichtetes und Präfix-Hash-Routing
- Circuit Breaker, Failover und Stall-Erkennung
- Priorisierung, Aufteilen großer Batches, Aliase
- API-Keys mit Rate- und Token-Limits, Team-Zuordnung und Ablaufdatum
Mandanten und Kosten
- Organisationen, Teams und Nutzer mit Rollen
- VRAM-Kontingente pro Organisation und Team
- Modellfreigaben pro Organisation
- Ein eigenes Netzwerk pro Organisation
- Kosten pro Instanz aus ihrem VRAM-Anteil
- Berichte pro Organisation und Team, mit Export
- Zwei-Faktor-Anmeldung und Audit-Log
Betrieb
- Vorlagen, die auf viele Server gleichzeitig ausrollen
- Kontingentprüfung vor einem Batch-Deploy, alles oder nichts
- Redeploy, das auf den Health Check wartet, mit automatischem Rollback
- Drift-Prüfung zwischen gespeicherter und laufender Konfiguration
- 13 Grafana-Dashboards und 19 Alert-Regeln
- Mutual TLS zwischen Konsole und Servern
- Root-Operationen über einen separaten Helper mit Allowlist
- Lokale Modelle laufen ohne Internet weiter
Installation
- Ein Debian-Paket und systemd auf jedem GPU-Server
- Automatisches TLS über Traefik und Let's Encrypt
- Backup und Wiederherstellung des Setups jedes Servers
- Auf Ihrer Hardware oder auf GPU-Servern über einen Partner
Fragen
Was Plattform-Teams zuerst fragen.
Noch eine Frage?Sprechen Sie mit uns
Die oneAI-Familie
Drei Bausteine, ein souveränes KI-Betriebssystem. Souveränität ist eine Frage der Wahlfreiheit. Wir bieten Ihnen die Wahl.
oneAI, oneStack und oneDeploy laufen in der Cloud, in Ihrer Private Cloud oder On-Premise. Jeder Baustein funktioniert für sich, und alle arbeiten nativ zusammen.
Nächster Schritt
Lassen Sie Ihre GPUs arbeiten.
Dreißig Minuten mit einem Solutions Engineer, mit Ihrer Hardware und den Modellen, die Sie betreiben möchten.
Mit einem Partner sprechenDemo buchen
Vielen Dank.
Ihre Anfrage ist bei uns. Eine Person von oneAI antwortet innerhalb eines Werktags.
Eine Person von oneAI antwortet innerhalb eines Werktags. Keine Ticket-Warteschlange. Mit dem Absenden stimmen Sie zu, dass oneAI Ihre Angaben speichert und verarbeitet, um Ihre Anfrage zu beantworten. Datenschutzerklärung