Senior AI Platform Engineer- LLM & Agents; m/w/d
Job in
Boise, Ada County, Idaho, 83701, USA
Listed on 2026-10-30
Listing for:
Neurawork GmbH & Co. KG
Full Time
position Listed on 2026-10-30
Job specializations:
-
Software Development
AI Engineer (Applied/Software), Machine Learning/ ML Engineer
Job Description & How to Apply Below
Neura Plox baut eine AI-Agent-Plattform für Enterprise-Kunden aus Banken, Versicherungen und Pharma. Unsere Kunden müssen ihre KI-Outputs nicht nur erklären wollen, sondern erklären können: gegenüber Aufsicht, Audit und eigenen Fachbereichen. Deshalb bauen wir explainable AI mit Audit-Lineage, Decision-Provenance und Retrieval, das auch bei Millionen von Vektoren pro Tenant sauber funktioniert.
Wir sind ein investor-backed Startup mit einem kleinen Team, in dem jede Entscheidung sichtbar Wirkung hat. Als Senior AI Platform Engineer verantwortest du die Agent-Architektur, also den Kern unseres Produkts, und baust das AI-Engineering bei uns entscheidend mit auf.
Aufgaben Was Du bei uns machst- Eine produktionsreife AI-Agent-Plattform auf Basis von PydanticAI, LiteLLM und Langfuse
- RAG-Pipelines mit pgvector at scale:
Multi-Tenant-Isolation, Index-Rebuild-Strategie, Hybrid Search und Re-Ranking - Einen Multi-Tenant-Token-Quota-Service und Eval-Frameworks pro Tenant
- MCP-Tool-Integration (Model Context Protocol) als fester Bestandteil der Architektur
- Lückenlose Auditierbarkeit von Prompt bis Output, damit Entscheidungen für Fachbereich und Aufsicht nachvollziehbar sind
- Architektur-Entscheidungen, die auch im Bank-, Versicherungs- und Pharma-Umfeld bestehen
- Eval-driven: Jeder Agent-Change läuft durch eine Eval-Suite, bevor er live geht.
- ADRs: Relevante Architektur-Entscheidungen werden dokumentiert, nicht im Slack-Thread vergraben.
- Gemessen statt geraten: LLM-Calls sind ab Tag eins in Langfuse sichtbar, inklusive Kosten und Latenz.
- Empirisch: Re-Ranking, pgvector-Sizing und Retrieval-Qualität entscheiden wir auf Basis von Daten.
- Kurze Wege: Direkter Draht zum Founding-Team, keine Projektmanagement-Ebene dazwischen.
- 5+ Jahre Software-Engineering mit Python in Produktion
- Erfahrung mit LLMs in Produktion:
Tokens, Latenz, Kosten und Evals sind für dich Alltag - RAG-Systeme, die du selbst gebaut und betrieben hast, inklusive Retrieval-Tuning und Re-Ranking
- Ein Agent-Framework wie Lang Graph, PydanticAI oder vergleichbar im Produktiveinsatz
- Sehr gutes Deutsch und gutes Englisch, da du mit Enterprise-Kunden im DACH-Raum arbeitest
Ein Plus, aber kein Muss:
- Erfahrung mit LiteLLM, Langfuse oder MCP. Was du noch nicht kennst, lernst du bei uns schnell.
- pgvector-Sizing bei großen Datenmengen
- Kubernetes-Grundlagen
- Erfahrung mit regulatorischen Anforderungen wie EU AI Act, DORA, BaFin/MaRisk oder GxP
- Verantwortung ab Tag eins: Du prägst die Agent-Architektur, statt nur Prompts zu tunen, ohne Management-Layer über dir
- Direkter Draht: Du berichtest an Christoph Knöll (Founder/CEO) und arbeitest eng mit unserem Head of AI, mit kurzen Entscheidungswegen
- Flexibilität: Voll-remote mit Wohnsitz in Deutschland, flexible Arbeitszeiten, ca. einmal im Monat Team-Tage im Münchner Office
- Raum zum Testen: Moderner Stack und Zeit, neue Modelle, Frameworks und Retrieval-Ansätze ernsthaft zu evaluieren
- Fachlicher Austausch: Ein Team, das LLM-Systeme in Produktion betreibt und Entscheidungen auf Basis von Evals trifft
- Weiterentwicklung und Sichtbarkeit: Konferenzen, Schulungen und die Möglichkeit, als Experte nach außen aufzutreten, z.
B. mit Talks oder Fachbeiträgen
Position Requirements
10+ Years
work experience
To View & Apply for jobs on this site that accept applications from your location or country, tap the button below to make a Search.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
Search for further Jobs Here:
×