Werkstudent:in AI Quality Engineering (m/w/d)

Deine Mission Du baust mit uns eine standardisierte Testing-Umgebung für unsere AI-Lösung auf – damit unser System zuverlässig, nachvollziehbar und messbar das tut, was es soll. Du arbeitest eng mit dem Engineering- und Product-Team zusammen und wirst dabei vom AI Engineering Lead begleitet. Aufgaben Deine Aufgaben Testing-Infrastruktur mitgestalten – Aufbau und Pflege unserer Testumgebung für AI-Agenten (u. a. mit PyTest und OpenTelemetry) Modell-Unternehmen entwickeln – realistische Beispiel-Unternehmen in unserer Datenbank (PostgreSQL) anlegen, die echte Kundensituationen widerspiegeln und belastbare Testszenarien ermöglichen Qualitätssicherung – gewünschtes und ungewünschtes Systemverhalten unserer AI-Agenten (LangGraph / LangChain) und RAG-Pipeline (Weaviate) systematisch aufdecken und nachvollziehbar machen Evaluation Suite aufbauen – erwartetes Systemverhalten gemeinsam mit dem Product-Team definieren und in automatisierte Tests umsetzen – inkl. Vergleich verschiedener LLM-Anbieter und Modelle Qualifikation Das bringst du mit Must-haves: Laufendes Studium (z. B. AI/ML, Informatik, Kognitionswissenschaften o. Ä.) Grundlegende Programmierkenntnisse – du kannst Code lesen und verstehen Grundverständnis von generativer KI (LLMs, Prompting, typische Stärken und Schwächen) Strukturiertes, analytisches Denken Sehr gute Englischkenntnisse (Arbeitssprache); gute Deutschkenntnisse von Vorteil Nice-to-have: Erste Erfahrung mit Python und/oder Testing-Frameworks Interesse an oder Erfahrung mit RAG-Systemen, Prompt Engineering oder LLM-Evaluation Benefits Was dich bei uns erwartet Echte Ownership – deine Tests haben direkten Einfluss auf die Produktqualität Lernen im Team – du arbeitest direkt mit Product und Engineering zusammen und wirst vom AI Engineering Lead begleitet Internationales Umfeld – ein Team mit Eigenverantwortung und AI-First-Mindset Flexibilität – 20 h/Woche, frei einteilbar, remote-friendly Perspektive – Möglichkeit, deine Abschlussarbeit thematisch an deine Arbeit bei uns anzuknüpfen, und Chance, mit uns zu wachsen Schick uns deinen Lebenslauf und ein paar Sätze dazu, warum dich AI-Testing interessiert. Optional: Projekte oder Code-Beispiele. Find more English Speaking Jobs in Germany on Arbeitnow