Trends & neue Technologien (KI o.a.)Der Weg zum autarken AI-Chatbot: Ein Praxisbericht
Abstract
Wed 15:35 - 16:20 Uhr | 2024
Wir haben einen Smart-Wiki Chatbot entwickelt, mit einer klaren Prämisse: Alles läuft lokal!
Im Zuge der Entwicklung dieser Anwendung stießen wir auf zahlreiche Herausforderungen, unter anderem:
- Performantes Deployment von Open Source LLMs: Wie viel Hardware benötigt man für wie viele Nutzer?
- Modellauswahl: Wie identifiziert man das passende LLM für seine Bedürfnisse?
- Evaluierung: Ist die Bewertung einer lokalen KI-Anwendung mit lokal betriebenen LLMs machbar?
- Testing: Wie können bewährte Praktiken aus der Softwareentwicklung auf KI-Anwendungen angewandt werden?
- RAG Optimierung: Welche Optimierungsmaßnahmen bringen einen echten Mehrwert und welche können vernachlässigt werden?
In unserem Vortrag zeichnen wir diese Reise nach und teilen unser Wissen.
Dr. Anja Kleebaum ist eine begeisterte Agile Softwareentwicklerin mit einer Promotion im Bereich Software-Engineering von der Universität Heidelberg. Ihre Dissertation fokussierte sich auf Methoden und Tools für Entscheidungsmanagement in agiler Softwareentwicklung. Sie legt großen Wert auf die Qualität der Software-Engineering-Artefakte und fördert den Wissensaustausch im Team, um die langfristige Nutzung und Entwicklung von Software zu gewährleisten. Seit Beginn des internen KI-Projekts hat sie eine zentrale Rolle und trägt mit ihrem Fachwissen entscheidend zur Entwicklung bei.
Jacques Huss entwickelt seit 2021 professionell Software bei andrena objects. Dabei bevorzugt er testgetriebene Entwicklung. Ihm ist nicht nur der Code wichtig, an dem er arbeitet, sondern auch, dass die agilen Werte im Team gelebt werden.
Neben seiner Passion für die Softwareentwicklung interessiert sich Jacques außerdem sehr für das Thema KI und beschäftigt sich mit der Frage, wie man diese als Entwickler ethisch & effizient einsetzen kann.