Trends & neue Technologien (KI o.a.)Trends & neue Technologien (KI o.a.)

Der Weg zum autarken AI-Chatbot: Ein Praxisbericht

Chatbot
LLM
open source
RAG

Abstract


Mi. 15:35 - 16:20 Uhr | 2024

Wir haben einen Smart-Wiki Chatbot entwickelt, mit einer klaren Prämisse: Alles läuft lokal!

Im Zuge der Entwicklung dieser Anwendung stießen wir auf zahlreiche Herausforderungen, unter anderem:

  • Performantes Deployment von Open Source LLMs: Wie viel Hardware benötigt man für wie viele Nutzer?
  • Modellauswahl: Wie identifiziert man das passende LLM für seine Bedürfnisse?
  • Evaluierung: Ist die Bewertung einer lokalen KI-Anwendung mit lokal betriebenen LLMs machbar?
  • Testing: Wie können bewährte Praktiken aus der Softwareentwicklung auf KI-Anwendungen angewandt werden?
  • RAG Optimierung: Welche Optimierungsmaßnahmen bringen einen echten Mehrwert und welche können vernachlässigt werden?

In unserem Vortrag zeichnen wir diese Reise nach und teilen unser Wissen.

Non-Sponsored TalkAnfängerDeutsch
Dr. Anja Kleebaum

Dr. Anja Kleebaum

www.andrena.de

Dr. Anja Kleebaum ist eine begeisterte Agile Softwareentwicklerin mit einer Promotion im Bereich Software-Engineering von der Universität Heidelberg. Ihre Dissertation fokussierte sich auf Methoden und Tools für Entscheidungsmanagement in agiler Softwareentwicklung. Sie legt großen Wert auf die Qualität der Software-Engineering-Artefakte und fördert den Wissensaustausch im Team, um die langfristige Nutzung und Entwicklung von Software zu gewährleisten. Seit Beginn des internen KI-Projekts hat sie eine zentrale Rolle und trägt mit ihrem Fachwissen entscheidend zur Entwicklung bei.

Steve Haupt

Steve Haupt

www.andrena.de

Steve Haupt arbeitet seit sechs Jahren als agiler Softwareentwickler bei andrena objects. Er betrachtet Softwareentwicklung als Handwerk, das über einen längeren Zeitraum erlernt und geübt werden muss. Qualität ist für ihn der zentrale Grundstein in diesem Handwerk.

Besonders fasziniert ist Steve von den aktuellen Entwicklungen im Bereich der künstlichen Intelligenz und reflektiert intensiv über die Implikationen dieser Technologien für das Handwerk der Softwareentwicklung. In den letzten Monaten hielt Steve viele Vorträge zu dem Thema und entwickelte gemeinsam mit Kollegen eine eintägige KI-Schulung für Softwareentwickler.