KI lokal nutzen: LLMs und KI-Agenten ganz ohne OpenAI, Anthropic & Co. | c’t uplink

Inhalt:

Egal ob man gern ausufernde Gespräche mit einem Chatbot führt, jede Menge Bilder generiert oder Programmierprojekte mit KI umsetzen will: Die Token schwinden wie Eis in der Sonne und das Ganze geht schnell ins Geld. Mal ganz abgesehen davon, dass gerade im beruflichen Kontext Vorsicht geboten ist, welche Daten man an die Onlinedienste weitergibt. Lokale KI-Modelle sind da die deutlich bessere Wahl: Die Kosten sind besser kalkulierbar, weil man nur in Hardware investieren und kein Abo bei KI-Firmen abschließen muss. So muss man nicht mehr jedes Token auf die Goldwaage legen. Und um den versehentlichen Abfluss von Daten braucht man sich dann auch keine Sorgen machen. In dieser Folge des c’t uplink sprechen wir darüber, was mit einem lokalen KI-Server möglich ist, ab welcher Hardware das Spaß macht und welche coolen Dinge ein solcher KI-Server tun kann. Jan Mahn berichtet von seinen Erfahrungen beim [Aufsetzen eines LLM-Servers für kleine Teams](https://www.heise.de/ratgeber/Sprachmodelle-mit-Open-WebUI-LLM-Server-fuer-kleine-Teams-selbst-hosten-11333185.html), während Jan-Keno Janssen für ein c’t-3003-Video mit agentischer KI experimentiert hat. Zu Gast im Studio: Jan Mahn, Jan-Keno Janssen Host: Liane M. Dubowy Produktion: Tobias Reimer ? Mitdiskutieren auf dem heise & c't Discord-Server: https://discord.gg/Wf6ewnWpxH ? c’t Magazin: https://ct.de ? c’t auf Mastodon: https://social.heise.de/@ct_Magazin ? c’t auf Instagram: https://www.instagram.com/ct_magazin ? c’t auf Facebook: https://www.facebook.com/ctmagazin ? c’t auf Bluesky: https://bsky.app/profile/ct.de ? c’t auf Papier: überall wo es Zeitschriften gibt!