Deep Dive 141 –

Integration von LLMs mit Christian Weyer

09.02.2024

// Podcast
// Deep Dive 141

Shownotes

Generative AI, also eine künstliche Intelligenz, die neue Inhalte erzeugen kann, ist aktuell im Tech-Umfeld omnipräsent und schwappt auch in den Diskurs von Non-Techies. Nahezu täglich werden neue, größere, bessere Modelle veröffentlicht. Um mithalten und die Technologie nutzen zu können, wollen wir sie ganz nüchtern und pragmatisch verstehen. Dazu haben wir erneut Christian Weyer eingeladen und sprechen mit ihm über seine Erfahrungen bei der tatsächlichen Integration von Generative AI in echte Anwendungen.

Wir diskutieren, wie ihr euch dem Thema nähern solltet, wenn ihr Software und Produkte entwickelt, welche Überlegungen dabei eine zentrale Rolle spielen und wieso ihr vielleicht doch kein eigenes KI-Modell hosten solltet – auch wenn ihr es könntet.

Wir stellen die These auf, dass AI und insbesondere Large Language Models für uns als Entwickler:innen eigentlich bloß weitere Werkzeuge sind. Dabei erklären wir, worin es sich von allem zuvor Dagewesenen unterscheidet.

Und weil wir schon lange nicht mehr so schön im Studio beieinander saßen, haben wir bei der Aufnahme vergessen, auf die Uhr zu schauen. ;) Einen Pick of the Day gibt es am Ende trotzdem noch für euch.

Download

Picks of the Day

Jan
Ähnlich wie LM Studio ermöglicht euch auch „Jan“, Large Language Models lokal auf eurem Computer laufen zu lassen. Dabei habt ihr die Auswahl aus verschiedenen Modellen, die über einen zentralen Hub bereitgestellt werden. Alternativ ladet ihr einfach selbst Modelle herunter (etwa via HuggingFace) und importiert diese zur Nutzung in Jan. Für die Nutzung steht euch sowohl ein Chat-Interface als auch eine HTTP-API zur Verfügung. Wer Modelle selbst nutzen möchte, aber dafür nicht das GUI von Jan braucht, kann auch die zugrundeliegende Library Nitro selbst verwenden.

Alle 324 Picks of the Day

Speaker Info

Christian Weyer
Christians Leidenschaft ist es, Softwarelösungen zu entwerfen, die überall eingesetzt werden können. Als CTO und Principal Consultant der Thinktecture AG bezeichnet er sich selbst als leidenschaftlichen Technologen, der es liebt, Kund:innen bei der Lösung ihrer Probleme zu helfen und ihre Visionen für Softwarelösungen der nächsten Generation zu verwirklichen – auf jeder Plattform, ob lokal oder in der Cloud. In seiner täglichen Arbeit befasst er sich mit verschiedenen Aspekten plattformübergreifender Architekturen und Technologien für Frontends und Backends. Seit 1996 hält Christian als professioneller Redner, Ausbilder und Mentor Vorträge und Workshops über Softwarearchitektur, Server- und Client-Technologien sowie plattformübergreifende Systeme. Für sein Engagement in der globalen Community rund um Software-Architektur und -Entwicklung ist er 2002 als Microsoft Most Valuable Professional (MVP) und 2015 als Google Developer Expert (GDE) ausgezeichnet worden. Seit 2003 ist er unabhängiger Microsoft Regional Director (RD) für Deutschland.
Mehr Infos