Die KI-Rechnung wird selten dort teuer, wo man hinschaut. Rund 72 Prozent der Kosten moderner KI-Systeme entstehen nicht beim Modell selbst, sondern in den Schritten dahinter. Wenn Anfragen weiterverarbeitet, wiederholt und überwacht werden. Genau das macht sie so tückisch: Sie bleiben lange unsichtbar, bis die Rechnung kommt. Im Podcast erklärt Thomas Elsner, Partner bei McKinsey, warum sich hier ein bekanntes Muster wiederholt: das der technischen Schulden, kurz Tech Debt. Wer diese Kosten nicht früh sichtbar macht, zahlt später doppelt. Elsner nennt das Phänomen Token Debt und zeigt vier konkrete Stellschrauben, mit denen sich der Spend in den Griff bekommen lässt. Eine zentrale Rolle spielt dabei ein sogenanntes AI Gateway, eine Art Schaltzentrale, die Anfragen automatisch zum günstigsten passenden Modell lenkt.

See www.mckinsey.com/privacy-policy for privacy information

Rss Apple Podcaster
Podden och tillhörande omslagsbild på den här sidan tillhör McKinsey & Company Deutschland. Innehållet i podden är skapat av McKinsey & Company Deutschland och inte av, eller tillsammans med, Poddtoppen.