„AI Energy Score“ von Salesforce
Fokus auf den CO2-Rucksack von KI-Modellen
KI-Modelle benötigen Energie – so viel ist bekannt. Doch das war es dann meist auch schon. Transparenz in dieses Thema soll der „AI Energy Score“ bringen. Das Benchmarking-Tool von Salesforce entstand zusammen mit anderen Organisationen und wurde auf dem Pariser „AI Action Summit“ vorgestellt.
Ob beim Training eines KI-Modells oder bei der Inferenz, also wenn Live-Daten durch ein bereits trainiertes KI-Modell verarbeitet werden – KI-Modelle verbrauchen Energie. Den Überblick zu behalten, welches KI-Modell möglicherweise besser dasteht als andere, ist schwierig. Doch genau das soll der „AI Energy Score“ leisten und mehr Klarheit bringen. Das sogenannte Benchmarking-Tool soll Orientierung geben bei der Beurteilung der Energieeffizienz von KI-Modellen. An der Entwicklung des „AI Energy Score“ beteiligt waren neben Salesforce folgende Organisationen: Hugging Face, ein Unternehmen aus den USA, das Werkzeuge für die Erstellung von Anwendungen mit maschinellem Lernen entwickelt, das kanadische KI-Unternehmen Cohere sowie die Carnegie Mellon University.
Im Rahmen der Initiative wurden bislang Bewertungen für 166 häufig verwendete KI-Modelle beziehungsweise Large Language Modelle publiziert. Diese Bewertungen sollen Entwicklern und KI-Anwendern dabei helfen, Modelle zu identifizieren, die weniger Energie verbrauchen.
„Es gibt bereits viele Benchmarks mit Fokus auf die Performance, aber es gab bislang noch nichts, was sich in einer standardisierten Art und Weise rein auf das Thema Energieeffizienz bezogen hätte“, erklärt Steffen Müller, Direktor für Nachhaltigkeit und Transformation bei Salesforce, im Gespräch mit connect professional. Da soziale und ökologische Nachhaltigkeit Teil des Salesforce-Wertekatalogs seien, stand man vor der Frage, wie Salesforce auch beim Thema KI diesen Werten gerecht werden könne.
„Das impliziert beispielsweise auch ein Right Sizing der Modelle. Denn zwar gibt es sehr große Large-Language-Models, die sehr vieles abdecken können und so viele Parameter im Training haben, dass sie zu jedem Thema aussagefähig sind. Aber oftmals ist auch ein sehr spezifisches Small-Language-Model ausreichend, das auf spezifische Funktionen trainiert ist. Und letztere haben natürlich einen geringeren Rucksack an CO₂ durch einen geringeren Energieaufwand“, erläutert Müller.
Doch wie funktioniert nun dieses Benchmarking-Tool? Müller fasst es als standardisiertes Rahmenwerk zusammen, „das Entwicklern und Nutzern von KI ermöglichen soll, den Energieverbrauch von KI-Modellen miteinander zu vergleichen und zu bewerten“. Vergleichbar sei das mit Labels für Energieeffizienz, die jeder aus dem Alltag kennt, beispielsweise für einen Kühlschrank.
Beim „AI Energy Score“ gehe es zudem um die Relation der einzelnen Lösungen zueinander. „Wenn ein neues, sehr energieeffizientes Modell auf den Markt kommt, dann zieht das den Benchmark für alle anderen nach oben“, erläutert Müller. Damit wolle man einerseits einen gewissen Wettbewerb zu mehr Effizienz unter den Herstellern initiieren, andererseits Transparenz bei den Anwendern schaffen, damit Energieeffizienz künftig noch mehr zum Entscheidungsmerkmal werden kann.
- Fokus auf den CO2-Rucksack von KI-Modellen
- Energieverbrauch in der Inferenz komplex
Lesen Sie mehr zum Thema
