Cybersicherheitsforscher haben herausgefunden, dass es möglich ist, den Hugging Face Safetensors Konvertierungsdienst zu kompromittieren, um letztendlich die von Benutzern eingereichten Modelle zu übernehmen und zu Supply-Chain-Angriffen zu führen. Laut einem Bericht von HiddenLayer aus der letzten Woche können böswillige Pull-Requests mit von Angreifern kontrollierten Daten an jedes Repository auf der Plattform gesendet werden, um Modelle zu übernehmen, die über den Konvertierungsdienst eingereicht wurden. Dies kann durch ein hijacktes Modell erreicht werden, das für die Konvertierung über den Dienst vorgesehen ist, was es böswilligen Akteuren ermöglicht, Änderungen an jedem Repository auf der Plattform zu fordern, indem sie sich als der Konvertierungsbot ausgeben.
Hugging Face ist eine beliebte Kollaborationsplattform, die Benutzern hilft, vorgefertigte maschinelle Lernmodelle und Datensätze zu hosten, zu bauen, bereitzustellen und zu trainieren. Safetensors ist ein von dem Unternehmen entwickeltes Format zum Speichern von Tensoren unter Berücksichtigung der Sicherheit, im Gegensatz zu Pickles, die wahrscheinlich von Bedrohungsakteuren eingesetzt wurden, um beliebigen Code auszuführen und Cobalt Strike, Mythic und Metasploit Stagers bereitzustellen.
Der Konvertierungsdienst von Safetensors ermöglicht es Benutzern, jedes PyTorch-Modell (d.h. Pickles) in sein Safetensor-Äquivalent über einen Pull-Request zu konvertieren. Die Analyse von HiddenLayer zu diesem Modul ergab, dass es hypothetisch möglich ist, dass ein Angreifer den gehosteten Konvertierungsdienst mithilfe eines bösartigen PyTorch-Binärs übernehmen und das System gefährden kann, auf dem er gehostet ist. Darüber hinaus könnte der mit SFConvertbot verbundene Token – ein offizieller Bot, der den Pull-Request generiert – exfiltriert werden, um einen böswilligen Pull-Request an jedes Repository auf der Website zu senden, was zu Szenarien führen könnte, in denen ein Bedrohungsakteur das Modell manipulieren und neuronale Hintertüren einbauen könnte.
„Ein Angreifer könnte jederzeit beliebigen Code ausführen, wenn jemand versucht, ihr Modell zu konvertieren“, erklärten die Forscher Eoin Wickens und Kasimir Schulz. „Ohne jegliche Anzeige für die Benutzer selbst könnten ihre Modelle bei der Konvertierung übernommen werden.“ Sollte ein Benutzer versuchen, sein eigenes privates Repository zu konvertieren, könnte der Angriff den Weg für den Diebstahl seines Hugging Face Tokens ebnen, auf sonst interne Modelle und Datensätze zugreifen und sie sogar vergiften.
Ein weiteres Problem ist, dass ein Angreifer die Tatsache ausnutzen könnte, dass jeder Benutzer eine Konvertierungsanfrage für ein öffentliches Repository einreichen kann, um ein häufig verwendetes Modell zu übernehmen oder zu ändern und so eine erhebliche Supply-Chain-Risiko zu verursachen. Trotz der besten Absichten, maschinelle Lernmodelle im Hugging Face-Ökosystem zu sichern, hat sich der Konvertierungsdienst als anfällig erwiesen und das Potenzial für einen weitreichenden Supply-Chain-Angriff über den offiziellen Dienst von Hugging Face gezeigt.
„Ein Angreifer könnte Zugriff auf den Container erhalten, der den Dienst ausführt, und jedes vom Dienst konvertierte Modell gefährden.“ Diese Entwicklung erfolgt etwas über einen Monat, nachdem Trail of Bits LeftoverLocals (CVE-2023-4969, CVSS-Score: 6.5) offengelegt hat, eine Schwachstelle, die das Wiederherstellen von Daten von Apple, Qualcomm, AMD und Imagination General Purpose Graphics Processing Units (GPGPUs) ermöglicht. Der Speicherleck-Fehler, der aus einem unzureichenden Isolieren des Prozessspeichers herrührt, ermöglicht es einem lokalen Angreifer, den Speicher von anderen Prozessen zu lesen, einschließlich einer anderen Benutzersitzung mit einem großen Sprachmodell (LLM).
„Dieses Datenleck kann schwerwiegende Sicherheitsfolgen haben, insbesondere angesichts des Anstiegs von ML-Systemen, bei denen der lokale Speicher verwendet wird, um Modelleingaben, -ausgaben und -gewichte zu speichern“, sagten die Sicherheitsforscher Tyler Sorensen und Heidy Khlaaf.