Home Technik Diese clevere KI versteckte Daten vor ihren Erstellern, um bei ihrer festgelegten...

Diese clevere KI versteckte Daten vor ihren Erstellern, um bei ihrer festgelegten Aufgabe – TechCrunch – zu schummeln

Je nachdem, wie paranoid Sie sind, gehen diese Untersuchungen von Stanford und Google aus wird entweder erschreckend oder faszinierend sein. Ein Machine-Learning-Agent, der Luftbilder in Straßenkarten und zurück verwandeln wollte, wurde als betrügerisch empfunden, indem er Informationen versteckte, die er später in einem "fast unmerklichen Hochfrequenzsignal" benötigte.

Dieses Vorkommnis offenbart ein Problem mit Computern, das seit ihrer Erfindung besteht: Sie tun genau das, was Sie ihnen sagen.

Die Forscher hatten die Absicht, die Umwandlung von Satellitenbildern in die bekannt genauen Karten von Google zu beschleunigen und zu verbessern. Zu diesem Zweck arbeitete das Team mit einem so genannten CycleGAN – einem neuronalen Netzwerk, das lernt, Bilder des Typs X und Y durch viele Experimente so effizient wie möglich ineinander zu transformieren.

In einigen frühen Ergebnissen ging es dem Agenten gut – verdächtig Gut. Was das Team anregte, war, dass der Agent, als er Luftbilder aus seinen Straßenkarten rekonstruierte, viele Details enthielt, die sich auf letzteren überhaupt nicht befanden. Zum Beispiel würden Oberlichter auf einem Dach, die bei der Erstellung der Straßenkarte entfernt wurden, auf magische Weise wieder erscheinen, wenn sie den Agenten aufforderten, den umgekehrten Prozess auszuführen:

Die ursprüngliche Karte links; die aus dem Original generierte Straßenkarte, Mitte; und die Luftkarte nur aus der Straßenkarte generiert. Beachten Sie das Vorhandensein von Punkten auf beiden Luftbildkarten, die nicht auf der Straßenkarte dargestellt sind.

Obwohl es sehr schwierig ist, einen Einblick in die inneren Abläufe eines neuronalen Netzwerks zu erhalten, kann das Team die von ihm generierten Daten leicht überprüfen. Und mit ein wenig Experimentieren stellten sie fest, dass der CycleGAN tatsächlich einen schnellen gezogen hatte.

Der Agent sollte in der Lage sein, die Features der beiden Kartentypen zu interpretieren und an die korrekten Features des anderen Kartentyps anzupassen. Aber was war der Agent? tatsächlich Die Bewertung (unter anderem) war, wie nahe eine Luftbildkarte dem Original war und wie klar die Straßenkarte war.

So dass es nicht Lerne, wie man eins aus dem anderen macht. Sie lernte, wie man die Merkmale des einen subtil in die Rauschmuster des anderen codiert. Die Details der Luftbildkarte werden heimlich in die visuellen Daten der Straßenkarte geschrieben: Tausende winziger Farbänderungen, die das menschliche Auge nicht bemerken würde, die der Computer jedoch leicht erkennen kann.

Tatsächlich ist der Computer so gut darin, diese Details in die Straßenkarten zu stecken, dass er das Kodieren gelernt hat irgendein Luftbildkarte in irgendein Straßenkarte! Es muss nicht einmal auf die „echte“ Straßenkarte geachtet werden. Alle Daten, die zur Rekonstruktion des Luftbildes erforderlich sind, können auf einer völlig anderen Straßenkarte harmlos überlagert werden, wie die Forscher bestätigten:

Die Karte rechts wurde ohne wesentliche visuelle Änderungen in die Karten links codiert.

Die bunten Karten in (c) veranschaulichen die geringfügigen Unterschiede, die der Computer systematisch eingeführt hat. Sie können sehen, dass sie die allgemeine Form der Luftbildkarte bilden, aber Sie werden es nie bemerken, es sei denn, sie wurde so hervorgehoben und übertrieben.

Diese Methode, Daten in Bilder zu kodieren, ist nicht neu. Es handelt sich um eine etablierte Wissenschaft namens Steganographie, und es wird immer wieder verwendet, um beispielsweise Wasserzeichen mit Wasserzeichen zu versehen oder Metadaten wie Kameraeinstellungen hinzuzufügen. Aber ein Computer, der seine eigene steganografische Methode entwickelt, um zu vermeiden, dass er tatsächlich die Aufgabe lösen muss ist eher neu. (Nun, die Forschung kam letztes Jahr heraus, also ist es nicht Neu neu, aber es ist ziemlich neuartig.)

Man könnte dies leicht als einen Schritt in der Erzählung "Die Maschinen werden intelligenter" nehmen, aber die Wahrheit ist, es ist fast das Gegenteil. Die Maschine, die nicht intelligent genug war, um die anspruchsvollen Aufgaben beim Konvertieren dieser hoch entwickelten Bildtypen ineinander zu erledigen, fand einen Weg, dies zu überlisten Menschen sind beim Erkennen schlecht. Dies könnte durch eine strengere Bewertung der Ergebnisse des Agenten vermieden werden, und die Forscher machten dies ohne Zweifel weiter.

Wie immer machen Computer genau das, was sie gefragt werden, daher müssen Sie sehr genau sein, was Sie fragen. In diesem Fall war die Lösung des Computers eine interessante Lösung, die Aufschluss über eine mögliche Schwäche eines solchen neuronalen Netzes lieferte – dass der Computer, wenn er nicht ausdrücklich daran gehindert wird, im Wesentlichen einen Weg finden wird, um sich im Interesse von ein gegebenes Problem schnell und einfach zu lösen.

Dies ist wirklich nur eine Lehre aus dem ältesten Sprichwort in der Informatik: PEBKAC. "Problem besteht zwischen Tastatur und Computer." Oder wie HAL es ausdrückte: "Es kann nur auf menschliches Versagen zurückzuführen sein."

Der Artikel „CycleGAN, ein Meister der Steganographie“ wurde 2017 auf der Konferenz für neuronale Informationsverarbeitungssysteme präsentiert. Danke an Fiora Esoterica und Reddit, dass ich dieses alte, aber interessante Papier auf mich aufmerksam gemacht habe.

LEAVE A REPLY

Please enter your comment!
Please enter your name here

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Must Read

Argentinien: Cristina Kirchner sitzt zum ersten Mal auf der Bank | Argentinien

Es wird endlich ein Bild von Cristina Fernández de Kirchner vor einem Gericht geben. Am Dienstag werden drei Bundesrichter das Verfahren gegen die...

US-Technologieunternehmen brechen mit Huawei

Die Handelskrieg zwischen Vereinigten Staaten und ChinaDas von Washington gewählte Feld, um zu verhindern, dass Peking bald den Status der Ersten Weltmacht einnimmt,...

CNN deckt systematischen Missbrauch von Hilfsgütern im Jemen auf

Laut UN-Berichten und CNN-Berichten vor Ort wird jedoch ein Teil dieser Lebensmittel von iranisch unterstützten Houthi-Rebellen gestohlen, und zwar in einem weitaus größeren Ausmaß...

Technologieunternehmen geraten an die Wall Street, nachdem Google gegen Huawei | Wirtschaft

Die von den USA auferlegten Beschränkungen für Unternehmen, die Geschäfte mit chinesischen Huawei tätigen, betreffen die großen auf Halbleiter spezialisierten Technologieunternehmen in vollem Umfang,...