Danke an Paul für seinen sehr Einsteigerfreundlichen Artikel darüber, wie einfach sich Neuronale Netze mittels Python (Kereas + Theano/TensorFlow) bauen lassen. Ich versuche im Folgenden auf zu schreiben, was ich verstanden habe.
In dem Artikel wird einfach eine beliebige Mathematische Funktion erfunden, die dem Algorithmus natürlich nicht bekannt ist. Der Algorithmus entwickelt jetzt durch raten von Zahlen in itereativen Lernwiederholungen in seinem Netz ein „Gefühl“ dafür wie diese Funktion beschaffen ist. Diesem Trainingszustand werden dann 100 Werte zwischen 0..1 übergeben, zu denen es die Ausgangswerten mittels seiner Erfahrungen errechnen soll. Diese werden dann mit den Ausgangswerten der erfundenen Ursprungsfunktion in ein Diagramm gezeichnet. Diese Grafik lässt uns erkennen wie gut der Algorithmus gerlernt hat, sich wie die Ausgangsfunktion zu verhalten.
Große Freude hatte ich dann beim herumspielen mit den Parametern und dem zuschauen was aus dem Netz herauskommt. Die Ergebnisse möchte ich mit euch teilen. Auch wenn sie nicht so spektakulär sind wie Katzen oder Menschen in Bildern erkennen, Musik spielen oder Kunststile nachzuahmen.
Ausgang im Artikel war eine „einfache“ ReLU als Aktivierungfunktion und 300 Neuronen. Über verschiedene Lernepochen hinweg schauen die Ergebnisse damit so aus:
Dagegen noch mal die ReLU aber mit 600 statt 300 Neuronen:
Etwas weniger spannend (vielleicht mag das mir mal jemand erklären) die Liniearfunktion wieder mit 300 Neuronen:
Dafür wieder sehr spannend aber auch viel Rechenaufwendiger die allseitsbeliebte Sigmoid-Funktion mit 300 Neuronen:
Alle Berechnungen erfolgten mit nur einem Layer, also noch weit entfernt vom buzzword deep learning. Vielleicht probiere ich das auch noch mal. Hier noch zum Vergleich mal alle Rechenzeiten in einem Diagramm (unberechnete Werte hab ich einfach linear approximiert):
RobTranquillo 