Ullrich am 9. März 2023 um 17:17 Uhr

2023-03-09T17:17:11Z

← Nächstältere Version		Version vom 9. März 2023, 17:17 Uhr
Zeile 93:		Zeile 93:
	widerwillig erkennt. Wer sie ignoriert ist kein schlechter Mensch, sondern verpaßt nur hie und da die Gelegenheit		widerwillig erkennt. Wer sie ignoriert ist kein schlechter Mensch, sondern verpaßt nur hie und da die Gelegenheit
	sich das Leben zu erleichtern.		sich das Leben zu erleichtern.
	{{~~zitat~~\|from=Robert Frost\|content=		{{Zitat\|from=Robert Frost\|content=
	Two roads diverged in a wood, and I—		Two roads diverged in a wood, and I—
	I took the one less traveled by,		I took the one less traveled by,
	And that has made all the difference.		And that has made all the difference.
	}}		}}

Ullrich am 9. März 2023 um 17:12 Uhr

2023-03-09T17:12:05Z

← Nächstältere Version		Version vom 9. März 2023, 17:12 Uhr
Zeile 12:		Zeile 12:
	Lichte der Java-Streams und schauen mal was sich daraus machen läßt.		Lichte der Java-Streams und schauen mal was sich daraus machen läßt.

	Die {{java\|map}}-Methode des {{java\|Stream}}-Interface haben wir bereits in der [[~~Einführung in~~ Java 8 Streams\|Einführung]] kennengelernt.		Die {{java\|map}}-Methode des {{java\|Stream}}-Interface haben wir bereits in der [[Java 8 Streams Einführung\|Einführung]] kennengelernt.
	Wir wissen also, daß wir die Objekte eines Stroms in nahezu beliebiger Weise verarbeiten können.		Wir wissen also, daß wir die Objekte eines Stroms in nahezu beliebiger Weise verarbeiten können.
	Kommen wir damit gleich zur reduce-Phase und sehen uns an, wie man die Objekte, die die map-Phase ausgespuckt hat,		Kommen wir damit gleich zur reduce-Phase und sehen uns an, wie man die Objekte, die die map-Phase ausgespuckt hat,

Ullrich: Die Seite wurde neu angelegt: „Category:Java Map-Reduce ist ein Schlagwort, das nicht zuletzt durch Google bekannt geworden ist und gewöhnlich mit "Big-Data" in Verbindung gebracht wird…“

2023-03-09T16:54:02Z

Die Seite wurde neu angelegt: „Category:Java Map-Reduce ist ein Schlagwort, das nicht zuletzt durch Google bekannt geworden ist und gewöhnlich mit "Big-Data" in Verbindung gebracht wird…“

Neue Seite

[[Category:Java]]
Map-Reduce ist ein Schlagwort, das nicht zuletzt durch Google bekannt geworden ist und gewöhnlich mit "Big-Data"
in Verbindung gebracht wird. Das Konzept dahinter ist denkbar einfach: man nehme eine Liste von Daten-Objekten,
verarbeite jedes Objekt mit irgendeiner Funktion (die map-Phase) und kocht dann die entstandenen – gemappten – Objekte
zu einem einziegn Ergebnis ein (die reduce-Phase). Entscheidend dabei ist, daß man jedes Objekt unabhängig von den
anderen verarbeitet und die Reihenfolge in der Reduce-Phase irrelevant ist. Dann hat man die Möglichkeit in einer
nebenläufigen Umgebung gewaltige Datenmengen schnell und sicher zu verarbeiten.

Daß das Map-Reduce-Pattern seine Wurzeln in der funktionalen Programmierung hat sollte nicht verwundern. Dort war die
Verwendung der Funktionen map und reduce schon üblich bevor der Bedarf nach "Big Data" überhaupt erfunden
wurde. Stellen wir die Map-Reduce-Frameworks erstmal zurück, betrachten das zugrundeliegende Konzept im
Lichte der Java-Streams und schauen mal was sich daraus machen läßt.

Die {{java|map}}-Methode des {{java|Stream}}-Interface haben wir bereits in der [[Einführung in Java 8 Streams|Einführung]] kennengelernt.
Wir wissen also, daß wir die Objekte eines Stroms in nahezu beliebiger Weise verarbeiten können.
Kommen wir damit gleich zur reduce-Phase und sehen uns an, wie man die Objekte, die die map-Phase ausgespuckt hat,
eindampfen kann. Betrachten wir als Beispiel eine Liste von Zahlen, die wir addieren möchten. Besteht
die Liste aus den Zahlen 17, 23 und 31, dann berechnet sich die Summe wie folgt:
{{java|code=17 + 23 + 31}}
oder
{{java|code=0 + 17 + 23 + 31}}
oder
{{java|code=(((0 + 17) + 23) + 31)}}
Zum Initialwert 0 wird die erste Zahl – die 17 – addiert. Dann wird zum entstandenen Ergebnis die zweite Zahl –
die 23 – addiert. Zum Ergebnis wird die dritte Zahl – die 31 – addiert. Die Summe entsteht also durch wiederholte
Anwendung der Funktion "addiere" auf das Zwischenergebnis und die nächste Zahl der Liste.

Wir können das in Java auch mit {{java|Integer}}-Objekten und der Methode {{java|Integer.sum()}} schreiben.
Wir erlauben uns dabei, das Autoboxing-Feature von Java zu nutzen um die {{java|Integer}}-Objekte nicht explizit
erzeugen zu müssen:
{{java|code=Integer.sum(Integer.sum(Integer.sum(0, 17), 23), 31)}}
Der geneigte Leser wird sich nun vielleicht fragen, was der ganze Blödsinn soll, für Zahlen gibt es in Java den
einfachen Typ {{java|int}}, zum Addieren das {{java|+}} und für Schleifen das {{java|for}}.

Die Addition von Zahlen ist wohl das einfachste Beispiel und lenkt die Aufmerkamkeit nicht vom Wesentlichen ab.
An Stelle der {{java|Integer}}-Objekte lassen sich natürlich Objekte jeden beliebigen Typs verwenden
und Schleifen sind out – den Streams gehört die Zukunft.

Also erstmal das Wie, dann das Warum:
==''Wie'' führt man die Verarbeitung mit einem Stream durch?==

Einen Stream aus den Zahlen zu erzeugen ist einfach:
{{java|code=Stream<Integer> stream = Stream.of(17, 23, 31);}}
Wie wenden wir nun die Summe darauf an? Das {{java|Stream}}-Interface bietet dafür die Methode {{java|reduce()}}.
Nach der Klassifizierung in der [[Einführung in Java 8 Streams|Einführung]] handelt es sich um eine Methode des
Schrittes drei, die die Verarbeitung im Stream abschließt. Sie kommt in drei Geschmacksrichtungen, von denen wir
diese – ausgesprochen generisch definierte – Form verwenden:
{{java|code=T reduce(T identity, BinaryOperator<T> accumulator);}}
Zur Erklärung:
* {{java|T}} ist der Typ des Stroms, in unserem Falle also {{java|Integer}}.
* {{java|identity}} ist hier der Startwert der Reduktion, für die Summen-Bildung also die 0.
* {{java|accumulator}} ist die Funktion, die sukzessive angewandt werden soll, also {{java|Integer.sum()}}

Die Anwendung von {{java|reduce()}} erfordert für die Berechnung also einen Startwert und eine Funktion – in Form eines
{{lambda}}-Ausdrucks – die zwei Objekte vom Typ des Stroms als Argumente übernimmt und ein Objekt dieses Typs
zurückgibt. Die Methode {{java|sum()}} erfüllt genau diese Bedingungen für den Typ {{java|Integer}}.
Damit ist die Summenbildung schon geschrieben.
{{java|code=int summe = Stream.of(17, 23, 31).reduce(0, Integer::sum);}}
In unserem Beispiel hat der Start-Wert immer den gleichen Wert 0, die Summe kann also ebensogut mit dem ersten Wert des
Stroms beginnen. Wir können daher die einfachere Form der {{java|reduce}}-Methode verwenden, die ohne die Angabe eines Startwertes auskommt:
{{java|code=int summe = Stream.of(17, 23, 31).reduce(Integer::sum).orElse(0);}}
Da der Stream leer sein kann, liefert die zweite {{java|reduce}}-Variante – weil sie keinen initialen Wert hat – kein
{{java|Integer}}-Objekt, sondern verpackt das Ergebnis in ein Objekt des Typs {{java|Optional<Integer>}}. Wir fügen daher
den Wert für die leere Liste über die {{java|orElse}}-Methode hinzu.

Was bringt das nun?

==''Warum'' führt man die Verarbeitung mit einem Stream durch?==

Zunächst einmal sind Stream-Methoden wie {{java|count}}, {{java|min}}, {{java|max}} nach diesem
Mechanismus implementiert – mit der entsprechenden Code-Ersparnis. Darüber hinaus finden sich jederzeit weitere
Anwendungsmöglichkeiten. Erinnern wir uns an die auf zwei Argumente limitierte Methode {{java|Stream.concat()}},
die zwei Streams mischt. Die konventionelle Lösung erstreckte sich über endlose fünf Zeilen.

Mit {{java|reduce()}} wird eine daraus:
{{java|code=
private <T> Stream<T> concat(Stream<T>... streams) {
return Stream.of(streams).reduce(Stream::concat).orElseGet(Stream::empty);
}
}}
Im Detail:
* Zunächst erzeugen wir aus dem Array von Stream-Objekten einen Strom.
* Dann reduzieren wir die Streams auf einen einzigen indem wir sukzessive die Streams mit der {{java|concat()}}-Methode zusammenketteln.
* Schließlich reagieren wir hier auf den leeren Stream mit dem Aufruf der {{java|orElse}}-Methode des Optional
:(und geben so der etwas esoterisch anmutenden {{java|empty}}-Methode endlich eine Daseinsberechtigung).

Wenn erforderlich kann man map-reduce-Code unter Verwendung eines passenden Frameworks auch mit sehr
großen Datenmengen in hochperformante Lösungen verwandeln, weil das Problem schon entsprechend
aufbereitet wurde. Aber auch wenn das nicht der Fall ist – das Ergebnis ist elegant, kompakt und skaliert
hervorragend nach unten: Auch kleine Datenmengen werden performant verarbeitet.
Die Verwendung des map-reduce-Pattern mit Java-Streams ist enorm flexibel. Daß das nicht immer sofort in's Auge
springt liegt daran, daß das auf Objektorientierung getrimmte Entwicklerhirn funktionale Muster nur sehr
widerwillig erkennt. Wer sie ignoriert ist kein schlechter Mensch, sondern verpaßt nur hie und da die Gelegenheit
sich das Leben zu erleichtern.
{{zitat|from=Robert Frost|content=
Two roads diverged in a wood, and I—
I took the one less traveled by,
And that has made all the difference.
}}

Streams: Daten einkochen - Versionsgeschichte

Ullrich am 9. März 2023 um 17:17 Uhr

Ullrich am 9. März 2023 um 17:12 Uhr

Ullrich: Die Seite wurde neu angelegt: „Category:Java Map-Reduce ist ein Schlagwort, das nicht zuletzt durch Google bekannt geworden ist und gewöhnlich mit "Big-Data" in Verbindung gebracht wird…“