Wir haben die Indexsortierung in Elasticsearch 6.0 eingeführt, um die Clusterleistung zu optimieren.

<html><head></head><body><p>In Elasticsearch 6.0 haben wir eine neue Funktion mit dem Namen <a href="/de/blog/index-sorting-elasticsearch-6-0">Indexsortierung</a> eingef&#xFC;hrt. Der verlinkte Blogeintrag enth&#xE4;lt weiterf&#xFC;hrende Informationen, aber kurz gesagt sortiert diese Funktion Dokumente zum Zeitpunkt der Indizierung nach einem oder mehreren Schl&#xFC;sseln Ihrer Wahl. Diese Methode hat einige Vorteile, die wir bereits behandelt haben:
</p><ul>
	<li>Wenn Sie von Elasticsearch eine Reihe von Ergebnissen mit demselben Sortierschl&#xFC;ssel wie ein vorhandener Index abfragen, muss Elasticsearch die Ergebnisse zum Zeitpunkt der Abfrage nicht mehr sortieren. Sie sind bereits vorsortiert!</li>
	<li>Wenn Sie nicht die gesamte Trefferanzahl ben&#xF6;tigen und nach dem Sortierschl&#xFC;ssel sortieren, kann Elasticsearch die Abfrage abbrechen, sobald gen&#xFC;gend Treffer gefunden wurden. Dieser Vorteil kann die Leistung von Abfragen dramatisch verbessern.</li>
	<li>Wenn Ihre Abfragen ANDs &#xFC;ber verschiedene Felder verwenden, k&#xF6;nnen Sie diese Felder mit der Indexsortierung so gruppieren, dass Elasticsearch gro&#xDF;e Bl&#xF6;cke nicht &#xFC;bereinstimmender Dokumenten &#xFC;berspringen kann, um die Suche ebenfalls zu beschleunigen.</li>
</ul><p> Kurz gesagt k&#xF6;nnen Sie Ihre Suche mit der Indexsortierung in manchen F&#xE4;llen beschleunigen, insbesondere dann, wenn Ihre Dokumente auf bestimmte g&#xE4;ngige Arten durchsucht und sortiert werden.  Vielen Anwendern ist jedoch nicht bewusst, dass sie mit der Indexsortierung auch den Speicherbedarf ihrer Indizes auf der Festplatte reduzieren k&#xF6;nnen. Ich werde Ihnen hier erkl&#xE4;ren, warum und wie.
</p><h2>Achtung: Indexsortierung ist nur in bestimmten F&#xE4;llen sinnvoll</h2><p>Bevor ich weiter auf dieses Thema eingehe, m&#xF6;chte ich erneut betonen, dass sich die Indexsortierung nicht f&#xFC;r alle Anwendungsf&#xE4;lle eignet. Sie sorgt daf&#xFC;r, dass die Sortierung zum Zeitpunkt der Indizierung erfolgt. Sortieren ist ein aufw&#xE4;ndiger Vorgang, daher sollte diese Funktion nur mit Bedacht aktiviert werden, wenn die Indizierungsgeschwindigkeit eine Rolle spielt. Die Schreibleistung kann um bis zu 40-50 % einbrechen. Viele Anwendungsf&#xE4;lle in den Bereichen Logging, Metriken und Sicherheitsanalysen ben&#xF6;tigen einen guten Indizierungsdurchsatz und eignen sich daher nicht f&#xFC;r die Indexsortierung.  Diese Funktion macht unter Umst&#xE4;nden Sinn f&#xFC;r Sie, wenn Sie eine niedrigere Indizierungsrate haben, wenn die Abfragegeschwindigkeit entscheidend f&#xFC;r Ihren Anwendungsfall ist oder wenn Sie sowieso einen Reindizierungsprozess verwenden, der au&#xDF;erhalb der Spitzenzeiten t&#xE4;tig wird.
</p><h2>Analyse m&#xF6;glicher Sortierreihenfolgen: Ein Beispiel</h2><p>Angenommen, ich verwende eine Elasticsearch-Instanz, die f&#xFC;r eine Produktsuche verwendet wird. Stellen Sie sich eine Reihe Dokumente vor, die zum Indizierungszeitpunkt wie folgt aussehen (zur einfacheren Darstellung als Matrix vereinfacht):
</p><table width="100%">
<tbody>
<tr>
<td><strong>Produkt-ID</strong></td>
<td><strong>Produktkategorie</strong></td>
<td><strong>Produktfarbe</strong></td>
<td><strong>Preis</strong></td>
</tr>
<tr>
<td>206f467b-8cfe</td>
<td>Schuhe</td>
<td>Rot</td>
<td>$97.00</td>
</tr>
<tr>
<td>4f89fbec-acc3</td>
<td>Jacken</td>
<td>Schwarz</td>
<td>$120.50</td>
</tr>
<tr>
<td>47771396-dfe3</td>
<td>Jacken</td>
<td>Grau</td>
<td>$170.10</td>
</tr>
<tr>
<td>c6c8fbdf-651b</td>
<td>H&#xFC;te</td>
<td>Gelb</td>
<td>$15.00</td>
</tr>
<tr>
<td>dc18c426-0eb3</td>
<td>Schuhe</td>
<td>Rot</td>
<td>$107.20</td>
</tr>
<tr>
<td>ee304259-df57</td>
<td>Jacken</td>
<td>Schwarz</td>
<td>$88.00</td>
</tr>
<tr>
<td>9332c0ac-e55e</td>
<td>Schuhe</td>
<td>Schwarz</td>
<td>$49.00</td>
</tr>
<tr>
<td>30e96765-52a1</td>
<td>H&#xFC;te</td>
<td>Blau</td>
<td>$11.00</td>
</tr>
<tr>
<td>811cc8ca-d6bb</td>
<td>Jacken</td>
<td>Blau</td>
<td>$92.99</td>
</tr>
</tbody>
</table><p> Nehmen wir au&#xDF;erdem an, wir m&#xF6;chten die Indexsortierung aktivieren. Wonach sollten wir sortieren? Wir haben mehrere Optionen: Produktkategorie, Produktfarbe und/oder Preis sind m&#xF6;glicherweise interessant. Wenn unsere Benutzer ihre Suche fast immer nach dem Preis sortieren und wir keine Filter f&#xFC;r Kategorie oder Farbe haben, macht es Sinn, den Preis als Sortierschl&#xFC;ssel zu verwenden. Es ist jedoch wahrscheinlich, dass die Benutzer mindestens eine Kategorie ausw&#xE4;hlen, bevor die den g&#xFC;nstigsten Artikel finden, und dass sie eine bevorzugte Farbe haben.  Wir werden also nach Kategorie aufsteigend, Farbe aufsteigend und anschlie&#xDF;end nach Preis absteigend sortieren.
</p><pre class="&#x201C;prettyprint&#x201D;">&quot;sort.field&quot; : [&quot;product_category&quot;, &quot;product_color&quot;, &quot;price&quot;], &quot;sort.order&quot; : [&quot;asc&quot;, &quot;asc&quot;, &quot;asc&quot;]
</pre><p>
	Der sortierte Index sieht in etwa wie folgt aus:
</p><table width="100%">
<tbody>
<tr>
<td><strong>Produkt-ID</strong></td>
<td><strong>Produktkategorie</strong></td>
<td><strong>Produktfarbe</strong></td>
<td><strong>Preis</strong></td>
</tr>
<tr>
<td>30e96765-52a1</td>
<td>H&#xFC;te</td>
<td>Blau</td>
<td>$11.00</td>
</tr>
<tr>
<td>c6c8fbdf-651b</td>
<td>H&#xFC;te</td>
<td>Gelb</td>
<td>$15.00</td>
</tr>
<tr>
<td>ee304259-df57</td>
<td>Jacken</td>
<td>Schwarz</td>
<td>$88.00</td>
</tr>
<tr>
<td>4f89fbec-acc3</td>
<td>Jacken</td>
<td>Schwarz</td>
<td>$120.50</td>
</tr>
<tr>
<td>811cc8ca-d6bb</td>
<td>Jacken</td>
<td>Blau</td>
<td>$92.99</td>
</tr>
<tr>
<td>47771396-dfe3</td>
<td>Jacken</td>
<td>Grau</td>
<td>$170.10</td>
</tr>
<tr>
<td>9332c0ac-e55e</td>
<td>Schuhe</td>
<td>Schwarz</td>
<td>$49.00</td>
</tr>
<tr>
<td>206f467b-8cfe</td>
<td>Schuhe</td>
<td>Rot</td>
<td>$97.00</td>
</tr>
<tr>
<td>dc18c426-0eb3</td>
<td>Schuhe</td>
<td>Rot</td>
<td>$107.20</td>
</tr>
</tbody>
</table><p> Dabei passieren einige interessante Dinge, die ich an einem Beispiel veranschaulichen m&#xF6;chte:
</p><ul>
	<li>Wenn ich mit Elasticsearch nach den zwei g&#xFC;nstigsten Schuhen nach Preis sortiert suche und keine Gesamtzahl der Schuhe ben&#xF6;tige, sucht das System nach dem Block mit Schuhen und kann dazu praktischerweise alle anderen Kategorien &#xFC;berspringen. Sobald zwei Ergebnisse gefunden wurden, wird die Verarbeitung des Index abgebrochen und das Suchergebnis zur&#xFC;ckgegeben. Dazu m&#xFC;ssen Sie jedoch alle Elemente aus der Sortierreihenfolge in den Index einbeziehen, selbst wenn Sie &#xFC;bereinstimmende Filter haben.</li>
	<li>Wenn ich Elasticsearch nach <code>produkt_kategorie:Jackets (Jacken) AND produkt_farbe:Schwarz</code> frage, werden s&#xE4;mtliche H&#xFC;te und Schuhe &#xFC;bersprungen, und Elasticsearch kann innerhalb der Jacken nach der Farbe &#x201E;Black (Schwarz)&#x201C; suchen. Sobald diese Eintr&#xE4;ge gefunden wurden, k&#xF6;nnen alle anderen Farben effizient &#xFC;bersprungen werden.</li>
	<li>Elasticsearch arbeitet hinter den Kulissen umfassend mit Kompression. Mehrfach vorkommende Werte werden komprimiert, und dies funktioniert am besten, wenn sich die wiederholten Werte im Index nahe zueinander befinden. Wenn sich alle &#x201E;Jackets (Jacken)&#x201C; oder &#x201E;Farben&#x201C; nebeneinander befinden, k&#xF6;nnen diese Werte auf dem Datentr&#xE4;ger effizient komprimiert werden. Auf diese Weise wird nicht nur weniger Speicherplatz verbraucht, sondern das Betriebssystem hat auch mehr Platz im Cache des Dateisystems, um andere Vorg&#xE4;nge zu beschleunigen.</li>
</ul><p> Normalerweise macht es Sinn, Sortierreihenfolgen mit aufsteigender Kardinalit&#xE4;t zu verwenden, um m&#xF6;glichst viele wiederholte Werte in einer Zeile zu erhalten.
</p><h2>Wie viel Festplattenspeicher werde ich einsparen?</h2><p>Wie viel Festplattenspeicher k&#xF6;nnen Sie also mit der Indexsortierung einsparen?  Wie so oft im Leben ist die Antwort: &#x201E;Kommt darauf an&#x201C;. Einer der wichtigsten Faktoren ist die Kardinalit&#xE4;t des Felds, nach dem Sie sortieren. Die Platzeinsparungen auf der Festplatte k&#xF6;nnen sich jedoch deutlich bemerkbar machen.  Letztes Wochenende habe ich beschlossen, einige IoT-/Heimautomatisierungsdaten aus einem Privatprojekt von einem alten auf einen neuen Computer zu verschieben. F&#xFC;r ein solches Datenmigrationsprojekt gibt es schnellere Wege als Snapshot/Wiederherstellung, aber ich hatte gen&#xFC;gend Zeit f&#xFC;r eine Reindizierung und wollte sehen, wie viel Platz ich mit der Indexsortierung einsparen kann. Zun&#xE4;chst habe ich die Daten aus der Ferne ohne Sortierung neu indiziert:
</p><pre class="&#x201C;prettyprint&#x201D;">status    index           pri    docs.count    docs.deleted    pri.store.size 
open      devices-2017    1      33310674      0               4.2gb
</pre><p>Ich habe knapp &#xFC;ber 30 Ger&#xE4;te, die jeweils alle 30 Sekunden einen Status senden. Die Indizierungsrate betr&#xE4;gt also etwa 1 Dokument pro Sekunde. Die Indizierungsgeschwindigkeit kommt nie auch nur in die N&#xE4;he der Leistungsgrenze, und ich m&#xFC;sste die Indizierungsrate oder die Anzahl der Ger&#xE4;te dramatisch erh&#xF6;hen, um dies zu &#xE4;ndern. Diese Anwendung scheint ein guter Kandidat f&#xFC;r die Indexsortierung zu sein.  Die Daten enthalten Hardware-IDs, Hardwarenamen, Zeitstempel und verschiedene Sensormesswerte wie Temperatur, Aktivit&#xE4;tsstatus eines Ger&#xE4;ts zum jeweiligen Zeitpunkt oder andere Sensorwerte. Ich habe den Index nach Ger&#xE4;te-ID und anschlie&#xDF;end nach Zeitpunkt sortiert, weil es mir logisch erschien, dass ein bestimmtes Ger&#xE4;t mit relativ hoher Chance &#xE4;hnliche oder gleiche Werte um einen bestimmten Zeitpunkt herum produziert, was wiederum eine bessere Kompression erm&#xF6;glicht. Wenn ein Schalter um 7:00:00 in den Zustand &#x201E;Ein&#x201C; versetzt wird, besteht eine recht gute Chance, dass der Schalter um 7:00:30, um 7:01:00 und zumindest f&#xFC;r einige weitere Minuten den Zustand &#x201E;Ein&#x201C; hat, die Daten sollten sich daher gut komprimieren lassen.  Die Statistiken des sortierten Index zeigen ...
</p><pre class="&#x201C;prettyprint&#x201D;">status    index           pri    docs.count     docs.deleted    pri.store.size
open      devices-2017    1      3310674        0               2.5gb
</pre><p>Eine Einsparung von etwa 40 % Platz auf der Festplatte!
</p><h2>Erneute Warnung</h2><p>An diesem Punkt m&#xF6;chte ich noch einmal ausdr&#xFC;cklich zur Vorsicht mahnen, denn wer w&#xFC;rde sich nicht &#xFC;ber eine Einsparung von 40 % f&#xFC;r dieselben Daten freuen? Ich werde meine Erkenntnisse in zwei kurzen Aussagen zusammenfassen:
</p><ul>
	<li>Ihre Ergebnisse werden abweichen. Ich habe die Indexsortierung an einem anderen Datensatz getestet und eine Einsparung von 20 % gemessen. &#xDC;berlegen Sie sich gut, nach welchen Feldern Sie sortieren.</li>
	<li>Ihre Indizierungsrate wird beeintr&#xE4;chtigt. Wenn die Indizierungsgeschwindigkeit wichtig f&#xFC;r Sie ist, weil Sie beispielsweise mit einem hohen Loggingvolumen oder mit umfangreichen Metriken arbeiten, dann interessieren Sie sich vermutlich eher f&#xFC;r die Anzahl der Dokumente, die Sie in kurzer Zeit indexieren k&#xF6;nnen. In diesem Fall macht es wenig Sinn, die Indexsortierung zu aktivieren.</li>
</ul><p>Wenn Ihnen jedoch der Festplattenspeicher wichtiger ist als die Indizierungsgeschwindigkeit, oder wenn Ihr Indizierungsvolumen niedrig genug und die Geschwindigkeit kein Thema ist, dann k&#xF6;nnen Sie mit der Indexsortierung unter Umst&#xE4;nden sehr interessante Ergebnisse erzielen.
</p></body></html>

save_space_banner.jpg

save_space_thumb.jpg

Space Savings: A Lesser Known Benefit of Index Sorting in Elasticsearch

Platzeinsparungen: Ein weniger bekannter Vorteil der Indexsortierung in Elasticsearch

tuning_tools.jpg

bm_25_tuning_pt2.jpg

Practical BM25 - Part 2: The BM25 Algorithm and its Variables

BM25 in der Praxis – Teil 2: Der BM25-Algorithmus und seine Variablen

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Principal Solutions Architect

Shane Connelly

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/elastic-cloud-account-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">ausgewählte Nachrichten und Informationen</a> an die oben von Ihnen bereitgestellten Kontaktangaben zu senden. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/serverless-preview-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>Beim Absenden akzeptieren Sie die <a href="/de/agreements/global/cloud-services-monthly" rel="nofollow">Nutzungsbedingungen von Elastic Cloud</a>. Die Verarbeitung Ihrer personenbezogenen Daten unterliegt der <a href="/de/legal/privacy-statement">Datenschutzerklärung von Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/terms-of-use" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Der Inhalt dieser Seite ist in der ausgewählten Sprache nicht verfügbar. Wir bei Elastic arbeiten daran, die bereitgestellten Inhalte in verschiedenen Sprachen anzubieten. Bis dahin bitten wir Sie um etwas Geduld und hoffen auf Ihr Verständnis!

Author

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Articles by

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Sie können nicht dabei sein? Registrieren Sie sich, damit wir Ihnen die Aufzeichnung zukommen lassen können. Außerdem erhalten Sie eine E‑Mail mit Begleitmaterial.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Learn More

Read less

You'll also receive an email with related content

Wir schicken Ihnen zudem relevante Informationen, die von Interesse sein könnten.

Thank you for registering. We will send you a confirmation email soon.

Vielen Dank für Ihre Registrierung. Sie erhalten in Kürze eine Bestätigungs-E‑Mail von uns.

Author

Articles by Shane Connelly

Principal Solutions Architect, Elastic

Platzeinsparungen: Ein weniger bekannter Vorteil der Indexsortierung in Elasticsearch

BM25 in der Praxis – Teil 2: Der BM25-Algorithmus und seine Variablen