Multi-Objective-Ranking für beworbene Auktionsartikel

Hintergrund

Letztes Jahr führte eBay Ads einen neuen Kampagnentyp ein, Promoted Listings Express (PLX), mit dem eBay-Verkäufer die Sichtbarkeit ihrer Auktionsangebote mit nur wenigen Klicks und einer einzigen Pauschalgebühr im Voraus erhöhen können. Im vergangenen Jahr hat unser Forschungsteam daran gearbeitet, die Vermarktung dieser beworbenen Auktionsartikel zu optimieren. Die Art und Weise, wie wir diese Artikel empfehlen, ist eine vielseitige Kundenherausforderung, die Gelegenheiten bietet, eBay-Käufern erstaunliches Auktionsinventar zu präsentieren und Verkäufern zu helfen, die Sichtbarkeit ihrer Auktionsangebote zu erhöhen.

Ranking-Iterationen

Beworbene Auktionsartikel erscheinen derzeit auf einer Reihe fester Positionen in den Empfehlungen für ähnliche gesponserte Artikel, bei denen es sich um ähnliche Artikel in Bezug auf den Hauptartikel auf der eBay-Seite Artikel anzeigen handelt. Dieses Hauptelement wird auch als „Seed“-Element bezeichnet. Ein Beispiel für einen Empfehlungssatz ist unten hervorgehoben:

220901 MO Ranking Promo Auctions Techblog v1 01 inkl. 1600x Bild 2

Um zu bestimmen, welche PLX-Listings in diesen festen Slots angezeigt werden, verwenden wir Ranking-Techniken, die den Listings auf der Grundlage mehrerer Relevanz- und Umsatzparameter eine Punktzahl zuweisen. Es gab drei aufeinanderfolgende Iterationen, um die Item-Ranking-Methodik zu verbessern:

220901 MO Ranking Promo Auctions Techblog v1 01 inkl. 1600x Bild 3

Verhältnis-Ranking

Die erste Iteration des Rankings von PLX-Artikeln priorisiert das Erreichen der Anzeigeziele für Verkäuferlisten während des Auktionszeitraums. Bei diesem Ansatz wurden PLX-Artikel für die zugewiesenen Slots von Empfehlungen ähnlicher gesponserter Artikel unter Verwendung eines gewichteten Zufallsschemas ausgewählt. Die Gewichte für die zufällige Auswahl, unten dargestellt als ArtikelPunktzahl1sind gleich der Anzahl der verbleibenden Aufrufe, um den Zielschwellenwert zu erreichen, dividiert durch die verbleibende Zeit in der Auktion.

220901 MO Ranking Promo Auctions Techblog v1 01 inkl. 1600x Bild 4

Zielansichten werden vom eBay Analytics-Team basierend auf der Anzahl der zusätzlichen täglichen Aufrufe definiert, die für beworbene Auktionsartikel erforderlich sind, um im Vergleich zu organischen Auktionsartikeln eine höhere Konversion und einen höheren wahrgenommenen Wert für Verkäufer zu erzielen. Verbleibende Zeit bis zum Auktionsende wird in Sekunden gemessen; anschließend ArtikelPunktzahl1 Werte aller PLX-Elemente sind so normalisiert, dass sie zwischen 0 und 1 liegen.

Insgesamt priorisiert die Ratio-Ranking-Technik das Anzeigen des Artikels, der dringend Aufrufe benötigt, um die Aufrufziele zu erreichen, und stellt sicher, dass die Aufrufe durch die gewichtete Zufallsauswahl gleichmäßig auf die Artikel verteilt werden.

Heuristisches Ranking

Der obige verhältnisbasierte Ansatz stellte eine Herausforderung für die Empfehlungsrelevanz dar. In dem anschließenden heuristikbasierten Ansatz wollten wir den Wert dieser Ansichten für Verkäufer verbessern, indem wir ein höheres Käuferengagement fördern, wie in der folgenden Gleichung dargestellt.

220901 MO Ranking Promo Auctions Techblog v1 01 inkl. 1600x Bild 5

f1(Verkäufer) berücksichtigt den erforderlichen Sichtbarkeitsschub für die Anzahl der Aufrufe eines Artikels und ist gleich ArtikelPunktzahl1. f2(Relevanz) Dies ist eine linear gewichtete Summe zwischen 0 und 1, die anhand der Relevanzmerkmale des Auktionsartikels berechnet und unten definiert wird.

Hier sind Titel- und Preisähnlichkeit die Ähnlichkeitswerte der Titelzeichenfolge und des Preises des Auktionsartikels mit der Titelzeichenfolge und dem Preis des Ausgangsartikels. a1, a2 und a3 sind Gewichte von f2(Relevanz) die manuell ausgewählt werden.

Während der Offline-Analyse haben wir mit mehreren Werten für experimentiert w1, w2, a1, a2 und a3. Wir haben zwei Kriterien festgelegt, um die besten Gewichtswerte aus der Offline-Analyse für den A/B-Test auszuwählen.

  1. Erhöhung der Relevanz der dem Käufer angezeigten Artikel

  2. Steigerung der Aufrufe des gesamten beworbenen Auktionsinventars

Um (1) zu bewerten, haben wir die Klickrate (CTR), die Preisähnlichkeit und die Ähnlichkeit der Titelzeichenfolge mit dem Ausgangsartikel genutzt. Für (2) haben wir die Verteilung der Aufrufzahlen und die Abdeckung über eine Woche für beworbenes Auktionsinventar ausgewertet. Für den Online-A/B-Test wurden die Gewichtswerte ausgewählt, die beide Kriterien erfüllten. Nachfolgend die Ergebnisse des A/B-Tests für Desktop-Nutzer im Vergleich zum verhältnisbasierten Ranking-Ansatz als Kontrolle, die darauf hindeuten, dass der überarbeitete Ranking-Score das Käufer-Engagement für beworbene Auktionsartikel aufgrund der erhöhten Empfehlungsrelevanz erhöhte.

220901 MO Ranking Promo Auctions Techblog v1 01 inkl. 1600x Bild 6

Trotz der verbesserten Leistung hat dieser Ansatz einige deutliche Nachteile. Zuerst die Gewichte im Inneren f2(Relevanz) Komponenten werden manuell festgelegt, um den Score-Wert interpretierbar zu halten, anstatt algorithmisch optimiert zu werden. Zusätzlich, f2(Relevanz) berücksichtigt nur eine Handvoll Merkmale, um alle Relevanzmerkmale zu erfassen, da die manuelle Bestimmung der Gewichte für alle Merkmale eine mühsame Aufgabe wäre. Zuletzt, ArtikelPunktzahl2 versucht, sowohl Verkäufer- als auch Käuferziele gleichzeitig zu optimieren, was davon ausgeht, dass die Verteilung beider Komponenten in der Punktzahl ähnlich ist; Diese Annahme trifft nicht immer zu, da neue Listings keine historischen CTR-Daten haben.

Ranking des maschinellen Lernens

Der aktuelle Ansatz nutzt maschinelles Lernen, um eine noch bessere Übereinstimmung zwischen dem angezeigten Seed-Element und den von uns empfohlenen PLX-Elementen zu erzielen. Dieser Ansatz basiert auf einem Epsilon-Greedy-Algorithmus, der für jede Online-Inferenz eine zufällige Dezimalzahl zwischen 0 und 1 generiert. Wenn die Dezimalzahl d größer als ε ist, wird ein logistisches Regressionsmodell verwendet, um den Item-Score zu generieren, während, wenn die Dezimalzahl kleiner als ε ist, der Item-Score gleich ist ArtikelPunktzahl1.

220901 MO Ranking Promo Auctions Techblog v1 01 inkl. 1600x Bild 7

Wir haben mit mehreren Werten von ε in der Offline-Analyse experimentiert, um den optimalen Schwellenwert für Online-A/B-Tests auszuwählen. Um den optimalen Wert zu ermitteln, haben wir die Verteilung der Aufrufzahlen, den Prozentsatz der beworbenen Auktionsartikel, die über eine Woche hinweg eine Impressionszahl (Abdeckung) von null erhalten, und die Erhöhung der Klickrate auf zufällig gesammelten, unvoreingenommenen Daten bewertet. = 0,05 ergab beste Ergebnisse in allen drei Bewertungskriterien.

Das logistische Regressionsmodell wird anhand historischer Benutzerverhaltensdaten trainiert, um den wahrscheinlichsten Auktionsartikel vorherzusagen, der einen Benutzerklick erhält, während ArtikelPunktzahl1 priorisiert die Leistung des Verkäufers, um das Ziel der Artikelansicht zu erreichen. ​​Daher wird festgelegt, wann die Käuferrelevanz oder die Verkäuferleistung priorisiert werden, aber beide Ziele werden separat optimiert, im Gegensatz zum zweiten Ansatz, bei dem beide Komponenten in einer einzigen Heuristik gebacken werden. Somit basieren bei ε = 0,05 95 % der Empfehlungen auf den Ergebnissen des logistischen Regressionsmodells, während 5 % der Empfehlungen für Einträge reserviert sind, die zusätzliche Impressionen erfordern, um die Zielanzahl zu erreichen.

220901 MO Ranking Promo Auctions Techblog v1 01 inkl. 1600x Bild 8

Das maschinelle Lernmodell (siehe oben) verwendet mehr als 30 Merkmale, die die Empfehlungsqualität, Benutzerpräferenzen und Seed-to-Item-Ähnlichkeit charakterisieren. Das Modell wurde mit etwa zweiwöchigen Klickprotokolldaten für beworbene Auktionsartikel trainiert. Für diese erste Iteration des maschinellen Lernrankings haben wir ein lineares Modell wie die logistische Regression gewählt, da die Bereitstellung in der Produktionsumgebung einfach ist und begrenzte Daten berücksichtigt werden, wenn der Bestand für PLX weiter ansteigt. Dieser auf maschinellem Lernen basierende Ansatz wurde auf dem Desktop A/B gegen den heuristikbasierten Ranking-Ansatz als Kontrolle getestet; Die Ergebnisse sind unten zu sehen, was auf einen starken Anstieg der Käuferbindung hinweist:

220901 MO Ranking Promo Auctions Techblog v1 01 inkl. 1600x Bild 9

Da der Bestand an beworbenen Auktionsartikeln wächst, werden wir genügend Daten haben, um nichtlineare maschinelle Lernmodelle zu testen, die die Interaktionen der Funktionen besser erfassen. Daher besteht der nächste Schritt darin, Boosting Trees zu nutzen, die sich am besten zur Modellierung strukturierter Daten erwiesen haben.

Semih Bezci und Manas Rai haben ebenfalls zu diesem Artikel beigetragen.

Newsletter

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.