Diskrepanz zwischen Trainings und Inference: Bewertungs-Framework für vorhergesagte Trajektorien – Apollo (T 606/21)

Die Entscheidung T 606/21 Bewertungs-Framework für vorhergesagte Trajektorien – Apollo vom 28. Februar 2023 bezieht sich auf die Anmeldung EP 3436783 A1 (Erstanmeldung mit Anmeldetag 22.06.2017).  

Die Anmeldung bezieht sich auf die Vorhersage des Fahrzeugverkehrs im Kontext des autonomen Fahrens. Ein Steuerungssystem für ein autonomes Fahrzeug kann ein Vorhersagemodul umfassen, das das Verhalten anderer Fahrzeuge vorhersagt, z. B. eine Trajektorie, auf der sie sich in den nächsten Sekunden bewegen werden. Die Erfindung dieser Anmeldung bezieht sich auf ein tiefes neuronales Netz, das darauf trainiert ist, im Nachhinein zu überprüfen, wie gut die Vorhersage war, d. h. wie ähnlich eine vorhergesagte Trajektorie (502) im Vergleich zur beobachteten Trajektorie (501) ist.  

Die Prüfungsabteilung wies die Anmeldung wegen mangelnder Ausführbarkeit zurück, weil sie Folgendes beschrieb: 

• eine Trainingsphase, in der das neuronale Netz auf Trainings-Eingabedaten trainiert wird, die aus vorhergesagten und tatsächlichen Trajektorien bestehen, und auf einem erwarteten Ähnlichkeitswert als Grundwahrheit; und  
• eine Inference-Phase, in der das trainierte neuronale Netz eine vorhergesagte Trajektorie als Eingabe erhält und daraus einen Ähnlichkeitswert erzeugt, der die Ähnlichkeit der vorhergesagten Trajektorie mit einer möglichen tatsächlichen Trajektorie angibt, auf der sich das Objekt wahrscheinlich in naher Zukunft bewegt.  

Die Prüfungsabteilung stellte fest, dass ein neuronales Netz, das darauf trainiert ist, eine Ähnlichkeit zwischen zwei bekannten Eingabedatenelementen (vorhergesagte und tatsächliche Trajektorie) zu bestimmen, nicht dazu verwendet werden kann, allein auf der Grundlage nur einer vorhergesagten Trajektorie eine Ähnlichkeit der vorhergesagten Trajektorie und einer tatsächlichen Trajektorie zu bestimmen, die noch gar nicht bekannt ist, sondern erst in der Zukunft messbar wird.  

Die Anmelderin legte Beschwerde ein.  

Anspruch 1 gemäß Hauptantrag im Beschwerdeverfahren enthält die Trainingsphase und die Inference-Phase (Kennzeichnungen und Unterstreichungen durch den Autor hinzugefügt) und lautet wie folgt:  

Ein computerimplementiertes Verfahren zur Auswertung von Vorhersagen von Trajektorien durch autonome Fahrzeuge, dadurch gekennzeichnet, dass das Verfahren umfasst:  

[Trainingsphase:] Erzeugen eines Deep Neural Network, DNN, Modells, umfassend:  

• Empfangen (701) einer ersten vorhergesagten Trajektorie eines Objekts, die auf der Grundlage erster Wahrnehmungsdaten des Objekts vorhergesagt wurde;  
• Extrahieren (702) vorhergesagter Merkmale aus der ersten vorhergesagten Trajektorie;  
• Empfangen (703) einer tatsächlichen Trajektorie, die das Objekt tatsächlich zurückgelegt hat;  
• Extrahieren (704) tatsächlicher Merkmale der tatsächlichen Trajektorie für wenigstens einige Trajektorienpunkte, die aus einer Vielzahl von Trajektorienpunkten der tatsächlichen Trajektorie ausgewählt werden, wobei sowohl die extrahierten vorhergesagten Merkmale als auch die extrahierten tatsächlichen Merkmale einen Satz physikalischer Attribute und einen Satz trajektorienbezogener Attribute umfassen, wobei die physikalischen Attribute eine relative Steuerkursrichtung und eine Geschwindigkeit des Trajektorienpunkts beinhalten; und  
• Trainieren und Erzeugen (705) des DNN-Modells auf der Grundlage der vorhergesagten Merkmale und der tatsächlichen Merkmale, um eine erste Ähnlichkeitsbewertung zu erzeugen, die eine Ähnlichkeit zwischen der ersten vorhergesagten Trajektorie und der tatsächlichen Trajektorie darstellt, wobei die erste Ähnlichkeitsbewertung eine durch das DNN-Modell modellierte Ähnlichkeit zwischen der bekannten vorhergesagten Trajektorie und der bekannten tatsächlichen Trajektorie darstellt, wobei der erste Ähnlichkeitswert näher an einem ersten vorgegebenen Wert liegt, was anzeigt, dass die vorhergesagte Trajektorie der entsprechenden bekannten tatsächlichen Trajektorie ähnlich ist, und der erste Ähnlichkeitswert näher an einem zweiten vorgegebenen Wert liegt, was anzeigt, dass die vorhergesagte Trajektorie der entsprechenden bekannten tatsächlichen Trajektorie unähnlich ist;  
• Vergleichen des ersten Ähnlichkeitswerts mit einem erwarteten Ähnlichkeitswert; und  
• als Reaktion darauf, dass der erzeugte erste Ähnlichkeitswert nicht innerhalb des erwarteten Ähnlichkeitswerts liegt, iteratives Trainieren des DNN-Modells, bis der erzeugte erste Ähnlichkeitswert innerhalb des erwarteten Ähnlichkeitswerts liegt;  

[Inference-Phase:] Empfangen (801) einer zweiten vorhergesagten Trajektorie des Objekts, die unter Verwendung eines Vorhersagungsverfahrens basierend auf zweiten Wahrnehmungsdaten erzeugt wurde, die das Objekt in einer Fahrumgebung wahrnehmen, die ein autonomes Fahrzeug (ADV) umgibt;  

für mindestens einige Trajektorienpunkte, die aus einer Vielzahl von Trajektorienpunkten der zweiten vorhergesagten Trajektorie ausgewählt sind, Extrahieren (802) einer Vielzahl von Merkmalen aus den ausgewählten Trajektorienpunkten, wobei die extrahierten Merkmale jedes Trajektorienpunkts einen Satz physikalischer Attribute und einen Satz trajektorienbezogener Attribute umfassen, wobei die physikalischen Attribute eine relative Kursrichtung und eine Geschwindigkeit des Trajektorienpunkts umfassen; 

Anwenden (803) des trainierten DNN-Modells auf die extrahierten Merkmale aus den ausgewählten Trajektorienpunkten der zweiten vorhergesagten Trajektorie, um einen zweiten Ähnlichkeitswert zu erzeugen, wobei der zweite Ähnlichkeitswert anzeigt, ob die zweite vorhergesagte Trajektorie eher einer tatsächlichen Trajektorie nahekommt, das Objekt sich wahrscheinlich in naher Zukunft bewegt; und  

Bestimmen (804) einer Genauigkeit des Vorhersagemethoden basierend auf dem zweiten Ähnlichkeitswert.  

Die Kammer wies die Beschwerde zurück. Sie stellte fest – in Übereinstimmung mit der Prüfungsabteilung –, dass das neuronale Netzwerk nur darauf trainiert ist, tatsächliche und vorhergesagte Trajektorien zu empfangen und eine Ähnlichkeit zwischen ihnen zu bestimmen. Die Kammer hatte jedoch zwei Einwände bezüglich der Inference-Phase:  

• Der zweite Ähnlichkeitswert gibt an, „ob die zweite vorhergesagte Trajektorie wahrscheinlicher einer tatsächlichen Trajektorie nahekommt“ (“whether the second predicted trajectory is more likely close to an actual trajectory”), d. h. eine Wahrscheinlichkeit und keine Ähnlichkeit (die der Ähnlichkeitswert in der Trainingsphase angibt). Wahrscheinlichkeit und Ähnlichkeit sind unterschiedliche Konzepte.  

• Die Kammer konnte nicht erkennen, wie das neuronale Netz auf der Grundlage einer zweiten vorhergesagten Trajektorie einen zweiten Ähnlichkeitswert erzeugen kann, wenn es nur die zweite vorhergesagte Trajektorie als Eingabe erhält, während Anspruch 1 nicht definiert, woher die (nicht spezifizierte) tatsächliche Trajektorie stammt.  

Kommentar  

Die Entscheidung der Kammer erscheint sinnvoll. Die Anmeldung wies ein bereits in der Entwurfsphase aufgetretenes Problem auf und konnte später nicht mehr gerettet werden. Das Problem bestand darin, dass die Beschreibungen der Trainingsphase und der Inferenzphase nicht miteinander vereinbar waren. Die Trainingsphase führte eindeutig zu einem neuronalen Netzwerk, das in der Lage war, zwei Eingabedatensätze zu vergleichen und eine Ähnlichkeit zwischen ihnen zu bestimmen. Das bedeutet, dass die im Netzwerk gespeicherten Gewichte Informationen darüber enthalten, wie die Ähnlichkeit bestimmt werden kann. In der Inference-Phase sollte dieses Netzwerk für etwas anderes verwendet werden, nämlich für die Vorhersage eines der Datensätze auf der Grundlage des anderen. Das Training hätte das neuronale Netzwerk nicht dazu befähigen können.  

Freilich dürfte es etwas übertrieben sein, wenn die Kammer verlangte, die Angabe, woher die tatsächliche Trajektorie stammt, hätte in den Hauptanspruch aufgenommen werden müssen: Der Anspruch wäre wohl ausreichend offenbart, wenn diese Information zumindest in der Beschreibung angegeben worden wäre. Problematisch an dem Anspruch an sich ist jedoch, dass er besagt, dass die „tatsächliche Trajektorie“ angibt, wohin sich „das Objekt wahrscheinlich in naher Zukunft bewegen wird“, was zu bedeuten scheint, dass die tatsächliche Trajektorie zum Zeitpunkt der Vorhersage nicht bekannt sein kann.  

Die Entscheidung gereicht dem Praktiker zur Mahnung, dass verschiedene Teile der Anmeldung, die sich auf verschiedene Phasen der Nutzung der KI (Training und Inference) beziehen, bereits in der Entwurfsphase miteinander kompatibel gemacht werden sollten.  

Ein weiterer erwähnenswerter Punkt ist, dass die Kombination von Trainings- und Inference-Phase zu einem engeren Anspruch führt und im Prinzip durch die Formulierung paralleler unabhängiger Ansprüche vermieden werden kann. Die Aufnahme der Trainingsphase in den Anspruch war in diesem Fall für die ausreichende Offenbarung anscheinend auch keine Hilfe.  

Auf eine parallele Anmeldung wurde ein US-Patent US11545033B2 erteilt. Einwände wegen unzureichender Offenbarung (description, enablement, best mode) gab es keine.  

Bei Fragen stehen Ihnen unsere Anwältinnen und Anwälte gerne zur Verfügung. Kontaktieren Sie uns einfach unter: muc@maucherjenkins.com oder telefonisch: +49 89 340 77 26-0.

Weitere Artikel dieser Serie finden Sie hier:
Artikel 1 
Artikel 2
Artikel 3
Artikel 4
Artikel 5
Artikel 6
Artikel 8
Artikel 9