Was ist Trassenverfolgung? Was ist der Unterschied zum Raytracing?

Die Spielegrafik hat sich in den letzten zehn Jahren, insbesondere in den letzten fünf Jahren, erheblich weiterentwickelt. Während die Hardware ständig weiterentwickelt wird, um mit der realistischen Darstellung Schritt zu halten, arbeiten die Technologiegiganten täglich an der Verbesserung der Software, um höhere Qualität, Leistung und Erfahrung zu bieten. Heute werden wir uns, genau wie beim Raytracing, mit einer sehr wichtigen Technologie befassen, die die visuelle Qualität verbessert und deren Namen wir in Zukunft häufig hören werden: Pfadverfolgung.

Auf der GDC 2022 hat NVIDIA einige Schritte unternommen, um die Rendering-Techniken auf die nächste Stufe zu bringen. Kürzlich als „die genaueste Rendering-Methode“ angekündigt, scheint diese Technologie die Messlatte für Raytracing und Grafiken höher zu legen.

Was ist Trassenverfolgung?

Path Tracing ist eine fortschrittlichere Form des Ray Tracing, bei der der Weg des Lichts durch Sprünge in zufällige Richtungen mit einem einzelnen Pixel simuliert wird, um das Bild zu reproduzieren. Anstatt den Strahlen linear zu folgen, werden sie über viele Sprünge von der Lichtquelle zum Zielobjekt verfolgt.

Aron Lefohn, VP of Graphics Research, hat mehrere Videoclips veröffentlicht, die die RTX 3090 und ihre Einsatzmöglichkeiten zeigen. In dem Clip, der einen Tiger zeigt, der im Dschungel spazieren geht, wird eine Pfadverfolgung mit einer Metrik von 30 Sprüngen durchgeführt, angeblich 3 Milliarden abgetastete Dreiecke. Sie können alle veröffentlichten Videos im obigen Tweet-Thread sehen und sich einen Eindruck verschaffen.

Darüber hinaus bietet die Unreal Engine seit einiger Zeit Unterstützung für die Pfadverfolgung, und die Autoren von Inhalten nutzen diese Möglichkeit. Das folgende Video des YouTube-Benutzers BlackOudanArt zeigt, was die gleiche GPU leisten kann. Sie können die Tiefe und Weichheit von Schatten, die fotorealistische Natur von Holz- und Metalltexturen und die lebendige Wiedergabe von Licht sehen.

Die Pfadverfolgung erfolgt in Echtzeit und ermöglicht die Erstellung interaktiver, fotorealistischer 3D-Umgebungen mit dynamischen Licht- und Schatteneffekten, Reflexionen und Brechungen. Was genau ist also Pfadverfolgung, was wir ins Türkische mit „Pfadverfolgung“ übersetzen können?

Was ist der Unterschied zwischen Rasterisierung und Raytracing?

Machen wir uns zunächst mit einigen Begriffen aus der Welt der Spiele und der Hardware vertraut und sehen wir uns an, wie all diese Technologien zur Erstellung fortschrittlicher Grafiken eingesetzt werden.

Die in Spielen oder mit verschiedener Software erzeugten Bilder sind in der Regel dreidimensional. Bilder, die durch Rasterung erzeugt werden, sind dagegen nur für einen einzigen Blickwinkel bestimmt. Diese Technik war von Anfang an das Herzstück der GPUs. Moderne NVIDIA-GPUs können mehr als 100 Milliarden gerasterte Pixel pro Sekunde erzeugen. Dies macht die Rasterung ideal für Echtzeit-Grafiken wie Spiele.

Das Raytracing ist eine völlig andere Technik, die viel leistungsfähigere und fesselndere Bilder bietet. Bei der Strahlenverfolgung sind wir nicht auf einen einzigen Punkt beschränkt. Es können realistische Objekte erstellt werden, die von vielen verschiedenen Punkten und aus vielen verschiedenen Richtungen betrachtet werden können. Seit der Turing-Architektur bietet NVIDIA RT-Cores an, um diese anspruchsvollen Arbeitslasten zu bewältigen. Heute kann ein einziger Grafikprozessor Milliarden von Strahlen pro Sekunde verarbeiten. AMD hingegen ist mit seiner RDNA 2-Architektur und den Grafikkarten der Radeon RX 6000-Serie in die Welt des Raytracing eingestiegen. Die Xe-HPG-basierten Arc Alchemist-Grafikkarten von Intel verfügen über eine ähnliche Raytracing-Hardware wie die von NVIDIA.

Mit diesem Raytracing können wir die Verteilung des Lichts in der realen Welt viel genauer simulieren, als es mit der Rasterung möglich ist. Aber wie simulieren wir dieses Licht und wie bringen wir diese Simulation auf die GPU?

Was ist Ray Tracing?

David Luebke, Vice President of Graphics Research bei NVIDIA, gibt eine Definition, indem er die Geschichte von Albrecht Dürer erzählt, einer der wichtigsten Figuren der nordeuropäischen Renaissance im 16. Der berühmte Maler verwendete Schnüre und Gewichte, um ein 3D-Bild auf einer 2D-Oberfläche zu reproduzieren. Dürer hatte es sich zum Ziel gesetzt, klassische und zeitgenössische Mathematik mit der Kunst zu verbinden und einen Durchbruch in Ausdruck und Realismus zu erzielen.

Dürer war der erste, der die Idee der Strahlenverfolgung 1525 in seiner Abhandlung über die Messung beschrieb. Der einfachste Weg, das Konzept zu verstehen, ist zu sehen, wie Dürer die Idee beschrieben hat. Denken Sie nur daran, wie das Licht die Welt um uns herum erhellt. Stellen Sie sich nun vor, dass Sie die Strahlen vom Auge aus mit einem Stück Schnur zurückverfolgen, wie es Dürer getan hat, bis zu den Objekten, mit denen das Licht in Wechselwirkung tritt. Dies ist Raytracing.

Raytracing mit Computergrafik

400 Jahre nach Dürers Tod demonstrierte Arthur Appel von IBM, wie die Idee des Raytracing auf die Computergrafik übertragen werden kann, indem er sie auf Rechenprozesse und Schatten anwendet. Zehn Jahre später zeigte Turner Whitted als Erster, wie man mit dieser Idee Reflexionen, Schatten und Brechungen erfassen konnte, und erklärte, wie das scheinbar einfache Konzept viel komplexere Computergrafiken ermöglichte. Der Fortschritt hat sich dann noch weiter beschleunigt.

Robert Cook, Thomas Porter und Loren Carpenter von der Filmproduktionsfirma Lucasfilm erläuterten 1984, wie man viele gängige Filmtechniken kombiniert, die in der Computergrafik unzugänglich sind, darunter Bewegungsunschärfe, Tiefenschärfe, Halbschatten, Transluzenz und unscharfe Reflexionen.

Zwei Jahre später veröffentlichte der CalTech-Professor Jim Kajiya ein siebenseitiges Papier mit dem Titel „The Rendering Equation“. Jim Kajiya kombinierte Computergrafik mit Physik durch Raytracing und führte den Path-Tracing-Algorithmus ein, der es ermöglicht, die Lichtverteilung in einer Szene genau darzustellen.

Die Trassenverfolgung ist geboren

Bei der Entwicklung der Technik zur Verfolgung von Pfaden stieß Jakiya auf eine unerwartete Inspirationsquelle: das Studium der Strahlungswärmeübertragung, also der Frage, wie sich Wärme durch ein Medium ausbreitet. Ideen in diesem Bereich führten zu der Verarbeitungsgleichung, die beschreibt, wie sich das Licht durch die Luft bewegt und von Oberflächen gestreut wird.

Die Gleichung, die zur Erstellung der Technik benötigt wird, ist recht kurz, aber nicht so einfach zu lösen. Die Szenen in der digitalen Umgebung waren sehr komplex. Es gab keine Möglichkeit, die Rendering-Gleichung direkt zu lösen, was zur zweiten wichtigen Innovation von Kajiya führte.

Kajiya zeigte, dass die Gleichung mit statistischen Verfahren gelöst werden kann: Auch wenn sie nicht direkt gelöst werden kann, ist es möglich, sie entlang der Pfade der einzelnen Strahlen zu lösen. Wenn man die Länge des Strahlengangs so weit auflöst, dass die Beleuchtung der Szene genau wiedergegeben wird, kann man fotorealistische Bilder erzeugen.

Wie löst man nun die Gleichung für die Reise entlang eines Strahlengangs? Die von Kajiya angewandten statistischen Verfahren sind als Monte-Carlo-Integration bekannt und gehen auf die Anfänge der Computer in den 1940er Jahren zurück. Die Entwicklung verbesserter Monte-Carlo-Algorithmen für die Pfadverfolgung ist bis heute ein offenes Forschungsproblem, wobei NVIDIA-Forscher durch die regelmäßige Entwicklung von Techniken zur Verbesserung der Effizienz der Pfadverfolgung eine Vorreiterrolle spielen.

Jim Kajiya hat die Techniken der Pfadverfolgung in der Grafik entwickelt und vorangetrieben. Dadurch wurde es möglich, fotorealistische Bilder am Computer zu erstellen. Dieser Ansatz des Ingenieurs, der zu den Pionieren der Computergrafik gehört, spiegelt die Physik des Werks wider und beschreibt die Art und Weise, wie sich das Licht in der realen Welt bewegt. Schließlich kamen Tag für Tag verschiedene Bearbeitungstechniken zum Einsatz, und heute werden in allen Bereichen visuelle Effekte mit verblüffendem Realitätsgrad verwendet.

Spurensuche und die Filmindustrie

Der Ansatz der Pfadverfolgung wurde nach seiner erstmaligen Anwendung im Jahr 1987 als erfolgreiche Technik angesehen, die jedoch nicht praktisch genug war. Die Bilder in Kajiyas Originalarbeit waren nur 256×256 Pixel groß und brauchten mehr als 7 Stunden zum Rendern, selbst auf einem sehr teuren Computer.

Wie das Mooresche Gesetz besagt, erreichte die Rechenleistung unvorstellbare Werte, da die Effizienz und die Anzahl der Transistoren in Mikroprozessoren exponentiell zunahmen. So wurden in vielen Bereichen Fortschritte gemacht, auch bei den Grafiktechnologien.

Seit dem Film A Bug’s Life von 1998 wird die Raytracing-Technik in immer mehr Filmen eingesetzt. Der 2006 erschienene Film Monster House gehört zu den Filmen, die einen bleibenden Eindruck hinterlassen haben. Monster House wurde mit Solid Angle SL (von Autodesk übernommen) und der in Zusammenarbeit mit Sony Pictures Imageworks entwickelten Software Arnod erstellt.

Der Film, der weltweit mehr als 140 Millionen Dollar einspielte, war im Wesentlichen ein Trailer für das, was die Computeranimation in Zukunft bieten könnte. Mit der Verbesserung der Rechenleistung und der Hardware ist alles immer schneller geworden, und immer mehr Filme haben begonnen, solche Techniken zu verwenden. Einige der Clips, die wir heutzutage sehen, sind kaum noch von Aufnahmen zu unterscheiden, die mit einer Kamera gemacht wurden.

Die Hardware hat sich verbessert, aber es gibt immer noch einige Probleme. Die Verarbeitung eines einzigen Bildes dauert immer noch Stunden. In der Tat werden große Serversysteme, so genannte Renderfarmen, gebaut, um einen kompletten Film zu erstellen, um Bilder zu verarbeiten, und diese arbeiten kontinuierlich über Monate hinweg.

Pfadverfolgung in Spielen

Die Idee der Pfadverfolgung in Spielen war bis vor kurzem unvorstellbar. Viele Spieleentwickler haben deutlich gemacht, dass sie gerne „Path Tracing“ für Echtzeitgrafiken verwenden würden, wenn sie die nötige Leistung hätten. Allerdings war die von der Hardware gebotene Leistung in der Vergangenheit sehr unzureichend und die Idee schien unerreichbar zu sein.

Danach haben sich die Grafikprozessoren weiterentwickelt, und jetzt ist es nicht mehr so schwer, Hardware mit Raytracing-Unterstützung zu finden. Genau wie in Filmen haben wir diese Technologien zuerst in Spielen in begrenztem Umfang gesehen. Aber wie Sie jetzt sehen können, wächst die Zahl der Spiele, die Raytracing unterstützen, rasant. Bestimmte Spiele mit Raytracing kombinieren herkömmliche, auf Rasterung basierende Rendering-Techniken mit einigen Raytracing-Effekten.

Die Entwickler können in ihren Spielen eine Mischung aus verschiedenen Techniken verwenden, wenn sie dies wünschen. Spieleentwickler können die primären Strahlen rastern und dann den Weg des Lichts nachzeichnen, um die Szene zu beleuchten.

Vereinfacht ausgedrückt ist die Rasterung ein Prozess, bei dem von einem einzigen Punkt aus eine Reihe von Strahlen ausgesendet wird. Die Strahlenverfolgung geht noch einen Schritt weiter und kann von vielen Punkten aus Strahlen in jede Richtung senden. Path Tracing simuliert die Physik des realen Lichts, wobei Ray Tracing als Bestandteil eines größeren Lichtsimulationssystems verwendet wird. Das bedeutet, dass alle Lichter in einer Szene stochastisch (mit Monte-Carlo- oder anderen Techniken) in Räume oder Umgebungen eingeteilt werden.

Anstatt einen Strahl von einem einzigen Hop rückwärts zu verfolgen, verfolgt der Simulationsprozess die Strahlen über mehrere Sprünge zurück zu den Lichtquellen. Mehrere Spiele tun dies bereits, und die Ergebnisse sind recht beeindruckend. Wenn Sie sich erinnern, hat Microsoft ein Add-on veröffentlicht, das die Pfadverfolgung in Minecraft ermöglicht. Quake II hingegen kann diese Technik dank eines neuen Plugins nutzen.

In der Tat gibt es noch viel zu tun. Auf der anderen Seite benötigen die Verbraucher leistungsstarke Hardware, die eine hohe Rechenleistung bietet, um solche Erfahrungen zu machen. Spieleentwickler hingegen entwerfen immer hochwertigere Spiele, die je nach dem Stand der Technik mehr Leistung erfordern. Darüber hinaus ist anzumerken, dass Spiele die anspruchsvollsten Projekte sind, wenn es um visuelle Datenverarbeitung geht.

Unterschied zwischen Path Tracing und Ray Tracing

Path Tracing ist auch eine Form des Ray Tracing, aber es gibt einige Unterschiede zwischen den beiden Rendering-Techniken. Die Strahlenverfolgung erklärt eigentlich alles mit ihrem Namen. Bei dieser Technik werden Strahlen simuliert und von ihrem Ursprung bis zu ihrem Endpunkt verfolgt.

Bei der Pfadverfolgung hingegen werden verschiedene Strahlen erzeugt, die in zufällige Richtungen zwischen dem Ursprung und dem Ziel abschweifen. Das reflektierte Licht ist nicht linear, wie beim Raytracing, sondern führt zu realistischen Darstellungen von Oberflächen mit unterschiedlichen Reaktionen, wenn es auf sie trifft. Letztlich ist die Pfadverfolgung eine viel umfassendere und fortgeschrittenere Technik. Daher werden mehr Hardware-Ressourcen benötigt.

Was erwartet uns in der Zukunft?

Da die GPUs immer leistungsfähiger werden, wird die Verwendung von „Path Tracing“ immer weiter verbreitet sein. Mit Tools wie Arnold (Autodesk), V-Ray (Chaos Group) und Renderman (Pixar) können Designer und Architekten mit leistungsstarken Grafikkarten mithilfe von Raytracing-Techniken fotorealistische Modelle in Sekundenschnelle erstellen.

Da Grafikkarten heute mehr Rechenleistung als je zuvor bieten, wird Raytracing der nächste Schritt für die Pfadverfolgung sein. Wir erwarten, dass die Grafikkarten der RTX 40-Serie, die auf der „Ada Lovelace“-Architektur basieren, einen Leistungssprung machen werden. Ähnliche Durchbrüche wird es wahrscheinlich auch bei AMD mit der RDNA 3 Architektur und der Radeon RX 7000 Serie geben.

Im Jahr 2018 kündigte NVIDIA die Raytracing-Technologie an, die Spieleentwicklern ein Rendering in Filmqualität ermöglicht. Die RTX-Technologie bietet Raytracing-Unterstützung über verschiedene Schnittstellen, mit einer Raytracing-Engine in Hardware auf Ampere- und Turing-Architekturen. Das grüne Team hat sich außerdem mit Microsoft zusammengetan, um über die neue DirectX Raytracing (DXR) API volle RTX-Unterstützung zu bieten.

Der GPU-Riese hat die RTX-Technologie vom ersten Tag an weiterentwickelt. Mit der RTX 30-Serie sind die RT-Kerne in die zweite Generation übergegangen, und Spiele, die Echtzeit-Raytracing unterstützen, werden immer zahlreicher. Bei den RTX 40 „Island“-Karten erwarten wir jedoch nicht nur Verbesserungen bei CUDA, sondern auch bei RT- und Tensor-Kernen.

AMD hat mit der RDNA 2 Architektur begonnen, Ray Accelerators (Ray Accelerator-RA) in seine Grafikkarten zu integrieren. Die Karten des roten Teams sind in dieser Hinsicht etwas schwächer, aber mit der neuen RDNA 3 Architektur müssen sie ernsthafte Verbesserungen beim Raytracing vornehmen.

Intel, das in diesem Jahr seinen ersten Schritt auf den Markt für externe Grafikprozessoren gemacht hat, bietet mit der Xe-HPG-Architektur Raytracing-Unterstützung der ersten Generation. Ebenso werden Arc-Grafikkarten über integrierte Raytracing-Kerne verfügen. Auch im Bereich der Software leistet das Unternehmen wichtige Arbeit.

Infolgedessen werden Raytracing, Pathtracing und andere bildgebende Verfahren in den kommenden Jahren von der Industrie mehr und mehr übernommen werden. Ob Spiele, virtuelle Realität oder sogar geschäftliche Anwendungsfälle – filmische Bilder, die wir uns nicht vorstellen können, könnten uns bald begleiten.