TOPS richtig einordnen: Worauf es bei der Auswahl einer Edge-AI-Plattform ankommt

Wer eine neue Computer-Vision-Anwendung plant, beginnt deshalb besser nicht mit der Frage nach der höchsten verfügbaren AI-Rechenleistung, sondern mit den Anforderungen des Gesamtsystems. 

Die Anwendung definiert die Randbedingungen 

Ein autonomes mobiles Robotersystem hat andere Anforderungen als eine stationäre Bildverarbeitung in einer Produktionsanlage. Auch eine kompakte Lösung direkt an der Kamera unterscheidet sich grundlegend von einem größeren Edge-System mit separater Beschleunigerhardware. 

Für eine belastbare Plattformentscheidung sollten daher zunächst die wichtigsten technischen Eckdaten feststehen: 

• Anzahl und Typ der Kameras
• Auflösung und benötigte Bildrate
• AI-Modell beziehungsweise Inferenz-Workload
• Anforderungen an Latenz und Reaktionszeit
• Kamera-, Netzwerk- und I/O-Schnittstellen
• verfügbare elektrische Leistung und Einbauraum
• Umgebungsbedingungen
• geplante Stückzahl und Produktlebenszyklus 

Erst auf dieser Basis lässt sich sinnvoll bewerten, welche Compute-Architektur zum Projekt passt. 

Kameras und Datenpfade früh berücksichtigen 

Computer Vision beginnt mit Bilddaten. Deren Menge kann je nach Anwendung stark variieren. 

Mehrere Kameras, höhere Auflösungen oder höhere Frameraten erhöhen die Datenmenge, die aufgenommen, übertragen und verarbeitet werden muss. Gleichzeitig beanspruchen Vorverarbeitung, weitere Applikationslogik oder die Kommunikation mit übergeordneten Systemen zusätzliche Ressourcen. 

Die Kameraarchitektur sollte deshalb früh in die Systemauslegung einbezogen werden. Wird zunächst nur die Compute-Plattform festgelegt und die Kameraanbindung erst später betrachtet, können unnötige technische Einschränkungen entstehen. 

Neben der eigentlichen Inferenzleistung spielen dabei auch Fragen nach Schnittstellen, Bandbreite, Speicherzugriffen und Softwareunterstützung eine Rolle. 

Was TOPS tatsächlich aussagen 

TOPS steht für Tera Operations per Second und beschreibt die Anzahl von Rechenoperationen pro Sekunde unter definierten Bedingungen. Die Kennzahl kann einen Hinweis auf die theoretische AI-Rechenleistung eines Beschleunigers geben. 

Für einen direkten Vergleich verschiedener Plattformen reicht sie jedoch nicht aus. 

Herstellerangaben können sich auf unterschiedliche Rechengenauigkeiten und Betriebsbedingungen beziehen. Darüber hinaus beeinflussen Architektur, Speicher, Software-Stack und Modelloptimierung die tatsächlich erreichbare Performance. 

Für ein konkretes Projekt ist deshalb relevant, wie der geplante Workload auf der vorgesehenen Plattform ausgeführt wird. 

Ein System mit hoher nomineller AI-Leistung kann für eine bestimmte Anwendung trotzdem ungeeignet sein, wenn beispielsweise benötigte Kamera-Schnittstellen fehlen, thermische Randbedingungen nicht eingehalten werden können oder der eingesetzte Software-Stack nicht zum Projekt passt. 

TOPS sollten daher als eine von mehreren technischen Kennzahlen betrachtet werden, nicht als alleinige Entscheidungsgröße. 

Unterschiedliche Architekturen für unterschiedliche Anforderungen 

Für Computer Vision am Edge stehen heute mehrere grundsätzliche Architekturansätze zur Verfügung. 

Eine Jetson-basierte Plattform kann beispielsweise interessant sein, wenn GPU-beschleunigte AI-Inferenz kompakt am Edge ausgeführt werden soll und der zugehörige Software-Stack für das Projekt geeignet ist. 

Ein x86-System mit GPU oder anderem KI-Beschleuniger kann infrage kommen, wenn neben der Inferenz weitere PC-basierte Software, zusätzliche Erweiterungsmöglichkeiten oder höhere allgemeine Compute-Anforderungen berücksichtigt werden müssen. 

Für klar abgegrenzte Aufgaben kann auch eine AI Smart Camera eine Option sein. Hier werden Bildaufnahme und lokale Verarbeitung in einem kompakten System zusammengeführt. 

Welche Architektur am Ende sinnvoll ist, hängt von der konkreten Anwendung ab. Eine pauschale Zuordnung lässt sich aus der Plattformklasse allein nicht ableiten. 

Thermik und Leistungsaufnahme sind Teil der Systemauslegung 

Bei kompakten industriellen Edge-Systemen gehören Leistungsaufnahme und Thermik unmittelbar zur Plattformentscheidung. 

Die Rechenplattform muss die benötigte Performance unter den vorgesehenen Betriebsbedingungen zuverlässig bereitstellen können. Gehäusekonzept, Kühlung, Umgebungstemperatur und verfügbare elektrische Leistung können dabei die praktische Auslegung erheblich beeinflussen. 

Das gilt insbesondere für lüfterlose Systeme, mobile Anwendungen oder Geräte mit begrenztem Einbauraum. 

Eine Plattform sollte deshalb nicht ausschließlich anhand ihrer maximalen Rechenleistung bewertet werden. Entscheidend ist, welche Performance im geplanten Systemaufbau dauerhaft nutzbar ist. 

Vom Proof of Concept zur Serienlösung 

Ein funktionierender Proof of Concept beantwortet noch nicht alle Fragen eines industriellen Serienprojekts. 

Mit zunehmender Projektreife gewinnen weitere Faktoren an Bedeutung: 

• langfristige Verfügbarkeit der Komponenten 
• PCN- und EOL-Prozesse 
• definierte Betriebssystem- und Treiberversionen 
• mechanische Integration 
• Wartbarkeit 
• Skalierung auf die geplanten Stückzahlen 

Diese Aspekte können bereits die ursprüngliche Plattformwahl beeinflussen. 

Eine Lösung, die im Labor technisch funktioniert, ist deshalb nicht automatisch die beste Basis für ein Produkt mit mehrjährigem Lifecycle. 

Plattformentscheidungen als Systemaufgabe verstehen 

Die Auswahl einer Edge-AI-Plattform für Computer Vision ist keine reine Prozessorentscheidung. 

Kameraarchitektur, Datenpfade, AI-Workload, Software, Schnittstellen, Thermik und Lifecycle wirken zusammen. Je früher diese Punkte gemeinsam betrachtet werden, desto belastbarer lässt sich beurteilen, welche Plattform für ein Projekt tatsächlich geeignet ist. 

TOPS bleiben dabei eine nützliche Kennzahl. Ihre Aussagekraft entsteht jedoch erst im Kontext der gesamten Anwendung.