Zusammenfassung
Die strategische Vereinbarung zwischen Ferrovial und NTT DATA führte 2023 zur Gründung des Center of Excellence for Digital Infrastructure Solutions. Darauf aufbauend entwickelte NTT DATA eine multimodale KI-Lösung (VLM/MLLM), die Bilder und Videos analysiert, um eine kontinuierliche Überwachung zu ermöglichen und vordefinierte Situationen zu erkennen.
Business Need: Infrastruktur intelligenter überwachen
Betreiber großer Infrastrukturen müssen ihre Assets mit höchster Präzision überwachen und steuern, um Sicherheit und Kontinuität zu gewährleisten. Herkömmliche Methoden sind langsam, beruhen auf manuellen Inspektionen und können die großen Mengen erzeugter visueller Daten nicht umfassend nutzen. In diesem Kontext wird GenAI zu einem wichtigen Instrument, um Risiken frühzeitig zu erkennen und unmittelbare Reaktionen zu ermöglichen.
Ferrovial benötigte eine zentrale Technologielösung, mit der sich Infrastrukturen agil überwachen lassen, um Prozesse zu beschleunigen, Verzögerungen und Kosten zu minimieren und durch Echtzeittransparenz bessere Entscheidungen zu ermöglichen. Gefordert war eine skalierbare und flexible Plattform, die sich ohne erhebliche zusätzliche Investitionen an mehreren Standorten einsetzen lässt.
Ferrovial wollte das Potenzial multimodaler KI für Videoanalysen in konkreten Anwendungsfällen im Bau- und Autobahnbereich evaluieren.
Wie schnell Daten interpretiert werden, entscheidet darüber, wie schnell wir handeln und größere Schäden verhindern können. Frühes Eingreifen ist entscheidend. Mit diesem Projekt wollen wir das Incident Management verbessern und unsere Infrastruktur sicherer machen. NTT DATA war dafür ein entscheidender Partner.
Die Lösung: Videos werden zu operativer Intelligenz
Um diesen Bedarf zu adressieren, entwickelte NTT DATA im Rahmen des Center of Excellence für innovative Technologie- und Infrastrukturlösungen einen Proof of Concept (PoC). Dieser nutzt Daten realer Kameras, um das Potenzial generativer KI für die Videoanalyse zu bewerten. Der PoC basiert auf einer innovativen Technologieplattform mit multimodalen GenAI-Modellen.
Zunächst analysierte die Lösung aufgezeichnetes Videomaterial in kontrollierten Umgebungen und ermöglichte es der KI, Szenen mit hoher Genauigkeit zu interpretieren. Anschließend wurde der Einsatz auf Live-Videos erweitert. So entstand ein kontinuierliches Monitoringsystem, das Muster erkennt, Warnungen erzeugt und Erkenntnisse unmittelbar bereitstellt.
Die innovative Lösung integriert visuelle Daten, um Infrastruktur in Echtzeit zu überwachen. Dadurch lassen sich Anomalien identifizieren, Risiken prognostizieren und automatisierte Empfehlungen generieren. Gleichzeitig passt sich das System an die wachsende Zahl und Vielfalt der verwalteten Assets an. Künftig soll die Lösung zusätzliche Datenquellen einbeziehen und in produktiven Live-Umgebungen eingesetzt werden.
Das neue GenAI-basierte Tool bietet folgende Funktionen:
- Zero-Shot-Fähigkeit und Flexibilität ermöglichen den Einsatz in unterschiedlichen Szenarien allein durch Anpassung der Prompts – ohne Training oder Fine-Tuning. Im Unterschied dazu erfordern klassische Computer-Vision-Lösungen eine gezielte Anpassung.
- Skalierbarkeit unterstützt die Verarbeitung großer Videomengen, Live-Streaming und den parallelen Einsatz an mehreren Standorten.
- Operative Effizienz ermöglicht agilere und stärker automatisierte Prozesse.
- Datengetriebene Steuerung liefert objektive Echtzeitinformationen für Projektmanagement und Infrastrukturbetrieb.
- Branchenübergreifende Einsatzmöglichkeiten reichen über Bau und Autobahnen hinaus bis zu Energie, Transport und Schwerindustrie.
- Echtzeittransparenz optimiert Entscheidungen.
- Sofortige Reaktionen.
Die Lösung eignet sich für zahlreiche Use Cases, darunter die Verfolgung des Projektfortschritts, Standortüberwachung, Analyse von Personen-, Fahrzeug- und Maschinenströmen, Monitoring und Steuerung im laufenden Betrieb sowie schnelle Reaktionen auf Notfälle.
Dank ihrer skalierbaren Architektur profitiert Ferrovial von einem robusten und flexiblen System, das sich mit neuen betrieblichen Anforderungen weiterentwickeln kann.
Dieses gemeinsame Projekt für Ferrovial zeigt, dass Large Vision Models als fortgeschrittene Form visueller GenAI in Verbindung mit Echtzeitanalyse und leistungsfähiger Automatisierung ein neues Paradigma für die Überwachung und Steuerung von Infrastruktur schaffen.
Nutzen: Reale Wirkung mit KI erzielen
Die Large-Vision-Model-Plattform bietet:
- Eine vielseitige Lösung, die mit minimalen Änderungen und ohne erforderliches Training zahlreiche Use Cases in unterschiedlichen Branchen unterstützt
- Starke Performance unter realen Bedingungen mit 70 % Genauigkeit in den durchgeführten Tests
- Sofortige Erstellung detaillierter Berichte für komplexe Szenarien
- Schnelle Erkennung von Warnmeldungen für definierte Situationen innerhalb weniger Sekunden