DE102006014546B4

DE102006014546B4 - Method and device for sensor-based monitoring of an environment

Info

Publication number: DE102006014546B4
Application number: DE102006014546A
Authority: DE
Inventors: Peter Biber; Sven Fleck
Original assignee: Eberhard Karls Universitaet Tuebingen
Current assignee: Biber Peter Dr De; Fleck Sven Dr De
Priority date: 2006-03-21
Filing date: 2006-03-21
Publication date: 2010-08-19
Anticipated expiration: 2026-03-22
Also published as: DE102006014546A1

Abstract

Verfahren zum sensorbasierten Überwachen eines Istzustandes einer Umgebung (Z2) unter Berücksichtigung eines Sollzustandes der Umgebung (Z2) gekennzeichnet durch folgende Schritte:
– Erfassen von Sensormesswerten mit wenigstens einem Sensor (30, 32, 34),
– Lokalisieren des Sensors (30, 32, 34) oder der Sensormesswerte innerhalb der Umgebung (Z2) unter Berücksichtigung eines abgespeicherten Modells (Z1) der Umgebung (Z2) und Erstellen von Lokalisierungsdaten,
– Erstellen von simulierten Messwerten unter Berücksichtigung der Lokalisierungsdaten und des abgespeicherten Modells (Z1), und
– Vergleichen der simulierten Messwerte und der mittels des wenigstens einen Sensors (30, 32, 34) erfassten Sensormesswerte.Method for sensor-based monitoring of an actual state of an environment (Z2) taking into account a target state of the environment (Z2) characterized by the following steps:
Detecting sensor measured values with at least one sensor (30, 32, 34),
Localizing the sensor (30, 32, 34) or the sensor measured values within the environment (Z2) taking into account a stored model (Z1) of the environment (Z2) and generating localization data,
- Creating simulated measured values taking into account the localization data and the stored model (Z1), and
Comparing the simulated measured values and the sensor measured values detected by the at least one sensor (30, 32, 34).

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum sensorbasierten Überwachen eines Istzustandes einer Umgebung unter Berücksichtigung eines Sollzustandes der Umgebung.The The invention relates to a method and a device for sensor-based monitoring an actual state of an environment taking into account a desired state the environment.

Bekannt ist die Überwachung von zu prüfenden Umgebungen, beispielsweise Kernkraftwerken, mit hohem manuellem Aufwand. Es ist darüber hinaus bekannt, die zu prüfenden Umgebungen mit speziellen Markern oder anderen Modifikationen zu präparieren und dann mittels automatisierter Messmethoden das Vorhandensein dieser Marker zu überwachen. Die hierfür erforderliche Präparierung ist sehr teuer, mühsam und auch fehlerträchtig. Gerade im Bereich sicherheitskritischer Umgebungen können solche Nachteile nicht akzeptiert werden, da aufgrund der hohen Kosten die Überprüfungen diese dann teilweise nicht stattfinden, wenn sie nicht zwingend vorgeschrieben sind.Known is the surveillance from to be tested Environments, such as nuclear power plants, with high manual Effort. It is about it also known to be tested Environments with special markers or other modifications too prepare and then by automated measuring methods the presence to monitor this marker. The one for this required preparation is very expensive, tedious and also error prone. Especially in the field of safety-critical environments, such Disadvantages are not accepted because of the high cost the checks then partially not take place, if not mandatory are.

Aus der Veröffentlichung „Biber, P. et al.: 3D Modeling of Indoor Environments for a Robotic Security Guard. Proceedings of the 2005 IEEE Computer Societey Conference an Computer Vision and Pattern Recognition (CVPR, 05)” ist ein zur Umgebungsüberwachung geeignetes Verfahren bekannt, bei welchem Sensormesswerte innerhalb einer Umgebung erfasst werden und ein Modell der Umgebung erstellt und abgespeichert wird.Out the publication "Beaver, P. et al .: 3D Modeling of Indoor Environments for a Robotic Security Guard. Proceedings of the 2005 IEEE Computer Societey Conference Computer Vision and Pattern Recognition (CVPR, 05) "is a for environmental monitoring suitable method known in which sensor readings within an environment and create a model of the environment and is stored.

Aus der US-Patentschrift US 6,018,696 ist die Lokalisierung eines Sensors in einem Umgebungsmodell unter Berücksichtigung von Sensormesswerten bekannt.From the US patent US 6,018,696 is the localization of a sensor in an environment model, taking into account sensor readings known.

Mit der Erfindung soll ein Verfahren und eine Vorrichtung zum sensorbasierten Überwachen einer Umgebung bereitgestellt werden, wodurch die Überwachung unpräparierter und insbesondere auch sehr großer, beispielsweise mehrere tausend Quadratmeter großer Umgebungen ermöglicht ist.With The invention is a method and an apparatus for sensor-based monitoring be provided to an environment, thereby monitoring unprepared and especially very big, For example, several thousand square meters of environments is possible.

Erfindungsgemäß ist hierzu ein Verfahren zum sensorbasierten Überwachen eines Istzustandes einer Umgebung unter Berücksichtigung eines Sollzustandes der Umgebung bereitgestellt, bei dem folgende Schritte vorgesehen sind:
Erfassen von Sensormesswerten mit wenigstens einem Sensor,
Lokalisieren des Sensors und/oder der Sensormesswerte innerhalb der Umgebung unter Berücksichtigung eines abgespeicherten Modells der Umgebung und Erstellen von Lokalisierungsdaten,
Erstellen von simulierten Messwerten unter Berücksichtigung der Lokalisierungsdaten und des abgespeicherten Modells und
Vergleichen der simulierten Messwerte und der mittels des wenigstens einen Sensors erfassten Messwerte.According to the invention, a method is provided for the sensor-based monitoring of an actual state of an environment, taking into account a desired state of the environment, in which the following steps are provided:
Detecting sensor readings with at least one sensor,
Localizing the sensor and / or the sensor readings within the environment, taking into account a stored model of the environment and creating localization data,
Creation of simulated measured values taking into account the localization data and the stored model and
Compare the simulated measured values and the measured values recorded by means of the at least one sensor.

Erfindungsgemäß wird die gestellte Aufgabe somit dadurch gelöst, dass eine Umgebung mittels Sensoren insbesondere kontinuierlich abgetastet wird und dann der Sensor oder die Sensormesswerte lokalisiert werden. Die Sensormesswerte beschreiben den Istzustand der Umgebung und werden dann simuliert, und zwar unter Berücksichtigung der Lokalisierungsdaten und des abgespeicherten Modells und, falls erforderlich, abgespeicherter Daten über die Sensoren selbst. Man erhält dadurch eine Simulation oder Abbildung der Sensormesswerte, wie diese beschaffen sein müssten, wenn sich die Umgebung im Sollzustand befände. Die simulierten Messwerte und die Sensormesswerte werden dann miteinander verglichen, um eventuelle Veränderungen der Umgebung, entsprechend Abweichungen des Istzustandes vom Sollzustand, zu ermitteln. Durch den Lokalisierungsschritt ist der Vergleich sehr großer und vor allem nicht präparierter Umgebungen möglich, da die Lokalisierung des Sensors oder der Sensormesswerte über das abgespeicherte Modell Z1 der Umgebung, das beispielsweise eine geografische Karte sein kann, erfolgt. Dadurch ist der Vergleich von Sensormessdaten mit simulierten Messdaten an bzw. von einem beliebigen Ort der Umgebung möglich und im Unterschied zum Stand der Technik eben nicht nur ein Vergleich vorher präparierter Stellen der Umgebung. Der Begriff Umgebung schließt aber auch Objekte ein, insbesondere bewegliche Objekte wie Flugzeuge, Schiffe und dergleichen, deren Istzustand überwacht werden soll.According to the invention posed task thus solved by an environment using sensors in particular continuously scanned and then the sensor or the sensor readings are located. The sensor readings describe the actual state of the environment and are then simulated, under consideration the location data and the stored model and, if so required, stored data about the sensors themselves. Man receives thereby simulating or imaging the sensor readings, such as they had to be if the environment was in the desired state. The simulated measured values and the sensor readings are then compared to each other changes the environment, according to deviations of the actual state from the nominal state, to investigate. The localization step is the comparison very big and above all not prepared Environments possible, because the location of the sensor or the sensor readings on the stored model Z1 of the environment, for example, a geographical Card can be done. This is the comparison of sensor measurement data with simulated measurement data to or from any location of the environment possible and unlike the prior art just not just a comparison previously prepared Setting the environment. The term environment closes however objects, especially moving objects such as airplanes, Ships and the like whose actual state is to be monitored.

Indem die Messdaten unter Berücksichtigung der Lokalisierungsdaten und des abgespeicherten Modells simuliert werden, müssen lediglich Kenntnisse über den Sensor und Kenntnisse über den Sollzustand der Umgebung, nämlich das Modell Z1, vorgehalten werden. Es ist aber beispielsweise nicht erforderlich, Sensormesswerte des Sollzustandes abzuspeichern und vorzuhalten. Das Modell Z1 repräsentiert dadurch nicht den Sollzustand der Sensormesswerte, sondern den Sollzustand der Umgebung. Das Modell kann typischerweise räumliche Abmessungen im Sinne einer geographischen Karte oder eines CAD-Modells, eines Netzes oder einer Punktwolke enthalten, beispielsweise aber auch Temperaturen, Gaskonzentrationen oder dergleichen an vorbestimmten räumlichen Orten. Das Modell muss in einer Form vorliegen, dass sich daraus eine simulierte Sensoraufnahme zu einem gegebenen Zeitpunkt errechnen lässt. Das Modell Z1 kann beispielsweise während eines ersten Durchlaufs durch die Umgebung erstellt werden.By doing the measured data under consideration of the localization data and the stored model Need to become only knowledge about the sensor and knowledge about the Target state of the environment, namely the model Z1, be kept. It is not, for example necessary to store sensor measured values of the nominal state and reproach. The model Z1 represents not the nominal state of the sensor measured values, but the desired state the environment. The model can typically have spatial dimensions in the sense a geographic map or a CAD model, a network or a point cloud, for example, but also temperatures, Gas concentrations or the like at predetermined spatial Places. The model must be in a form that derives from it calculate a simulated sensor image at a given time leaves. For example, the model Z1 may be during a first pass be created by the environment.

Weitere Vorteile der Erfindung sind, dass keine Kalibrierung von Sensorpositionen und Orientierungen erforderlich ist, wie dies der Fall wäre, wenn Sollwerte für die Sensormesswerte abgespeichert wären und für den Vergleich herangezogen würden. Die Simulation der Messwerte bringt beispielsweise den Vorteil, dass Sensorrauschen auch in der Si mulation berücksichtigt ist. Es ist darüber hinaus möglich, Umgebungen mit lediglich einem einzigen Sensor, beispielsweise einem 2-D- oder 3-D-Scanner abzutasten, die sonst nur mit einer sehr hohen Anzahl von Sensoren vollständig erfasst werden könnten. Darüber hinaus können mit dem erfindungsgemäßen Verfahren nach jedem Vergleichsschritt sofort Unterschiede festgestellt und ausgegeben werden. Es ist dadurch beispielsweise möglich, schon während des Durchlaufs durch eine Umgebung Unterschiede zum Sollzustand auszugeben und auszuwerten. Die Erfindung bietet somit eine kostengünstige, teil- oder vollautomatisierte und schnelle Lösung mit geringer Fehleranfälligkeit. Es kann beispielsweise spezielle Sensorik rein zur Lokalisierung und, je nach Anwendungsfall, verschiedenartigste weitere Sensorik zum Vergleich mit dem Modell Z1 verwendet werden. Alternativ werden Sensordaten sowohl zum Lokalisieren als auch zum Vergleichen verwendet.Further advantages of the invention are that no calibration of sensor positions and orientations is required, as would be the case if setpoint values for the sensor measured values are stored would be used for the comparison. The simulation of the measured values has the advantage, for example, that sensor noise is also taken into account in the simulation. It is also possible to scan environments with only a single sensor, such as a 2-D or 3-D scanner, which would otherwise be completely detectable only with a very large number of sensors. In addition, differences can be detected and output immediately after every comparison step with the method according to the invention. This makes it possible, for example, to output and evaluate differences to the desired state during the passage through an environment. The invention thus provides a cost effective, partially or fully automated and fast solution with low error rate. For example, special sensors can be used purely for localization and, depending on the application, a wide variety of other sensors for comparison with the model Z1. Alternatively, sensor data is used for both locating and comparing.

In Weiterbildung der Erfindung werden in einer Vergleichseinheit ermittelte Unterschiede zwischen den simulierten Messwerten und den mittels des wenigstens einen Sensors erfassten Messwerten ausgegeben.In Development of the invention are determined in a comparison unit Differences between the simulated measured values and those using the at least one sensor detected measured values output.

Beispielsweise können die Unterschiede grafisch ausgegeben werden, beispielsweise durch Einzeichnen der ermittelten Unterschiede in eine Darstellung des Sollzustandes der Umgebung. Ein Bediener kann dadurch unmittelbar erkennen, wo Veränderungen an der Umgebung aufgetreten sind. Darüber hinaus können beispielsweise akustische Signale beim Auftreten von Veränderungen ausgegeben werden.For example can the differences are displayed graphically, for example by drawing the determined differences in a representation of the desired state the environment. An operator can thereby immediately recognize where changes occurred on the environment. In addition, for example acoustic signals are emitted when changes occur.

In Weiterbildung der Erfindung werden mehrere Sensoren für die Erfassung von Sensormesswerten verwendet, wobei beim Simulieren in der Simulationseinheit für alle Sensoren simulierte Messwerte erstellt werden und beim Vergleichen in der Vergleichseinheit ein Einzelvergleich der von jedem Sensor erfassten Sensormesswerte und der für diesen Sensor simulierten Messwerte und/oder ein Vergleich kombinierter erfasster Sensormesswerte und kombinierter simulierter Messwerte erfolgt.In Further development of the invention, several sensors for the detection used by sensor readings, wherein when simulating in the simulation unit for all Sensors simulated readings are created and comparing in the comparison unit a single comparison of each sensor measured sensor readings and simulated for this sensor Measured values and / or a comparison of combined sensed sensor readings and combined simulated readings.

Auf diese Weise können bei der Ermittlung von Unterschieden die Korrelationen verschiedener Sensoren untereinander in Form von Gewichtungen verwendet werden.On this way you can in determining differences, the correlations of different sensors be used with each other in the form of weights.

In Weiterbildung der Erfindung werden die Ergebnisse der Vergleichseinheit in mehrere Klassen klassifiziert, insbesondere unverändert, größer als Sollwert oder kleiner als Sollwert, und/oder durch Ausgeben eines Konfidenzwerts klassifiziert, insbesondere einer Wahrscheinlichkeit für die Klassifizierung in eine Klasse.In Further development of the invention are the results of the comparison unit classified into several classes, in particular unchanged, greater than setpoint or less than the setpoint, and / or by outputting a confidence value classified, in particular a probability of classification in a class.

Auf diese Weise lässt sich das Vergleichsergebnis differenziert bewerten. Besonders die Ausgabe eines Konfidenzwertes erleichtert die Beurteilung des Vergleichsergebnisses, sei es, dass diese Beurteilung durch einen Bediener oder automatisiert erfolgt, erheblich. Beispielsweise wird ein Konfidenzwert ausgegeben, dass ein Sensormesswert oder eine einen Bereich der Umgebung repräsentierende Menge an Sensormesswerten zu 20% geändert und zu 80% unverändert sind.On that way evaluate the comparison result differentiated. Especially the Output of a confidence value facilitates the assessment of the comparison result, be it that this assessment is automated by an operator or done, considerably. For example, a confidence value is output, that is, a sensor reading or an amount representing an area of the environment changed to 20% on sensor readings and 80% unchanged are.

In Weiterbildung der Erfindung erfolgt die Lokalisierung durch Auswerten der Sensormesswerte in der Lokalisierungseinheit.In Development of the invention, the localization is carried out by evaluation the sensor readings in the localization unit.

Auf diese Weise werden die Sensormesswerte sowohl zur Lokalisierung in Bezug auf den gegebenen Zustand als auch zum Erkennen von Unterschieden verwendet, entsprechend für die Lokalisierung und für den Vergleich mit den simulierten Messwerten. Separate Navigationssensoren sind demgemäß nicht unbedingt erforderlich, da eine Lokalisierung mit für das erfindungsgemäße Verfahren ausreichender Genauigkeit be reits durch die Sensormesswerte erfolgen kann. Beispielsweise werden mittels eines Laserscanners Abstände vom Ort des Scanners zu Zimmerwänden erfasst. Aufgrund der erfassten Abstände kann der Sensor dann unter Zuhilfenahme des abgespeicherten Modells des Zimmers innerhalb des Zimmers lokalisiert werden.On This way, the sensor readings become both localized in relation to the given state as well as for recognizing differences used accordingly for the localization and for the comparison with the simulated measured values. Separate navigation sensors are not accordingly absolutely necessary, since a localization with for the inventive method sufficient accuracy is already provided by the sensor readings can. For example, by means of a laser scanner distances from the Location of the scanner to room walls detected. Due to the detected distances, the sensor then under Using the stored model of the room within the Rooms are located.

In Weiterbildung der Erfindung wird beim Erstellen von simulierten Messwerten ein statistisches Modell der zu erwartenden Messwerte, insbesondere eine Wahrscheinlichkeitsdichtefunktion der zu erwartenden Messwerte, ausgegeben.In Further development of the invention will be simulated when creating Measured values a statistical model of the expected measured values, in particular a probability density function of the expected Measured values, output.

Indem ein statistisches Modell der zu erwartenden Messwerte ausgegeben wird, können Toleranzen ausgeglichen werden, beispielsweise Toleranzen oder Unsicherheiten bei der Lokalisierung des Sensors und/oder der Sensormesswerte oder Toleranzen oder Ungenauigkeiten in der abgespeicherten Karte. Dazu wird das Modell Z1 über die geometrische Beschreibung hinausgehend durch eine Wahrscheinlichkeitsdichtefunktion repräsentiert, aus der sich ein statistisches Modell für die erwarteten Sensormesswerte ableiten lässt, beispielsweise in Form eines Erwartungswertes und einer Varianz oder aber auch durch eine nichtparametrische Verteilung. Bespielsweise wird diese Verteilung durch ihren Wert an Stützstellen repräsentiert.By doing issued a statistical model of the expected measurements will, can Tolerances are compensated, such as tolerances or uncertainties in locating the sensor and / or sensor readings or tolerances or inaccuracies in the stored map. This will be the Model Z1 over the geometric description going beyond a probability density function represents which is a statistical model of the expected sensor readings can be deduced for example in the form of an expected value and a variance or else by a nonparametric distribution. recordable manner this distribution is represented by its value at nodes.

In Weiterbildung der Erfindung werden wenigstens die Schritte des Erfassens von Sensormesswerten, des Lokalisierens der Sensormesswerte, des Simulierens von Messwerten und des Vergleichens von Sensormesswerten und simulierten Messwerten fortlaufend automatisiert für unterschiedliche Sensorpositionen in der Umgebung durchgeführt.In a development of the invention, at least the steps of acquiring sensor measured values, localizing the sensor measured values, simulating measured values and comparing Sensor values and simulated measured values are continuously automated for different sensor positions in the environment.

Durch diese Maßnahmen kann der Istzustand einer Umgebung fortlaufend erfasst werden. Durch geeignete Weiterverarbeitung des Ver gleichsergebnisses kann beispielsweise auch automatisiert ein Alarm ausgegeben werden, wenn größere Veränderungen aufgetreten sind.By these measures The current status of an environment can be recorded continuously. By suitable further processing of the comparison result can, for example Also, an alarm can be automatically issued when major changes occur appeared.

In Weiterbildung der Erfindung sind die Schritte des Erfassens, des Lokalisierens und des Vergleichens in Abhängigkeit eines Vergleichsergebnisses veränderbar.In Development of the invention are the steps of detecting the Localizing and comparing depending on a comparison result variable.

Beispielsweise können bei großen festgestellten Unterschieden Erfassung und Vergleich mehrfach oder mit höherer Präzision oder auch an wenig voneinander beabstandeten Sensorpositionen durchgeführt werden, um eine höhere Sicherheit für das letztendlich ausgegebene Vergleichsergebnisses zu erhalten. Darüber hinaus kann beispielsweise auch eine häufigere Messung an kritischen Positionen, insbesondere vordefinierter Gefahrenzonen, Gefahrenzeiten oder in Abhängigkeit sonstiger Prioritäten vorgesehen sein.For example can at big detected differences detection and comparison multiple times or with higher precision or at slightly spaced sensor positions are performed, to a higher one Security for that to receive the final result of the comparison. Furthermore For example, a more common Measurement at critical positions, in particular predefined danger zones, danger times or depending other priorities be provided.

In Weiterbildung der Erfindung erfolgt das Ausgeben von in der Vergleichseinheit ermittelten Unterschieden zwischen den simulierten Messwerten und den mittels des wenigstens einen Sensors erfassten Sensormesswerten durch Projizieren der simulierten Messwerte und/oder der ermittelten Unterschiede in den Raum, insbesondere auf die in der Lokalisierungseinheit ermittelte Position der Sensormesswerte.In Development of the invention, the output of in the comparison unit determined differences between the simulated measured values and the sensed by the at least one sensor measured values by projecting the simulated measured values and / or the determined Differences in space, especially in the localization unit determined position of the sensor measured values.

Durch diese Maßnahmen wird die Bewertung von festgestellten Unterschieden durch einen Bediener ganz erheblich erleichtert. Beispielsweise kann die Abbildung eines Gegenstandes, dessen Fehlen in einem Raum mittels des erfindungsgemäßen Verfahrens festgestellt wurde, auf die Stelle im Raum projiziert werden, an der der Gegenstand sich im Sollzustand befindet. Auf diese Weise kann ein Bediener in besonders einfacher Weise feststellen, wo im Raum Unterschiede des Istzustandes zum Sollzustand ermittelt wurden. Eine solche Projektion kann in den Raum hinein, beispielsweise aber auch in eine Brille hinein erfolgen, die ein Bediener während des Überwachungsvorgangs trägt. Für die Projektion kann beispielsweise ein Beamer verwendet werden.By these measures is the evaluation of detected differences by an operator considerably relieved. For example, the illustration of a Item whose absence in a room by means of the method according to the invention was determined to be projected onto the spot in space the object is in nominal condition. In this way an operator can determine in a particularly simple way where in the Room Differences of the actual state to the desired state were determined. Such a projection can enter the room, for example Also be done in a pair of glasses that an operator during the monitoring process wearing. For the Projection, for example, a projector can be used.

Das der Erfindung zugrundeliegende Problem wird auch durch eine Vorrichtung zum sensorbasierten Überwachen eines Istzustandes einer Umgebung unter Berücksichtigung eines Sollzustandes der Umgebung, insbesondere zum Durchführen des erfindungsgemäßen Verfahrens, gelöst, die eine Messeinheit mit wenigstens einem Sensor zum Erfassen von Sensormesswerten, eine Lokalisierungseinheit zum Lokalisieren des Sensors und/oder der Sensormesswerte innerhalb der Umgebung unter Berücksichtigung eines abgespeicherten Modells der Umgebung, eine Simulationseinheit zum Erstellen von simulierten Messwerten unter Berücksichtigung der Lokalisierungsdaten und des abgespeicherten Modells und eine Vergleichseinheit zum Vergleichen der simulierten Messwerte und der Sensormesswerte aufweist. Vorteilhafterweise kann eine Ausgabeeinheit zum Ausgeben von in der Vergleichseinheit ermittelten Unterschieden zwischen den simulierten Messwerten und den Sensormesswerten vorgesehen sein.The The problem underlying the invention is also due to a device for sensor-based monitoring an actual state of an environment taking into account a desired state of the Environment, in particular for carrying out the method according to the invention, solved, the one measuring unit with at least one sensor for detecting Sensor readings, a localization unit for locating the Taking into account sensors and / or sensor readings within the environment a stored model of the environment, a simulation unit to create simulated readings taking into account the Location data and the stored model and a comparison unit for comparing the simulated measured values and the sensor measured values having. Advantageously, an output unit for outputting of differences determined in the comparison unit between be provided to the simulated measured values and the sensor measured values.

Eine solche Vorrichtung ermöglicht es schon mit einem oder nur wenigen Sensoren eine große, nicht präparierte Umgebung auf Abweichungen des Istzustandes vom Sollzustand hin zu überprüfen. Ein erheblicher Vorteil der erfindungsgemäßen Vorrichtung besteht darin, dass lediglich ein Modell, beispielsweise eine Karte, der zu überwachenden Umgebung und gegebenenfalls Eigenschaften des verwendeten Sensors vorgehalten werden müssen, nicht aber detaillierte Sollwerte für mögliche Sensormesswerte. Das Modell muss dabei lediglich so viele Informationen enthalten, dass einerseits eine Lokalisierung des Sensors und/oder der Sensormesswerte und andererseits eine Simulation der Messwerte möglich ist. Insbesondere vorteilhaft ist es, wenn das Modell bei einem ersten Durchlauf der Vorrichtung durch eine zu überwachende Umgebung erstellt wird. Es wird also nicht in einem weiteren Durchlauf eine neue Karte aufgebaut und dann diese Karte mit dem Modell Z1 im Modellraum verglichen, sondern der Vergleich findet im Raum der Sensormesswerte statt.A such device allows it already a large, not with one or only a few sensors groomed Check environment for deviations of the actual state from the nominal state. A considerable one Advantage of the device according to the invention is that only one model, such as a map, the one to be monitored Environment and, where appropriate, properties of the sensor used not have to be kept but detailed setpoints for possible Sensor readings. The model just has so much information contain, on the one hand, a localization of the sensor and / or the sensor measured values and on the other hand a simulation of the measured values is possible. It is particularly advantageous if the model at a first Passage of the device created by an environment to be monitored becomes. It will not be in another pass a new card and then compared this map with model Z1 in model space, but the comparison takes place in the area of the sensor measured values.

In Weiterbildung der Erfindung weist die Vorrichtung eine mobile Basis auf.In Development of the invention, the device has a mobile base on.

Die mobile Basis kann beispielsweise fahrbar oder tragbar sein und mittels eines Wagens realisiert sein. Es ist aber beispielsweise auch möglich, die erfindungsgemäße Vorrichtung in einem leicht tragbaren Gehäuse, ähnlich einem Mobiltelefon, zu integrieren. Anstatt die mobile Basis zu verfahren, hält man das tragbare Gehäuse in Richtung des zu prüfenden Objektes an der zu prüfenden Stelle. In einer Anzeigeinheit im tragbaren Gehäuse können dann eventuell ermittelte Unterschiede vom Istzustand zum Sollzustand angezeigt werden.The mobile base can be mobile or portable and by means of, for example be realized of a car. But it is also possible, for example, the inventive device in an easily portable case, similar to one Mobile phone, integrate. Instead of moving the mobile base, you keep that portable housing in the direction of the test Object at the to be tested Job. In a display unit in the portable housing can then possibly determined Differences from the actual state to the nominal state are displayed.

In Weiterbildung der Erfindung ist die mobile Basis mit Aktuatoren, insbesondere Antriebsmotoren versehen, die eine selbständige Fortbewegung der Basis ermöglichen.In Further development of the invention is the mobile base with actuators, In particular, drive motors provided, the autonomous locomotion enable the base.

Auf diese Weise ist die wenigstens teilautomatisierte Überwachung von zu prüfenden Umgebungen möglich, beispielsweise dadurch, dass die Vorrichtung einen selbsttätig fahrenden Wagen aufweist, der sich durch eine zu prüfende Umgebung bewegt. Die mobile Basis kann entweder lediglich die Sensoren zum Erfassen von Sensormesswerten aufweisen oder auch die vollständige erfindungsgemäße Vorrichtung. Je nachdem werden dann lediglich die erfassten Sensormesswerte von der mobilen Basis zu den dann beispielsweise stationären weiteren Einheiten der erfindungsgemäßen Vorrichtung übertragen oder lediglich das ermittelte Vergleichsergebnis wird an eine stationäre Überwachungsstation übertragen.In this way, the at least teilauto matisierte monitoring of environments to be tested possible, for example, characterized in that the device comprises a self-propelled car, which moves through an environment to be tested. The mobile base can either have only the sensors for detecting sensor measured values or also the complete device according to the invention. Depending on this, only the detected sensor measured values are transmitted from the mobile base to the then, for example, stationary further units of the device according to the invention, or merely the determined comparison result is transmitted to a stationary monitoring station.

In Weiterbildung der Erfindung ist eine Navigationseinheit vorgesehen, die die Aktuatoren ansteuert, wobei die Ansteuerung in Abhängigkeit der Erfassung von Sensormesswerten in der Messeinheit und/oder in Abhängigkeit des Vergleichsergebnisses in der Vergleichseinheit erfolgt.In Development of the invention, a navigation unit is provided, which drives the actuators, wherein the control in dependence the acquisition of sensor readings in the measuring unit and / or in dependence of the comparison result in the comparison unit.

Beispielsweise kann die mobile Basis erst dann weiter fahren, wenn alle Sensormesswerte erfasst sind. Auch kann die mobile Basis an kritischen Stellen langsamer fahren oder öfters anhalten, um mehr Messwerte erfassen zu können. Werden beispielsweise Unterschiede des Istzustandes zum Sollzustand ermittelt, kann eine geeignete Sensorposition erneut angefahren werden, um das ermittelte Vergleichsergebnis abzusichern.For example the mobile base can not continue until all sensor readings are recorded. Also, the mobile base at critical points slower drive or more often stop to capture more readings. For example Differences between the actual state and the desired state can be determined by a Appropriate sensor position can be approached again to the determined To secure the comparison result.

In Weiterbildung der Erfindung ist die zu überwachende Umgebung wenigstens teilweise durch ein in einem Bezugskoordinatensystem bewegliches Objekt gebildet und wenigstens eine erste Messeinheit ist gemeinsam mit dem Objekt beweglich angeordnet und wenigstens eine zweite Messeinheit ist nicht gemeinsam mit dem Objekt beweglich angeordnet.In Development of the invention is the environment to be monitored at least partly by a movable in a reference coordinate system Object formed and at least a first measuring unit is common movably arranged with the object and at least one second measuring unit is not arranged together with the object movable.

Indem also ein Teil der Sensorik nicht in eine bewegliche Plattform integriert ist und stattdessen das zu untersuchende Objekt auf einer beweglichen Plattform bzw. die Plattform am zu untersuchenden Objekt befestigt ist, lässt sich das erfindungsgemäße Verfahren auch zur Überwachung von Objekten einsetzen, bei denen es gerade in räumlich engen Umgebungen vorteilhaft ist, anstatt der Sensorik das Objekt selbst zu bewegen. Die bewegliche Plattform mit dem Objekt wird mittels der Sensoren der ersten Messeinheit lokalisiert und bewegt sich im Sichtfeld der Sensoren der zweiten Messeinheit. Mittels der Sensoren der ersten Messeinheit kann eine Lokalisierung der beweglichen Plattform mit dem Objekt erfolgen und darüber hinaus können die Daten dieser Sensoren gegebenenfalls zusätzlich für den Vergleich mit dem Sollzustand herangezogen werden. Die Sensoren der zweiten Messeinheit dienen primär zum Erfassen des Istzustandes, der dann mit dem abgespeicherten Sollzustand des Modells Z1 verglichen wird. In diesem Fall besteht das Modell Z1 aus zwei Teilen, nämlich einerseits dem Modell des zu überwachenden Objektes und andererseits dem Modell der Umgebung, in der die zweite Messeinheit unbeweglich montiert ist und in der sich die bewegliche Plattform mit dem Objekt bewegt. Das Modell der Umgebung kann beispielsweise aus einem zweidimensionalen Grundriss oder einem dreidimensionalen Modell dieser Umgebung bestehen. Die bewegliche Plattform mit dem Objekt bewegt sich dann innerhalb des Sichtbereichs der zweiten Messeinheit. In der Simulationseinheit wird dann das Objekt aus Sicht der Sensoren der zweiten Messeinheit, beispielsweise einer Kamera, gerendert. Hierbei werden sowohl die Lokalisierungsdaten relativ zur Umgebung und von der Umgebung zur Kamera verwendet und mit der aktuellen Sicht, also den aktuell aufgenommenen Sensordaten verglichen. Als Sensoren können eine Kamera oder mehrere Kameras oder auch andere Sensoren installiert werden, die das Objekt wenigstens teilweise gleichzeitig aus verschiedenen Blickwinkeln abtasten. Auf diese Weise kann der Vergleich auch beschleunigt werden.By doing So some of the sensors are not integrated into a mobile platform is and instead the object to be examined on a moving platform or the platform is attached to the object to be examined, can be the inventive method also for monitoring use of objects where it is particularly advantageous in confined spaces is to move the object itself instead of the sensors. The mobile one Platform with the object is determined by the sensors of the first measuring unit located and moves in the field of view of the sensors of the second Measurement unit. By means of the sensors of the first measuring unit, a Localization of the movable platform with the object done and above can out If necessary, the data of these sensors additionally for comparison with the nominal state be used. The sensors of the second measuring unit serve primarily for Detecting the actual state, which then with the stored nominal state of the model Z1 is compared. In this case, the model exists Z1 consists of two parts, namely on the one hand the model of the monitored Object and on the other hand the model of the environment in which the second Measuring unit is immovably mounted and in which the movable platform moved with the object. The model of the environment can be, for example from a two-dimensional floor plan or a three-dimensional Model of this environment exist. The mobile platform with the Object then moves within the field of vision of the second Measurement unit. In the simulation unit, the object then becomes visible the sensors of the second measuring unit, for example a camera, rendered. Here, both the localization data become relative used to the environment and from the environment to the camera and with the current view, ie compared to the currently recorded sensor data. As sensors can a camera or multiple cameras or other sensors installed be at least partially simultaneously different from the object Scan angles. In this way, the comparison can also be accelerated become.

In Weiterbildung der Erfindung ist die zweite Messeinheit relativ zu dem Bezugskoordinatensystem unbeweglich angeordnet.In Further development of the invention is the second measuring unit relative to arranged immovably to the reference coordinate system.

In Weiterbildung der Erfindung ist die zweite Messeinheit relativ zu dem Bezugskoordinatensystem beweglich angeordnet und weist Sensoren zur Lokalisierung auf.In Further development of the invention is the second measuring unit relative to the reference coordinate system arranged movable and has sensors for localization.

Auf diese Weise kann auch die zweite Messeinheit auf einer eigenen beweglichen Plattform angeordnet werden, die eine eigene Lokalisierungseinheit besitzt oder in jedem Fall Sensormesswerte erfasst, die zur Lokalisierung dieser beweglichen Plattform verwendet werden können. Auch die weitere bewegliche Plattform mit der zweiten Messeinheit wird somit zunächst im Modell Z1 lokalisiert, so dass dann, analog zu den bereits beschriebenen Ausführungsbeispielen, eine synthetische Kamera- oder Sensoraufnahme aus Sicht der aktuellen Position der beweglichen Plattform mit der zweiten Messeinheit erstellt und mit der aktuellen Aufnahme des Istzustandes verglichen werden kann.On This way, the second measuring unit can also move on its own Platform can be arranged, which has its own localization unit or, in any case, sensory readings collected for localization This mobile platform can be used. Also the other moving Platform with the second measuring unit is thus initially in the Model Z1 localized, so that then, analogous to those already described Embodiments, a synthetic camera or sensor recording from the perspective of the current Position of the movable platform created with the second measuring unit and compared with the current recording of the actual state can.

Alternativ zur Anordnung von Sensoren auf einer weiteren beweglichen Plattform können beispielsweise Kameras auch beweglich, auf einer Schwenk-Neige-Einrichtung angeordnet werden, wobei sie dann zweckmäßigerweise aufgrund entsprechender Sensorik (Encoder) dennoch immer eine kalibrierte Position aufweisen, da die Sensorik der Schwenk-Neige-Einrichtung immer eine Rückmeldung über die gerade aktuelle Position der Kamera oder der Sensoren liefert. Auf diese Weise können die Vorteile einer beweglichen Sensorik, die eine zu untersuchende Umgebung oder ein zu untersuchendes Objekt aus verschiedenen Blickwinkeln betrachten kann, genutzt werden, ohne dass ein separater Lokalisierungsschritt zur Lokalisierung der Kamera oder der Sensoren erforderlich wäre.Alternatively to the arrangement of sensors on a further movable platform, for example, cameras can also be arranged movably on a pan-tilt device, whereby they expediently always have a calibrated position due to corresponding sensors (encoders), since the sensors of the pan-tilt Device always provides feedback on the current position of the camera or sensors. In this way, the advantages of a movable sensor system, the one to examining environment or object to be examined from different angles, without the need for a separate localization step to locate the camera or sensors.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus den Ansprüchen und der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung im Zusammenhang mit den Zeichnungen. Einzelmerkmale unterschiedlicher Ausführungsformen lassen sich dabei in beliebiger Weise miteinander kombinieren, ohne den Rahmen der Erfindung zu verlassen. In den Zeichnungen zeigen:Further Features and advantages of the invention will be apparent from the claims and the following description of preferred embodiments of the invention in connection with the drawings. Individual characteristics of different embodiments can be combined in any way, without to leave the scope of the invention. In the drawings show:

1 ein Blockschaltbild der erfindungsgemäßen Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens, 1 a block diagram of the device according to the invention for carrying out the method according to the invention,

2 eine Draufsicht auf eine erfindungsgemäße Vorrichtung, 2 a top view of a device according to the invention,

3 eine schematische Darstellung einer weiteren bevorzugten Ausführungsform der Erfindung und 3 a schematic representation of another preferred embodiment of the invention and

4 eine schematische Darstellung einer noch weiteren bevorzugten Ausführungsform der Erfindung. 4 a schematic representation of yet another preferred embodiment of the invention.

Die Darstellung der 1 zeigt eine Blockdarstellung einer erfindungsgemäßen Vorrichtung, wobei anhand der 1 auch das erfindungsgemäße Verfahren erläutert wird.The presentation of the 1 shows a block diagram of a device according to the invention, wherein based on the 1 the process according to the invention is also explained.

Gemäß dem Blockschaltbild der 1 weist die erfindungsgemäße Vorrichtung 10 eine Messeinheit 12, eine Lokalisierungseinheit 14, eine Simulationseinheit 16, eine Vergleichseinheit 18 und eine Ausgabeeinheit 20 auf. Die Lokalisierungseinheit 14 und die Simulationseinheit 16 haben Zugriff auf ein abgespeichertes Modell Z1, das Informationen über den Sollzustand der zu überwachenden Umgebung enthält. Mittels der Messeinheit 12 wird ein Istzustand Z2 der zu überwachenden Umgebung erfasst. Dieser Istzustand Z2 der tatsächlichen Umgebung soll mittels des erfindungsgemäßen Verfahrens überwacht werden und es wird angenommen, dass der Zustand Z2 zumindest während des Abtastens annähernd statisch ist Die Überwachung soll dahingehend erfolgen, dass festgestellt werden kann, ob gegenüber einem Sollzustand der Umgebung Veränderungen eingetreten sind. Der Sollzustand der Umgebung wird durch das Modell Z1 repräsentiert.According to the block diagram of 1 has the device according to the invention 10 a measurement unit 12 , a localization unit 14 , a simulation unit 16 , a comparison unit 18 and an output unit 20 on. The localization unit 14 and the simulation unit 16 have access to a stored model Z1, which contains information about the nominal state of the environment to be monitored. By means of the measuring unit 12 an actual state Z2 of the environment to be monitored is detected. This actual state Z2 of the actual environment is to be monitored by means of the method according to the invention and it is assumed that the state Z2 is at least approximately static during the sampling. The monitoring should take place in such a way that it can be determined whether changes have occurred with respect to a target state of the environment. The target state of the environment is represented by the model Z1.

Beispielsweise entspricht das Modell Z1 einer Karte mit räumlichen Informationen eines Gebäudes, das bedeutet die Lage der Wände, Türen, Einbauten, wie Schränke, Wandschilder und dergleichen. Treten nun gegenüber dem Sollzustand beim Istzustand Veränderungen auf, indem beispielsweise ein Schrank nicht an seinem ursprünglichen Platz steht oder eine Tür geöffnet ist, sollen diese Veränderungen durch das erfindungsgemäße Verfahren ermittelt werden.For example Model Z1 corresponds to a spatial information map building that means the location of the walls, doors, Fixtures, such as cabinets, Wall signs and the like. Now occur in relation to the nominal state of the actual state changes for example, by not putting a cupboard to its original one There is space or a door open is, should these changes by the method according to the invention be determined.

Zu diesem Zweck werden mittels der Messeinheit 12, die einen oder mehrere Sensoren aufweist, Sensormesswerte an mehreren räumlichen Positionen in der tatsächlichen Umgebung Z2 erfasst. Hierzu werden die Sensoren durch die tatsächliche Umgebung Z2 bewegt, es ist selbstverständlich aber auch möglich, dass sich die zu überwachende Umgebung Z2 bewegt und die Sensoren stillstehen. Die erfassten Sensormesswerte werden zum einen dazu verwendet, um in der Lokalisierungseinheit 14 die räumliche Position oder die räumlichen Positionen zu ermitteln, an denen die Sensormesswerte akquiriert wurden. Mit Lokalisierung ist hier gemeint, dass die Koordinaten für Position und Orientierung im Bezugssystem des Modells Z1 ermittelt werden. Sind die erfassten Sensormesswerte beispielsweise Abstandsdaten, so werden die ermittelten Abstände des Sensors von Begrenzungen des Gebäudes dazu verwendet, den Standort und die Ausrichtung des Sensors in dem Modell Z1 festzustellen.For this purpose, by means of the measuring unit 12 comprising one or more sensors, sensing sensor readings at a plurality of spatial locations in the actual environment Z2. For this purpose, the sensors are moved through the actual environment Z2, but it is of course also possible that the environment to be monitored Z2 moves and the sensors are stationary. The acquired sensor readings are used, on the one hand, in the localization unit 14 determine the spatial position or locations where the sensor readings were acquired. Localization means here that the coordinates for position and orientation are determined in the reference system of the model Z1. For example, if the sensed sensor readings are distance data, the detected distances of the sensor from boundaries of the building are used to determine the location and orientation of the sensor in the model Z1.

Die Lokalisierungseinheit 14 berechnet somit zu jedem Zeitpunkt die aktuelle Position und Orientierung der Sensoren der Messeinheit 12, die beispielsweise auf einer mobilen Plattform angeordnet sind. Hierzu werden sowohl die Sensormesswerte von der Messeinheit als auch das Modell Z1 verwendet. Die Sensormesswerte werden dabei mit dem Modell Z1 registriert, wobei das Modell Z1 als Approximation des aktuellen Istzustandes der Umgebung Z2 verwendet wird. Die Unterschiede zwi schen dem Istzustand und dem Modell Z1 dürfen dabei nicht so groß sein, dass keine Lokalisierung mehr möglich ist.The localization unit 14 calculates the current position and orientation of the sensors of the measuring unit at any time 12 For example, they are located on a mobile platform. Both the sensor readings from the measuring unit and the model Z1 are used for this purpose. The sensor measured values are registered with the model Z1, whereby the model Z1 is used as an approximation of the current actual state of the environment Z2. The differences between the actual state and the model Z1 must not be so great that localization is no longer possible.

Eine bevorzugte Ausführung der Erfindung weist beispielsweise in der Messeinheit 12 Sensoren zur Lokalisierung auf, beispielweise Sensoren zur Wegstreckenmessung, so dass ausgehend von einer bekannten Anfangsposition der aktuelle Standort der Sensoren bzw. der Messeinheit 12 stets grob bestimmt werden kann. Eine auf diese Weise ermittelte grobe Position wird als Anfangsschätzung für die Registrierung mit dem Modell Z1 verwendet. In diesem speziellen Fall wird mit der Lokalisierungseinheit 14 der Drift dieser Lokalisierungssensoren korrigiert.A preferred embodiment of the invention, for example, in the measuring unit 12 Sensors for localization, for example, sensors for distance measurement, so that starting from a known initial position of the current location of the sensors or the measuring unit 12 can always be roughly determined. A coarse position determined in this way is used as the initial estimate for registration with the model Z1. In this particular case, using the localization unit 14 corrected the drift of these localization sensors.

Die Lokalisierung in der Lokalisierungseinheit 14 ist aber auch ohne spezielle Sensoren zur Lokalisierung möglich, indem ausgehend von einer bekannten Anfangsposition fortlaufend Sensormesswerte mittels der Messeinheit 12 erfasst werden, beispielsweise Abstandsdaten, und diese Sensormesswerte dann zur Lokalisierung in der Lokalisierungseinheit 14 verwendet werden. Wie bereits ausgeführt wurde, wird das Modell Z1 als Approximation des aktuellen Zustandes der Umgebung Z2 verwendet und eventuelle Abweichungen werden in der Lokalisierungseinheit 14 aufgrund der verwendeten robusten Verfahren toleriert. Bekannte Verfahren zur Registrierung von Sensormesswerte in der Lokalisierungseinheit 14 sind in Peter Biber and Wolfgang Straßer, The Normal Distributions Transform: A New Approach to Laser Scan Matching, IEEE/RJS International Conference an Intelligent Robots and Systems, 2003” und in „Peter Biber, Sven Fleck and Wolfgang Straßer, A Probabilistic Framework for Robust and Accurate Matching of Point Clouds, 26th Pattern Recognition Symposium (DAGM 04), 2004”, beschrieben.The localization in the localization unit 14 but is also possible without special sensors for localization, starting from a known starting position continuously sensor readings by means of the measuring unit 12 for example, distance data, and then these sensor readings for localization in the location unit 14 be used. As already stated was model Z1 is used as an approximation of the current state of the environment Z2 and possible deviations are in the localization unit 14 tolerated due to the robust method used. Known methods for registering sensor readings in the localization unit 14 Peter Biber and Wolfgang Strasser, The Normal Distributions Transform: A New Approach to Laser Scanning Matching, IEEE / RJS International Conference to Intelligent Robots and Systems, 2003 and Peter Biber, Sven Fleck and Wolfgang Strasser, A Probabilistic Framework for Robust and Accurate Matching of Point Clouds, 26th Pattern Recognition Symposium (DAGM 04), 2004 ".

Nachdem mittels der Lokalisierungseinheit 14 die aktuelle Position und Orientierung der Sensoren der Messeinheit 12 ermittelt wurde, werden diese Lokalisierungsdaten mit der Position und der Orientierung der Sensoren der Messeinheit 12, beispielsweise die Position und Orientierung einer mobilen Plattform, an die Simulationseinheit 16 weitergegeben. Die Simulationseinheit 16 greift weiterhin auf das Modell Z1 zu. Für jeden Zeitpunkt oder für jede neue Position der Sensoren der Messeinheit 12 berechnet die Simulationseinheit 16 aus der aktuellen Position und Orientierung der Sensoren und dem Modell Z1 eine synthetische Sensoraufnahme für einen oder mehrere der in der Messeinheit 12 enthaltenen Sensoren. Am Beispiel eines Gebäudes, dessen Begrenzungen im Modell Z1 abgelegt sind und eines Abstandssensors in der Messeinheit 12 berechnet die Simulationseinheit 16 die Ausgabe eines Abstandssensors, der sich an der mittels der Lokalisierungseinheit 14 ermittelten aktuellen Position und Orientierung befindet. Wird beispielsweise ein zweidimensionaler Scanner mit 360° Erfassungswinkel verwendet, kann für mehrere Winkelstellungen, beispielsweise 360 um jeweils ein Grad verschobene Winkelstellungen, ein Abstand des Sensors von einer Gebäudebegrenzung oder von einem gemäß dem Modell Z1 in dem Gebäude befindlichen Gegenstand ermittelt. Diese mittels des Modells Z1 und den Lokalisierungsdaten ermittelten Abstände werden dann mit den tatsächlichen Abständen des Sensors der Messeinheit 12 von der jeweiligen Gebäudebegrenzung, entsprechend den Sensormessdaten, verglichen, wie sie an dieser Position ermittelt wurden. Im allgemeinen Fall werden die mittels der Simulationseinheit 16 simulierten, synthetischen Messwerte mit den mittels der Sensoren in der Messeinheit 12 erfassten Sensormesswerten verglichen. Sofern keine Änderungen der Umgebung zwischen Istzustand Z2 und Sollzustand Z1 vorliegen, entspricht die synthetische, simulierte Sensoraufnahme der tatsächlichen Sensoraufnahme im Rahmen des Sensorrauschens.After using the localization unit 14 the current position and orientation of the sensors of the measuring unit 12 was determined, this localization data with the position and orientation of the sensors of the measuring unit 12 For example, the position and orientation of a mobile platform to the simulation unit 16 passed. The simulation unit 16 continues to access the model Z1. For every moment or for every new position of the sensors of the measuring unit 12 calculates the simulation unit 16 from the current position and orientation of the sensors and the model Z1 a synthetic sensor receptacle for one or more of the in the measuring unit 12 contained sensors. The example of a building whose boundaries are stored in the model Z1 and a distance sensor in the measuring unit 12 calculates the simulation unit 16 the output of a distance sensor, which is connected to the localization unit 14 determined current position and orientation. If, for example, a two-dimensional scanner with a 360 ° detection angle is used, a distance of the sensor from a building boundary or from an object located according to the model Z1 in the building can be determined for several angular positions, for example 360 angular positions shifted by one degree. These distances determined by means of the model Z1 and the localization data are then compared with the actual distances of the sensor of the measuring unit 12 from the respective building boundary, according to the sensor measurement data, as determined at that location. In the general case, the means of the simulation unit 16 simulated, synthetic measured values with the means of the sensors in the measuring unit 12 compared sensor measured values. If there are no changes in the environment between actual state Z2 and target state Z1, the synthetic, simulated sensor recording corresponds to the actual sensor recording in the context of the sensor noise.

Der Vergleich zwischen der synthetischen Sensoraufnahme aus der Simulationseinheit 16 und den tatsächlich erfassten Sensordaten aus der Messeinheit 12 erfolgt in der Vergleichseinheit 18. Die Vergleichseinheit 18 erhält hierzu sowohl die in der Messeinheit 12 erfassten Sensordaten als auch die von der Simulationseinheit 16 simulierten, synthetischen Sensordaten. Das Ergebnis des Vergleichs wird an die Ausgabeeinheit 20 weitergegeben und dort, beispielsweise grafisch, ausgegeben. Die Vergleichseinheit 18 berechnet somit zu jedem Zeitpunkt den Unterschied zwischen der synthetischen Sensoraufnahme und der tatsächlichen Sensoraufnahme von der Messeinheit 12. Sie arbeitet somit in der Repräsentation jedes Sensors. Neben einem reinen Vergleich, entsprechend einem Ergebnis geändert oder nicht geändert, kann das Vergleichsergebnis von der Vergleichseinheit mit zusätzlichen Informationen wie einer Konfidenz oder einer weiter aufgeteilten Klassifizierung versehen werden. Eine solche weitere Klassifizierung wäre beispielsweise ein Vergleichsergebnis mit den Klassifizierungen „nicht geändert”, „weiter entfernt”, „weniger weit entfernt”, entsprechend den Ergebnissen ein Objekt ist „entfernt” oder „hinzugefügt” worden”.The comparison between the synthetic sensor recording from the simulation unit 16 and the actual sensed sensor data from the measuring unit 12 takes place in the comparison unit 18 , The comparison unit 18 receives for this both the in the measuring unit 12 captured sensor data as well as that of the simulation unit 16 simulated, synthetic sensor data. The result of the comparison is sent to the output unit 20 passed on and there, for example, graphically output. The comparison unit 18 thus calculates at any time the difference between the synthetic sensor pickup and the actual sensor pickup from the meter unit 12 , It works in the representation of each sensor. In addition to a pure comparison, changed or not changed according to a result, the comparison result of the comparison unit can be provided with additional information such as a confidence or a further divided classification. Such a further classification would be for example a comparison result with the classifications "not changed", "farther away", "less far away", according to the results an object has been "removed" or "added".

Die Simulationseinheit 16 liefert vorteilhafterweise ein statistisches Modell der zu erwartenden Sensordaten, beispielsweise eine Wahrscheinlichkeitsdichtefunktion. Das statistische Modell sollte z. B. aus einem Erwartungswert und eine Varianz bestehen oder z. B. aus einer nichtparametrischen Verteilung, die durch ihre Werte an Stützstellen gegeben ist. Durch die Ausgabe eines statistischen Modells mittels der Simulationseinheit 16 ist es dann möglich, in der Vergleichseinheit 18 einen Konfidenzwert für das Vergleichsergebnis anzugeben. Beispielsweise kann das Vergleichsergebnis eine Klassifizierung, entsprechend geändert oder nicht geändert und zusätzlich einen Konfidenzwert für jede Klassifizierung enthalten, beispielsweise zu 80% geändert, zu 20% nicht geändert.The simulation unit 16 advantageously provides a statistical model of the expected sensor data, for example a probability density function. The statistical model should be z. B. consist of an expected value and a variance or z. From a nonparametric distribution given by their values at nodes. By issuing a statistical model using the simulation unit 16 is it possible then in the comparison unit 18 specify a confidence value for the comparison result. For example, the comparison result may include a classification, whether changed or unmodified, and additionally containing a confidence value for each classification, for example, changed to 80%, not changed to 20%.

Indem bei dem erfindungsgemäßen Verfahren die Sensoraufnahme simuliert wird, kann beispielsweise ein Sensorrauschen mit berücksichtigt werden, wenn der Simulationseinheit 16 entsprechende Informationen über die Art der in der Messeinheit 12 verwendeten Sensoren vorliegen. Darüber hinaus ist ohne weiteres ersichtlich, dass das Modell Z1 lediglich so viele Informationen enthalten muss, wie zur Lokalisierung in der Lokalisierungseinheit 14 und zur Simulation in der Simulationseinheit 16 erforderlich sind. Das Modell Z1 muss aber beispielsweise keine Sollwerte für Sensorsignale enthalten, die dann mit Sensorsignalen der Sensoren aus der Messeinheit 12 verglichen werden. Stattdessen werden die Sensorsignale in der Simulationseinheit 16 simuliert, so dass die Sensoren der Messeinheit 12 nicht an vorher bestimmte, exakt definierte Punkte gebracht werden müssen, sondern in beliebiger Weise durch die Umgebung Z2 bewegt werden können.By simulating the sensor recording in the method according to the invention, for example, a sensor noise can be taken into account when the simulation unit 16 appropriate information about the type of in the measuring unit 12 used sensors are present. Moreover, it is readily apparent that the model Z1 only needs to contain as much information as it does for localization in the location unit 14 and for simulation in the simulation unit 16 required are. However, the model Z1 does not have to contain, for example, setpoint values for sensor signals, which then come with sensor signals from the sensors of the measuring unit 12 be compared. Instead, the sensor signals are in the simulation unit 16 simulated so that the sensors of the measuring unit 12 must not be brought to previously determined, precisely defined points, but can be moved in any way by the environment Z2.

Für die Überwachung einer Umgebung Z2 mit dem erfindungsgemäßen Verfahren muss diese Umgebung somit weder mittels Markern präpariert werden, deren Existenz dann abgefragt wird oder die zur Lokalisierung dienen, noch müssen die Überwachungssensoren der Messeinheit 12 an vorher exakt definierte Positionen gebracht werden, um die Überwachung zu ermöglichen.For the monitoring of an environment Z2 with the method according to the invention, therefore, this environment need not be prepared by means of markers whose existence is then interrogated or which serve for localization, nor must the monitoring sensors of the measuring unit 12 be brought to previously exactly defined positions to allow the monitoring.

Die Ausgabeeinheit 20 bereitet die Ergebnisse der Vergleichseinheit 18 auf, insbesondere textuell oder grafisch, und präsentiert sie dem Benutzer. Vorzugsweise erfolgt dies in Echtzeit während der Abtastung mittels der Messeinheit 12. Beispielsweise wird eine mobile Plattform mit der Messeinheit 12 durch ein zu überwachendes Gebäude bewegt. Einem Bediener, der mit der beweglichen Plattform mitläuft, kann dann mittels einer grafischen Ausgabe und gegebenenfalls zusätzlichen Audiosignalen signalisiert werden, wenn sich die zu überwachende Umgebung verändert hat. Es ist aber selbstverständlich auch möglich, das Vergleichs ergebnis der Vergleichseinheit 18 oder auch die Ausgabe der Ausgabeeinheit 20 von der mobilen Plattform zu einem außerhalb des Gebäudes stationierten Bediener zu übertragen. Bewegt sich ein Bediener mit der mobilen Plattform durch ein Gebäude, so kann die mobile Plattform beispielsweise auch als tragbares Gerät ausgebildet sein.The output unit 20 prepares the results of the comparison unit 18 on, in particular textually or graphically, and presents them to the user. This is preferably done in real time during the scanning by means of the measuring unit 12 , For example, a mobile platform with the measuring unit 12 moved through a building to be monitored. An operator who runs along with the mobile platform can then be signaled by means of a graphic output and possibly additional audio signals if the environment to be monitored has changed. It is of course also possible, the comparison result of the comparison unit 18 or also the output of the output unit 20 from the mobile platform to an operator stationed outside the building. For example, if an operator moves with the mobile platform through a building, the mobile platform may also be designed as a portable device.

Mittels der Ausgabeeinheit 20 kann das Vergleichsergebnis von der Vergleichseinheit 18 in verschiedenster Art und Weise dargestellt werden. Beispielsweise kann eine grafische Visualisierung erfolgen, bei der geschätzte Wahrscheinlichkeiten für eine aufgetretene Veränderung durch unterschiedliche Farben, Intensitäten oder Muster codiert dargestellt werden. Auch können beispielsweise unterschiedliche Klassifizierungen durch unterschiedliche Farben, Intensitäten oder Muster dargestellt werden, beispielsweise in der Art und Weise, dass lediglich als verändert erkannte Teile der Umgebung farblich hinterlegt dargestellt werden. Die Abbildungseinheit 20 kann spezialisierte Hardware, beispielsweise Grafikprozessoren, aufweisen.By means of the output unit 20 can the comparison result of the comparison unit 18 be presented in a variety of ways. For example, a graphical visualization can be performed in which estimated probabilities for a change that occurred have been coded by different colors, intensities or patterns. Also, for example, different classifications can be represented by different colors, intensities or patterns, for example in such a way that only parts of the environment that have been identified as being changed are represented in a color-coded manner. The imaging unit 20 may include specialized hardware, such as graphics processors.

Die Messeinheit 12 enthält einen oder mehrere Sensoren, beispielsweise einen Laserscanner, eine Stereokamera oder Streifenlichtsensoren, um eine Tiefenmessung zu ermöglichen. Die Messeinheit 12 kann darüber hinaus oder alternativ eine oder mehrere Kameras, beispielsweise Rundumkameras, eine oder mehrere Wärmebildkameras, ein oder mehrere Mikrofone, ein oder mehrere chemische Sensoren, insbesondere Gassensoren, und/oder einen oder mehrere X-Ray-Sensoren/Geigerzähler aufweisen. Die Art der verwendeten Sensoren ist prinzipiell unerheblich, solange zumindest ein Teil der erfassten Sensormesswerte im Zusammenspiel mit einem abgespeicherten, den Sollzustand repräsentierenden Modell Z1 eine Lokalisierung der Sensoren in einer zu überwachenden Umgebung Z2 ermöglicht. Wichtig ist weiterhin, dass sich synthetische Messwerte zudem für alle Sensoren erzeugen lassen, die in der Vergleichseinheit 18 verglichen werden.The measuring unit 12 includes one or more sensors, such as a laser scanner, a stereo camera, or strip light sensors to allow for depth measurement. The measuring unit 12 In addition, or alternatively, one or more cameras, for example all-round cameras, one or more thermal imaging cameras, one or more microphones, one or more chemical sensors, in particular gas sensors, and / or one or more X-ray sensors / Geiger counters. The type of sensors used is in principle irrelevant, as long as at least some of the detected sensor measured values, in interaction with a stored model Z1 representing the desired state, make it possible to localize the sensors in an environment Z2 to be monitored. It is also important that synthetic measured values can also be generated for all sensors in the comparison unit 18 be compared.

Es ist ohne weiteres einsichtig, dass dies nicht nur mit Abstandssensoren, sondern beispielsweise auch mit Temperatursensoren möglich ist, wenn ein entsprechendes Modell Z1 Temperaturwerte eines Sollzustandes enthält.It is quite clear that this is not only possible with distance sensors, but for example, with temperature sensors is possible, if a corresponding model Z1 temperature values of a nominal state contains.

Die Messeinheit 12, die Lokalisierungseinheit 14, die Simulationseinheit 16, die Vergleichseinheit 18 und die Ausgabeeinheit 20 können in einem Gehäuse integriert sein, beispielsweise in einem tragbaren Gehäuse in der Größe eines Mobiltelefons. Die Ausgabeeinheit 20 kann darüber hinaus Projektionseinrichtungen aufweisen, um das Vergleichsergebnis in den Raum hinein zu projizieren, so dass beispielsweise an die Stelle der Umgebung Z2, an der Veränderungen festgestellt wurden, Leuchtmarkierungen projiziert werden. Auf diese Weise kann einem Bediener unmittelbar angezeigt werden, wo sich in der Umgebung was verändert hat.The measuring unit 12 , the localization unit 14 , the simulation unit 16 , the comparison unit 18 and the output unit 20 may be integrated in a housing, for example in a portable housing the size of a mobile phone. The output unit 20 In addition, it can have projection devices in order to project the comparison result into the room so that, for example, luminous markings are projected in place of the environment Z2 where changes have been detected. In this way, an operator can immediately see where in the environment something has changed.

Die Vergleichseinheit 18 kann beispielsweise auch mit zusätzlichen Funktionen ausgestattet sein, so dass in der Vergleichseinheit 18 erkannt werden kann, wenn Gegenstände lediglich von einem Ort zum anderen verschoben sind, beispielsweise in einem Gebäude Rollcontainer oder dergleichen lediglich verschoben und gegenüber dem Sollzustand zwar noch vorhanden aber nicht mehr am vorgesehenen Ort vorhanden sind.The comparison unit 18 For example, it can also be equipped with additional functions, so that in the comparison unit 18 can be detected when objects are moved only from one place to another, for example, in a building roll container or the like merely moved and compared to the target state while still available but no longer available at the intended location.

Die Darstellung der 2 zeigt eine Ausführungsform einer erfindungsgemäßen Vorrichtung auf einem Wagen 22. Anstelle eines Wagens kann auch jede andere mobile Plattform eingesetzt werden. Der Wagen 22 ist mit einer angetriebenen Radachse 24 versehen und mit weiteren, nicht dargestellten Rädern. Die lediglich schematische Darstellung derThe presentation of the 2 shows an embodiment of a device according to the invention on a carriage 22 , Instead of a car, any other mobile platform can be used. The car 22 is with a driven wheel axle 24 provided and with other, not shown wheels. The merely schematic representation of

2 soll andeuten, dass der Wagen 22 automatisch gelenkt und verfahren werden kann. Die Antriebsachse 24 wird mittels eines Antriebsmotors 26 angetrieben und mittels eines Lenkservos 27 gelenkt, wobei Antriebsmotor 26 und Lenkservo 27 wiederum von einer zentralen Steuereinheit 28 angesteuert wird. Die Steuereinheit 28 steht mit Sensoren in Verbindung, nämlich einer Rundumkamera 30, einem Horizontalscanner 32 und einem Vertikalscanner 34. Die Steuereinheit 28 enthält somit mit Ausnahme der Sensoren 30, 32, 34 die Messeinheit 12, die Lokalisierungseinheit 14, die Simulationseinheit 16, die Vergleichseinheit 18 und gegebenenfalls sogar die Ausgabeeinheit 20. Das Modell Z1 ist in einem Speicher der Steuereinheit 28 abgelegt und kann beispielsweise die Form einer digitalen Karte eines Gebäudes aufweisen. Die von der Rundumkamera 30, dem Horizontalscanner 32 und dem Vertikalscanner 34 erfassten Messwerte werden somit, wie anhand der 1 beschrieben, verarbeitet und mit dem abgespeicherten Modell Z1, insbesondere der abgespeicherten Karte, verglichen. Das Vergleichsergebnis kann dann unmittelbar einem Bediener angezeigt werden oder zweckmäßigerweise zu einem Bediener übertragen werden, so dass sich der Wagen 22 beispielsweise durch ein zu überwachendes Gebäude bewegen kann, ohne dass ein Bediener selbst durch das Gebäude laufen muss. Dies ist selbstverständlich insbesondere bei kontaminierten Umgebungen von größter Bedeutung. 2 should imply that the car 22 can be automatically steered and moved. The drive axle 24 is by means of a drive motor 26 powered and by means of a steering servo 27 steered, being drive motor 26 and steering servo 27 again from a central control unit 28 is controlled. The control unit 28 is associated with sensors, namely a wrap-around camera 30 , a horizontal scanner 32 and a vertical scanner 34 , The control unit 28 thus contains except the sensors 30 . 32 . 34 the measuring unit 12 , the localization unit 14 , the simulation unit 16 , the comparison unit 18 and possibly even the output unit 20 , The model Z1 is in a memory of the control unit 28 filed and For example, it may take the form of a digital map of a building. The from the all-round camera 30 , the horizontal scanner 32 and the vertical scanner 34 recorded measured values are thus, as based on the 1 described, processed and compared with the stored model Z1, in particular the stored map. The comparison result can then be displayed directly to an operator or conveniently transferred to an operator, so that the car 22 For example, it is possible to move through a building to be monitored without an operator having to walk through the building himself. Of course, this is of paramount importance especially in contaminated environments.

Die Steuereinheit weist hierzu eine zusätzliche Navigationseinheit 35 auf, die eine Ansteuerung des Antriebsmotors 26 so ermöglicht, dass sich der Wagen 22 selbsttätig durch eine zu überwachende Umgebung Z2 bewegt. Wie bereits ausgeführt wurde, stellt diese Navigationseinheit 35 auch Daten zur Ansteuerung des Lenkservos 27 bereit, um eine im Wesentlichen beliebige Bewegung des Wagens 22 zu ermöglichen. Die Navigationseinheit 35 in der Steuereinheit 28 steuert den Antriebsmotor 26 und das Lenkservo 27 dabei in Abhängigkeit eines Vergleichsergeb nisses an. Dies erfolgt beispielsweise dahingehend, dass dann, wenn Veränderungen einer zu überwachenden Umgebung erkannt werden, dieser Bereich der Umgebung erneut angefahren und mittels der Sensoren 30, 32, 34 abgetastet wird, um die Sicherheit des Vergleichsergebnisses zu erhöhen. Auch kann die Navigationseinheit beispielsweise die Fahrt des Wagens 22 an bekannten, kritischen Stellen verlangsamen, um eine besonders gründliche Überwachung in diesen Bereichen zu ermöglichen.The control unit has for this purpose an additional navigation unit 35 on, which is a control of the drive motor 26 so that allows the car 22 automatically moved through a monitored environment Z2. As already stated, this navigation unit provides 35 also data for controlling the steering servo 27 ready to make a substantially arbitrary movement of the car 22 to enable. The navigation unit 35 in the control unit 28 controls the drive motor 26 and the steering servo 27 thereby depending on a comparison result on. This is done, for example, to the extent that when changes in an environment to be monitored are detected, this area of the environment is approached again and by means of the sensors 30 . 32 . 34 is sampled to increase the security of the comparison result. Also, the navigation unit, for example, the drive of the car 22 slow down at known critical points to allow for more thorough monitoring in these areas.

Der in 2 dargestellte Wagen 22 ist mittels des Motors 26, des Lenkservos 27 und der Antriebsachse 24, wobei der Motor 26 und das Lenkservo 27 von der Steuereinheit 28 angesteuert werden, als autonomer Roboter einsetzbar. Der Wagen 22 kann autonom die Umgebung ständig auf Änderungen kontrollieren und diese automatisiert protokollieren. Bei Einsatz in einem Kraftwerk können erkannte Änderungen beispielsweise sofort an den Leitstand eines Kraftwerks übertragen werden.The in 2 illustrated car 22 is by means of the engine 26 , the steering servo 27 and the drive axle 24 , where the engine 26 and the steering servo 27 from the control unit 28 can be controlled, used as an autonomous robot. The car 22 can autonomously constantly monitor the environment for changes and log them automatically. For example, when used in a power plant, detected changes can be transmitted immediately to the control room of a power plant.

Die Übertragung des Vergleichsergebnisses von der Steuereinheit 28 kann an einen Bediener, selbstverständlich aber auch an einen weiteren Steuerungsrechner erfolgen, der in Abhängigkeit des Vergleichsergebnisses automatisiert weitere Maßnahmen ergreift, beispielsweise einen Alarm auslöst oder einen überwachten Prozess abschaltet.The transmission of the comparison result from the control unit 28 can be done to an operator, but of course also to another control computer, which automatically takes further action depending on the result of the comparison, for example, triggers an alarm or switches off a monitored process.

Mittels des mobilen Wagens 22 ist es darüber hinaus möglich, das den Sollzustand repräsentierende Modells Z1 während eines ersten Durchlaufs durch die zu überwachende Umgebung zu erfassen. Beispielsweise kann ein Gebäude in einem ersten Durchlauf abgetastet und dadurch ein Sollzustand festgestellt und das Modell Z1 erstellt werden. Weitere Durchlaufe des Wagens 22 dienen dann der Feststellung von Veränderungen zu dem eingangs ermittelten Sollzustand.By means of the mobile car 22 In addition, it is possible to detect the model Z1 representing the target state during a first pass through the environment to be monitored. For example, a building can be scanned in a first pass, thereby determining a desired state and creating the model Z1. Further passage of the car 22 then serve the determination of changes to the initially determined target state.

Eine sinnvolle Überwachung einer Umgebung ist im Übrigen bereits alleine mit dem Horizontalscanner 32 möglich, der, wie in 2 schematisch angedeutet ist, einen Erfassungsbereich 32a von etwa 180° hat und innerhalb dieses Erfassungsbereichs Abstandsdaten ermittelt. Wenn der Wagen 22 somit durch ein Gebäude fährt, lassen sich auf einer vorbestimmten Höhe, entsprechend der Anordnung des Horizontalscanners 32, fortlaufend Abstandsdaten ermitteln. Diese Abstandsdaten werden dann, wie beschrieben, lokalisiert, mit dem Modell Z1 verglichen und das Ergebnis des Vergleichs wird dann ausgegeben.A meaningful monitoring of an environment is incidentally already alone with the horizontal scanner 32 possible, as in 2 is indicated schematically, a detection area 32a of about 180 ° and determines distance data within this detection range. When the car 22 thus driving through a building, can be at a predetermined height, according to the arrangement of the horizontal scanner 32 , continuously determine distance data. These distance data are then localized as described, compared with model Z1, and the result of the comparison is then output.

Das Modell oder die Karte Z1 besteht in diesem Fall aus dem Grundriss eines Gebäudes oder eines Gebäudekomplexes. Alle relevanten, zu erkennenden Änderungen müssen sich in diesem Fall auf einer Ebene mit konstanter Höhe parallel zum Boden feststellen lassen, wobei diese konstante Höhe, beispielsweise 50 cm, der Höhe des Horizontalscanners 32 über der Fahrbahn des Wagens 22 entspricht. In einer Werkhalle lassen sich in einer konstanten Höhe aber beispielsweise bereits die Position und das Vorhandensein von Maschinen und sonstigen Fertigungseinrichtungen feststellen.The model or the map Z1 in this case consists of the floor plan of a building or a building complex. In this case, all relevant changes to be detected must be able to be determined on a plane with a constant height parallel to the ground, this constant height, for example 50 cm, of the height of the horizontal scanner 32 above the carriageway of the car 22 equivalent. In a workshop, however, the position and presence of machines and other production equipment can already be established at a constant height.

Der Horizontalscanner 32 misst also Tiefenwerte oder Abstandswerte in einer Ebene mit konstanter Höhe parallel zum Boden. Die Karte Z1 bezeichnet dann ein zweidimensionales Modell der zu vergleichenden Umgebung, das Wände und Objekte auf einer festen Höhe enthält. Dieses Modell oder die Karte Z1 kann manuell erzeugt werden, z. B. aus dem Grundriss des Gebäudes oder anderen Plänen, oder automatisch in einem Durchlauf mit dem Wagen 22 aufgenommen werden. Die Karte Z1 ist dabei durch eine Menge von Linien und/oder Punkten repräsentiert.The horizontal scanner 32 So measures depth values or distance values in a plane with a constant height parallel to the ground. The map Z1 then designates a two-dimensional model of the environment to be compared, containing walls and objects at a fixed height. This model or card Z1 can be generated manually, e.g. B. from the floor plan of the building or other plans, or automatically in one pass with the car 22 be recorded. The map Z1 is represented by a set of lines and / or points.

In der Steuereinheit 28 werden die erfassten Messwerte des Horizontalscanners 32 dazu verwendet, die aktuelle Position und Orientierung des Horizontalscanners 32 und damit des mobilen Wagens 22 im Bezug auf Z1 festzustellen. Dazu wird der aktuelle zweidimensionale Laserscan zu jedem Zeitpunkt mit dem Modell Z1 registriert, indem er in eine Punktwolke transformiert wird und bekannte Lokalisierungsalgorithmen angewendet werden. Das Ergebnis der Registrierung sind Lokalisierungsdaten, nämlich die Position und die Orientierung des Horizontalscanners 32 in Bezug auf das Modell Z1.In the control unit 28 become the measured values of the horizontal scanner 32 used the current position and orientation of the horizontal scanner 32 and thus the mobile car 22 with regard to Z1. For this purpose, the current two-dimensional laser scan is registered at all times with the model Z1, by transforming it into a point cloud and applying known localization algorithms. The result of the registration is localization data, namely the position and orientation of the horizontal scanner 32 in relation to the model Z1.

In der Simulationseinheit der Steuereinheit 28 wird eine synthetische Sensoraufnahme durch Projektion der Punktwolke, die das Modell Z1 repräsentiert, auf eine synthetische zweidimensionale Laserscanneraufnahme abgebildet. Die zweidimensionale Laserscanneraufnahme lässt sich durch Umrechnung von kartesischen auf Polarkoordinaten und anschließende Diskretisierung erzeugen. Fallen dabei mehrere Distanzwerte auf einen Winkel, so wird die kleinste Distanz genommen.In the simulation unit of the control unit 28 For example, a synthetic sensor image is projected onto a synthetic two-dimensional laser scanner image by projection of the point cloud representing the model Z1. The two-dimensional laser scanner image can be generated by converting from Cartesian to polar coordinates and subsequent discretization. If several distance values fall on an angle, the smallest distance is taken.

Eine Vergleichseinheit in der Steuereinheit 28 berechnet zu jedem Zeitpunkt den Unterschied zwischen der synthetischen zweidimensionalen Laserscanneraufnahme, die von der Simulationseinheit erzeugt wurde, und der tatsächlichen zweidimensionalen Laserscanneraufnahme, die vom Horizontalscanner 32 erzeugt wurde. Die Vergleichseinheit arbeitet also in der Repräsentation des zweidimensionalen Laserscanners. Der Vergleich erfolgt punktweise durch Subtraktion der synthetischen Messung von der tatsächlichen Messung. Ist der Betrag der Differenz größer als ein Schwellwert, der abhängig vom gemessenen Sensorrauschen gewählt wird, wird die zugehörige Tiefenmessung als geändert klassifiziert. Unterschieden wird hierbei, ob die als geändert klassifizierte Tiefenmessung größer oder kleiner als die durch das Modell Z1 vorgegebene ist. Insgesamt stehen also pro Sensordatum drei Klassifizierungen zur Verfügung, nämlich „unverändert”, „näher” oder „ferner”. Die Klassifizierung „näher” entspricht dabei dem Ergebnis „Objekt wurde hinzugefügt”, die Klassifizierung „ferner” entspricht dem Ergebnis „Objekt wurde entfernt”.A comparison unit in the control unit 28 calculates at any time the difference between the synthetic two-dimensional laser scanner shot generated by the simulation unit and the actual two-dimensional laser scanner shot taken by the horizontal scanner 32 was generated. The comparison unit thus operates in the representation of the two-dimensional laser scanner. The comparison is made point by point by subtracting the synthetic measurement from the actual measurement. If the amount of the difference is greater than a threshold that is selected depending on the measured sensor noise, the associated depth measurement is classified as changed. A distinction is made here as to whether the depth measurement classified as modified is greater or smaller than that predefined by the model Z1. Overall, three classifications are available per sensor date, namely "unchanged", "closer" or "further". The classification "closer" corresponds to the result "object has been added", the classification "further" corresponds to the result "object has been removed".

Die in der Steuereinheit 28 enthaltene Ausgabeeinheit zeigt das Modell Z1, in die zusätzlich als abweichend klassifizierte Sensordaten als farblich abgesetzte Punkte eingetragen sind, wobei je nachdem, ob gegenüber Z1 ein Sensordatum zu fern oder zu nahe klassifiziert wurde, eine andere Farbe verwendet wird.The in the control unit 28 contained output unit shows the model Z1, in the additionally classified as deviating sensor data are entered as contrasting dots, depending on whether compared to Z1 a sensor date was too far or too close, a different color is used.

Wird zusätzlich zum Horizontalscanner 32 der Vertikalscanner 34 eingesetzt, kann eine dreidimensionale Erfassung einer zu überwachenden Umgebung ermöglicht werden. Bei Hinzunahme des Vertikalsensors 34 ist das Modell Z1 durch ein dreidimensionales Modell repräsentiert, das das Rendern von synthetischen zweidimensionalen Laserscanneraufnahmen erlaubt. In der Abbildungseinheit werden nun synthetische zweidimensionale Laserscanneraufnahmen aus dem Blickpunkt des vertikal angebrachten Vertikalscanners 34 erzeugt. In der Ausgabeeinheit erfolgt eine dreidimensionale Ausgabe, indem das dreidimensionale Modell Z1 durch die als geändert klassifizierten Sensordaten ergänzt und mittels bekannter Technologien auf einem Ausgabemedium dargestellt wird. Die als geändert klassifizierten Sensordaten werden hierzu in das dreidimensionale Modell hinein projiziert.Will be in addition to the horizontal scanner 32 the vertical scanner 34 used, a three-dimensional detection of an environment to be monitored can be made possible. With the addition of the vertical sensor 34 Model Z1 is represented by a three-dimensional model that allows the rendering of synthetic two-dimensional laser scanner images. In the imaging unit, synthetic two-dimensional laser scanner images are now taken from the perspective of the vertically mounted vertical scanner 34 generated. In the output unit is a three-dimensional output by the three-dimensional model Z1 supplemented by the sensor data classified as modified and displayed by means of known technologies on an output medium. The sensor data classified as modified are projected into the three-dimensional model for this purpose.

Anstatt lediglich eines Vertikalscanners 34 können zwei an gegenüberliegenden Seiten des Wagens 22 angeordnete Vertikalscanners verwendet werden. Zu jedem Zeitpunkt kann dann eine komplette 360°-Scheibe gemessen werden. Alternativ zur Verwendung der Scanner 32, 34 kann ein dreidimensionaler Laserscanner verwendet werden, der bei jeder Messung eine Tiefenkarte fast der gesamten Hemisphäre erzeugt.Instead of just a vertical scanner 34 can two on opposite sides of the car 22 arranged vertical scanner can be used. At any time then a complete 360 ° slice can be measured. Alternatively to using the scanner 32 . 34 For example, a three-dimensional laser scanner can be used that produces a depth map of almost the entire hemisphere for each measurement.

Bei heutigen dreidimensionalen Laserscannern dauern solche Messungen jedoch vergleichsweise lange und in der Größenordnung ab etwa einer Minute, so dass der mobile Wagen 22 für jede Messung anhalten muss. Die Simulationseinheit in der Steuereinheit 28 muss dann entsprechend Tiefenkarten synthetisieren, die mit den Messwerten des 3D-Laserscanners vergleichbar sind. Die Vergleichseinheit arbeitet in entsprechender Weise wie bereits beschrieben wurde.In today's three-dimensional laser scanners, however, such measurements take comparatively long and on the order of about one minute, so that the mobile car 22 must stop for each measurement. The simulation unit in the control unit 28 must then synthesize corresponding depth maps that are comparable to the measured values of the 3D laser scanner. The comparison unit operates in a similar manner as already described.

Zusätzlich kann die Kamera 30 eingesetzt werden. Verwendet werden kann eine Zeilenkamera, eine Flächenkamera, eine 360°-Kamera, die beispielsweise durch eine Flächenkamera mit Panoramaspiegelaufsatz ausgeführt ist oder eine Flächenkamera mit Fischaugenoptik. Durch Verwendung einer Kamera können auch visuelle Änderungen der Umgebung erkannt werden, bei denen sich die Tiefe nicht ändert, beispielsweise entfernte Warnhinweise, Verkehrsschilder oder dergleichen. Das Modell Z1 ist in diesem Fall als texturiertes dreidimensionales Modell aufgebaut, so dass ein Vergleich simulierter Farbbilder mit Kamerabildern durchgeführt werden kann. Entsprechend erzeugt die Simulationseinheit dann eine synthetische Aufnahme aus Sicht der Farbkamera. In der Vergleichseinheit werden zusätzlich zum Vergleich von synthetischen und realen zweidimensionalen Laserscanneraufnahmen die synthetische Farbkameraaufnahme und die reale Farbkameraaufnahme pro Pixel verglichen. Als Maß wird hierbei die quadrierte Differenz der Intensitäten der einzelnen Farbkanäle summiert über die Farbkanäle verwendet. Auch andere Vergleichsmaße, wie etwa histogrammbasierte Verfahren und Bhattacharyya-Differenz sind hier möglich.In addition, the camera can 30 be used. Can be used a line camera, an area camera, a 360 ° camera, which is designed for example by a surface camera with panorama mirror attachment or a surface camera with fish-eye optics. By using a camera it is also possible to detect visual changes in the environment in which the depth does not change, for example remote warnings, traffic signs or the like. The model Z1 is constructed in this case as a textured three-dimensional model, so that a comparison of simulated color images with camera images can be performed. Accordingly, the simulation unit then generates a synthetic shot from the point of view of the color camera. In the comparison unit, in addition to the comparison of synthetic and real two-dimensional laser scanner images, the synthetic color camera image and the real color camera image per pixel are compared. In this case, the squared difference of the intensities of the individual color channels summed over the color channels is used as a measure. Other comparative measures, such as histogram-based methods and Bhattacharyya difference are possible here.

Zusätzlich kann auf dem mobilen Wagen 22 ein Neigungssensor 36 angeordnet sein, der zu jedem Zeitpunkt die absolute 3D-Orientierung des Wagens 22 und somit auch aller montierten Sensoren liefert. Damit wird das Einsatzfeld der Erfindung auf Szenarien erweitert, in denen die O berfläche der zu kontrollierenden Umgebung, auf der der Wagen 22 sich bewegt, nicht durch eine Ebene angenommen werden kann. Auf diese Weise kann der Wagen 22 auch im Gelände eingesetzt werden. Die Lokalisierungseinheit in der Steuereinheit 28 verwendet in diesem Fall zusätzlich die Sensordaten des Neigungssensors, um eine robuste, globale Position und Orientierung des Wagens 22 zu liefern. Dies ermöglicht es, eine Invarianz gegenüber Orientierungsänderungen des Wagens 22 zu erreichen, indem die Daten der anderen Sensoren 30, 32, 34 in eine Referenzorientierung überführt werden.Additionally, on the mobile cart 22 a tilt sensor 36 be arranged, at any time the absolute 3D orientation of the car 22 and thus also supplies all mounted sensors. Thus, the field of application of the invention is extended to scenarios in which the O berfläche the controlled environment on which the car 22 moves, can not be accepted by a plane. That way, the car can 22 can also be used in the field. The localization unit in the control unit 28 used in the In this case, in addition, the sensor data of the tilt sensor to a robust, global position and orientation of the car 22 to deliver. This allows an invariance to orientation changes of the car 22 to reach by the data of the other sensors 30 . 32 . 34 be converted into a reference orientation.

Die Steuereinheit auf dem Wagen 22 der 2 kann darüber hinaus einen Projektor 38 ansteuern, der seine Ausgabe direkt in die zu überwachende Umgebung hinein projiziert. Neben den erkannten Änderungen kann dabei auch projiziert werden, was sich laut dem in der Steuereinheit 28 abgelegten Modell Z1 dort im Sollzustand befinden müsste. Ist in einem Gebäude beispielsweise ein Bild von einer Wand entfernt worden, so kann dem Bediener dadurch angezeigt werden, welche Abmessungen das Bild hatte, gegebenenfalls sogar wie das Bild im Einzelnen ausgesehen hat.The control unit on the car 22 of the 2 can also have a projector 38 which projects its output directly into the environment to be monitored. In addition to the detected changes can also be projected, which according to the in the control unit 28 stored model Z1 should be there in the desired state. If, for example, a picture has been removed from a wall in a building, the operator can thus be shown what dimensions the picture had, if necessary even how the picture looked in detail.

3 zeigt eine weitere Ausführungsform der Erfindung. Die Messeinheit, Lokalisierungseinheit, Simulationseinheit, Vergleichseinheit und Ausgabeeinheit sind in einem Gehäuse 40 untergebracht, in dem in einem geeigneten Speicher auch ein Modell Z1 der zu überwachenden Umgebung abgelegt ist. Das Gehäuse 40 weist etwa die Größe eines Mobiltelefons auf und die Ausgabeeinheit zeigt Änderungen auf einem Bildschirm 42 an. Das Gehäuse 40 wird nun in einer zu überwachenden Umgebung in Richtung des zu prüfenden Objekts an der zu prüfenden Stelle gehalten. Das Gehäuse 40 enthält dazu geeignete Sensoren der Messeinheit, insbesondere Farbkameras, Neigungssensoren, Wärmebildkameras, Mikrofone und dergleichen. Alternativ zur Anzeige der Ver gleichsergebnisse auf dem Bildschirm 42 können die Vergleichsergebnisse auch in eine Brille 44 eingeblendet werden, so dass ein Bediener, der die Brille 44 trägt, in besonders bequemer Weise erkennen kann, an welchen Stellen der zu überwachenden Umgebung Veränderungen gegenüber dem Sollzustand aufgetreten sind. 3 shows a further embodiment of the invention. The measuring unit, localization unit, simulation unit, comparison unit and output unit are housed in one housing 40 accommodated, in which a model Z1 of the environment to be monitored is stored in a suitable memory. The housing 40 is about the size of a mobile phone and the output unit shows changes on a screen 42 at. The housing 40 is now held in an environment to be monitored in the direction of the object to be tested at the site to be tested. The housing 40 contains suitable sensors of the measuring unit, in particular color cameras, inclination sensors, thermal imaging cameras, microphones and the like. Alternatively to displaying the comparison results on the screen 42 the comparison results can also be in glasses 44 be faded in, allowing an operator to wear the glasses 44 carries, can detect in a particularly convenient manner, at which points of the environment to be monitored changes from the target state have occurred.

Auf dem Bildschirm 42 oder im Gesichtsfeld der Brille 44 können mittels Augmented-Reality-Techniken auch Veränderungen in einer Abbildung der tatsächlichen Umgebung angezeigt werden. Hierzu wird anstatt des Modells Z1 der Originalbildstrom einer Kamera im Gehäuse 40 angezeigt und als geändert klassifizierte Pixel werden mittels Augmented-Reality-Techniken mit diesem Originalbildstrom gemischt. Das Gehäuse 40 kann dann auf die zu prüfende Umgebung gezeigt werden und auf dem Bildschirm 42 wird der Bildstrom der Kamera im Gehäuse 40 angezeigt und darüber hinaus werden die erkannten Änderungen mit eingeblendet. Alternativ ist das Gehäuse 40 starr mit der Brille 44 verbunden oder in der Brille 44 integriert, derart, dass die Kamera im Gehäuse 40 dem Blickfeld der Augen des Bedieners, der die Brille 44 trägt, entspricht. Änderungen werden dann mittels Augmented-Reality-Techniken direkt in der Brille 44 eingeblendet.On the screen 42 or in the field of vision of the glasses 44 By means of augmented reality techniques, changes in an image of the actual environment can also be displayed. For this purpose, instead of the model Z1, the original image stream of a camera in the housing 40 are displayed and as modified classified pixels are mixed by means of augmented reality techniques with this original image stream. The housing 40 can then be shown on the environment to be tested and on the screen 42 is the image stream of the camera in the housing 40 and the detected changes are also displayed. Alternatively, the housing 40 rigid with the glasses 44 connected or in the glasses 44 integrated, such that the camera in the housing 40 the field of vision of the operator's eyes, the glasses 44 carries, corresponds. Changes are then made using augmented reality techniques directly in the glasses 44 appears.

Neben der reinen Anzeige von Veränderungen kann in der Vergleichseinheit einer erfindungsgemäßen Vorrichtung durch Verwendung geeigneter Algorithmen auch eine Korrespondenz zwischen erkannten Änderungen ermittelt und gegebenenfalls angezeigt werden. Beispielsweise kann auf diese Weise festgestellt werden, ob Maschinen an einen anderen Ort verschoben wurden. Hierzu werden nahe beieinanderliegende und als geändert klassifizierte Messwerte zu Objekten zusammengefasst, entsprechend einer Segmentierung. Mittels algorithmischer Suchtechniken wird im Modell Z1 dann nach solchen Objekten an allen Stellen gesucht. Wird eine Übereinstimmung zwischen einem als fehlend oder zusätzlich klassifizierten Objekt und einem Objekt im Modell Z1 ge funden, so kann die Ausgabeeinheit diese Korrespondenz, beispielsweise als Verschiebungsvektor, anzeigen.Next the pure display of changes can in the comparison unit of a device according to the invention by using appropriate algorithms also a correspondence between detected changes determined and displayed if necessary. For example, can In this way, it can be determined if machines move to another Place were moved. For this purpose are close to each other and as changed Classified measured values to objects summarized accordingly a segmentation. Using algorithmic search techniques will in the model Z1 then searched for such objects in all places. Will be a match between an object classified as missing or additionally and an object found in the model Z1 ge, the output unit display this correspondence, for example as a displacement vector.

Die Erfindung kann unter anderem zum Erkennen von Änderungen der tatsächlichen Umgebung zu elektronischen zweidimensionalen Straßenkarten oder dreidimensionalen Umgebungsmodellen verwendet werden. Zweidimensionale elektronische Straßenkarten werden bereits in großem Umfang für die Fahrzeugnavigation eingesetzt. Änderungen im tatsächlichen Straßennetz, beispielsweise im Straßenverlauf, müssen zunächst einmal festgestellt werden und dann in den elektronischen Karten berücksichtigt werden. Hierzu ist eine große Anzahl an Personen erforderlich, die das Straßennetz abfährt und Änderungen meldet. Gemäß der Erfindung können Änderungen automatisch erkannt werden und direkt zum Hersteller der zweidimensionalen Straßenkarte oder dem dreidimensionalen Umgebungsmodell übertragen werden. Eventuell kann die Karte oder das Modell direkt an die Änderungen angepasst werden. Besonders vorteilhaft kann die Erfindung eingesetzt werden, wenn eine erfindungsgemäße Vorrichtung in zahlreichen Fahrzeugen eingebaut ist, so dass eine große Wahrscheinlichkeit dafür besteht, dass innerhalb eines vorgegebenen Zeitraums im Wesentlichen alle Teile des Straßennetzes von wenigstens einem dieser Fahrzeuge befahren werden. Auf diese Weise kann eine flächendeckende und zeitnahe Erkennung von Änderungen der zweidimensionalen Straßenkarten oder dreidimensionalen Modelle erfolgen und eventuell nötige Anpassungen können ebenfalls zeitnah vorgenommen werden.The Among other things, invention can be used to detect changes in the actual Environment to electronic two-dimensional road maps or three-dimensional environment models. Two-dimensional electronic street maps are already in great Scope for the Vehicle navigation used. amendments in the actual Road network, for example, in the course of the road, have to first once detected and then in the electronic maps considered become. This is a big one Number of people required to leave the road network and report changes. According to the invention can changes be recognized automatically and directly to the manufacturer of the two-dimensional Road map or be transferred to the three-dimensional environment model. Perhaps the map or model can be adapted directly to the changes. Particularly advantageous, the invention can be used, if a device according to the invention Built in numerous vehicles, so a great chance insists that essentially all parts within a given period of time of the road network be driven by at least one of these vehicles. To this Way can be a nationwide and timely detection of changes the two-dimensional road maps or three-dimensional models and possibly necessary adjustments can also be made promptly.

Die Erfindung kann beispielsweise aber auch in der chemischen Industrie eingesetzt werden, wobei in diesem Fall die Vorrichtung der 3 besonders vorteilhaft einsetzbar ist. In einer Anlage der chemischen Industrie existieren eine Vielzahl von Rohrleitungen, die alle verschiedene Temperaturen besitzen und deren Temperaturen kontrolliert und mit Solltemperaturen, die in einem Plan notiert sind, verglichen werden müssen. Dies geschieht derzeit manuell durch einen Benutzer: Er muss zuerst zu jeder Leitung die zugeordnete Leitung im Plan herausfinden, den darin notierten Solltemperaturbereich ablesen, da pro Leitung und Position eine andere Temperatur gelten kann. Mit diesem abgelesenen Solltemperaturbereich muss dann eine vom Benutzer gemessene Temperatur verglichen werden. Entsprechend der 3 kann das Gehäuse 40 mit darin angeordneten Wärmebildkameras auf die Rohrleitungen gerichtet werden und das Modell Z1 enthält in diesem Fall auch Solltemperaturen der Rohrleitungen. Tritt dann eine Abweichung zwischen der aktuell gemessenen Temperatur und der Solltemperatur im Modell 11 auf, so kann dies im Bildschirm 42 angezeigt werden. Die Anzeige kann differenziert beispielsweise erst bei Toleranzüberschreitungen erfolgen. Auf diese Weise können alle Leitungen individuell überprüft werden und es kann automatisiert ein objektives Protokoll erstellt werden. Defekte Leitungen können automatisch erkannt werden und beim Vorsehen eines Projektors im Gehäuse 40 können diese Änderungen direkt in den Raum hinein projiziert und auf die betroffene Leitung abgebildet werden.However, the invention can also be used for example in the chemical industry, in which case the device of 3 is particularly advantageous use. In a plant of the chemical industry exist a variety of pipelines, all different temperatures and their temperatures must be controlled and compared with setpoint temperatures, which are listed in a plan, must be compared. This is currently done manually by a user: he must first find the associated line in the plan for each line, read off the nominal temperature range noted therein, since a different temperature can apply per line and position. With this read target temperature range then a user-measured temperature must be compared. According to the 3 can the case 40 with thermal imaging cameras arranged therein, the model Z1 in this case also contains setpoint temperatures of the pipelines. Then occurs a deviation between the currently measured temperature and the setpoint temperature in the model 11 on, this may be in the screen 42 are displayed. The display can be differentiated, for example, only when tolerance exceeded. In this way, all lines can be individually checked and it can be automatically created an objective protocol. Defective lines can be detected automatically and when a projector is installed in the housing 40 These changes can be projected directly into the room and mapped onto the affected line.

Das Modell Z1 schließt in diesem Fall alle Rohrleitungen incl. deren Solltemperaturen oder Solltemperaturbereiche ein. Die Messeinheit weist in diesem Fall zusätzlich eine Wärmebildkamera auf. In der Simulationseinheit wird eine synthetische Aufnahme aus Sicht der Wärmebildkamera erzeugt. Die erzeugte synthetische Wärmebildkameraaufnahme wird mit der realen Wärmebildkameraaufnahme pro Pixel verglichen. Als Maß wird hierbei die Differenz der Temperaturintensitäten verwendet. In der Ausgabeeinheit werden als geänderte klassifizierte Pixel der Wärmebildkamera visuell abgesetzt dargestellt, speziell wird auch der Unterschied zur Solltemperatur farblich codiert dargestellt. Klassifizierungen können in diesem Fall nach den Kriterien „unverändert”, „zu kalt”, „zu heiß” vorgenommen werden.The Model Z1 closes in this case all pipelines incl. their nominal temperatures or Set temperature ranges. The measuring unit points in this case additionally a thermal imaging camera on. In the simulation unit is a synthetic recording View of the thermal imager generated. The generated synthetic thermal imaging camera becomes with the real thermal imaging camera compared per pixel. As a measure becomes here the difference of the temperature intensities used. In the output unit be as changed classified pixels of the thermal imager shown visually depreciated, especially the difference shown color coded to the setpoint temperature. Classifications can be in In this case, the criteria "unchanged", "too cold", "too hot" are used.

Eine weitere Anwendungsmöglichkeit für das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung ist die Flugzeugwartung. Dabei wird der mobile Wagen 22 dazu verwendet, Flugzeugtriebwerke zu prüfen. Als Sensoren sind in diesem Fall zusätzlich oder alternativ wenigstens eine Wärmebildkamera sowie wenigstens ein Mikrofon möglich. Der Wagen 22 wird zur Überwachung um ein zu prüfendes Triebwerk eines Flugzeugs herum bewegt. Dies ist selbst auf dem Flughafen im aktuellen Flugbetrieb möglich, das Flugzeug muss hierzu keine spezielle Position anfahren. Der Wagen 22 lokalisiert sich anhand der statischen Teile der Umgebung und des Flugzeuges. Beim Herumfahren um das Triebwerk wird die Wärmebildsignatur und das Audio-Spektrum mit den Soll-Daten des Herstellers oder einer vorherigen Aufnahme verglichen. So können Abweichungen erkannt und dokumentiert werden. Ebenso kann eine neue Aufnahme der Signatur vorgenommen werden.Another possible application for the method according to the invention and the device according to the invention is aircraft maintenance. This is the mobile car 22 used to test aircraft engines. In this case additionally or alternatively at least one thermal imaging camera as well as at least one microphone are possible as sensors. The car 22 is moved around a test engine of an aircraft for monitoring. This is possible even at the airport in the current flight operations, the aircraft does not need to approach a specific position for this purpose. The car 22 locates itself based on the static parts of the environment and the aircraft. When driving around the engine, the thermal signature and the audio spectrum are compared with the manufacturer's target data or a previous shot. This allows deviations to be detected and documented. Likewise, a new recording of the signature can be made.

Das Modell Z1, das in der Steuereinheit 28 abgelegt ist, schließt in diesem Fall die Wärme- und Geräuschsignatur der Triebwerke ein. Außerdem enthält das Modell Z1 ein CAD-Modell des Flugzeuges, um die Lokalisierung des Wagens 22 zu ermöglichen. Die Messeinheit enthält, wie bereits ausgeführt wurde, zusätzlich wenigstens eine Wärmebildkamera und wenigstens ein Mikrofon. Die Lokalisierungseinheit in der Steuereinheit 28 nimmt eine Lokalisierung anhand des abgelegten Flugzeugmodells und gegebenenfalls weiterer statischer Teile der Umgebung vor, die dann natürlich auch in dem Modell Z1 enthalten sein müssen. Die Abbildungseinheit in der Steuereinheit 28 liefert in diesem Fall eine synthetische Aufnahme aus Sicht der Wärmebildkamera und eine synthetische Aufnahme der Mikrofone. In der Vergleichseinheit werden die synthetische Wärmebildkameraaufnahme und die reale Wärmebildkamera aufnahme pro Pixel verglichen. Als Maß wird hierbei die Differenz der Temperaturen verwendet. Außerdem wird die synthetische Audiosignatur mit der real aufgenommenen Audiosignatur verglichen. Die Ausgabeeinheit stellt dann als geändert klassifizierte Pixel der Wärmebildkamera und als geändert klassifizierte Audiosignale visuell abgesetzt dar.The model Z1, which is in the control unit 28 in this case includes the heat and noise signature of the engines. In addition, the model Z1 includes a CAD model of the aircraft to locate the car 22 to enable. As already stated, the measuring unit additionally contains at least one thermal imaging camera and at least one microphone. The localization unit in the control unit 28 makes a localization on the basis of the deposited aircraft model and possibly other static parts of the environment, which then of course must be included in the model Z1. The imaging unit in the control unit 28 provides in this case a synthetic shot from the point of view of the thermal imager and a synthetic recording of the microphones. The comparison unit compares the synthetic thermal imaging camera and the real thermal imaging camera per pixel. As a measure here the difference of the temperatures is used. In addition, the synthetic audio signature is compared with the actual recorded audio signature. The output unit then displays as modified classified pixels of the thermal imaging camera and classified as modified audio signals visually depreciated.

Die schematische Darstellung der 4 zeigt eine weitere erfindungsgemäße Vorrichtung, wobei hier, im Unterschied zu den bisher beschriebenen Ausführungsbeispielen, ein zu überwachendes Objekt Z2 selbst auf einer beweglichen Plattform angeordnet ist. In der Darstellung der 4 ist ein zu untersuchendes Objekt Z2, beispielsweise ein Flugzeug, auf einer beweglichen Plattform 50 angeordnet. Alternativ kann das zu überwachende Objekt selbstverständlich selbst beweglich sein, wie beispielsweise auch im Falle eines Flugzeugs. Auf der beweglichen Plattform 50 mit dem Objekt Z2 ist ein 2D-Scanner 52 angeordnet, der Abstandsdaten liefert und speziell Abstandsdaten zu einer Umgebung, die in der schematischen Darstellung der 4 als rechteckiger Messraum 54 angedeutet ist. Die Daten des Scanners 52 werden zu einer Steuereinheit 56, beispielsweise drahtlos, übertragen, und in der Steuereinheit 56 wird anhand der Abstandsdaten des Scanners 52 die bewegliche Plattform 50 mit dem Objekt Z2 innerhalb des Messraums 54 lokalisiert. Die Steuereinheit 56 erhält weiterhin Eingangssignale von einer ersten Kamera 58 und einer zweiten Kamera 60, wobei diese Kameras 58, 60 zur Überwachung des Istzustandes des Objekts Z2 vorgesehen sind.The schematic representation of 4 shows a further device according to the invention, in which case, in contrast to the previously described embodiments, an object to be monitored Z2 itself is arranged on a movable platform. In the presentation of the 4 is an object Z2 to be examined, for example an aircraft, on a mobile platform 50 arranged. Alternatively, the object to be monitored may, of course, be mobile itself, as for example in the case of an aircraft. On the mobile platform 50 with the object Z2 is a 2D scanner 52 which provides distance data and, in particular, distance data to an environment which is shown schematically in FIG 4 as a rectangular measuring room 54 is indicated. The data of the scanner 52 become a control unit 56 wirelessly, for example, and in the control unit 56 is determined by the distance data of the scanner 52 the mobile platform 50 with the object Z2 within the measuring space 54 localized. The control unit 56 continues to receive input from a first camera 58 and a second camera 60 , these cameras 58 . 60 are provided for monitoring the actual state of the object Z2.

Die Lokalisierung der Sensormesswerte, d. h. der Signale des Scanners 52 und der Kameras 58, 60 erfolgt mittels eines in der Steuereinheit 56 abgespeicherten Modells Z1, wobei in diesem Fall das Modell Z1 aus zwei Teilen besteht. Zum einen besteht Z1 aus dem Modell des Objektes Z2, das Informationen über den Sollzustand des Objekts Z2 enthält.The location of the sensor readings, d. H. the signals of the scanner 52 and the cameras 58 . 60 takes place by means of a in the control unit 56 stored model Z1, in which case the model Z1 consists of two parts. On the one hand, Z1 consists of the model of the object Z2, which contains information about the desired state of the object Z2.

Zum anderen besteht Z1 aus einem, beispielsweise zweidimensionalen Grundriss des Messraumes 54. Wenn sich also die Plattform 50 innerhalb des Messraums 54 bewegt, kann mittels des Modells Z1 die Position und Orientierung des Objekts Z2 im Messraum 54 festgestellt werden. In der Simulationseinheit der Steuereinheit 56 wird das Objekt Z2 dann aus Sicht der Kameras 58, 60 gerendert, und zwar unter Verwendung der Lokalisierungsdaten. Die auf diese Weise simulierten synthetischen Kameraaufnahmen aus Sicht der Kameras 58, 60 werden dann in der Vergleichseinheit mit den aktuellen Bildern der Kameras 58, 60 verglichen und, analog zu den bereits beschriebenen Ausführungsformen, werden Veränderungen am Objekt Z2 angezeigt.On the other hand, Z1 consists of one, for example, two-dimensional ground plan of the measuring space 54 , So if the platform 50 within the measuring room 54 moves, can by means of the model Z1, the position and orientation of the object Z2 in the measuring space 54 be determined. In the simulation unit of the control unit 56 then the object Z2 is from the point of view of the cameras 58 . 60 rendered, using the location data. The simulated in this way synthetic camera shots from the perspective of the cameras 58 . 60 are then in the comparison unit with the current pictures of the cameras 58 . 60 compared and, analogous to the embodiments already described, changes to the object Z2 are displayed.

Der Vorteil der in 4 schematisch dargestellten Ausführungsform der Erfindung besteht darin, dass das Objekt Z2 relativ zu den Kameras 58, 60 bewegt werden kann statt umgekehrt, so dass auch in räumlich engen Umgebungen eine Überwachung durchgeführt werden kann.The advantage of in 4 schematically illustrated embodiment of the invention is that the object Z2 relative to the cameras 58 . 60 can be moved instead of vice versa, so that even in tight spaces monitoring can be performed.

Die Kamera 60 ist, wie der Darstellung der 4 zu entnehmen ist, an einem Schwenkarm 62 angeordnet, so dass die Position der Kamera 60 relativ zum Messraum 54 geändert werden kann. Der Schwenkarm 62 ist aber mit einer geeigneten Sensorik ausgestattet, die eine exakte Rückmeldung über die gerade aktuelle Position der Kamera 60 liefert. Diese Informationen über die gerade aktuelle Position der Kamera 60 werden ebenfalls an die Steuereinheit 56 übertragen, so dass, trotz der Möglichkeit, mit der Kamera 60 das Objekt Z2 aus verschiedenen Blickwinkeln zu betrachten, die Position der Kamera 60 immer kalibriert ist.The camera 60 is how the representation of the 4 can be seen on a swivel arm 62 arranged so that the position of the camera 60 relative to the measuring room 54 can be changed. The swivel arm 62 but is equipped with a suitable sensor that provides an accurate feedback on the current position of the camera 60 supplies. This information about the current position of the camera 60 are also sent to the control unit 56 transferred, so that, despite the possibility of using the camera 60 To view the object Z2 from different angles, the position of the camera 60 always calibrated.

Eine weitere bevorzugte Ausführungsform einer erfindungsgemäßen Vorrichtung zeigt die schematische Darstellung der 5. Im Unterschied zur Ausführungsform der 4 ist hier die zweite Kamera 60 auf einer weiteren mobilen Plattform 64 angeordnet und die weitere Platt form 64 ist mit einem Laserscanner 66 zum Erfassen von Abstandswerten versehen. Die Sensormesswerte des Scanners 64 werden zur Steuereinheit 56 übertragen, und in der Steuereinheit 56 wird anhand der Sensormesswerte des Scanners 64 eine Lokalisierung der weiteren mobilen Plattform 64 vorgenommen. Wie der 5 zu entnehmen ist, ist die Kamera 60 auf der weiteren mobilen Plattform 64 mit der Schwenk-Neige-Einrichtung 62 montiert, wobei, wie anhand der 4 beschrieben wurde, die Schwenk-Neige-Einrichtung 62 Signale über ihre aktuelle Stellung direkt an die Steuereinheit 56 überträgt, so dass die Kamera 60 relativ zur Plattform 64 immer eine kalibrierte Stellung einnimmt.A further preferred embodiment of a device according to the invention shows the schematic representation of 5 , In contrast to the embodiment of 4 Here is the second camera 60 on another mobile platform 64 arranged and the more flat shape 64 is with a laser scanner 66 provided for detecting distance values. The sensor readings of the scanner 64 become the control unit 56 transferred, and in the control unit 56 is determined by the sensor readings of the scanner 64 a localization of the other mobile platform 64 performed. Again 5 it can be seen, is the camera 60 on the other mobile platform 64 with the pan-tilt device 62 mounted, taking as the basis of 4 has been described, the pan-tilt device 62 Signals about their current position directly to the control unit 56 transfers, leaving the camera 60 relative to the platform 64 always takes a calibrated position.

Ersichtlich bietet die Ausführungsform der 5 eine noch größere Flexibilität, um ein zu überwachendes Objekt Z2 mittels der auf der beweglichen Plattform 64 angeordneten Kamera 60 aus verschiedensten Blickwinkeln zu betrachten und gemäß dem erfindungsgemäßen Verfahren die dadurch erstellten Aufnahmen des Istzustandes mit dem Sollzustand des Objekts Z2 zu vergleichen.Obviously, the embodiment of the 5 an even greater flexibility to an object Z2 to be monitored by means of the on the movable platform 64 arranged camera 60 from different perspectives and to compare according to the inventive method, the images of the actual state created by the target state of the object Z2.

Claims

Method for sensor-based monitoring of an actual state of an environment (Z2) taking into account a target state of the environment (Z2) characterized by the following steps: - Detecting sensor measured values with at least one sensor ( 30 . 32 . 34 ), - locate the sensor ( 30 . 32 . 34 ) or the sensor readings within the environment (Z2) taking into account a stored model (Z1) of the environment (Z2) and localization data, - generating simulated readings taking into account the localization data and the stored model (Z1), and - comparing the simulated ones Measured values and by means of the at least one sensor ( 30 . 32 . 34 ) recorded sensor readings.

Method according to Claim 1, characterized by outputting differences, determined during the comparison, between the simulated measured values and those obtained by means of the at least one sensor ( 30 . 32 . 34 ) recorded measured values.

Method according to claim 1 or 2, characterized by using a plurality of sensors ( 30 . 32 . 34 ) for the acquisition of sensor measured values, whereby in simulation for all sensors ( 30 . 32 . 34 ) simulated measured values are created and when comparing a single comparison of each sensor ( 30 . 32 . 34 ) measured sensor readings and for this sensor ( 30 . 32 . 34 ) simulated measured values and / or a comparison of combined sensed sensor measured values and combined simulated measured values.

Method according to one of the preceding claims by classifying the results of the comparison into several Classes, in particular unchanged, greater than Setpoint or less than setpoint, and / or by outputting a confidence value, in particular a probability of classification into a Class.

Method according to at least one of the preceding Claims, characterized in that the locating by evaluating the Sensor readings done.

Method according to at least one of the preceding Claims, characterized in that when creating simulated measured values a statistical model of the expected measured values, in particular a probability density function is output.

Method according to at least one of the preceding Claims, characterized in that at least the steps of detecting of sensor readings, locating the sensor readings, Simulating readings and comparing sensor readings and simulated measured values continuously automated for different sensor positions be done in the area.

Method according to claim 7, characterized in that that the steps of grasping, locating and comparing dependent on a comparison result changeable are.

Method according to claim 1 and 2 and at least one of the preceding claims, characterized in that the output of differences determined during the comparison between the simulated measured values and that by means of the at least one sensor ( 30 . 32 . 34 ) measured sensor values by projecting the simulated measured values and / or the determined differences in the space, in particular to the positions of the sensor measured values determined during localization.

Device for sensor-based monitoring of an actual state of an environment (Z2) taking into account a desired state of the environment (Z2), in particular for carrying out the method according to at least one of the preceding claims, characterized by a measuring unit ( 12 ) with at least one sensor ( 30 . 32 . 34 ) for detecting sensor readings, a localization unit ( 14 ) for locating the sensor ( 30 . 32 . 34 ) and / or the sensor measured values within the environment (Z2) taking into account a stored model (Z1) of the environment (Z2), a simulation unit ( 16 ) for generating simulated measured values taking into account the localization data and the stored model (Z1) and a comparison unit ( 18 ) for comparing the simulated measured values and the sensor measured values.

Apparatus according to claim 10, characterized by an output unit ( 20 ) for outputting in the comparison unit ( 18 ) determined differences between the simulated measured values and the sensor measured values.

Device according to claim 10 or 11, characterized in that the device is a mobile base ( 22 ) having.

Device according to claim 12, characterized in that the mobile base ( 22 ) is provided with actuators, in particular drive motors, (26), the autonomous locomotion of the base ( 22 ) enable.

Apparatus according to claim 13, characterized in that a navigation unit is provided which the actuators ( 26 ), wherein the activation in dependence on the detection of sensor measured values in the measuring unit ( 12 ) and / or depending on the comparison result in the comparison unit ( 18 ) he follows.

Device according to at least one of Claims 10 to 14, characterized in that the environment to be monitored is formed by an object (Z2) which is movable in a movement coordinate system and at least one first measuring unit (Z2). 52 ) is movably arranged together with the object (Z2) and at least one second measuring unit ( 58 . 60 ) is not arranged to be movable together with the object (Z2).

Device according to claim 15, characterized in that that the second measuring unit relative to the reference coordinate system is arranged immovably.

Device according to claim 15, characterized in that that the second measuring unit relative to the reference coordinate system is movably arranged and has sensors for localization.