FR2985070A1 - System for detecting fall of e.g. person in retirement home, has programmed analysis unit to acquire images taken by sensors in synchronous manner, and to detect fall of person in scene from time sequence of pair of images of scene - Google Patents
System for detecting fall of e.g. person in retirement home, has programmed analysis unit to acquire images taken by sensors in synchronous manner, and to detect fall of person in scene from time sequence of pair of images of scene Download PDFInfo
- Publication number
- FR2985070A1 FR2985070A1 FR1162167A FR1162167A FR2985070A1 FR 2985070 A1 FR2985070 A1 FR 2985070A1 FR 1162167 A FR1162167 A FR 1162167A FR 1162167 A FR1162167 A FR 1162167A FR 2985070 A1 FR2985070 A1 FR 2985070A1
- Authority
- FR
- France
- Prior art keywords
- scene
- images
- infrared
- fall
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 20
- 230000001360 synchronised effect Effects 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 17
- 230000011664 signaling Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 35
- 230000033001 locomotion Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 208000012639 Balance disease Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000276 sedentary effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
Landscapes
- Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- General Health & Medical Sciences (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
Description
PROCEDE ET SYSTEME DE DETECTION DE CHUTES DE PERSONNES La présente invention se rapporte au domaine technique de la détection de chutes de personnes par analyse automatique d'images. On entend, ici, par « chute » l'action de tomber au sol d'une manière involontaire. Notamment, différents facteurs peuvent être à l'origine de cette action tels que l'âge, l'état de santé (troubles de marche ou d'équilibre, acuité visuelle réduite), des facteurs comportementaux (sédentarité, suite à une consommation d'alcool par exemple), et/ou des facteurs environnementaux (un éclairage insuffisant, un lieu de passage encombré par exemple). Par ailleurs, on désigne, ici, par « personnes » tout sujet à risque de chute tels que des personnes âgées, des personnes malades, des travailleurs isolés, des jeunes enfants, ou des robots. On note en particulier que la chute représente la cause majeure de décès chez les personnes âgées. Comme solutions à ce problème, on distingue dans l'état de la technique différentes approches mettant en oeuvre - des techniques basées sur l'utilisation de capteurs de chute cinématiques/physiologiques - à porter en permanence par la personne généralement sous formes de médaillons ou bracelets- montres - programmés pour signaler la chute sur la base de la posture horizontale et/ou verticale de la personne ; ou - des techniques de vidéosurveillance reposant sur l'analyse d'images captées par une pluralité de caméras déployées dans l'environnement à surveiller. Les procédés et systèmes connus sont imparfaits, principalement en raison de leur faible fiabilité en termes de résistance aux fausses alarmes (faux positifs : le fait de signaler une chute alors il n'y en a pas) et aux défauts de détection d'une chute (faux négatifs : le fait de ne pas signaler une chute alors qu'il y en a eu bien une). The present invention relates to the technical field of the detection of falls of persons by automatic image analysis. Here we mean by "fall" the action of falling to the ground in an involuntary way. In particular, various factors may be at the origin of this action such as age, state of health (walking or balance disorders, reduced visual acuity), behavioral factors (sedentary lifestyle, following a consumption of alcohol for example), and / or environmental factors (insufficient lighting, a crowded place of passage for example). On the other hand, the term "persons" refers to any subject at risk of falling, such as elderly people, sick people, isolated workers, young children, or robots. In particular, the fall is the major cause of death among the elderly. As solutions to this problem, there are different approaches in the state of the art using - techniques based on the use of kinematic / physiological drop sensors - to be worn permanently by the person generally in the form of medallions or bracelets - watches - programmed to signal the fall on the basis of the person's horizontal and / or vertical posture; or - video surveillance techniques based on the analysis of images captured by a plurality of cameras deployed in the environment to be monitored. The known methods and systems are imperfect, mainly because of their low reliability in terms of resistance to false alarms (false positives: the signaling of a fall then there is none) and the defects of detection of a fall (false negatives: not reporting a fall when there was one).
En effet, la grande variété de chutes possibles d'une personne, dont certaines s'apparentent à des actions quotidiennes, est source d'erreurs pour la plupart des systèmes basés sur des capteurs cinématiques portés par la personne. A titre d'exemples illustratifs, les actions « s'assoir sur le lit et se coucher », « s'assoir sur un fauteuil à partir de la position débout » et « se pencher ou s'accroupir pour ramasser un objet au sol » s'apparentant, respectivement, à une chute en arrière à partir de la position assise et se terminant en position allongée, à une chute se terminant en position assise, et à une chute en avant se terminant en position accroupie avec récupération - peuvent mettre en défaut les performances des capteurs cinématique de chutes. En outre, le port de capteurs peut être vu comme intrusif par la personne, où il est obligé de porter au moins un badge. En ce qui concerne les techniques de vidéosurveillance pour la détection de chutes de personnes, la présence d'éléments perturbateurs dans l'environnement à surveiller (un éclairage multi-sources et variable, l'obscurité, un éclairage faible, l'ombre d'une personne en mouvement dans cet environnement, la présence de plusieurs personnes, la présence d'animaux domestiques, des changements dans cet environnement tels que le déplacement/introduction d'objets par exemple) sont de nature à limiter la fiabilité de ces techniques. Par ailleurs, les systèmes de détection de chutes basés sur la vidéosurveillance connus à ce jour mettent en oeuvre un système distribué composé d'au moins trois caméras, les rendant ainsi complexes et laborieux à déployer. Un objet de la présente invention est de remédier aux inconvénients précités. Un autre objet de la présente invention est de proposer un système temps réel de détection de chute, en mesure de détecter la chute d'une personne d'une manière fiable et pertinente. Indeed, the wide variety of possible falls of a person, some of which are similar to daily actions, is a source of error for most systems based on kinematic sensors worn by the person. As illustrative examples, the actions "sitting on the bed and lying down", "sitting on a chair from the standing position" and "bending or crouching to pick up an object on the floor" falling respectively from a seated position and ending in a lying position, to a fall ending in a seated position, and to a forward fall ending in a squatting position with recovery - may defect the performance of kinematic sensors of falls. In addition, the port of sensors can be seen as intrusive by the person, where he is obliged to wear at least one badge. With regard to video surveillance techniques for the detection of falls of persons, the presence of disturbing elements in the environment to be monitored (multi-source and variable lighting, darkness, low lighting, shadow of a person in motion in this environment, the presence of several people, the presence of pets, changes in this environment such as the movement / introduction of objects for example) are likely to limit the reliability of these techniques. In addition, the video surveillance-based fall detection systems known to date use a distributed system consisting of at least three cameras, making them complex and laborious to deploy. An object of the present invention is to overcome the aforementioned drawbacks. Another object of the present invention is to provide a real-time fall detection system capable of detecting the fall of a person in a reliable and relevant manner.
Un autre objet de la présente invention est de proposer une méthode de détection de chutes de personnes capable de suivre plus d'un sujet dans un environnement sous surveillance. Un autre objet de la présente invention est de proposer un système de détection de chutes non-intrusive (c.à.d. ne nécessitant pas le port des capteurs). Un autre objet de la présente invention est de proposer un système de détection de chutes de personnes insensible aux éléments perturbateurs cités ci-dessus. Another object of the present invention is to provide a fall detection method capable of tracking more than one subject in a supervised environment. Another object of the present invention is to provide a non-intrusive fall detection system (i.e. not requiring the port of the sensors). Another object of the present invention is to propose a system for detecting falls of persons insensitive to the disturbing elements mentioned above.
Un autre objet de la présente invention est de simplifier les systèmes de détection de chutes en réduisant le nombre de caméras requises. Un autre objet de la présente invention est de proposer un système de détection de chutes compact. Un autre objet de la présente invention est d'assurer le bien-être des personnes à risque de chute. A cette fin, l'invention se rapporte, selon un premier aspect, à un système de détection de chutes de personnes comprenant - un dispositif de prise de vue numérique pourvu d'un premier capteur matriciel sensible du visible à l'infrarouge et d'un deuxième capteur matriciel sensible du visible à l'infrarouge, les deux capteurs regardant sensiblement différemment une même scène; - une unité d'analyse programmée pour o acquérir depuis ledit dispositif de prise de vue numérique, une image prise par ledit premier capteur matriciel sensible du visible à l'infrarouge et une image prise par ledit deuxième capteur matriciel sensible du visible à l'infrarouge, ces deux images étant prises de manière synchrone et formant une paire d'images de ladite scène; o détecter la chute d'au moins une personne dans ladite scène à partir d'une séquence dans le temps de paires d'images de ladite scène. Another object of the present invention is to simplify fall detection systems by reducing the number of cameras required. Another object of the present invention is to provide a compact fall detection system. Another object of the present invention is to ensure the well-being of people at risk of falling. To this end, the invention relates, according to a first aspect, to a system for detecting falls of persons, comprising: a digital camera device provided with a first matrix sensor that is sensitive to infrared and visible; a second matrix sensor sensitive to visible infrared, the two sensors looking substantially differently the same scene; an analysis unit programmed to acquire, from said digital camera, an image taken by said first infrared visible sensitive matrix sensor and an image taken by said second infrared visible sensitive matrix sensor; these two images being taken synchronously and forming a pair of images of said scene; o detecting the fall of at least one person in said scene from a sequence in time of image pairs of said scene.
Avantageusement, le premier et deuxième capteur matriciel sensibles du visible à l'infrarouge sont calibrés spatialement par rapport au sol de la scène à surveiller. Ce système comprend, en outre, un dispositif d'éclairage infrarouge agencé pour assurer un éclairage diffus dans la scène. Selon un mode de réalisation, l'unité d'analyse est programmée pour - détecter les objets en mouvement dans ladite scène à partir des images prises par ledit premier capteur matriciel sensible du visible à l'infrarouge ; - suivre en deux dimensions les objets détectés dans les images prises par ledit premier capteur matriciel sensible du visible à l'infrarouge ; - squelettiser, dans au moins une image prise par ledit premier capteur matriciel sensible du visible à l'infrarouge, les objets suivis en deux dimensions ; - discrétiser au moins un squelette ; - rechercher dans l'image prise par ledit deuxième capteur matriciel sensible du visible à l'infrarouge et correspondante, dans une paire d'images, à ladite au moins une image prise par ledit premier capteur matriciel sensible du visible à l'infrarouge des points homologues aux points discrets du squelette discrétisé ; - calculer les positions 3D des points discrets dudit squelette ; - comparer à des valeurs prédéfinies la vitesse de variation au cours du temps des hauteurs moyennes des points discrets. Avantageusement, afin de détecter les objets en mouvement, l'unité d'analyse est agencée pour utiliser la variation dans le temps des contours d'une image à la suivante dans une séquence d'images successives prises par ledit premier capteur matriciel sensible du visible à l'infrarouge. Avantageusement, afin de pouvoir suivre en deux dimensions les objets détectés, l'unité d'analyse est agencée pour - lisser les contours détectés ; - identifier des composantes connexes dans les contours lissés ; - distinguer des objets sur la bases des composantes connexes identifiées ; - représenter chaque objet distingué par un masque binaire. Avantageusement, afin de calculer les positions 3D des points discrets 5 dudit squelette, l'unité d'analyse utilise le principe de la géométrie épipolaire pour une paire d'images prises sous deux angles de vue sensiblement différents. L'invention se rapporte, selon un deuxième aspect, à un procédé de détection de chutes de personnes comprenant les étapes suivantes : 10 - prise, de manière synchrone, d'une paire d'images numériques d'une scène, une image sous un premier angle de vue et une image sous un deuxième angle de vue, le premier et le deuxième angle de vue étant sensiblement différents; - détection de la chute d'au moins une personne dans ladite scène à 15 partir d'une séquence dans le temps de paires d'images numériques de ladite scène. L'invention propose, selon un troisième aspect, un produit programme d'ordinateur implémenté sur un support mémoire, susceptible d'être mis en oeuvre au sein d'une unité de traitement informatique et comprenant des 20 instructions pour la mise en oeuvre du procédé résumé ci-dessus. D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement et de manière concrète à la lecture de la description ci-après de modes de réalisation préférés, laquelle est faite en référence aux dessins annexés dans lesquels : 25 la figure 1 présente une architecture fonctionnelle d'un système de détection de chutes de personnes selon un mode de réalisation; la figure 2 illustre schématiquement un mode d'installation non limitative du système de détection de chutes de personnes ; 30 la figure 3 illustre schématiquement l'étape de calibration 3D du dispositif de prise de vue numérique du système de détection de chutes ; la figure 4 est un diagramme schématique illustrant un mode de fonctionnement possible du système de détection de chutes ; la figure 5 illustre schématiquement l'effet d'une étape de suppression d'ombre appliqué à une image de l'environnement à surveiller ; les figures 6, 7, 9 et 10 illustrent schématiquement des résultats intermédiaires du procédé de détection de chutes de personnes. la figure 8 illustre schématiquement le principe de la géométrie épipolaire. la figure 11 représente une courbe de la variation de la hauteur d'une personne en mouvement dans l'environnement surveillé. Sur la figure 1 est représenté un système 1 agencé pour détecter et signaler en temps réel toute chute de personne présente dans l'environnement 10 sous surveillance (une scène 10 sous surveillance). Advantageously, the first and second infrared visible sensitive matrix sensors are spatially calibrated relative to the ground of the scene to be monitored. This system further comprises an infrared lighting device arranged to provide diffuse lighting in the scene. According to one embodiment, the analysis unit is programmed to - detect moving objects in said scene from the images taken by said first infrared visible sensitive matrix sensor; tracking in two dimensions the objects detected in the images taken by said first infrared visible sensitive matrix sensor; skeletonizing, in at least one image taken by said first infrared visible sensitive matrix sensor, objects tracked in two dimensions; - discretize at least one skeleton; searching in the image taken by said second infrared visible sensitive matrix sensor, in a pair of images, at said at least one image taken by said first sensitive matrix sensor of the visible infrared of the dots counterparts at the discrete points of the discretized skeleton; calculating the 3D positions of the discrete points of said skeleton; - Compare with predefined values the rate of variation over time of the average heights of the discrete points. Advantageously, in order to detect the objects in motion, the analysis unit is arranged to use the variation in time of the contours from one image to the next in a sequence of successive images taken by said first sensitive visible matrix sensor. infrared. Advantageously, in order to follow in two dimensions the detected objects, the analysis unit is arranged to - smooth the detected contours; - identify related components in smoothed outlines; - to distinguish objects on the basis of the identified connected components; - to represent each object distinguished by a binary mask. Advantageously, in order to calculate the 3D positions of the discrete points 5 of said skeleton, the analysis unit uses the principle of epipolar geometry for a pair of images taken from two substantially different angles of view. According to a second aspect, the invention relates to a method for detecting falls of persons, comprising the steps of: synchronously taking a pair of digital images of a scene, an image in a first angle of view and an image at a second angle of view, the first and the second angle of view being substantially different; detecting the fall of at least one person in said scene from a time sequence of digital image pairs of said scene. According to a third aspect, the invention proposes a computer program product implemented on a memory medium that can be implemented in a computer processing unit and includes instructions for carrying out the method. summary above. Other features and advantages of the invention will appear more clearly and concretely on reading the following description of preferred embodiments, which is made with reference to the accompanying drawings in which: FIG. functional of a fall detection system according to one embodiment; Figure 2 schematically illustrates a non-limiting installation mode of the fall of persons detection system; Figure 3 schematically illustrates the 3D calibration step of the digital camera of the fall detection system; Figure 4 is a schematic diagram illustrating a possible mode of operation of the fall detection system; FIG. 5 schematically illustrates the effect of a shadow suppression step applied to an image of the environment to be monitored; Figures 6, 7, 9 and 10 schematically illustrate intermediate results of the method of detecting falls of persons. Figure 8 schematically illustrates the principle of epipolar geometry. Figure 11 shows a curve of the variation in the height of a moving person in the monitored environment. In Figure 1 is shown a system 1 arranged to detect and report in real time any person falling in the environment 10 under surveillance (a scene 10 under surveillance).
Notamment, l'environnement 10 peut être un environnement intérieur (une pièce, un couloir, un escalier, une halle, une rame de métro, une cabine d'un ascenseur, une station de métro par exemple), ou un environnement extérieur (un parking, une gare, une station de bus, l'entrée/sortie d'un hôpital par exemple). In particular, the environment 10 may be an indoor environment (a room, a corridor, a staircase, a hall, a subway train, a lift cabin, a subway station for example), or an outside environment (a parking, a train station, a bus station, the entrance / exit of a hospital for example).
Le système 1 de détection de chutes est, en effet, chargé de repérer et suivre le déplacement de toute personne présente dans l'environnement 10 dans le but de détecter son éventuelle chute et déclencher, le cas échéant, un protocole d'intervention. Pour cela, ce système 1 de détection de chutes de personnes comprend - un dispositif 2 de prise de vue numérique permettant de prendre des images de l'environnement 10 ; - un dispositif 7 d'éclairage infrarouge ; - une unité 5 d'analyse ; et - un module 6 de communication permettant ce système d'interagir avec d'autres systèmes de communication. Le dispositif 2 de prise de vue comprend deux capteurs 3-4 matriciels sensibles du domaine visible jusqu'à l'infrarouge (deux caméras sensibles du visible à l'infrarouge) juxtaposés de façon à regarder sensiblement différemment la même scène 10 (ou environnement 10), comme indiqué sur la figure 1 ou 2 (c.à.d. les deux caméras 3 et 4 ont presque le même champ de vision). Un capteur 3-4 matriciel sensible du visible à l'infrarouge permet notamment de capter, dans l'environnement 10, la géométrie et l'intensité de tout phénomène physique observé ainsi que son évolution au cours du temps. Avantageusement, les deux capteurs 3-4 matriciels sensibles du visible à l'infrarouge assemblés en un seul dispositif 2 offre au système 1 de détection de chutes une compacité et une simplicité de déploiement. Les deux capteurs 3-4 matriciels sensibles du visible à l'infrarouge sont disposés de sorte qu'ils regardent la même scène de manière synchrone, et sont munis d'objectifs grands-angles de façon à ce que leur champ de vision couvre l'environnement 10. The fall detection system 1 is, in fact, responsible for identifying and tracking the movement of any person present in the environment 10 in order to detect its possible fall and trigger, if necessary, an intervention protocol. For this, this system 1 for detecting falls of persons comprises - a digital camera 2 for taking pictures of the environment 10; an infrared lighting device 7; an analysis unit; and a communication module 6 enabling this system to interact with other communication systems. The camera device 2 comprises two matrix sensors 3-4 sensitive from the visible range to the infrared (two visible infrared visible cameras) juxtaposed so as to look substantially differently at the same scene 10 (or environment 10). ), as shown in Figure 1 or 2 (ie both cameras 3 and 4 have almost the same field of view). A matrix sensor 3-4 sensitive to the visible infrared allows in particular to capture, in the environment 10, the geometry and intensity of any observed physical phenomenon and its evolution over time. Advantageously, the two visible-to-infrared sensitive matrix sensors 3-4 assembled into a single device 2 offers the fall detection system 1 compactness and simplicity of deployment. The two visible-infrared matrix sensors 3-4 are arranged so that they look at the same scene synchronously, and are provided with wide-angle lenses so that their field of vision covers environment 10.
Dans une mise en oeuvre, lorsque l'environnement 10 sous surveillance est un environnement intérieur telle qu'une pièce, le dispositif 2 de prise de vue est monté en haut d'un mur de la pièce, à l'intersection avec le plafond, comme indiqué sur la figure 2. Dans une autre mise en oeuvre, lorsque l'environnement 10 sous surveillance est un environnement extérieur, le dispositif 2 de prise de vue est placé à une hauteur prédéterminée en regard de l'environnement 10 à surveiller. Par ailleurs, le dispositif 7 d'éclairage infrarouge, de préférence orienté vers le plafond, permet d'avoir un éclairage diffus et évite, par conséquent, la projection d'ombre dans l'environnement 10. L'atténuation, voir l'évitement, de la projection d'ombres dans le champ de vision du dispositif 2 de prise de vue numérique a pour effet de permettre la détection de chutes de jour comme de nuit avec la même fiabilité. Il en résulte qu'avantageusement le système 1 de détection de chutes est fonctionnel du jour comme de nuit sans nécessiter d'interventions de la part de l'utilisateur (particulièrement le réglage des optiques, des contrastes, des luminosités par exemple). L'optique est, en effet, utilisée à ouverture quasi-maximale et la quantité de lumière que reçoivent les capteurs 3-4 matriciels sensibles du visible à l'infrarouge pour les scènes de jour et de nuit est ajustée à l'aide du temps d'obturation. L'unité 5 d'analyse comprend des composantes logicielles (c.à.d. des algorithmes) et matérielles (des espaces mémoires, un processeur par exemple) dont la conjugaison permet, sur la base des images de l'environnement 10 acquises depuis le dispositif 2 de prise vue, de détecter la présence d'une personne dans l'environnement 10, de suivre les déplacements de cette personne, de détecter son éventuelle chute, et déclencher, le cas échéant, le module 6 de communication. En effet, l'unité 5 d'analyse prend en entrées des images prises de manière synchrone par les deux caméras 3-4 (c.à.d. les deux capteurs 3-4 matriciels sensibles du visible à l'infrarouge) pour les traiter en temps réel afin d'y détecter une éventuelle chute d'une personne suivie dans l'environnement 10 et subséquemment émettre une alarme via le module 6 de communication. Il est à noter qu'avant la mise en route dans l'environnement 10 du système 1 de détection de chute, une étape préliminaire de calibration 3D des deux caméras 3-4 est effectuée. Cette étape préliminaire permet, en effet, de réaliser la calibration spatiale des capteurs 3-4 matriciels par rapport au sol de l'environnement 10 surveillée. En particulier, cette calibration 3D détermine les positions et orientations relatives des deux capteurs 3-4 dans le repère spatial lié à l'environnement 10. Selon un mode de réalisation illustré sur la figure 3, la calibration 3D des deux caméras 3-4 est faite à l'aide d'une mire correspondant à un damier noir et blanc plate (ou toute autre mire de calibration) et dont les dimensions des carrés sont connues. Cette mire est visualisée de manière synchrone sur les deux capteurs 3-4. Un algorithme de calibration détecte les positions des points de la mire et calcule les paramètres de calibration du dispositif 2 de prise de vue numérique. Au cours du procédé de calibration, la mire est placée sur le sol afin de définir le repère du sol de l'environnement 10. L'équation du plan qui minimise la distance à tous ces points au sens des moindres carrés est, ensuite, formulée. Enfin, un repère dont les axes X et Y se trouvent sur le plan correspondant au sol de l'environnement 10, et dont l'axe Z est orthogonal au plan est calculé. Il est à noter que le repère (X,Y) n'est pas forcément horizontal, tel que le cas de surveillance d'un escalier par exemple. In an implementation, when the environment under surveillance is an indoor environment such as a room, the camera 2 is mounted at the top of a wall of the room, at the intersection with the ceiling, As shown in FIG. 2. In another implementation, when the monitored environment is an external environment, the camera 2 is placed at a predetermined height with respect to the environment 10 to be monitored. Furthermore, the infrared lighting device 7, preferably oriented towards the ceiling, makes it possible to have diffuse lighting and thus avoids the projection of shadow in the environment. Attenuation, see avoidance , the projection of shadows in the field of view of the device 2 digital shooting has the effect of allowing the detection of falls day and night with the same reliability. As a result, the fall detection system 1 is advantageously functional both during the day and at night without the need for any intervention on the part of the user (particularly the adjustment of the optics, the contrasts, the luminosities, for example). The optics is, in fact, used with quasi-maximum aperture and the amount of light that the sensitive matrix sensors 3-4 visible infrared receive for the day and night scenes is adjusted with the help of time. shutter. The analysis unit 5 comprises software components (ie, algorithms) and hardware components (memory spaces, a processor for example) whose conjugation makes it possible, on the basis of the images of the environment 10 acquired since the device 2 for shooting, to detect the presence of a person in the environment 10, to monitor the movements of this person, to detect its possible fall, and trigger, if necessary, the communication module 6. Indeed, the analysis unit 5 inputs images synchronously taken by the two cameras 3-4 (ie the two sensors 3-4 matrices susceptible to visible infrared) for the process in real time to detect a possible fall of a person followed in the environment 10 and subsequently emit an alarm via the communication module 6. It should be noted that prior to the startup in the environment 10 of the fall detection system 1, a preliminary 3D calibration step of the two cameras 3-4 is performed. This preliminary step makes it possible, in fact, to perform the spatial calibration of the matrix sensors 3-4 with respect to the ground of the monitored environment. In particular, this 3D calibration determines the positions and relative orientations of the two sensors 3-4 in the spatial reference linked to the environment 10. According to an embodiment illustrated in FIG. 3, the 3D calibration of the two cameras 3-4 is made using a pattern corresponding to a flat black and white checkerboard (or any other calibration chart) and whose square dimensions are known. This pattern is displayed synchronously on both sensors 3-4. A calibration algorithm detects the positions of the points of the test pattern and calculates the calibration parameters of the digital camera device 2. During the calibration process, the test pattern is placed on the ground to define the ground mark of the environment 10. The equation of the plane that minimizes the distance to all these points in the least squares sense is then formulated . Finally, a marker whose X and Y axes are on the plane corresponding to the ground of the environment 10, and whose Z axis is orthogonal to the plane is calculated. It should be noted that the mark (X, Y) is not necessarily horizontal, such as the case of monitoring a staircase for example.
En se reportant maintenant à la figure 4, le procédé de détection de chutes de personnes dans l'environnement 10 - mettant en oeuvre les composants décrits ci-dessus du système 1 - comprend les étapes suivantes : - acquisition successive, par l'unité 5 d'analyse, de paires d'images prises, de manière synchrone, respectivement par les deux capteurs 3-4 matriciels sensibles du visible à l'infrarouge. Autrement-dit, l'unité 5 d'analyse prend en entrée à une fréquence prédéterminée une image prise par le capteur 3 et une image prise par le capteur 4 (étape 20 sur la figure 4). Ces deux images prises de manière synchrone forment une paire d'images de l'environnement 10 ; - détection des objets en mouvement dans l'environnement 10 à partir d'une séquence d'images successives acquises depuis une des deux caméras 3-4 (la caméra 3 dans l'exemple de la figure 4) (étape 21 sur la figure 4) : en cas de non détection d'objets en mouvement (test 22 sur la figure 4), alors reprise du procédé à l'étape initiale (flèche renvoyant à l'étape 20 pour une nouvelle itération du procédé), sinon poursuite du procédé ; - suivi 2D des objets détectés en mouvement (étape 23 sur la figure 4) , - squelettisation et discrétisation des objets suivis (étape 24 sur la figure 4); - mise en correspondance des points discrets des objets suivis avec ceux compris dans l'image correspondante prise par le deuxième capteur (la caméra 4 dans l'exemple de la figure 4): recherche dans l'image correspondante rendue par le capteur 4 des points homologues des points discrets des squelettes des objets en mouvement détectés dans l'image prise par le capteur 3 (étape 25 sur la figure 4) ; - calcul des positions 3D, par triangulation, des points discrets des squelettes des objets suivis, les deux caméras 3-4 étant préalablement calibrés spatialement par rapport au sol de l'environnement surveillé (étape 26 sur la figure 4); - analyse de la distribution verticale des points discrets de chaque squelette: traçage de la hauteur moyenne au cours du temps (c'est-à-dire issue de plusieurs images dans le temps) des points de chaque squelette (étape 27 sur la figure 4). La comparaison à des valeurs prédéfinies de la vitesse de variation des hauteurs moyennes de ces points discrets permet de détecter une chute, cette dernière correspondant à une décroissance rapide de la hauteur moyenne d'un objet suivie d'une temporisation au sol (c'est-à-dire la chute est confirmée si l'objet reste une certaine durée au sol) (test 28 sur la figure 4). En même temps, on passe à l'itération suivante (flèche renvoyant à l'étape 20) en recevant de manière synchrone une nouvelle paire d'images rendue par les deux caméras 3-4 ; - en cas de détection d'une chute (test 28 sur la figure 4), signalisation de cette chute via le module 6 de communication (étape 29 sur la figure 4). La détection d'objets en mouvement dans l'environnement 10 à partir d'une séquence d'images successives prises par le capteur 3 est faite sur la base des variations dans le temps des contours (algorithme de Sobel) d'une image à la suivante dans cette séquence, une séquence d'images étant formée par un nombre prédéterminé des toutes dernières images acquises depuis le capteur 3 matriciel sensible du visible à l'infrarouge. Referring now to FIG. 4, the method of detecting falls of persons in the environment 10 - implementing the above-described components of the system 1 - comprises the following steps: - successive acquisition, by the unit 5 analysis, pairs of images taken synchronously, respectively by the two sensors 3-4 matrices sensitive to visible infrared. In other words, the analysis unit 5 inputs at a predetermined frequency an image taken by the sensor 3 and an image taken by the sensor 4 (step 20 in Figure 4). These two images taken synchronously form a pair of images of the environment 10; detection of the objects in motion in the environment 10 from a sequence of successive images acquired from one of the two cameras 3-4 (the camera 3 in the example of FIG. 4) (step 21 in FIG. 4 ): in case of non-detection of moving objects (test 22 in FIG. 4), then resuming the process in the initial step (arrow returning to step 20 for a new iteration of the process), otherwise the process continues ; 2D tracking of the detected objects in motion (step 23 in FIG. 4); skeletonization and discretization of the objects tracked (step 24 in FIG. 4); mapping of the discrete points of the objects followed with those included in the corresponding image taken by the second sensor (the camera 4 in the example of FIG. 4): search in the corresponding image rendered by the sensor 4 of the points counterparts of the discrete points of the skeletons of the moving objects detected in the image taken by the sensor 3 (step 25 in FIG. 4); calculating the 3D positions, by triangulation, of the discrete points of the skeletons of the tracked objects, the two cameras 3-4 being previously calibrated spatially with respect to the ground of the monitored environment (step 26 in FIG. 4); analysis of the vertical distribution of the discrete points of each skeleton: plotting of the average height over time (that is to say, issuing from several images in time) of the points of each skeleton (step 27 in FIG. ). The comparison with predefined values of the speed of variation of the average heights of these discrete points makes it possible to detect a fall, the latter corresponding to a rapid decrease in the average height of an object followed by a delay on the ground (this is ie the fall is confirmed if the object remains a certain time on the ground) (test 28 in Figure 4). At the same time, we proceed to the next iteration (arrow pointing to step 20) by receiving synchronously a new pair of images rendered by the two cameras 3-4; in the event of detection of a fall (test 28 in FIG. 4), signaling of this fall via the communication module 6 (step 29 in FIG. 4). The detection of moving objects in the environment 10 from a sequence of successive images taken by the sensor 3 is made on the basis of the variations in the time of the contours (Sobel algorithm) of an image at the next in this sequence, a sequence of images being formed by a predetermined number of the latest images acquired from the infrared visible sensitive matrix sensor 3.
La détection d'objets en mouvement à partir d'une séquence d'images acquises depuis le capteur 3 procède par deux étapes de prétraitement, à savoir, - la suppression des ombres : en scène de jour comme de nuit, l'éclairage (en intérieur ou en extérieur) projette souvent des ombres assez prononcées, sur le sol, sur le mur ou sur les objets aux alentours. En effet, si une personne passe devant la source de lumière, une détection de mouvement classique a tendance à détecter les ombres comme des objets en mouvements. Cependant, grâce au dispositif 7 d'éclairage infrarouge, qui a pour effet d'atténuer les ombres du fait qu'il est orienté vers un diffuseur (le plafond par exemple), les frontières de ces ombres deviennent assez douces et ne sont plus ou peu visibles lors d'une détection de contours. Par conséquent, l'approche adoptée est de faire de la détection de mouvement en se basant sur les variations des contours de l'image au cours du temps car aucune des ombres ne génère de contour même avec des seuils de détection relativement bas (voir figure 5) ; calcul de l'arrière plan (soustraction du fond): on définit l'arrière- plan dans une séquence d'images comme l'ensemble des pixels immobiles dans la séquence d'image pendant une durée prédéfinie, appelée historique. Une détection des contours (algorithme de Sobel), est donc appliquée sur l'image puis, l'arrière plan des contours est crée de la façon suivante : si un pixel est détecté comme un contour sur plus de la moitié de l'historique des contours, alors ce pixel fait partie des contours de l'arrière plan. Enfin une différence entre les contours courants et l'arrière plan des contours permet de trouver les contours en mouvement (image b de la figure 9). Les opérateurs morpho- mathématiques d'ouverture et de fermeture sont appliqués sur l'image obtenue pour connecter les objets proches et supprimer le bruit de détection (image c de la figure 9). Avantageusement, le dispositif 7 d'éclairage infrarouge de l'environnement 10 surveillé a pour effet d'atténuer les ombres et donc d'améliorer la précision de détection d'un objet en mouvement dans l'environnement 10. L'étape de suivi 2D des objets détectés en mouvement dans l'environnement 10 vise, notamment, à analyser dans le temps le comportement de toute personne distinguée et à détecter toute nouvelle personne qui paraît dans cet environnement 10. The detection of moving objects from a sequence of images acquired from the sensor 3 proceeds by two preprocessing steps, namely, - the suppression of the shadows: in day and night scenes, the lighting (in inside or outside) often projects shadows fairly pronounced, on the floor, on the wall or on objects around. Indeed, if a person passes in front of the light source, a classic motion detection tends to detect the shadows as moving objects. However, thanks to the device 7 infrared lighting, which has the effect of reducing shadows because it is oriented towards a diffuser (the ceiling for example), the borders of these shadows become quite soft and are no longer or not very visible during edge detection. Therefore, the approach taken is to do motion detection based on the variations of the image contours over time because none of the shadows generates an outline even with relatively low detection thresholds (see figure 5); calculation of the background (subtraction of the background): the background is defined in a sequence of images as the set of still pixels in the image sequence for a predefined duration, called history. An edge detection (Sobel algorithm) is then applied to the image and then the background of the contours is created as follows: if a pixel is detected as an outline on more than half of the history of contours, then this pixel is part of the contours of the background. Finally, a difference between the current contours and the background of the contours makes it possible to find the outlines in motion (image b of FIG. 9). The morpho-mathematical operators of opening and closing are applied on the image obtained to connect the close objects and to suppress the detection noise (image c of FIG. 9). Advantageously, the infrared lighting device 7 of the monitored environment has the effect of attenuating the shadows and thus of improving the accuracy of detection of an object moving in the environment 10. The 2D tracking step detected objects moving in the environment 10 is intended, in particular, to analyze over time the behavior of any distinguished person and to detect any new person who appears in this environment 10.
Pour cela, le suivi 2D des objets détectés en mouvement dans l'environnement 10 est obtenu de la manière suivante : - lissage des contours détectés ; - identification des composantes connexes dans ces contours lissés ; - clusterisation des composantes connexes : autrement dit la distinction des objets (ces objets étant supposés des « personnes »); et - suivi des mouvements des objets distingués en se basant sur la modélisation du fond fixe (chaque personne distinguée est représentée par un masque binaire). En effet, dans un premier temps, les composantes connexes (CC) sont identifiées dans le masque représentant chaque pixel avec du mouvement. Ces CCs sont ensuite filtrées en fonction de leur taille pour éliminer le bruit : si une CC est composée de moins d'un seuil exprimé en pixels, alors elle fait partie du bruit. Sinon, l'algorithme suivant est utilisé pour agréger les CCs à des objets (c.à.d. à des personnes) : - les CCs sont triées par taille (nombre de pixels) ; - pour chaque CC, un score est calculé pour chaque objet existant, basé sur : o la proximité de la CC avec l'objet à l'image précédente ; o la différence de taille entre la CC et l'objet à l'image précédente - si le score de la CC est inférieur à un certain seuil, alors elle est agrégée à l'objet. Sinon, un nouvel objet est crée à partir de la CC : cela signifie qu'une nouvelle personne est entrée dans le champ, qui doit être également suivie. For this purpose, the 2D tracking of the objects detected while moving in the environment 10 is obtained in the following manner: smoothing of the detected contours; - identification of related components in these smoothed outlines; - clustering of related components: in other words the distinction of objects (these objects being assumed to be "people"); and - tracking the movements of the distinguished objects based on the modeling of the fixed background (each distinguished person is represented by a binary mask). Indeed, in a first step, the connected components (CC) are identified in the mask representing each pixel with movement. These CCs are then filtered according to their size to eliminate the noise: if a CC is composed of less than a threshold expressed in pixels, then it is part of the noise. Otherwise, the following algorithm is used to aggregate CCs to objects (ie to people): - CCs are sorted by size (number of pixels); - for each CC, a score is calculated for each existing object, based on: o the proximity of the CC with the object to the previous image; o the difference in size between the CC and the object in the previous image - if the CC score is below a certain threshold, then it is aggregated to the object. Otherwise, a new object is created from the CC: this means that a new person has entered the field, which must also be followed.
Ainsi, chaque objet en mouvement dans le champ des deux caméras 3-4 est suivi, et représenté par un masque binaire. La phase suivante est la squelettisation/discrétisation des objets suivis : en morphologie mathématique, le squelette d'un objet binaire est défini comme l'ensemble des centres des boules maximales contenues dans cet objet binaire. Le squelette obtenu est alors discrétisé en un certain nombre de points, comme indiqué sur la figure 7. Dans une étape suivante, l'attitude en 3D des personnes détectées dans l'environnement 10 est reconstruite sur la base du principe de la stéréovision et la géométrie épipolaire. Il est à noter que la stéréovision consiste à utiliser deux images synchrones de la scène. En référence à la figure 8, un point P de la scène est vu en 2 dimensions dans chacune des deux images rendues par les caméras 3 et 4. Thus, each moving object in the field of the two cameras 3-4 is followed, and represented by a binary mask. The next phase is the skeletonization / discretization of the objects tracked: in mathematical morphology, the skeleton of a binary object is defined as the set of centers of the maximum balls contained in this binary object. The skeleton obtained is then discretized at a number of points, as shown in FIG. 7. In a next step, the 3D attitude of the persons detected in the environment 10 is reconstructed on the basis of the stereovision principle and the epipolar geometry. It should be noted that stereovision consists in using two synchronous images of the scene. With reference to FIG. 8, a point P of the scene is seen in two dimensions in each of the two images rendered by the cameras 3 and 4.
Connaissant les paramètres de calibration du système, la position 3D du point P peut-être calculée par triangulation à partir de ce couple de positions pl et p2 du point P vu des deux caméras 3-4. Le principe de la contrainte épipolaire peut se déduire de ce schéma géométrique (voir Figure 8), en remarquant que les points Cl, C2 (centres optiques des caméras 3-4), pl, p2 (projections du point P sur les images, Image_1 et Image_2, des deux caméras 3-4) et le point P lui-même sont coplanaires. L'intersection de ce plan avec le plan de chacune des images est une droite, appelée droite épipolaire. Ainsi, l'homologue d'un point pl sur l'image Image_l se trouve forcément, dans l'image Image_2, sur la droite épipolaire formée par l'intersection du plan (C1, C2, pl) et l'image Image_2. Cette contrainte facilite la mise en correspondance de points d'une image à l'autre par reconnaissance de forme en termes de robustesse et de temps de calcul. Dans une mise en oeuvre, la mise en correspondance et triangulation est obtenue en cherchant à chaque instant, dans l'image rendue par la caméra 4, les homologues de tous les points discrets du squelette du ou de chaque objet en mouvement détectés dans l'image de la caméra 3 (flèche reliant l'étape 20 à l'étape 25 sur la figure 4). Cette étape de mise en correspondance des points par reconnaissance de forme est réalisée par corrélation croisée normalisée le long de la droite épipolaire de chacun des points de chaque squelette identifié dans l'image rendue par la caméra 3. On en déduit les positions 3D des points appariés par triangulation (voir Figure 8) en s'appuyant sur la calibration spatiale réalisée à l'installation du système 1 de détection de chutes. Les coordonnées 3D de ces points du squelette sont exprimées dans le repère spatial du sol de la zone sous surveillance. La figure 9 et 10 illustrent la distribution des points 3D d'un squelette, respectivement, d'une personne débout et d'une personne allongée sur le sol. Knowing the calibration parameters of the system, the 3D position of the point P can be calculated by triangulation from this pair of positions p1 and p2 of the point P seen from the two cameras 3-4. The principle of the epipolar constraint can be deduced from this geometric diagram (see Figure 8), noting that the points C1, C2 (optical centers of the cameras 3-4), pl, p2 (projections of the point P on the images, Image_1 and Image_2, both cameras 3-4) and the point P itself are coplanar. The intersection of this plane with the plane of each of the images is a line, called the epipolar right. Thus, the homologue of a point p1 on the image Image_l is necessarily, in the image Image_2, on the epipolar line formed by the intersection of the plane (C1, C2, pl) and the image Image_2. This constraint facilitates the mapping of points from one image to another by pattern recognition in terms of robustness and computation time. In one implementation, the mapping and triangulation is obtained by searching at each instant, in the image rendered by the camera 4, the counterparts of all the discrete points of the skeleton of the or each moving object detected in the image of the camera 3 (arrow connecting step 20 to step 25 in FIG. 4). This step of matching the points by shape recognition is performed by normalized cross-correlation along the epipolar line of each of the points of each skeleton identified in the image rendered by the camera 3. We deduce the 3D positions of the points matched by triangulation (see Figure 8) based on the spatial calibration performed at the installation of the fall detection system 1. The 3D coordinates of these skeleton points are expressed in the spatial landmark of the area under surveillance. Figures 9 and 10 illustrate the distribution of the 3D points of a skeleton, respectively, of a standing person and a person lying on the ground.
Maintenant, à partir des points 3D obtenus du squelette dans le repère du sol de la zone surveillée, l'attitude de l'objet en mouvement est analysée. Notamment, on trace sa hauteur au cours du temps, comme indiqué sur la Figure 11. Pour limiter le bruit, les valeurs moyennes au cours du temps de la hauteur d'un objet sont utilisées (la courbe lisse de la figure 11). A partir de cette courbe, il est considéré qu'une chute correspond à une variation subite de la hauteur moyenne d'un objet vers le bas suivie d'une temporisation au sol. La vitesse de décroissance de la hauteur moyenne d'une personne en activité normale reste généralement en dessous d'un certain seuil alors que lors d'une chute elle dépasse cette limite. La détection de chutes d'une personne à partir d'une courbe représentative de la variation de sa hauteur moyenne dans une séquence d'images successives (et donc au cours du temps) repose sur le fait de détecter dans cette courbe une signature de chute. A titre d'exemple, le scénario «hauteur moyenne relativement importante (Debout)- décroissance de la hauteur moyenne à une vitesse rapide - hauteur moyenne au voisinage de zéro (allongé) » représente une signature de chute, en revanche le scénario «hauteur moyenne relativement importante (Debout), décroissance de la hauteur moyenne à une vitesse moyenne - hauteur moyenne légèrement supérieure à zéro (allongé)» représente une signature d'allongement et non pas celle d'une chute. A titre d'exemple, sur la figure 11, la dernière chute correspond à une personne assise qui, en se relevant, tombe par terre (par conséquent, la chute depuis une position assise est prise en compte par le présent système de détection de chutes). Avantageusement, les seuils cités ci-dessus, étant variables d'une personne à une autre et d'une configuration à une autre du dispositif 2 de prise de vue numérique, sont réglables. Le module 6 de communication est configuré pour informer un module externe (non représenté sur la figure 1) d'une chute de personne survenue dans l'environnement 10 sous surveillance. Ce module externe peut être un serveur distant d'un plateau médicalisé, un terminal utilisateur, un centre de téléassistance, ou plus généralement tout autre moyen de communication. Le module 6 de communication est pourvu d'une pluralité d'interfaces de communications apte à transmettre via des réseaux de communications des informations (un SMS, un MMS, une transmission en directe d'images en provenance du système de prise de vues numérique, un courriel, un fax, un appel par exemple) à un destinataire prédéfini. Le module 6 de communication est en outre configuré pour répondre à une requête reçue via une de ses interfaces de communications (requête de transmettre en direct des images de l'environnement 10, requête portant sur des statistiques relatives aux chutes et/ou aux personnes présentes dans l'environnement 10 par exemple). Dans un mode de réalisation, les informations émises par le module de communication sont codées. Now, from the 3D points obtained from the skeleton in the ground reference of the monitored zone, the attitude of the moving object is analyzed. In particular, its height is plotted over time, as shown in FIG. 11. To limit the noise, the average values over time of the height of an object are used (the smooth curve of FIG. 11). From this curve, it is considered that a fall corresponds to a sudden variation of the average height of an object downwards followed by a delay on the ground. The decay rate of the average height of a person in normal activity generally remains below a certain threshold whereas during a fall it exceeds this limit. The detection of falls of a person from a curve representative of the variation of its average height in a sequence of successive images (and therefore over time) is based on detecting in this curve a signature of fall . For example, the scenario "relatively high average height (Standing) - decreasing average height at a fast speed - average height near zero (elongated)" represents a fall signature, however the scenario "average height relatively large (Standing), decay of the average height at an average speed - average height slightly greater than zero (elongated) "represents a lengthening signature and not that of a fall. By way of example, in FIG. 11, the last fall corresponds to a seated person who, when getting up, falls to the ground (therefore, the fall from a sitting position is taken into account by the present fall detection system. ). Advantageously, the thresholds mentioned above, being variable from one person to another and from one configuration to another configuration of the digital camera 2, are adjustable. The communication module 6 is configured to inform an external module (not shown in FIG. 1) of a fall of a person occurring in the monitored environment. This plug-in can be a remote server of a medical platform, a user terminal, a remote assistance center, or more generally any other means of communication. The communication module 6 is provided with a plurality of communication interfaces capable of transmitting information via communication networks (an SMS, an MMS, a direct transmission of images from the digital camera system, an email, a fax, a call for example) to a predefined recipient. The communication module 6 is further configured to respond to a request received via one of its communication interfaces (request to transmit live images of the environment 10, query relating to statistics relating to the falls and / or those present. in the environment 10 for example). In one embodiment, the information transmitted by the communication module is coded.
Avantageusement, le procédé décrit ci-dessus permet en outre de localiser l'endroit de la chute d'une personne dans l'environnement 10 (une chute sur la voie dans une station de métro, chute sur le lit, chute dans les escaliers par exemple) de manière à déclencher une alerte/alarme en cas de situation à risque. Cette géolocalisation est assurée bien entendu grâce à l'étape de calibration préliminaire au cours de laquelle on peut distinguer et nommer différentes zones dans le repère spatial lié à l'environnement 10. Le procédé qui vient d'être décrit présente un certain nombre d'avantages. En effet, l'éclairage infrarouge permet d'assurer un éclairage diffus dans l'environnement à surveiller et, par conséquent, d'éviter la projection d'ombres dans cet environnement. Ceci a pour effet d'avoir une représentation 3D plus fidèle à l'objet mobile réel et, donc, un suivi plus précis de cet objet dans l'environnement surveillé ; le dispositif 2 de prise de vue numérique bi-caméras (c.à.d. ne comprenant que deux caméras ayant presque le même champ de vision, à l'encontre des systèmes de détection de chutes conventionnels qui incluent plus de deux caméras spatialement distribués) a pour avantage d'être compact et de permettre l'adoption de la méthode de reconstruction 3D présentée ci-dessus qui ne peut être utilisée avec un système composé de plusieurs caméras ayant des champs de vision très différents ; la soustraction de l'arrière plan suite à la détection des contours lissés des objets a pour effet de détecter le mouvement en tolérant des déplacements d'objets. Avantageusement, selon le procédé et système décrits ci-dessus de détection de chutes, uniquement deux caméras sont requises pour suivre et détecter la chute d'une personne parmi une pluralité de personnes présentes dans un environnement compris dans le champ de vision de ces deux caméras. Le système de détection de chutes décrit ci-dessus trouve notamment application dans une maison de retraite, dans un hôpital (salle d'attente, couloirs, entrée/sortie par exemple), dans une station de métro, ou plus généralement tout endroit destiné à des personnes dépendantes et/ou exposées aux chutes. Il est à noter que les termes « module » ou « unité » recouvrent ici tout boîtier physique intégrant un processeur programmé pour assurer une ou plusieurs fonctions prédéterminées, et/ou toute application logicielle (programme ou sous-programme, plugin) implémentée sur un processeur, indépendamment ou en combinaison avec d'autres applications logicielles. Advantageously, the method described above also makes it possible to locate the place of the fall of a person in the environment 10 (a fall on the track in a subway station, fall on the bed, fall on the stairs by example) to trigger an alert / alarm in case of a risk situation. This geolocation is assured of course thanks to the preliminary calibration step during which we can distinguish and name different areas in the spatial reference linked to the environment 10. The method just described has a number of advantages. In fact, infrared lighting makes it possible to provide diffused lighting in the environment to be monitored and, consequently, to avoid the projection of shadows in this environment. This has the effect of having a 3D representation more faithful to the real mobile object and, therefore, a more precise tracking of this object in the monitored environment; the bi-camera digital imaging device 2 (ie only having two cameras with almost the same field of view, as opposed to conventional fall detection systems which include more than two spatially distributed cameras ) has the advantage of being compact and allowing the adoption of the 3D reconstruction method presented above which can not be used with a system composed of several cameras having very different fields of view; the subtraction of the background following the detection of the smoothed outlines of objects has the effect of detecting the movement by tolerating movements of objects. Advantageously, according to the above-described method and system for detecting falls, only two cameras are required to monitor and detect the fall of one of a plurality of persons present in an environment included in the field of view of these two cameras. . The fall detection system described above finds particular application in a retirement home, in a hospital (waiting room, corridors, entrance / exit for example), in a metro station, or more generally any place intended for dependents and / or people exposed to falls. It should be noted that the terms "module" or "unit" here cover any physical box incorporating a processor programmed to perform one or more predetermined functions, and / or any software application (program or subroutine, plugin) implemented on a processor independently or in combination with other software applications.
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1162167A FR2985070B1 (en) | 2011-12-21 | 2011-12-21 | METHOD AND SYSTEM FOR DETECTING FALLS OF PEOPLE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1162167A FR2985070B1 (en) | 2011-12-21 | 2011-12-21 | METHOD AND SYSTEM FOR DETECTING FALLS OF PEOPLE |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2985070A1 true FR2985070A1 (en) | 2013-06-28 |
FR2985070B1 FR2985070B1 (en) | 2014-08-15 |
Family
ID=46197327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR1162167A Active FR2985070B1 (en) | 2011-12-21 | 2011-12-21 | METHOD AND SYSTEM FOR DETECTING FALLS OF PEOPLE |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR2985070B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111104932A (en) * | 2020-02-03 | 2020-05-05 | 北京都是科技有限公司 | Tumble detection system and method and image processor |
WO2020089535A1 (en) | 2018-11-02 | 2020-05-07 | Bodycap | Method and system for detecting falls by dual control and repetition |
CN112051621A (en) * | 2019-08-15 | 2020-12-08 | 河南紫联物联网技术有限公司 | Method and device for judging whether people are in room or not |
CN113793380A (en) * | 2021-08-27 | 2021-12-14 | 之江实验室 | Method for detecting tumbling of head three-dimensional coordinate based on monocular camera |
CN115294729A (en) * | 2022-06-28 | 2022-11-04 | 西安中诺通讯有限公司 | Reminding method and device of intelligent terminal, terminal and storage medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016085795A1 (en) | 2014-11-26 | 2016-06-02 | Otis Elevator Company | Elevator security and control system based on passenger movement |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020044682A1 (en) * | 2000-09-08 | 2002-04-18 | Weil Josef Oster | Method and apparatus for subject physical position and security determination |
US20030058341A1 (en) * | 2001-09-27 | 2003-03-27 | Koninklijke Philips Electronics N.V. | Video based detection of fall-down and other events |
FR2870378A1 (en) * | 2004-05-17 | 2005-11-18 | Electricite De France | Person e.g. aged person, fall detecting method for use in e.g. home, involves providing exposing unit for successive exposures of same plane, and detecting reduction in height of outline form beyond chosen threshold interval |
WO2010055205A1 (en) * | 2008-11-11 | 2010-05-20 | Reijo Kortesalmi | Method, system and computer program for monitoring a person |
DE102009022555A1 (en) * | 2009-05-25 | 2010-12-02 | Austrian Research Centers Gmbh - Arc | Method for monitoring people in predetermined area, particularly in space, involves assigning each sensor pixel of each sensor chip to visual line, which characterizes receiving area of respective sensor pixels |
-
2011
- 2011-12-21 FR FR1162167A patent/FR2985070B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020044682A1 (en) * | 2000-09-08 | 2002-04-18 | Weil Josef Oster | Method and apparatus for subject physical position and security determination |
US20030058341A1 (en) * | 2001-09-27 | 2003-03-27 | Koninklijke Philips Electronics N.V. | Video based detection of fall-down and other events |
FR2870378A1 (en) * | 2004-05-17 | 2005-11-18 | Electricite De France | Person e.g. aged person, fall detecting method for use in e.g. home, involves providing exposing unit for successive exposures of same plane, and detecting reduction in height of outline form beyond chosen threshold interval |
WO2010055205A1 (en) * | 2008-11-11 | 2010-05-20 | Reijo Kortesalmi | Method, system and computer program for monitoring a person |
DE102009022555A1 (en) * | 2009-05-25 | 2010-12-02 | Austrian Research Centers Gmbh - Arc | Method for monitoring people in predetermined area, particularly in space, involves assigning each sensor pixel of each sensor chip to visual line, which characterizes receiving area of respective sensor pixels |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020089535A1 (en) | 2018-11-02 | 2020-05-07 | Bodycap | Method and system for detecting falls by dual control and repetition |
CN112051621A (en) * | 2019-08-15 | 2020-12-08 | 河南紫联物联网技术有限公司 | Method and device for judging whether people are in room or not |
CN112051621B (en) * | 2019-08-15 | 2024-03-15 | 河南紫联物联网技术有限公司 | Method and device for judging whether room is occupied or not |
CN111104932A (en) * | 2020-02-03 | 2020-05-05 | 北京都是科技有限公司 | Tumble detection system and method and image processor |
CN113793380A (en) * | 2021-08-27 | 2021-12-14 | 之江实验室 | Method for detecting tumbling of head three-dimensional coordinate based on monocular camera |
CN113793380B (en) * | 2021-08-27 | 2024-04-26 | 之江实验室 | Method for detecting tumbling of head three-dimensional coordinates based on monocular camera |
CN115294729A (en) * | 2022-06-28 | 2022-11-04 | 西安中诺通讯有限公司 | Reminding method and device of intelligent terminal, terminal and storage medium |
CN115294729B (en) * | 2022-06-28 | 2023-09-26 | 西安中诺通讯有限公司 | Reminding method and device of intelligent terminal, terminal and storage medium |
Also Published As
Publication number | Publication date |
---|---|
FR2985070B1 (en) | 2014-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11706377B2 (en) | Visual, depth and micro-vibration data extraction using a unified imaging device | |
US10915783B1 (en) | Detecting and locating actors in scenes based on degraded or supersaturated depth data | |
US8237574B2 (en) | Above-water monitoring of swimming pools | |
US10095930B2 (en) | System and method for home health care monitoring | |
FR2985070A1 (en) | System for detecting fall of e.g. person in retirement home, has programmed analysis unit to acquire images taken by sensors in synchronous manner, and to detect fall of person in scene from time sequence of pair of images of scene | |
CN104902246B (en) | Video monitoring method and device | |
EP1768067B1 (en) | Electro-optical device for counting persons, or other, based on stereoscopic vision, and relative method | |
US20130163879A1 (en) | Method and system for extracting three-dimensional information | |
EP2602740A2 (en) | Changing parameters of sequential video frames to detect different types of objects | |
US20120087572A1 (en) | Use of Three-Dimensional Top-Down Views for Business Analytics | |
US20200210733A1 (en) | Enhanced video-based driver monitoring using phase detect sensors | |
KR101496390B1 (en) | System for Vehicle Number Detection | |
US7810926B2 (en) | Lateral gaze angle estimation using relative eye separation | |
WO2017201663A1 (en) | Moving object monitoring method, wearable apparatus, and server | |
US10999524B1 (en) | Temporal high dynamic range imaging using time-of-flight cameras | |
JP2023512280A (en) | Detector for object recognition | |
EP2257924B1 (en) | Method for generating a density image of an observation zone | |
Lin et al. | Fall Prevention Shoes Using Camera‐Based Line‐Laser Obstacle Detection System | |
KR101454644B1 (en) | Loitering Detection Using a Pedestrian Tracker | |
FR2950723A1 (en) | SYSTEM AND METHOD FOR DETECTING THE PRESENCE OF A SENSITIVE AREA SUBJECT | |
JP4991356B2 (en) | Image processing apparatus, image processing method, and image processing program | |
FR2958767A1 (en) | METHOD OF DETECTING TARGETS IN STEREOSCOPIC IMAGES | |
Bravo et al. | Outdoor vacant parking space detector for improving mobility in smart cities | |
KR102546045B1 (en) | monitering system with LiDAR for a body | |
KR20110077465A (en) | The apparatus and method of moving object tracking with shadow removal moudule in camera position and time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 5 |
|
PLFP | Fee payment |
Year of fee payment: 6 |
|
PLFP | Fee payment |
Year of fee payment: 7 |
|
PLFP | Fee payment |
Year of fee payment: 9 |
|
PLFP | Fee payment |
Year of fee payment: 10 |
|
PLFP | Fee payment |
Year of fee payment: 11 |
|
TP | Transmission of property |
Owner name: ORME, FR Effective date: 20220420 |
|
PLFP | Fee payment |
Year of fee payment: 12 |
|
PLFP | Fee payment |
Year of fee payment: 13 |