WO2024047046A1 - Procédé d'acquisition d'un ensemble d'images d'un objet buccal - Google Patents

Procédé d'acquisition d'un ensemble d'images d'un objet buccal Download PDF

Info

Publication number
WO2024047046A1
WO2024047046A1 PCT/EP2023/073681 EP2023073681W WO2024047046A1 WO 2024047046 A1 WO2024047046 A1 WO 2024047046A1 EP 2023073681 W EP2023073681 W EP 2023073681W WO 2024047046 A1 WO2024047046 A1 WO 2024047046A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
acquisition
user
symbol
acquisition device
Prior art date
Application number
PCT/EP2023/073681
Other languages
English (en)
Inventor
Thomas PELLISSARD
Guillaume GHYSELINCK
Xavier DOREMUS
Original Assignee
Dental Monitoring
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dental Monitoring filed Critical Dental Monitoring
Publication of WO2024047046A1 publication Critical patent/WO2024047046A1/fr

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • the present invention relates to a method for acquiring a set of images of an oral object, and in particular a dental object, in particular a dental arch of a user.
  • the invention also relates to a device for implementing such a method.
  • An image “covers” a target when it at least partially represents that target.
  • the set of images “covers” the target when it contains images covering the target in different observation directions, in particular to have precise three-dimensional information on the target.
  • An acquisition in a dental office, or more generally from a dental care professional, can generate significant costs and stress for the user.
  • the user can acquire the dental images themselves, for example with their phone.
  • To acquire an image the user generally looks in a mirror, which can make precise positioning of their phone difficult.
  • the user does not know whether the images are of good quality, nor whether they correctly cover the intended target. Even by consulting the gallery, he cannot precisely assess whether the coverage rate of the target by all the images acquired is sufficient.
  • the acquisition can be laborious if the user is required to renew it. Tired of these difficulties, the user can end the acquisition operation prematurely.
  • the invention proposes a method for acquiring a set of images covering, preferably with a coverage rate greater than or equal to a coverage threshold, a target belonging to an oral object of a user, for example a set images covering the incisors or teeth (target) of the dental arch (oral object) of the user.
  • the method comprises the following steps:
  • the shape of a multidimensional symbol in the space of the real scene observed by the acquisition device allows, when the user looks at the screen, to inform and guide it towards one or more acquisition conditions associated with said symbol and adapted to the acquisition of a desired image.
  • a symbol presented in augmented reality thus provides particularly effective guidance information.
  • a method according to the first main aspect may also include, in particular, one or more of the following optional characteristics:
  • step 2 an image is only acquired with the acquisition device if said at least one predetermined acquisition condition associated with at least one symbol is met, preferably only if all the conditions predetermined acquisition conditions associated with said symbol are fulfilled;
  • - at least one symbol defines - a symbol axis, preferably an axis of revolution, an acquisition condition being an angular difference between the optical axis of the acquisition device and said symbol axis less than 20°, preferably less than 10° , preferably less than 5°, preferably substantially zero, that is to say substantially perfect alignment of the optical axis of the acquisition device with said symbol axis, and/or
  • step 1) the user is taught, for each symbol, said at least one predetermined acquisition condition associated with said symbol; for example, we explain to the user that, to acquire the set of images, he must, for each symbol, align as best as possible the axis of the symbol with the optical axis of the acquisition device, and/or try to visualize the symbol on the screen so that said dimension is as close as possible to said specific value;
  • said teaching is carried out by means of a tutorial, the tutorial preferably making it possible to progressively teach all the functionalities of the computer program executed for the implementation of the method, the tutorial being able to evolve according to updates ;
  • step 2 we automatically acquire, with the acquisition device, a said image if predetermined acquisition conditions defining a position in space and/or an orientation of the acquisition device around of its optical axis and including said at least one acquisition condition indicated by the symbol, are met;
  • step 2) if we acquire, with the acquisition device, a said image,
  • the screen displays the symbols on preview images representing the real scene observed by the acquisition device or on views of a model representing, like said preview images, at least said oral object or said target;
  • the screen displays a test pattern in a fixed position on the screen, the test pattern preferably having a constant shape, a said symbol preferably having a shape complementary to the test pattern when a predetermined acquisition condition associated with said symbol is filled;
  • the target comprises more than 2, preferably more than 5 teeth and/or less than 32 teeth and/or the set of images comprises more than 2, more than 5, more than 10 and/or less than 1,000 images taken under different respective acquisition conditions and/or the set of symbols comprises more than 2, more than 5 and/or less than 100 symbols;
  • the symbols preferably each have an axis oriented towards the center of the user's mouth;
  • the symbols are preferably distributed in one plane, preferably in two planes, preferably in three planes, preferably so as to obtain images with axes of observation in the occlusal plane, in a plane inclined relative to the plane occlusal so as to obtain views from above relative to the occlusal plane and in an inclined plane relative to the occlusal plane so as to obtain views from below relative to the occlusal plane;
  • the symbols are outside the user's mouth, so that the images acquired are extraoral.
  • the symbol is a part of the surface of the target and an aiming point is displayed on the preview image, or on an equivalent image, making it possible to visualize the angulation of the acquisition device.
  • the aiming point in the extension of the optical axis, is displayed on the surface of the target, in the same way as the aiming point which appears on an object when it is aimed by a projecting firearm, according to the firing direction, a laser beam on the object.
  • the symbol can be a point or a surface. If it is a surface, its outline distorts depending on the shape and distance of the target surface onto which it is projected.
  • the symbol can advantageously be used to indicate a distance of the acquisition device relative to the target and/or an orientation of the acquisition device around its optical axis.
  • the shape of the aiming point is not restrictive.
  • the symbol may in particular be a sticker, that is to say a small image, attached to a tooth, for example a star as in a video game.
  • the invention also relates to a device for implementing a method according to the first main aspect of the invention, comprising
  • an image acquisition device preferably in the form of a mobile phone
  • a computer preferably integrated into the acquisition device or in communication with the acquisition device, comprising a computer program comprising program code instructions for
  • step 1) arrange and present to the user one or more multidimensional symbols on a screen, preferably the screen of the acquisition device, in augmented reality in the space of the oral object, the shape and/or position of a symbol being determined so as to indicate to the user at least one predetermined acquisition condition adapted for the acquisition of said image;
  • step 2) only authorize the acquisition, with the acquisition device, of said image if said at least one predetermined acquisition condition associated with a symbol is met, and /or order the acquisition device to acquire a said image only if said at least one predetermined acquisition condition is met, and/or update a level of coverage of the target by the acquired images, and preferably compare the coverage level with a coverage threshold, and preferably present on the screen information on the coverage level and/or on the difference between the coverage threshold and the coverage level.
  • the acquisition device is preferably
  • a device comprising a support equipped with a camera and intended to be held in support of the user during the acquisition of the set of images, in particular in support of the teeth and/or gums of the user , the screen being integrated into the support or at a distance from the support.
  • the method aims to quickly cover the target with a coverage rate greater than or equal to a coverage threshold, and the method comprises the following steps: a) acquisition of at least one image, preferably by the user, by means of an image acquisition device, preferably a mobile telephone; b) updating the coverage level of the target based on said at least one image acquired in step a); c) if the coverage level is below the coverage threshold,
  • step a) by the user, of the position and/or orientation of the acquisition device depending on the guidance information, and resumed in step a), preferably in real time, the acquired images preferably being extracted from a film that the user views on a screen of the acquisition device .
  • the determination of guidance information as a function of a coverage rate updated in real time advantageously makes it possible to facilitate the acquisition of images of the mouth of a user, and in particular the acquisition of dental images.
  • the user receives guidance information in real time, which makes the acquisition more efficient, in particular when the guidance information is chosen to guide towards optimal acquisition conditions allowing the acquisition of a additional image maximizing the increase in coverage level.
  • Images can advantageously be acquired under precise acquisition conditions, without special training. In particular, they can be acquired by the user himself or by one of his relatives. In particular, the process facilitates the acquisition of images of a child's arches by one of his parents.
  • the presentation of information on the level of coverage is also particularly advantageous because it effectively discourages the user from interrupting the acquisition before it is complete. It makes acquisition particularly pleasant, with the user knowing at all times the path still to be taken before having acquired all of the images. The acquisition can even be fun.
  • a method according to the second main aspect may also include, in particular, one or more of the following optional characteristics:
  • a representation of the oral object when the oral object includes other parts of the user's mouth than the target - the guidance information and/or information on the coverage level and/or on the difference between the coverage threshold and the coverage level is/are presented in augmented reality in a preview image displayed on a display screen the acquisition device and representing the real scene observed by the acquisition device and/or in an image equivalent to the preview image representing a theoretical scene representing, in a symbolic or realistic manner, all or part of the elements of said real scene, in the same arrangement as in said real scene;
  • the equivalent image comprises, preferably is a view of a model of at least part of said real scene, a model being a digital three-dimensional model;
  • the target comprises a set of teeth and/or soft tissues
  • the preview image or equivalent image is updated in real time, preferably on the screen of the user's mobile phone, the covered teeth being marked specifically, by a symbol or by application of an appearance allowing them to be distinguished from uncovered teeth, a tooth being “covered” when its initial surface to be covered is covered;
  • a plurality of symbols are anchored, in augmented reality, in the real scene observed by the acquisition device, so as to appear on the preview image or on an equivalent image, each symbol being able for example to be anchored on a tooth respective of the user or be anchored so as to indicate to the user suitable acquisition conditions for the acquisition of the additional image;
  • the symbols are three-dimensional symbols according to the first main aspect of the invention.
  • the user aims, with the acquisition device, at a said symbol, preferably two-dimensional or three-dimensional, and when the targeted symbol is reached, preferably when it is at least partly superimposed at a fixed target displayed on the screen of the acquisition device, at least one image is acquired, preferably automatically, that is to say without specific intervention from the user;
  • the symbols are anchored on adjacent teeth or not, in augmented reality, on the preview image or on an equivalent image, the symbols can for example be anchored regularly along the dental arch, for example every 2 or 3 teeth;
  • the symbols are anchored and/or shaped so as to define, optionally in cooperation with a said target, predetermined acquisition conditions, preferably a distance of the acquisition device relative to the target and/or an orientation of the acquisition device around its optical axis and/or an angulation of said optical axis relative to the target;
  • step b) said at least one image acquired in step a) is analyzed in order to identify a representation of the target on said image, preferably by means of a neural network, then, we mark the corresponding area in the preview image, preferably by coloring it with a color associated with said target;
  • step a) before or after the acquisition of the image, the quality of the acquired or previewed image is evaluated, that is to say displayed on the screen of the acquisition device , respectively, preferably at least the sharpness and/or contrast, and/or the color balance of the image, and/or the distance of the acquisition device relative to the target and/or the orientation of the acquisition device around its optical axis and/or the angulation of said optical axis relative to the target, and we only acquire the image and/or update the coverage rate if the quality exceeds a predetermined quality threshold;
  • step c) several acquisition conditions are tested suitable for the acquisition, with the image acquisition device, of an additional image increasing the coverage level, then we determine the guidance information so that it guides towards the optimal acquisition conditions, that is to say adapted for the acquisition, with the image acquisition device, of the image supplement which most increases the level of coverage;
  • each acquired image is subjected to at least a first neural network trained to detect the representation of the target on the image and/or to an image processing algorithm adapted to detect the representation of the target on the image, and a second neural network trained to determine the position and orientation of the acquisition device during image acquisition, and therefore the direction of the optical axis of the acquisition device, that is to say from the camera of the acquisition device, relative to the target and the distance of the acquisition device relative to the target, then
  • said representation of the target is projected onto a model of the target or of the oral object, or “reference model”, following a projection direction oriented, relative to said model, such as the direction of the optical axis by relative to the target, said representation of the target being virtually (that is to say theoretically) positioned, relative to the reference model such as the acquisition device relative to the target, then
  • the coverage rate is determined as a function of the surface of the reference model covered by said projection and by said projections carried out during possible previous step(s) b);
  • each acquired image is submitted to a first neural network trained to detect the representation of the target, or remarkable points of said target, on the image, and to a second neural network trained to recognize, from the representation of the target or said remarkable points on the image, a corresponding area of a reference image, then
  • a mobile phone with a screen preferably a mobile phone of the user or
  • a support equipped with a camera and held against the user during the acquisition of the set of images, preferably allowing opening and closing of the mouth, preferably partially introduced into the mouth of the the user, preferably resting on the gums and/or teeth, and
  • step a) the user visualizes, in real time, on a screen of said mobile phone, the real scene observed by the mobile phone or a corresponding theoretical scene, an image preferably being acquired automatically when the mobile phone observes the target under predetermined acquisition conditions, preferably under acquisition conditions determined at a step c) of the preceding cycle of steps a) to c);
  • step c) the user is presented, preferably on the screen of the acquisition device, with a counter or gauge, preferably in the form of a progress bar, providing information on the coverage level and/or the difference between the coverage threshold and the coverage level, and/or
  • the user is presented, preferably on the screen of the acquisition device, with a score calculated according to the duration to reach the coverage threshold and/or the quality of the acquired images, and/or the usefulness of the acquired images, and/or the user is presented, preferably on the screen of the acquisition device, with a classification determined as a function of said score.
  • the guidance information comprises a set of symbols, positioned, in augmented reality, according to the respective images to be acquired.
  • the set of images to be acquired includes one image for each symbol.
  • the user must aim at the symbols with their mobile phone and reach them, like in a video game.
  • each symbol can be anchored, in reality increased, on a respective tooth, the target being constituted by said teeth and/or soft tissues.
  • the symbols can be anchored according to desired acquisition conditions, for example on non-adjacent teeth, for example every two or three teeth.
  • a test pattern can be represented on the screen of the user's mobile phone.
  • the target is superimposed with the symbol, the latter is reached: an image is then acquired, preferably automatically, and the symbol is marked, or disappears.
  • the marking or disappearance of symbols provides information on the coverage rate. It also provides guidance information, with the user easily able to spot unreached symbols on the preview image displayed on the mobile phone screen. It can arrange the cell phone accordingly.
  • the image set covers all targeted teeth and/or soft tissues.
  • the coverage level can for example be the ratio of the number of symbols reached to the initial number of symbols, that is to say before the start of acquisition.
  • the symbols are anchored and/or shaped so as to define, in cooperation with the target, predetermined acquisition conditions, preferably a distance of the acquisition device relative to to the target and/or an orientation of the acquisition device around its optical axis and/or an angulation of said optical axis relative to the target.
  • the optional pattern is shaped to be superimposed on several symbols simultaneously, for example two or three symbols.
  • it includes a plurality of elementary patterns, for example circles, which must be simultaneously superimposed on a plurality of respective symbols.
  • this superposition corresponds to a predetermined angulation and distance of the acquisition device relative to the target.
  • the symbols of said plurality of symbols have an appearance, for example a color, specific to the plurality of symbols. For example, the user first aims to place the three green symbols in the circles of the target, then the three red symbols, etc.
  • the target and a symbol can have compatible dimensions, so that, when the user exactly superimposes the target and the symbol, the acquisition device and the target are at said distance.
  • the symbols of a plurality of symbols and the elementary patterns are preferably different from each other, for example bear different numbers.
  • the user aims to place the three symbols numbered 1, 2 and 3 in the circles numbered 1, 2 and 3 of the target, respectively.
  • this superposition can thus impose a predetermined orientation of the acquisition device around its optical axis.
  • the target and a symbol can have a shape which is not of revolution, for example a rectangular shape, preferably a shape without symmetry, so that the user cannot superimpose, with the same orientation, the target and the symbol as if the acquisition device is oriented in one or more predetermined orientations around the optical axis.
  • the symbols are not necessarily associated with particular teeth, and in particular with teeth which must be covered.
  • a view of a three-dimensional model of the target is displayed on the screen of the mobile phone.
  • the user can modify this view, that is to say modify the observation point of the model, using conventional model manipulation software.
  • the view is modified according to the conditions of observation of the target by the mobile phone, preferably following the principles of augmented reality.
  • the model can then be displayed, possibly in transparency, superimposed on the preview image, or replace this preview image.
  • a preview image covers the target, an image is acquired, preferably automatically.
  • the surface of the target represented on the acquired image is marked on the model, preferably colored, for example green.
  • the surface of the target still to be covered is represented differently, for example colored red.
  • the user can thus immediately visualize the coverage rate, for example the ratio between the green surface and the total red and green surface.
  • the unmarked surface guides it towards acquisition conditions allowing the coverage rate to be increased.
  • the view of the reference model is replaced by a reference image, for example a photo, for example a panoramic photo.
  • a method according to the invention is implemented to acquire
  • the invention also relates to a device for implementing a method of the invention, comprising:
  • an image acquisition device a computer equipped with a camera, in particular a mobile phone or a tablet, preferably a mobile phone, or a mirror equipped with a camera for acquiring the set of images, in particular for the implementation of step a);
  • a computer which may be the acquisition device, preferably integrated into the mobile telephone or in communication with the mobile telephone, comprising a computer program comprising program code instructions for, according to the first main aspect of the invention, present in augmented reality the three-dimensional symbols providing guidance information, and/or according to the second main aspect of the invention
  • step c) if the coverage level is lower than the coverage threshold, determining the guidance information and presenting the guidance information to the user and, preferably, information on the coverage level and/or or on the difference between the threshold coverage and the coverage level, in step c);
  • the computer program is executed by the image acquisition device, the computer program can be integrated into specialized software, in particular specialized software for a mobile phone or tablet.
  • the screen can be integrated into the image acquisition device.
  • the screen is the screen of a mobile phone or tablet.
  • the screen and the computer program are integrated into the image acquisition device.
  • the user can then easily, without the intervention of a third party, and in particular without the intervention of a dental professional, by means of a simple mobile phone or a tablet, acquire good quality images of the target. and together covering the entire target.
  • the device may also include means of communication, in particular making it possible to send the acquired image(s) and/or to receive a model or a reference image.
  • a “user” is a person for whom a method according to the invention is implemented.
  • Dental care professional means any person qualified to provide dental care, which includes an orthodontist and a dentist.
  • arch or “dental arch”, we mean all or part of a dental arch, preferably comprising at least 2, preferably at least 3, preferably at least 4 teeth. According to the international convention of the International Dental Federation, each tooth in a dental arch has a predetermined number.
  • Soft tissues are the parts of the mouth covered by skin, such as the gums, palate or tongue, unlike teeth or orthodontic appliances.
  • Soft tissue is extra-skeletal support tissue, such as adipose tissue, tendons, ligaments, fascia, skin, etc. (soft connective tissues) and muscle, vascular tissues and nerves (non-connective tissues). .
  • a “retractor” or “dental retractor” is a device intended to roll up the lips or more generally to separate the lips of the teeth. It preferably comprises an upper rim and a lower rim, and/or a right rim and a left rim, extending around a spacer opening and intended to be introduced between the teeth and the lips. In the service position, the user's lips rest on these edges, so that the teeth are visible through the spacer opening.
  • a retractor allows you to observe the teeth without being bothered by the lips. The teeth, however, do not rest on the spacer, so the user can, by turning their head relative to the spacer, change which teeth are visible through the spacer opening. He can also modify the spacing between his dental arches.
  • a spacer does not press on the teeth so as to separate the two jaws from each other, but on the lips.
  • a retractor is configured to elastically spread the upper and lower lips apart so as to expose teeth visible through the retractor opening.
  • a spacer is configured so that the distance between the upper edge and the lower edge, and/or between the right edge and the left edge is constant. Spacers are for example described in PCT/EP2015/074896, US 6,923,761, or US 2004/0209225.
  • a computer we mean a computer processing unit, which includes a set of several machines, having computer processing capabilities.
  • This unit may in particular be integrated into a mobile telephone, in particular the user's mobile telephone, or be a PC type computer or a server, for example a server remote from the user, for example being the "cloud” or a computer available from a dental professional.
  • the mobile phone and the computer then include means of communication to communicate with each other.
  • a computer comprises in particular a processor, a memory, a man-machine interface, conventionally comprising a screen, a communication module via the Internet, by WIFI, by Bluetooth® or by the telephone network.
  • Software configured to implement a method of the invention is loaded into the computer's memory.
  • the computer can also be connected to a printer.
  • the method according to the invention (excluding the acquisition operation, carried out by the image acquisition device, and the movement operation of the image acquisition device, carried out by the user) is implemented by computer, preferably exclusively by computer.
  • a “real scene” is made up of a set of elements observed simultaneously by the acquisition device.
  • the view of the real scene observed by the acquisition device is conventionally displayed on a screen of the acquisition device, in the form of a “preview image” which is constantly updated, in real time, like a film.
  • the preview image can be replaced or supplemented by an equivalent image representing, in a symbolic or realistic manner, a theoretical scene representing all or part of the elements of the real scene, in the same arrangement as in the real scene, i.e. that is, in a way that the elements represented are arranged, relative to each other, as in the real scene.
  • the equivalent image is a view of the theoretical scene under observation conditions identical to those used by the acquisition device to observe the real scene and obtain the preview image.
  • the contours of representations of physical elements on the equivalent image are therefore superimposable on the contours of said physical elements on the preview image.
  • the equivalent image is chosen to have maximum agreement with the preview image.
  • the preview image is preferably displayed on the screen of the acquisition device, but, in one embodiment, the equivalent image replaces the preview image on the screen.
  • acquiring an image with the acquisition device at a time involves recording the preview image when displayed or as it would have been displayed when replaced by an equivalent image.
  • Augmented reality is a form of communication by which visual elements are added to an image representing, in a realistic or symbolic manner, a scene.
  • THE visual elements can in particular be added to a preview image representing the real scene observed by the acquisition device or to an equivalent image.
  • augmented reality is used, so that during the acquisition, in step a), of an image representing the target, a screen represents, in real time, in a realistic or symbolic manner , the target as the image acquisition device observes it.
  • a symbol is "anchored", in augmented reality, when it appears as fixed in the real or theoretical scene when the acquisition device moves relative to the real scene (and therefore modifies the image which is displayed by the acquisition device).
  • a symbol which appears in augmented reality can be a point, be two-dimensional, that is to say extend in a plane in the space of the oral object, or preferably, be three-dimensional, that is to say -say extending, virtually, in the three dimensions of the space of the oral object. How the two-dimensional or three-dimensional symbol is represented depends on the conditions under which it is virtually observed. For example, its size depends on the observation distance. Preferably, the symbol is not spherical so that its representation also provides information on the angulation and/or orientation of the acquisition device around its optical axis. A symbol providing guidance information is preferably represented on the preview image or an equivalent image.
  • model we mean a digital three-dimensional model.
  • a model is made up of a set of voxels.
  • a “tooth model” is a three-dimensional digital model of a tooth.
  • a model of a dental arch can be cut so as to define, for at least a portion of the teeth, preferably for all the teeth represented in the model of the arch, tooth models.
  • the tooth models are therefore models within the arch model.
  • image we mean a two-dimensional image, such as a photograph or an image taken from a film.
  • An image is made up of pixels.
  • a “movie” is considered to be a set of photos.
  • the number of pixels of an image is preferably greater than 100, 1,000, 10,000 or 100,000 or 1,000,000, and/or less than 1,000,000,000.
  • An image represents a scene, realistically or not.
  • an image may represent a deformed mask, resulting from the projection, preferably by the acquisition device, of an original mask.
  • the original mask can for example be a grid or a set of plots, conventionally distributed regularly.
  • the projection can be in visible light or not, preferably in infrared light.
  • the deformation of a part of the original mask, for example a plot, resulting from its projection carries information on the distance between the area of the scene onto which this part of the original mask was projected and the image acquisition device. It can also provide information on the orientation of said zone in space. Images used by Apple's Face ID software are examples of such images, also called "3D images.”
  • An image acquired using a method according to the invention is preferably a photo, possibly extracted from a film, realistically representing the observed scene, that is to say as the human eye perceives it. It can represent a deformed mask, in particular superimposed on an image representing the scene in a realistic manner. It may only represent a distorted mask.
  • the projection of the original mask being carried out on the real scene observed by the acquisition device, the image representing the deformed mask is also considered as an image equivalent to the preview image.
  • the “acquisition conditions” of an image specify the position and/or orientation in space of an image acquisition device of this image relative to the target and preferably the calibration of this device.
  • image acquisition in particular aperture, exposure time, focal length and sensitivity.
  • a symbol may indicate acquisition conditions adapted to a single position and a single orientation of the acquisition device.
  • a symbol can alternatively indicate acquisition conditions corresponding to several positions and/or several orientations of the acquisition device, to guide towards several potential images. For example, it can guide towards a predetermined observation axis without guiding towards a particular position along this axis, thus leaving the user free to acquire one or more images along this axis at various positions along this axis, as in the embodiment of Figure 3 for example. It can also guide towards a predetermined position in space, without guiding towards a particular orientation of the acquisition device around its optical axis, as in the embodiment of Figure 5 for example.
  • the image acquisition apparatus includes a camera for acquiring images, for example photos or a film.
  • a camera for acquiring images, for example photos or a film.
  • reference is made to an observation of a scene by the acquisition device reference is made to an observation of the scene by the camera of the acquisition device.
  • reference is made to an optical axis of the acquisition apparatus reference is made to the optical axis of the camera of the acquisition apparatus, etc.
  • An “angulation” is an orientation of the optical axis of the acquisition device relative to the target.
  • An angle between two lines is an angle formed between two planes perpendicular to these two lines, respectively.
  • Figure 1 schematically represents the steps of a cycle of a process according to the second main aspect of the invention
  • Figure 2 represents an example of a device according to the invention
  • Figure 3 represents an example of implementation of a method according to the second main aspect of the invention, in the first main embodiment
  • Figure 4 represents an example of implementation of a method according to the first main aspect of the invention and according to the second main aspect of the invention, in the second main embodiment
  • Figure 5 represents another example of implementation of a method according to the first main aspect of the invention and according to the second main aspect of the invention, in the second main embodiment
  • Figure 6 represents a symbol of Figure 5 as presented to the user when the predetermined acquisition conditions associated with the symbol are reached;
  • Figure 7 represents another example of implementation of a method according to the first main aspect of the invention and according to the second main aspect of the invention, in the second main embodiment;
  • Figure 8 schematically represents a three-dimensional symbol observed along its axis
  • Figure 9 schematically represents the steps of a cycle of a process according to the first main aspect of the invention.
  • Figure 10 shows two examples of images equivalent to a preview image.
  • An acquisition method according to the invention, illustrated in Figure 1, is for example implemented by means of the device 1 illustrated in Figure 2.
  • Device 1 includes
  • the computer 14 may be separate from the acquisition device or, preferably, be integrated into the acquisition device.
  • the computer 14 may also include digital communication means allowing the exchange of data 20, in particular with the image acquisition device 10, or even with a database 22.
  • the database 22 can also be integrated, partially or totally, in the acquisition device or in the computer. It may in particular contain the acquired images, the reference model or the reference image, the definition of the target and the oral object, or even a final model generated from the acquired images. It can also contain the information relating to the predetermined acquisition conditions associated with each symbol.
  • the image acquisition device 10 is a mobile phone or a tablet.
  • the screen 12 of the acquisition device is configured so as to present the guidance information, and preferably information on the coverage level and/or on the difference between the coverage threshold and the coverage level. . Alternatively, or in addition, this information can be presented on screen 18 of the computer.
  • the image acquisition device can also be a mirror equipped with a camera.
  • Device 1 is used for implementing a method according to the invention:
  • the target has a predetermined “initial surface to cover”, that is to say a surface that the implementation of the method aims to cover.
  • the “covered surface” is the part of the initial surface to be covered which, at a moment during the process, has already been covered, that is to say represented on at least one acquired image.
  • the “area still to be covered” is the part of the initial surface to be covered which, at any time during the process, has not been represented on any acquired image.
  • the surface of a target may include elementary surfaces of several respective identifiable organs, for example several teeth.
  • An organ can be described as “covered” or “yet to be covered” depending on whether its entire elementary surface is covered or not.
  • the oral object may include, or consist of, the tongue and/or the palate and/or one or two gums and/or one or two dental arches, and/or one or more teeth.
  • the oral object is a dental arch.
  • the oral object can also be an orthodontic appliance, for example a multi-attachment appliance, vestibular or lingual, an orthodontic splint, preferably invisible, an auxiliary, for example a cleat, a button or a screw, an educational appliance functional, for example to modify the positioning of the tongue or treat sleep apnea.
  • an orthodontic appliance for example a multi-attachment appliance, vestibular or lingual, an orthodontic splint, preferably invisible, an auxiliary, for example a cleat, a button or a screw, an educational appliance functional, for example to modify the positioning of the tongue or treat sleep apnea.
  • a target can be the oral object. It can also be a region of interest of the oral object, in particular a region having been identified as a region at risk or a region monitored, for example in the context of orthodontic treatment or periodontal follow-up, a region that has been poorly scanned, for example during a previous appointment with a dental professional, or a region that has evolved.
  • the oral object is a dental arch and the target is constituted by one or preferably several teeth of said dental arch.
  • the target is identified before the process is implemented and the computer is informed. For example, we inform the computer that it is necessary to acquire a set of images covering teeth 10 to 14, or we provide it with an image or a model of a dental arch on which the representation of the target has been identified.
  • the image or model used to identify the target can be generic, that is, usable by several users. They can be selected from a database, the database being accessible via digital communication means.
  • a generic model may be a typodont.
  • the generic model or the generic image are chosen so that they represent a target having a shape close to the user's target, which improves the precision of the method. If the target belongs to a dental arch, the model can be generated by the implementation of a method arranging tooth models, for example as described in European application No. 18 184486.
  • the model or image used to identify the target is preferably a model or image representing the user's target, acquired prior to implementation of the method.
  • Each area of the target which is represented on an acquired image is said to be “covered” by this image.
  • the union of the areas represented on at least one acquired image is the “covered area”.
  • the set of images is considered sufficient to cover a specific target when the level of coverage by the acquired images reaches a coverage threshold.
  • the coverage threshold thus defines, directly or indirectly, a percentage of the initial surface to be covered which is considered sufficient for the acquisition to be terminated, that is to say so that we can consider that the acquisition is complete.
  • a coverage threshold of 100% requires, for example, that the entire surface of the target is represented on at least one acquired image.
  • the coverage threshold can be determined so that the set of images is sufficient to view the target at predetermined angles, in particular at any angle.
  • the coverage threshold is preferably predetermined, before the first step a).
  • the coverage threshold can be greater than 50%, 70%, 80%, 90%, 95% of the target area. Preferably, the coverage threshold is greater than 95%.
  • the coverage level is a measure of the progress of the acquisition relative to the coverage threshold. Before the acquisition of a first image, the coverage level is therefore zero. The level of progress gradually increases throughout the cycles of stages a) to c).
  • the coverage level can for example be the ratio of the surface covered to the initial surface to be covered. If 30% of the initial surface area to be covered is covered, the coverage level is thus 30%.
  • the coverage level can also be, for example, the ratio of the surface covered to the surface still to be covered, constituted by all the areas of the target which are not represented on any acquired image. If 30% of the initial surface area to be covered is covered, the coverage level is thus 30%/70%.
  • the coverage level may still be the ratio of the number of teeth covered to the number of teeth in said set.
  • a tooth can be considered as covered for example if at least 90% of the exterior or occlusal or vestibular surface of the tooth is represented on the acquired images, better if at least 95% of said surface of the tooth is represented on the acquired images , even better if the entire surface of the tooth is represented on the acquired images.
  • a tooth can alternatively be considered as covered when one or more remarkable points of this tooth are represented on at least one acquired image.
  • the objective was to cover a surface of the target.
  • the objective is to acquire a set of images under respective acquisition conditions defined by symbols, preferably multidimensional, respective.
  • the set of symbols each defining the acquisition conditions for one or more respective images can then be compared, at the start of the implementation of a method according to the invention, to an “initial surface to be covered”.
  • the set of symbols defining, at a time, the acquisition conditions in which an image has already been acquired can be compared to a “covered surface”, the number of these symbols defining a “coverage level”, the “threshold coverage” which may be a minimum number for these symbols.
  • the set of symbols defining acquisition conditions in which an image remains to be acquired can be compared to a “surface yet to be covered”.
  • the objective is to acquire a set of images partially representing the target, for example representing, for each tooth of the target, remarkable points such as the mesial-distal points, the cusps , the free edge, the collar points, or the barycenter of one face of the tooth. All the remarkable points of the target can then be assimilated, at the start of the implementation of a method according to the invention, to an “initial surface to be covered”.
  • the set of remarkable points of the target already represented on an acquired image can be assimilated to a “covered surface”, the number of these points defining a “coverage level”, the “coverage threshold” can be a minimum number for these points.
  • all the remarkable points not yet represented on an image already acquired can be compared to a “surface yet to be covered”.
  • An objective of the method is to guide the user during the acquisition of images so that the set of acquired images includes as few images as possible, that is to say that the acquisition is efficient, but sufficiently images so that the coverage threshold is reached.
  • the first main aspect of the invention aims to guide acquisition by means of multidimensional symbols.
  • the second main aspect of the invention aims to guide the acquisition by informing the user on the level of progress of this acquisition.
  • the information associated with a symbol can be explicit, for example when it is in the shape of an arrow. No training is then necessary. Failing that, the user can be trained to provide them with the “rules of the game”, that is to say the way in which they are expected to process the symbols.
  • a two-dimensional or three-dimensional symbol which appears in augmented reality extends, virtually, that is to say without having physical existence, in the real scene observed by the acquisition device, or in a virtual scene equivalent, in particular a model of at least part of the real scene. It extends in a plane or defines a volume, respectively.
  • a representation in an equivalent virtual scene advantageously makes it possible to better display the symbols, as illustrated for example in Figure 7.
  • the screen displays the preview image representing the real scene observed by the acquisition device and/or an equivalent image, in particular a view of said model which corresponds to the observation of the real scene by the acquisition device. acquisition. It also displays symbols as if they had a real, physical existence and were present in the actual scene.
  • Each symbol is/are associated with one or more acquisition conditions for a respective image, in particular
  • the computer knows the predetermined observation conditions associated with each symbol.
  • the number of symbols is adapted to the number of images in the desired image set. It is preferably greater than 2, 5, 10 or 100 and/or less than 1000.
  • a symbol preferably each symbol, is preferably represented on the preview image or on the equivalent image, updated in real time when the user moves the acquisition device.
  • a symbol, preferably each symbol, is preferably represented, in augmented reality, on a screen of the acquisition device or in communication with the acquisition device, preferably on a screen of a mobile telephone used for acquire the images.
  • a symbol preferably each symbol, is preferably anchored and/or shaped in such a way that the modification of its representation on said screen resulting from a movement of the acquisition device, informs the user of the fact that said movement separates or reconciles predetermined acquisition conditions associated with said symbol.
  • the predetermined acquisition conditions define an axis of observation of the target by the acquisition device, that is to say a predetermined observation axis, and/or a predetermined distance from the acquisition device relative to the target, preferably along the observation axis, and/or a predetermined orientation of the acquisition device around its optical axis, and said modification of the representation of the symbol on said screen preferably informs the user due to the fact that said movement
  • a multidimensional symbol preferably each multidimensional symbol, has a shape defining a main direction, or “symbol axis”, identifiable by the user, for example an axis of revolution, and indicating a said predetermined observation axis. associated with said symbol.
  • a multidimensional symbol preferably each multidimensional symbol, comprises, when the optical axis of the acquisition device coincides with said main direction, a dimension which, on the representation of the symbol on the screen, is variable as a function of the position of the acquisition device along the optical axis, that is to say as a function of the distance between the acquisition device and said symbol.
  • Said dimension can be evaluated by observation of the screen by the user, and the user knows a value of said dimension defining the position of the acquisition device at the predetermined distance associated with said symbol.
  • the multidimensional symbol has the shape of a superposition of rings, preferably of different diameters,
  • the predetermined orientation being obtained when the centers of the rings are aligned along the optical axis of the acquisition device, that is to say that said centers appear on the screen as merged, and/or
  • the predetermined distance being obtained when the centers of the rings are aligned along the optical axis and the spacing between said rings as they appear on the screen, preferably on the representation of the symbol in the preview image or the equivalent image has a predetermined value, for example when a first ring appears adjacent to a second ring, that is to say when the interior contour of the first ring is in contact with the exterior contour of the second ring.
  • step 2) an image is acquired when the predetermined acquisition condition(s) associated with a symbol is/are met.
  • the acquisition can in particular be carried out following step a) as described below.
  • the image may be of the type described below for step a).
  • the image is then analyzed to determine the acquisition conditions.
  • each acquired image is submitted to a first neural network trained to detect the representation of the target, and/or remarkable points of said target, on the image, and to a second neural network trained to recognize, from the representation of the target or of said remarkable points on the image, said acquisition conditions, and in particular the angulation and/or the distance of the acquisition device relative to the target.
  • the first neural network can be chosen in particular from the Object Detection Networks, and in particular from the neural networks listed below, in the passage relating to step b2). For example, we train the neural network by presenting it, for example for more than 1000 historical images: as input, a historical image representing a historical target and/or the remarkable points, and as output, the representation of said historical target and/or or notable points on the historical picture.
  • the neural network thus learns to recognize, in a new image, the representation of the target and/or remarkable points.
  • the second neural network can be chosen in particular from networks specialized in image classification, called “CNN” (“Convolutional neural network”), for example AlexNet (2012), ZF Net (2013), VGG Net (2014 ), GoogleNet (2015), Microsoft ResNet (2015), Caffe: BAIR Reference CaffeNet, BAIR AlexNet, Torch:VGG_CNN_S, VGG_CNN_M, VGG_CNN_M_2048, VGG_CNN_M_1024, VGG_CNN_M_128, VGG_CNN_F, VGG ILSVRC-2014 16-layer, VGG ILSVRC-20 14 19- layer, Network-in-Network (Imagenet & CIFAR-10), Google: Inception (V3, V4)
  • CNN Convolutional neural network
  • the neural network thus learns to define, for a new image, the conditions for its acquisition.
  • the determination of the conditions for acquiring an image can also be carried out by searching for a view of a model of the user's arch which corresponds to the image, for example with an optimization operation, preferably one metaheuristic method, preferably evolutionary, preferably simulated annealing.
  • An example of such a search is for example described in PCT/EP2015/074859, in European patent application No. 18 184477.0 or in WO2016/066651.
  • an image is acquired, preferably automatically, that is to say without specific user intervention.
  • a symbol changes appearance, for example color, or disappears when an image has been acquired under the acquisition conditions associated with said symbol.
  • the process according to the second main aspect of the invention comprises several cycles of steps a) to c).
  • step a) an image, preferably a photo, representing the user's oral object is acquired by means of an image acquisition device.
  • a film is acquired with the image acquisition apparatus, and the acquired image is extracted from the film.
  • an “original mask”, preferably a cloud of plots, is projected onto the scene observed by the acquisition device during step a), preferably by means of a projector integrated into the acquisition device.
  • the distorted mask resulting from the projection of the original mask then appears on the preview image or the equivalent image.
  • the projection is in infrared light so that the distorted mask is not visible to the naked eye.
  • the acquired image is the image representing the deformed mask.
  • the acquisition device then preferably uses an infrared camera. The nature of the distorted mask is not limited, however.
  • the image is preferably acquired by the user himself. The user can acquire the image using a mobile phone.
  • the acquired image is preferably “extraoral”, that is to say without the optical lens of the acquisition device being introduced into the user’s mouth.
  • the image acquisition device may in particular be a mobile phone, a tablet, a camera or a computer, the image acquisition device preferably being a mobile phone or a tablet, in particular so that the The user can acquire images anywhere, and in particular outside the office of a dental care professional, for example more than 1 km from the office of a dental care professional.
  • the user uses a mobile phone and a support on which the mobile phone is removably fixed, the support being held against the user during the acquisition of at least one part, preferably of all images.
  • the support may be of the type described in PCT/EP2021/068702, EP17306361, PCT/EP2019/079565, PCT/EP2022/053847,
  • the user uses a free mobile telephone, that is to say whose position and orientation he can freely fix, and in particular not fixed to a support.
  • the method according to the invention makes it possible to guide the user in taking pictures, so that guidance by means of a support is not essential.
  • the image acquisition device is not in contact with the user's mouth, either directly or via a support for the image acquisition device.
  • the computer or the acquisition device can ask the user to put in the service position or on the contrary to remove an orthodontic appliance, for example an orthodontic splint, a cleat or an appliance with bow and tie. He can also ask the user to separate his lips from his dental arches, preferably using a retractor, so as to better expose the target to the image acquisition device, for example to fully expose at least a tooth, in particular the upper surface of an incisor and/or at least partially the upper surface of a molar. It may still require the user to open their mouth widely in order to acquire images in occlusal views representing lingual and occlusal surfaces of the teeth as well as the palate.
  • an orthodontic appliance for example an orthodontic splint, a cleat or an appliance with bow and tie. He can also ask the user to separate his lips from his dental arches, preferably using a retractor, so as to better expose the target to the image acquisition device, for example to fully expose at least a tooth, in particular the upper surface of an incisor and/or at least
  • the number of images acquired during a step a) is preferably less than 100, preferably less than 50, preferably less than 10, so that the guidance information is updated quickly.
  • the coverage level is zero.
  • step b) the coverage level is updated to take into account the image(s) acquired in step a) immediately preceding, or “new images”.
  • step b) the computer therefore analyzes each new image, preferably following the following steps: bl) determination of a potential contribution by the new image; b2) determination of the intersection between the potential contribution and the previous contribution made by the previously analyzed images; b3) if the intersection is not empty, addition of the potential contribution to the previous contribution.
  • step b1) the computer determines the potential contribution by the new image. In particular, it determines whether the new image at least partially represents the target. If not, this new image cannot make a contribution and the computer moves on to analyzing the next new image. If yes, the computer determines the potential contribution of the new image, for example determines the contour of the representation of the target on the new image, or the number of the tooth or teeth of the target represented, at least partially, on the new image.
  • step b2) the computer then compares the potential contribution to all the contributions resulting from the analysis of the images analyzed previously, or “previous contribution”.
  • the potential contribution of the new image is the representation of the target on the new image.
  • the computer evaluates the intersection of this potential contribution and the previous contribution consisting of the union of all the representations of the target on the images analyzed previously. If this intersection is empty, the new image cannot make a new contribution and the computer moves on to analyzing the next new image. If this intersection is not empty, that is to say that the new image represents an area of the target which was not on any of the images analyzed previously, the computer adds to the previous contribution a new contribution consisting of said intersection.
  • the potential contribution of the new image is the number of one or more teeth of the target identified on the new image.
  • the computer evaluates the intersection of this potential contribution and the previous contribution consisting of all the numbers of the target's teeth identified on the previously analyzed images. If this intersection is empty, the new image cannot make any additional contribution and the computer moves on to analyzing the next new image. If this intersection is not empty, the computer adds this intersection to the previous contribution.
  • the determination of the potential contribution of a new image can be carried out by any known means.
  • it includes the segmentation of the new image so as to identify the possible total or partial representation of the target.
  • the analysis can be done using classic segmentation methods.
  • the new image can be submitted to a neural network trained to detect the representation of the target on the new image, for example to determine the numbers of the teeth represented on the image, and/or the contours of said teeth, and /or the mouth and/or the lips, and/or the tongue, as described for example in European patent application No. 18 184477.0.
  • the neural network can be chosen in particular from Object Detection Networks, for example R-CNN (2013), SSD (Single Shot MultiBox Detector: Object Detection network), Faster R-CNN (Faster Region-based Convolutional Network method: Object Detection network), Faster R-CNN (2015), SSD (2015), RCF (Richer Convolutional Features for Edge Detection) (2017), SPP-Net, 2014, OverFeat (Sermanet et al.), 2013, GoogleNet (Szegedy et al.
  • a neural network by presenting it, for example for more than 1000 historical images: as input, a historical image representing a historical target, and as output, the representation of said historical target on the historical image.
  • the neural network thus learns to recognize, in a new image, the representation of the target.
  • these representations are preferably projected onto a common reference model in order to take into consideration conditions different acquisition methods, and in particular an orientation of the variable acquisition device depending on the image considered.
  • the reference model preferably represents a reference oral object, preferably similar or even identical to the user's oral object.
  • the computer analyzes the image to determine the conditions of its acquisition, that is to say the actual acquisition conditions. In particular, it evaluates the distance between the acquisition device and the user's oral object and the orientation of the acquisition device in space, relative to the user's oral object, at the time of image acquisition.
  • the determination of the actual acquisition conditions can be carried out as described for example in European patent application No. 18 184477.0 or in WO2016/066651, or by submitting the image to a neural network trained to determine the acquisition conditions of the image submitted to it.
  • the actual acquisition conditions are then virtually reproduced relative to the reference model, and the representation of the user's target on the image is projected onto the reference model.
  • the set of projected surfaces obtained from previous images can constitute the previous contribution.
  • the projected area obtained from the new image is the potential contribution.
  • each image is subjected to a first detection neural network, identifying oral objects represented on the image, in particular, the tongue and/or tooth numbers, and/or the gums and/or the mouth and /or the lips and/or remarkable points of these organs, then each image is submitted to a second neural network trained to determine the acquisition conditions of the image submitted to it.
  • the second neural network takes as input the oral objects detected by the first neural network, which improves the determination of the acquisition conditions.
  • the determination of the potential contribution of a new image is determined by comparing the image to a “reference” image, for example a photo or a panoramic shot, preferably of at least one dental arch. similar or identical to the user's dental arch.
  • the target is then generally not represented in the same way on the reference image and on the new image.
  • a neural network is trained so that it learns to establish a concordance between the objects represented on the two images.
  • the neural network thus learns to recognize, in a reference image, the representation of the target which corresponds to the representation of the target in a new image submitted to it.
  • the neural network thus learns to identify the potential contribution of the new image.
  • the method can be implemented several times, each time with a new reference image.
  • step b3) the computer adds the potential contribution to the previous contribution if the intersection is not empty and calculates the coverage level resulting from the increment of the previous contribution by the new contribution.
  • the computer evaluates the quality of the image or images acquired and only adds the potential contribution to step b3) if the quality is greater than a predefined quality threshold.
  • the quality may in particular be an evaluation of the sharpness and/or contrast, and/or the color balance of the image, and/or the distance between the acquisition device and the user's mouth. .
  • images which present satisfactory quality are taken into account.
  • the image acquisition device preferably in the form of a mobile telephone, is fixed on a support which is kept in contact with the user during acquisition, as described previously, for example a support of the type described in PCT/EP2021/068702, EP17306361, PCT/EP2019/079565,
  • the quality of the images (in particular the brightness, the distance of the acquisition device relative to the target, the angulation of the acquisition device relative to the target and the orientation of the acquisition device around its optical axis) is advantageously well controlled so that the evaluation of the quality of the image or images acquired is optional.
  • the support is not bitten by the user, and, more preferably, allows opening and closing (up to a position in which the arches are in contact with each other in the plane occlusal) of the arches.
  • the computer can decide to take several images, for example to vary the focal length in order to acquire a first clear image of the incisor group, then a second clear image of the posterior group of teeth.
  • the acquisition of several images with different calibration conditions can be based on the quality assessment, but can also be programmed to be systematic at each acquisition step.
  • step c) the computer compares the coverage level to the coverage threshold. If the coverage level is greater than or equal to the coverage threshold, step c) is completed. Otherwise, the computer determines guidance information to guide the user so that he positions the image acquisition device towards "future" acquisition conditions suitable for the acquisition, during step a ) following, of an additional image increasing said coverage level.
  • the guidance information is thus determined to inform the user about the areas of the target for which he must still acquire one or more image(s). It is presented to the user and thus guides him to orient and/or position the image acquisition device according to the future acquisition conditions to be adopted for the next step a).
  • the computer determines, for example by a random search or with an optimization algorithm, the future acquisition conditions, for the next cycle, so that the acquisition of images under these conditions Future acquisition maximizes the increase in the level of coverage.
  • the presentation of the guidance information may include visual, audible and/or haptic, in particular tactile, transmission of the guidance information.
  • the guidance information may include audio instructions indicating to the user to move the image acquisition device closer or further away from their teeth, to shift the image acquisition device toward the right or to the left, to rotate the image acquisition device around the dental arch, to open or close the mouth, or to open or close the jaw.
  • a tactile transmission of the guidance information can be a vibration indicating for example to the user to stop a movement.
  • a haptic transmission of the guidance information can be a vibration, for example to indicate the successful passage of a target on a surface of the target or on a symbol.
  • the presentation of the guidance information can be adapted to the user.
  • the presentation of the guidance information includes several different types of transmissions stimulating several different senses, thus facilitating communication to the user.
  • the guidance information is presented on a screen, preferably on a screen of the image acquisition device.
  • the representation of the guidance information on a screen may include
  • - preferably a frame of reference allowing the user to find their way when moving the acquisition device in space, that is to say to evaluate how the acquisition device is arranged in relation to the oral object, and in particular in relation to the target, and
  • the repository preferably represents, at least partially, in a symbolic or realistic manner (that is to say adapted so that the user recognizes the object represented), at least one oral object as observed by the device 'acquisition. It is determined according to the actual acquisition conditions of the acquisition device.
  • the repository can be for example a preview image, that is to say the image observed by the acquisition device, preferably the mobile phone, in real time and displayed on the screen of the acquisition device and/or an equivalent image representing a part of the user, for example the head of the user or part of the head or the mouth or the dental arches of the user ( by "equivalent”, we mean that the image corresponds to an observation of the part of the patient superimposable with the image observed by the acquisition device, and in particular observed along the optical axis of the acquisition device ).
  • the equivalent image may be a line drawing, for example representing the outline of part of the user.
  • the repository may represent a view of a user-specific model or a generic model, said model thus representing, precisely or more roughly, a part of the user, preferably at least the target, preferably at least the oral object.
  • a generic model is common to several individuals.
  • a generic benchmark can be determined in particular by statistical analysis of historical data representative of these individuals.
  • a generic model can be for example a model of a typodont.
  • a user-specific model may be a model of all or part of the user's oral object, in particular the user's target. It may in particular be a scan of the user's dental arches. It may also include or be a 3D model of an arch of the user in a configuration specific to a stage of the treatment. In particular, it may comprise or be a 3D model of an arch of the user in a configuration specific to a stage of a treatment with orthodontic aligners, and in particular a 3D model used for the design and manufacture of an orthodontic splint. Such a 3D model can be generated at the start of orthodontic treatment, or during orthodontic treatment.
  • the equivalent image is preferably a view of a generic or specific model.
  • a texture is applied to the model in order to make it more realistic and allow the user to identify more easily with the model.
  • the texture can be extracted from an image, for example from an image acquired in step a), then applied to a model, preferably chosen from a database before the first step a).
  • the model of which a view is used as a reference can in particular be the reference model used as a projection support for the acquired images, described above.
  • the equivalent image can be at least partly symbolic. It may comprise, for example, a set of geometric shapes representing the oral object, for example a set of discs, each disc representing a tooth of a part of a dental arch, the oral object being the dental arch.
  • Figure 10 represents two examples of equivalent images, representing the view of a 3D model of an arch of the user, with and without gum respectively.
  • the view could also be, for example, a wireframe representation.
  • the image acquisition device can display the preview image, preferably in a mini window, or "thumbnail" in English, which facilitates spatial identification for the user.
  • Displaying the reference frame on the screen is optional if the indicator provides an indication of the desired movement.
  • the indicator may be an arrow or a message recommending a particular move.
  • displaying the reference frame on the screen is preferred because it considerably facilitates precise positioning of the acquisition device.
  • the indicator is displayed, preferably together with the reference frame, on the screen, preferably on the screen of the image acquisition device, preferably on a mobile phone or tablet screen.
  • the reference frame includes a representation of the oral object and the indicator is a mark indicating an area of this representation not yet covered.
  • the indicator may for example be a particular contour surrounding this area or, preferably, a particular color applied to this area, or a symbol superimposed on this area.
  • contour or color we mean a contour or a color allowing the user to distinguish said area from the rest of the representation of the oral object.
  • This display helps guide the user quickly and efficiently. This guidance, which leaves great freedom to the user, is intuitive, so that the user does not need to have been trained beforehand to be guided.
  • the indicator can in particular be displayed transparently or highlighted on the representation of the oral object.
  • the indicator is preferably displayed in augmented reality when the repository is a preview image or an equivalent image.
  • step c) the user is informed, preferably in real time, about the level of coverage achieved, that is to say the progress of the acquisition, and preferably on the coverage threshold.
  • the coverage level information and/or the coverage threshold information is/are presented on a screen, preferably on the user's mobile phone screen.
  • the information can for example take the form of a counter or a gauge, for example in the form of a progress bar.
  • the coverage level and/or the coverage threshold is/are represented “graphically” on the screen, in particular in the form of line(s) and/or surface(s). ) and/or symbols.
  • a representation of elements of the context of the target for example parts of the oral object different from the target, that is to say parts of the oral object that the method has not for the purpose of covering, for example teeth adjacent to the teeth for which we wish to acquire images.
  • the initial surface to be covered can be presented on the screen in an identifiable manner by the user in order to inform him on the coverage threshold.
  • it can be colored with a specific color, or more generally represented with a specific appearance, or delimited by a specific outline. The area thus represented with a specific appearance or surrounded by this contour represents the coverage threshold.
  • the surface covered that is to say for which at least one image has already been acquired, can be presented on the screen in an identifiable manner by the user in order to inform him of the level of coverage.
  • it can be colored with a specific color, or more generally represented with a specific appearance, or delimited by a specific outline.
  • the zone(s) thus represented with a specific appearance or surrounded by this contour represent(s) the level of coverage.
  • a surface of the target can be displayed in green or red depending on whether the acquisition of this surface has been made or whether the acquisition of this surface remains to be done.
  • the covered area can be displayed transparently or highlighted.
  • the coverage threshold is represented graphically as a set of symbols displayed in proximity, preferably superimposed, on representations of a set of respective teeth.
  • the representations of these teeth belong to, or even constitute, a frame of reference.
  • symbols can be presented in augmented reality on the mobile phone preview image or on a view of a dental arch model, preferably over a view of a model of the user's dental arches.
  • the appearance of symbols for teeth for which the desired images have already been acquired (“teeth covered”) may be different from that of symbols for teeth for which all of the desired images have not yet been acquired (“teeth still to be covered”), which makes it possible to graphically visualize the coverage rate.
  • the symbol relating to a tooth disappears as soon as the tooth is covered. The user then sees the difference between the coverage threshold (all symbols initially displayed) and the coverage level (symbols having disappeared).
  • the “graphical” display of the coverage threshold and coverage level is particularly effective for the user to acquire all the required images.
  • the graphical representations of the coverage threshold and the coverage level make it possible to visualize the areas of the target remaining to be covered, that is to say for which desired images must still be acquired.
  • These graphic representations can thus be used as an indicator to guide the user. For example, coloring the covered surface with a color different from the surface yet to be covered makes it possible to highlight the surface yet to be covered, and thus guides the user.
  • the graphic, or "visual" marking of the initial surface to be covered, the surface covered or the surface yet to be covered is not limited to the application of a color or texture or outline or the representation of particular symbols.
  • the graphical representations of the coverage threshold and the coverage level are displayed in augmented reality, preferably on the screen of the mobile phone.
  • a stopwatch is activated to measure the duration of image acquisition since the first step a).
  • the display of this duration and the coverage level and/or the difference between the coverage threshold and the coverage level are a motivating factor for the user.
  • a score is calculated as a function of the duration to reach the coverage threshold and/or the quality of the images acquired, and/or the usefulness of the images acquired, more generally of an objective set at the user.
  • the initial surface to be covered includes zones assigned a utility coefficient, and the score is determined based on the utility coefficients of the zones in the covered surface.
  • the initial surface to be covered consists of a part that is essential to cover and a part that is optional to cover.
  • the utility coefficient assigned to a pixel in the “essential” part can be, for example, 100 and the utility coefficient assigned to a pixel in the “optional” part can be, for example, 10.
  • the score can, for example, be function, or even be the sum of the utility coefficients for all the pixels in the covered area.
  • the score can be compared to scores previously made by the user or by other users, so as to obtain a ranking of the acquisition operation of the set of images.
  • a classification can be established for several patients, for example for all the patients of the same practitioner.
  • An information message and/or a gift, for example a reward, may be sent to a patient depending on their ranking order.
  • the timer and/or the score and/or the ranking may be displayed on the screen of the acquisition device.
  • Acquisition thus becomes fun.
  • acquisition can be presented as a video game, the objective being to reach the coverage threshold as quickly as possible.
  • the user modifies the acquisition conditions, which makes it possible to resume a new step a), preferably immediately at the end of the step vs).
  • the coverage level When the coverage level is presented to the user, he can advantageously immediately visualize the effect of moving the acquisition device, in particular when the target colors or symbols associated with teeth change appearance or disappear as coverage progresses through image acquisition.
  • the guidance is advantageously intuitive.
  • the screen displays at all times a realistic representation of the oral object and the surface covered at that time.
  • the surface covered is completed as the cycles progress, which allows the user to easily identify the surface they are remains to be acquired, and to position and orient the image acquisition device accordingly.
  • the time interval between two successive cycles of steps a) to c) is preferably less than 5 minutes, 1 minute, 30 seconds, or 1 second.
  • the user acquires the images acquired in real time, preferably by filming the oral object, steps b) to c) being immediately carried out for each acquired image.
  • the acquired images can be transmitted to the user and/or preference to a dental professional.
  • the acquired images can be stored, for example in a database, preferably accessible to a dental professional and/or to the user.
  • the acquired images can be stored in a user's medical file.
  • the set of images acquired typically includes more than 2, more than 5, more than 10, more than 50, more than 100 and/or less than 10,000 images.
  • Said set of acquired images can be used, in particular for:
  • dental treatment for example hygiene monitoring, periodontal monitoring, or whitening.
  • the method may include the analysis of the acquired images to generate a model of the target, called “final model”.
  • the final model can be sent to the user, and preferably to a dental professional.
  • the final model can represent the target with high precision.
  • the final model may be produced by a computer of the dental professional to whom the acquired images are transmitted, or produced by the image acquisition device.
  • the final model may be stored, for example in a database, preferably accessible to a dental professional and/or the user.
  • the final model can be stored in the user's medical file. Examples
  • the objective of the acquisition is to acquire a set of images of a target constituted for example by all of the user's teeth.
  • the dental arches, which constitute the oral object, include said teeth and the gum.
  • the oral object is modeled in the form of a reference model 16 accessible to the computer.
  • the reference model 16 may come from a database and may be generic.
  • the target is identified on the reference model.
  • the initial surface to be covered is therefore the surface of the target in the reference model.
  • Figures 3, 5, 6 and 7 illustrate examples of implementation of the first main aspect of the invention, in which multidimensional symbols 24 are virtually arranged in space in order to guide the user towards acquisition conditions associated.
  • the symbols 24 are two-dimensional. They each have the shape of three concentric and coplanar rings. They are represented on a view of a reference model representing arches, said view observing the model as the acquisition device observes the user's dental arches.
  • the view is preferably presented on the screen of a telephone used for acquisition. The user aims to position the phone so as to see a target from the front, that is to say so that the rings appear circular. The optical axis is then merged with a predetermined observation axis suitable for acquiring an image.
  • a target representing, for example, the circular contours of the rings when seen from the front would, however, improve the precision of the positioning of the acquisition device.
  • the symbols are three-dimensional. They each have the shape of three concentric and superimposed rings. They are represented on a view of a reference model representing arches, said view observing the model as the acquisition device observes the user's dental arches.
  • the view is preferably presented on the screen of a telephone used for acquisition.
  • the user's objective is to position the phone so as to see a target from the front, that is to say so that the rings appear circular and concentric, as in Figure 6.
  • the optical axis is then confused with a predetermined observation axis, namely the X axis of the rings, adapted to the acquisition of an image.
  • each symbol 24 consists of two concentric hoops extending in planes at 90° to each other.
  • the two hoops are preferably of the same shape (same interior and exterior diameters), and preferably included in a sphere of color 26, but transparent in order to facilitate their location.
  • the intersection of the two planes defines a predetermined observation axis X associated with the symbol, identifiable by the user. This form of symbol makes it very easy to determine how to move the acquisition device.
  • the first hoop horizontal, makes it possible to determine whether it is necessary to move the acquisition device upwards or downwards
  • the second hoop, vertical and in a plane passing through the center of the mouth allows you to determine whether to move the acquisition device to the right or to the left.
  • Guidance with a three-dimensional symbol is particularly effective. No test pattern is necessary to obtain precise positioning of the optical axis of the acquisition device along the predetermined observation axis suitable for acquiring an image.
  • a three-dimensional symbol also allows guidance to a predetermined distance along the predetermined observation axis.
  • the distance d between the rings is representative of the distance between the acquisition device and the symbol, along the axis of the predetermined observation axis.
  • an image is acquired, preferably automatically, and, preferably, the appearance, for example the color, of the symbol is modified, or the symbol disappears.
  • step a an image is acquired using the acquisition device.
  • step b) the acquired image is analyzed to update the coverage level.
  • the possible representation of the target on the acquired image that is to say the existence of a potential contribution of the acquired image.
  • the view of the reference model 16 equivalent to the preview image is projected on the screen of the image acquisition device 10, preferably a mobile telephone, following the direction of the optical axis.
  • This presentation allows the user to quickly and simply identify the areas of teeth that remain to be covered and to easily orient the acquisition device accordingly. It also informs the user about the level of coverage.
  • the images in Figure 4 each represent a view of a reference model representing two dental arches, preferably similar to those of the user.
  • Each view corresponds to a preview image and is displayed in place of said preview image, preferably on the screen of a mobile phone used for acquisition images.
  • the views of the reference model are therefore “equivalent” images to preview images.
  • the view of the reference model displayed immediately adapts accordingly. The user therefore easily assimilates the reference model to his dental arches. He can therefore easily position and orient the acquisition device to acquire images of teeth not yet covered.
  • the target consists of all the teeth of the two arches, and the oral object consists of these two arches (and therefore includes, in addition to the teeth, the gums).
  • the color of a tooth is specifically dark gray (GF) when there is sufficient tooth coverage, and light gray (GS) otherwise.
  • the surface covered increases, and therefore the number of sufficiently covered teeth, shown in dark gray, increases.
  • the other teeth remain light gray.
  • the coverage level corresponds, for example, to the percentage of surface covered compared to the initial surface to be covered.
  • the coverage threshold can be a percentage of the target surface to be covered.
  • the threshold can be 90%, that is, when more than 90% of the tooth surface belongs to the covered surface, the coverage threshold is reached.
  • Symbols can symbolically represent the teeth to be covered (target).
  • target When, for example, at least 90% of the surface of a tooth is acquired, better when at least 95% of the surface of a tooth is covered, even better when the entire surface of a tooth is covered, the symbol symbolically representing this tooth is no longer presented on the screen. Alternatively, the symbol is displayed in color or highlighted.
  • a device and a method according to the invention advantageously make it possible to increase the autonomy of the user and to improve the quality and content of the images acquired by a user having no particular knowledge in the dental field. They also make it possible to possibly produce a 3D model of a target belonging to or constituting an oral object of the user, remotely. Finally, they greatly facilitate the remote determination of orthodontic treatment, as well as monitoring of any orthodontic treatment, without the user needing to make an appointment with a dental professional.
  • the mobile phone can be replaced by a device comprising a support equipped with a camera and held against the user during the acquisition of the set of images, and a screen displaying the scene observed by the camera , said screen being integrated into the support or at a distance from the support.
  • the shape of the symbols is not restrictive. 1, 2 or 3-dimensional symbols can be simultaneously presented in augmented reality.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Procédé d'acquisition d'un ensemble d'images couvrant une cible appartenant à un objet buccal d'un utilisateur, le procédé comportant les étapes suivantes : 1) présentation à l'utilisateur, sur un écran (12) et en réalité augmentée dans l'espace de l'objet buccal observé par un appareil d'acquisition d'images (10), d'un symbole multidimensionnel ou d'un ensemble de symboles (24) multidimensionnels, la forme et/ou la position de chaque symbole étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d'acquisition prédéterminée adaptée pour l'acquisition d'une dite image; 2) pour chaque symbole, acquisition, avec l'appareil d'acquisition, d'une dite image quand ladite au moins une condition d'acquisition prédéterminée associée au dit symbole est remplie, de préférence quand toutes les conditions d'acquisition prédéterminées associées au dit symbole sont remplies.

Description

Description
Titre : Procédé d’acquisition d’un ensemble d’images d’un objet buccal
Domaine technique
La présente invention concerne un procédé d’acquisition d’un ensemble d’images d’un objet buccal, et en particulier un objet dentaire, notamment une arcade dentaire d’un utilisateur. L’invention porte également sur un dispositif pour mettre en œuvre un tel procédé.
Technique antérieure
Il est classique d’effectuer une acquisition d’un ensemble d’images couvrant une cible localisée dans la cavité orale d’un utilisateur, et en particulier des arcades dentaires d’un utilisateur, afin d’analyser sa situation dentaire, notamment avant d’établir un traitement orthodontique. Une image « couvre » une cible lorsqu’elle représente au moins partiellement cette cible. L’ensemble d’images « couvre » la cible lorsqu’il contient des images couvrant la cible suivant différentes directions d’observation, notamment pour disposer d’une information tridimensionnelle précise sur la cible.
Une acquisition dans un cabinet dentaire, ou plus généralement chez un professionnel de soins dentaires, peut engendrer des coûts importants et un stress pour l’utilisateur.
Alternativement, l'utilisateur peut acquérir lui-même les images dentaires, par exemple avec son téléphone. Pour acquérir une image, l’utilisateur se regarde généralement dans un miroir, ce qui peut rendre difficile un positionnement précis de son téléphone. Par ailleurs, avant d’avoir consulté la galerie dans laquelle les images sont enregistrées, l'utilisateur ne sait pas si les images sont de bonne qualité, ni si elles couvrent correctement la cible visée. Même en consultant la galerie, il ne sait pas précisément évaluer si le taux de couverture de la cible par l’ensemble des images acquises est suffisant. Enfin, l’acquisition peut être laborieuse s’il est exigé que l'utilisateur la renouvelle. Lassé par ces difficultés, l'utilisateur peut ainsi mettre fin à l’opération d’acquisition de manière prématurée.
Il existe un besoin pour faciliter l’acquisition d’un ensemble d’images de la bouche couvrant une cible, en particulier tout ou partie des arcades dentaires, en limitant le risque d’une acquisition incomplète ou de mauvaise qualité.
Un but de l’invention est de répondre à ce besoin. Exposé de l’invention
L’invention propose un procédé d’acquisition d’un ensemble d’images couvrant, de préférence avec un taux de couverture supérieur ou égal à un seuil de couverture, une cible appartenant à un objet buccal d’un utilisateur, par exemple un ensemble d’images couvrant les incisives ou les dents (cible) de l’arcade dentaire (objet buccal) de l'utilisateur.
Selon un premier aspect principal de l’invention, le procédé comporte les étapes suivantes :
1) présentation à l'utilisateur, sur un écran et en réalité augmentée dans l’espace de l’objet buccal observé par un appareil d'acquisition d’images, de préférence manipulé par l'utilisateur, d’un symbole multidimensionnel ou d’un ensemble de symboles multidimensionnels, la forme et/ou la position de chaque symbole étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d’acquisition prédéterminée adaptée pour l’acquisition d’une dite image ;
2) pour chaque symbole, acquisition, avec l'appareil d'acquisition, d’une dite image quand ladite au moins une condition d’acquisition prédéterminée associée au dit symbole est remplie, de préférence quand toutes les conditions d’acquisition prédéterminées associées au dit symbole sont remplies.
Comme on le verra plus en détail dans la suite de la description, la forme d’un symbole multidimensionnel dans l’espace de la scène réelle observée par l'appareil d'acquisition permet, lorsque l'utilisateur regarde l’écran, de l’informer et de le guider vers une ou plusieurs conditions d’acquisition associées au dit symbole et adaptées à l’acquisition d’une image souhaitée. Un symbole présenté en réalité augmentée apporte ainsi une information de guidage particulièrement efficace.
Un procédé selon le premier aspect principal peut encore comporter, notamment, une ou plusieurs des caractéristiques optionnelles suivantes :
- à l’étape 2), on n’acquiert, avec l'appareil d'acquisition, une image que si ladite au moins une condition d’acquisition prédéterminée associée à au moins un symbole est remplie, de préférence que si toutes les conditions d’acquisition prédéterminées associées au dit symbole sont remplies ;
- au moins un symbole définit - un axe de symbole, de préférence un axe de révolution, une condition d’acquisition étant un écart angulaire entre l’axe optique de l'appareil d'acquisition et ledit axe de symbole inférieur à 20°, de préférence inférieur à 10°, de préférence inférieur à 5°, de préférence sensiblement nul, c'est-à-dire un alignement sensiblement parfait de l’axe optique de l'appareil d'acquisition avec ledit axe de symbole, et/ou
- une dimension qui, sur la représentation du symbole à l’écran, est variable en fonction de la distance entre l’appareil d’acquisition et ledit symbole dans la réalité augmentée, ladite condition d’acquisition étant une valeur spécifique prédéterminée pour ladite dimension ou l’appartenance de ladite dimension à une plage spécifique de valeurs prédéterminée, par exemple une dite dimension inférieure à 1 mm ;
- préalablement à l’étape 1), on enseigne à l'utilisateur, pour chaque symbole, ladite au moins une condition d’acquisition prédéterminée associée au dit symbole ; par exemple on explique à l'utilisateur que, pour acquérir l’ensemble d’images, il doit, pour chaque symbole, aligner au mieux l’axe du symbole avec l’axe optique de l'appareil d'acquisition, et/ou essayer de visualiser le symbole à l’écran pour que ladite dimension soit la plus proche possible de ladite valeur spécifique ;
- ledit enseignement est réalisé au moyen d’un tutoriel, le tutoriel permettant de préférence d’enseigner progressivement l’ensemble des fonctionnalités du programme d’ordinateur exécuté pour la mise en œuvre du procédé, le tutoriel pouvant évoluer en fonction des mises à jour ;
- à l’étape 2), on acquiert automatiquement, avec l'appareil d'acquisition, une dite image si des conditions d’acquisition prédéterminées définissant une position dans l’espace et/ou une orientation de l'appareil d'acquisition autour de son axe optique et incluant ladite au moins une condition d’acquisition indiquée par le symbole, sont remplies ;
- à l’étape 2), si on acquiert, avec l'appareil d'acquisition, une dite image,
- on modifie l’apparence dudit symbole ou on fait disparaitre ledit symbole, et/ou
- on émet un signal sonore, et/ou
- on modifie un score affiché sur l’écran et relatif à un taux de couverture de la cible par les images déjà acquises et/ou relatif à la durée pour l’acquisition des images déjà acquises et/ou relatif à la qualité des images déjà acquises et/ou relatif à l’utilité des images déjà acquises ;
- quand l’ensemble d’images a été acquis, on présente à l'utilisateur, sur l’écran, un classement déterminé en fonction dudit score ;
- l’écran affiche les symboles sur des images de prévisualisation représentant la scène réelle observée par l'appareil d'acquisition ou sur des vues d’un modèle représentant, comme lesdites images de prévisualisation, au moins ledit objet buccal ou ladite cible ;
- l’écran affiche une mire dans une position fixe sur l’écran, la mire ayant de préférence une forme constante, un dit symbole présentant de préférence une forme complémentaire à la mire lorsqu’une condition d’acquisition prédéterminée associée au dit symbole est remplie ;
- la cible comprend plus de 2, de préférence plus de 5 dents et/ou moins de 32 dents et/ou l’ensemble d’images comporte plus de 2, plus de 5, plus de 10 et/ou moins de 1 000 images prises dans des conditions d’acquisition différentes respectives et/ou l’ensemble de symboles comporte plus de 2, plus de 5 et/ou moins de 100 symboles ;
- les symboles présentent de préférence chacun un axe orienté vers le centre de la bouche de l'utilisateur ;
- les symboles sont de préférence distribués dans un plan, de préférence dans deux plans, de préférence dans trois plans, de préférence de manière à obtenir des images avec des axes d’observation dans le plan occlusal, dans un plan incliné par rapport au plan occlusal de manière à obtenir des vues de dessus par rapport au plan occlusal et dans un plan incliné par rapport au plan occlusal de manière à obtenir des vues de dessous par rapport au plan occlusal ;
- dans l’espace de l’objet buccal pour la représentation en réalité augmentée, les symboles sont à l’extérieur de la bouche de l'utilisateur, de manière que les images acquises soient extraorales.
Dans un mode de réalisation, le symbole est une partie de la surface de la cible et on affiche sur l’image de prévisualisation, ou sur une image équivalente, un point de visée permettant de visualiser l’angulation de l'appareil d'acquisition. Le point de visée, dans le prolongement de l’axe optique, est affiché sur la surface de la cible, à la manière du point de de visée qui apparait sur un objet lorsqu’il est visé par une arme à feu projetant, selon la direction de tir, un faisceau laser sur l’objet.
Pour orienter correctement l'appareil d'acquisition, l'utilisateur doit donc viser avec le point de visée les symboles représentés à la surface de la cible. Dans ce mode de réalisation, le symbole peut être un point ou une surface. S’il s’agit d’une surface, son contour se déforme en fonction de la forme et de la distance de la surface de la cible sur laquelle il est projeté. Le symbole peut être avantageusement utilisé pour indiquer une distance de l'appareil d'acquisition par rapport à la cible et/ou une orientation de l'appareil d'acquisition autour de son axe optique.
La forme du point de visée n’est pas limitative.
Le symbole peut être en particulier une vignette, c'est-à-dire une petite image, attachée à une dent, par exemple une étoile comme dans un jeu vidéo.
L’ensemble de symboles définit de préférence des conditions d’acquisition pour l’acquisition de
- au moins une image prise face à l'utilisateur et/ou au moins une image prise à droite de l'utilisateur et/ou au moins une image prise à gauche de l'utilisateur, de préférence au moins une image prise face à l'utilisateur et au moins une image prise à droite de l'utilisateur et au moins une image prise à gauche de l'utilisateur; et/ou
- au moins une image prise face à l'utilisateur d’une part et au moins une image prise de haut par rapport à l'utilisateur et/ou au moins une image prise de bas par rapport à l'utilisateur, d’autre part ; de préférence au moins une image prise face à l'utilisateur et au moins une image prise de haut par rapport à l'utilisateur et au moins une image prise de bas par rapport à l'utilisateur ; et/ou
- au moins une image prise bouche ouverte et/ou au moins une image prise bouche fermée.
L’invention concerne encore un dispositif pour la mise en œuvre d’un procédé selon le premier aspect principal de l’invention, comportant
- un appareil d’acquisition d’images, de préférence sous la forme d’un téléphone portable ;
- un ordinateur, de préférence intégré dans l'appareil d'acquisition ou en communication avec l'appareil d'acquisition, comportant un programme d’ordinateur comprenant des instructions de code de programme pour
- à l’étape 1), disposer et présenter à l'utilisateur un ou plusieurs symboles multidimensionnels sur un écran, de préférence l’écran de l'appareil d'acquisition, en réalité augmentée dans l’espace de l’objet buccal, la forme et/ou la position d’un symbole étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d’acquisition prédéterminée adaptée pour l’acquisition d’une dite image ;
- de préférence, à l’étape 2), n’autoriser l’acquisition, avec l'appareil d'acquisition, d’une dite image que si ladite au moins une condition d’acquisition prédéterminée associée à un symbole est remplie, et/ou commander à l'appareil d'acquisition l’acquisition d’une dite image que si ladite au moins une condition d’acquisition prédéterminée est remplie, et/ou mettre à jour un niveau de couverture de la cible par les images acquises, et de préférence comparer le niveau de couverture avec un seuil de couverture, et de préférence présenter sur l’écran une information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture.
L'appareil d'acquisition est de préférence
- un téléphone portable et ledit écran est intégré dans le téléphone portable ou
- un dispositif comportant un support équipé d’une caméra et destiné à être maintenu en appui sur l'utilisateur pendant l’acquisition de l’ensemble d’images, en particulier en appui sur les dents et/ou les gencives de l'utilisateur, l’écran étant intégré dans le support ou à distance du support.
Selon un deuxième aspect principal de l’invention, le procédé vise à couvrir rapidement la cible avec un taux de couverture supérieur ou égal à un seuil de couverture, et le procédé comporte les étapes suivantes : a) acquisition d’au moins une image, de préférence par l'utilisateur, au moyen d’un appareil d’acquisition d’images, de préférence un téléphone portable ; b) mise à jour du niveau de couverture de la cible en fonction de ladite au moins une image acquise à l’étape a) ; c) si le niveau de couverture est inférieur au seuil de couverture,
- détermination d’une information de guidage vers des conditions d’acquisition adaptées pour l’acquisition, avec l’appareil d’acquisition d’images, d’une image supplémentaire augmentant le niveau de couverture ;
- présentation à l'utilisateur de l’information de guidage et, de préférence, d’une information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, c'est-à-dire d’une information permettant à l'utilisateur de connaître l’avancement de l’acquisition dudit ensemble d’images, et,
- modification, par l'utilisateur, de la position et/ou de l’orientation de l'appareil d'acquisition en fonction de l’information de guidage, et reprise à l’étape a), de préférence en temps réel, les images acquises étant de préférence extraites d’un film que l'utilisateur visualise sur un écran de l'appareil d'acquisition.
Comme on le verra plus en détail dans la suite de la description, la détermination d’une information de guidage en fonction d’un taux de couverture mis à jour en temps réel permet avantageusement de faciliter l’acquisition d’images de la bouche d’un utilisateur, et notamment l’acquisition d’images dentaires. En particulier, l’utilisateur reçoit en temps réel des informations de guidage, ce qui rend l’acquisition plus efficace, en particulier lorsque l’information de guidage est choisie pour guider vers des conditions d’acquisition optimales permettant l’acquisition d’une image supplémentaire maximisant l’augmentation du niveau de couverture.
Grâce au guidage, il n’est pas nécessaire que l’utilisateur se déplace chez un professionnel de soins dentaires, ni que l’utilisateur soit supervisé par un professionnel de soins dentaires pour acquérir les images. Les images peuvent avantageusement être acquises dans des conditions d’acquisition précises, sans formation particulière. En particulier, elles peuvent être acquises par l'utilisateur lui-même ou par un de ses proches. Notamment, le procédé facilite l’acquisition d’images des arcades d’un enfant par un de ses parents.
La présentation de l’information sur le niveau de couverture est également particulièrement avantageuse car elle dissuade efficacement l’utilisateur d’interrompre l’acquisition avant qu’elle ne soit complète. Elle rend particulièrement agréable l’acquisition, l'utilisateur sachant à tout instant le chemin encore à parcourir avant d’avoir acquis l’ensemble d’images. L’acquisition peut même être ludique.
Un procédé selon le deuxième aspect principal peut encore comporter, notamment, un ou plusieurs des caractéristiques optionnelles suivantes :
- on affiche sur un écran, de préférence sur un écran de l'appareil d'acquisition, de préférence un téléphone portable :
- une représentation de la cible,
- une représentation de la partie de la cible couverte par une ou plusieurs images acquises lors de l’étape a) ou d’étapes a) antérieures, et
- de préférence, une représentation de l’objet buccal lorsque l’objet buccal inclut d’autres parties de la bouche de l'utilisateur que la cible ; - l’information de guidage et/ou l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture est/sont présentées en réalité augmentée dans une image de prévisualisation affichée sur un écran de l'appareil d'acquisition et représentant la scène réelle observée par l'appareil d'acquisition et/ou dans une image équivalente à l’image de prévisualisation représentant une scène théorique représentant, de manière symbolique ou réaliste, tout ou partie des éléments de ladite scène réelle, dans le même agencement que dans ladite scène réelle ;
- l’image équivalente comporte, de préférence est une vue d’un modèle d’au moins une partie de ladite scène réelle, un modèle étant un modèle tridimensionnel numérique ;
- l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture est présentée dans un référentiel spatial de manière à constituer une dite information de guidage ;
- l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture est présentée sur une représentation de la cible,
- en appliquant une apparence, de préférence une couleur ou une texture, à une zone de ladite représentation différente selon que ladite zone est couverte ou non par au moins une image acquise, ou
- en appliquant une apparence à un symbole symbolisant une partie prédéterminée de ladite cible, par exemple une dent, ladite apparence étant différente selon que ladite partie est couverte ou non, de préférence en faisant apparaitre ou disparaitre le symbole sur l’écran de l'appareil d'acquisition, ou
- en appliquant une apparence à un symbole indiquant au moins une condition d’acquisition, ladite apparence étant différente selon qu’une image a été acquise avec ladite au moins une condition d’acquisition ou non ;
- la cible comprend un ensemble de dents et/ou de tissus mous, l’image de prévisualisation ou l’image équivalente est actualisée en temps réel, de préférence sur l’écran du téléphone portable de l'utilisateur, les dents couvertes étant marquées spécifiquement, par un symbole ou par application d’une apparence permettant de les distinguer des dents non couvertes, une dent étant « couverte » quand sa surface à couvrir initiale est couverte ;
- une pluralité de symboles sont ancrés, en réalité augmentée, dans la scène réelle observée par l'appareil d'acquisition, de manière à apparaitre sur l’image de prévisualisation ou sur une image équivalente, chaque symbole pouvant par exemple être ancré sur une dent respective de l'utilisateur ou être ancré de manière à indiquer à l'utilisateur des conditions d’acquisition adaptées pour l’acquisition de l’image supplémentaire ;
- les symboles sont des symboles tridimensionnels selon le premier aspect principal de l’invention ;
- à l’étape a), l'utilisateur vise, avec l'appareil d'acquisition, un dit symbole, de préférence bidimensionnel ou tridimensionnel, et lorsque le symbole visé est atteint, de préférence lorsqu’il est au moins en partie superposé à une mire fixe affichée sur l’écran de l'appareil d'acquisition, au moins une image est acquise, de préférence automatiquement, c'est-à-dire sans intervention spécifique de l'utilisateur ;
- les symboles sont ancrés sur des dents adjacentes ou non, en réalité augmentée, sur l’image de prévisualisation ou sur une image équivalente, les symboles pouvant par exemple être ancrés régulièrement le long de l’arcade dentaire, par exemple toutes les 2 ou 3 dents ;
- les symboles sont ancrés et/ou conformés de manière à définir, optionnellement en coopération avec une dite mire, des conditions d’acquisition prédéterminées, de préférence une distance de l’appareil d’acquisition par rapport à la cible et/ou une orientation de l’appareil d’acquisition autour de son axe optique et/ou une angulation dudit axe optique par rapport à la cible ;
- à l’étape b), on analyse ladite au moins une image acquise à l’étape a) afin d’identifier une représentation de la cible sur ladite image, de préférence au moyen d’un réseau de neurones, puis, on marque la zone correspondante dans l’image de prévisualisation, de préférence en la colorant d’une couleur associée à ladite cible ;
- à l’étape a), avant ou après l’acquisition de l’image, on évalue la qualité de l’image acquise ou prévisualisée, c'est-à-dire affichée sur l’écran de l’appareil d’acquisition, respectivement, de préférence on évalue au moins la netteté et/ou le contraste, et/ou la balance des couleurs de l’image, et/ou la distance de l’appareil d’acquisition par rapport à la cible et/ou l’orientation de l’appareil d’acquisition autour de son axe optique et/ou l’angulation dudit axe optique par rapport à la cible, et on n’acquiert l’image et/ou on ne met à jour le taux de couverture que si la qualité dépasse un seuil de qualité prédéterminé ;
- à l’étape c), on teste plusieurs conditions d’acquisition adaptées pour l’acquisition, avec l’appareil d’acquisition d’images, d’une image supplémentaire augmentant le niveau de couverture, puis on détermine l’information de guidage de manière qu’elle guide vers les conditions d’acquisition optimales, c’est-à-dire adaptées pour l’acquisition, avec l’appareil d’acquisition d’images, de l’image supplémentaire qui augmente le plus le niveau de couverture ;
- à l’étape b),
- on soumet chaque image acquise à au moins un premier réseau de neurones entrainé pour détecter la représentation de la cible sur l’image et/ou à un algorithme de traitement d’images adapté pour détecter la représentation de la cible sur l’image, et à un deuxième réseau de neurones entrainé pour déterminer la position et l’orientation de l’appareil d’acquisition lors de l’acquisition de l’image, et donc la direction de l’axe optique de l’appareil d’acquisition, c’est-à-dire de la caméra de l’appareil d’acquisition, par rapport à la cible et la distance de l’appareil d’acquisition par rapport à la cible, puis
- on projette ladite représentation de la cible sur un modèle de la cible ou de l’objet buccal, ou « modèle de référence », suivant une direction de projection orientée, par rapport au dit modèle, comme la direction de l’axe optique par rapport à la cible, ladite représentation de la cible étant virtuellement (c’est-à-dire de manière théorique) positionnée, par rapport au modèle de référence comme l’appareil d’acquisition par rapport à la cible, puis
- on détermine le taux de couverture en fonction de la surface du modèle de référence couverte par ladite projection et par des dites projections réalisées lors d’étape(s) b) antérieures(s) éventuelles ;
- à l’étape b),
- on soumet chaque image acquise à un premier réseau de neurones entrainé pour détecter la représentation de la cible, ou des points remarquables de ladite cible, sur l’image, et à un deuxième réseau de neurones entrainé pour reconnaitre, à partir de la représentation de la cible ou desdits points remarquables sur l’image, une zone correspondante d’une image de référence, puis
- on détermine le taux de couverture en fonction de la surface de l’image de référence couverte par ladite zone correspondante et par des dites zones correspondantes déterminées lors d’étape(s) b) antérieure(s) éventuelles ;
- l’appareil d’acquisition est
- un téléphone portable pourvu d’un écran, de préférence un téléphone portable de l’utilisateur ou
- un dispositif comportant
- un support équipé d’une caméra et maintenu en appui sur l’utilisateur pendant l’acquisition de l’ensemble d’images, de préférence en autorisant une ouverture et une fermeture de la bouche, de préférence introduit partiellement dans la bouche de l’utilisateur, de préférence en appui sur les gencives et/ou les dents, et
- un écran affichant la scène observée par la caméra, ledit écran étant intégré dans le support ou à distance du support ;
- à l’étape a), l'utilisateur visualise, en temps réel, sur un écran dudit téléphone portable, la scène réelle observée par le téléphone portable ou une scène théorique correspondante, une image étant de préférence acquise automatiquement lorsque le téléphone portable observe la cible dans des conditions d’acquisition prédéterminées, de préférence dans des conditions d’acquisition déterminées à une étape c) du cycle d’étapes a) à c) précédent ;
- à l’étape c), on présente à l’utilisateur, de préférence sur l’écran de l'appareil d'acquisition, un compteur ou une jauge, de préférence sous la forme d’une barre de progression, informant sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, et/ou
- lorsque le seuil de couverture est atteint, on présente à l'utilisateur, de préférence sur l’écran de l'appareil d'acquisition, un score calculé en fonction de la durée pour parvenir au seuil de couverture et/ou de la qualité des images acquises, et/ou de l’utilité des images acquises, et/ou on présente à l'utilisateur, de préférence sur l’écran de l'appareil d'acquisition, un classement déterminé en fonction dudit score.
Dans un premier mode de réalisation principal, les informations de guidage comportent un ensemble de symboles, positionnés, en réalité augmentée, en fonction des images respectives à acquérir. L’ensemble d’images à acquérir comprend une image pour chaque symbole. A l’étape a), l'utilisateur doit viser les symboles avec son téléphone portable et les atteindre, comme dans un jeu vidéo. Par exemple, chaque symbole peut être ancré, en réalité augmentée, sur une dent respective, la cible étant constituée par lesdites dents et/ou de tissus mous.
Les symboles peuvent être ancrés en fonction de conditions d’acquisition souhaitées, par exemple sur des dents non adjacentes, par exemple toutes les deux ou trois dents.
Une mire peut être représentée sur l’écran du téléphone portable de l'utilisateur. Quand la mire se superpose avec le symbole, ce dernier est atteint : une image est alors acquise, de préférence automatiquement, et le symbole est marqué, ou disparait. Le marquage ou la disparition des symboles fournit une information sur le taux de couverture. Il fournit également une information de guidage, l'utilisateur pouvant facilement repérer les symboles encore non atteints sur l’image de prévisualisation qui s’affiche sur l’écran du téléphone portable. Il peut disposer le téléphone portable en conséquence. Lorsque tous les symboles ont été atteints, l’ensemble d’images couvre toutes les dents et/ou tissus mous ciblé(e)s. Le niveau de couverture peut être par exemple le rapport du nombre de symboles atteints sur le nombre de symboles initial, c'est-à-dire avant le début de l’acquisition.
Dans une variante de ce premier mode de réalisation principal, les symboles sont ancrés et/ou conformés de manière à définir, en coopération avec la mire, des conditions d’acquisition prédéterminées, de préférence une distance de l’appareil d’acquisition par rapport à la cible et/ou une orientation de l’appareil d’acquisition autour de son axe optique et/ou une angulation dudit axe optique par rapport à la cible.
Dans un mode de réalisation, la mire optionnelle est conformée pour être superposée à plusieurs symboles simultanément, par exemple deux ou trois symboles. Par exemple, elle comporte une pluralité de mires élémentaires, par exemple de cercles, qui doivent être simultanément superposés à une pluralité de symboles respectifs. Avantageusement, cette superposition correspond à une angulation et une distance prédéterminées de l’appareil d’acquisition par rapport à la cible. De préférence, les symboles d’une dite pluralité de symboles présentent une apparence, par exemple une couleur, spécifique à la pluralité de symboles. Par exemple, l’utilisateur vise d’abord à placer les trois symboles verts dans les cercles de la mire, puis les trois symboles rouge, etc.
De manière équivalente, pour imposer une distance prédéterminée de l’appareil d’acquisition par rapport à la cible, la mire et un symbole peuvent présenter des dimensions compatibles, de sorte que, quand l'utilisateur superpose exactement la mire et le symbole, l’appareil d’acquisition et la cible sont à ladite distance.
Les symboles d’une pluralité de symboles et les mires élémentaires sont de préférence différents les uns des autres, par exemple portent des numéros différents. Par exemple, l'utilisateur vise à placer les trois symboles numérotés 1, 2 et 3 dans les cercles numérotés 1, 2 et 3 de la mire, respectivement. Avantageusement, si les mires élémentaires ne sont pas alignées, cette superposition peut ainsi imposer une orientation prédéterminée de l’appareil d’acquisition autour de son axe optique.
De manière équivalente, pour imposer une orientation, la mire et un symbole peuvent présenter une forme qui n’est pas de révolution, par exemple une forme rectangulaire, de préférence une forme sans symétrie, de sorte que l'utilisateur ne puisse superposer, avec la même orientation, la mire et le symbole que si l’appareil d’acquisition est orienté suivant une ou plusieurs orientations prédéterminées autour de l’axe optique.
Notamment lorsque les symboles sont utilisés pour imposer une angulation, une distance ou une orientation de l’appareil d’acquisition, ils ne sont pas nécessairement associés à des dents particulières, et en particulier à des dents devant être couvertes.
Dans un deuxième mode de réalisation principal, une vue d’un modèle tridimensionnel de la cible, par exemple d’un ensemble de dents, est affichée sur l’écran du téléphone portable. Dans un mode de réalisation, l'utilisateur peut modifier cette vue, c'est-à-dire modifier le point d’observation du modèle, en utilisant un logiciel conventionnel de manipulation de modèles. Dans un mode de réalisation préféré, la vue est modifiée en fonction des conditions d’observation de la cible par le téléphone portable, de préférence suivant les principes de la réalité augmentée. Le modèle peut alors être affiché, éventuellement en transparence, en superposition sur l’image de prévisualisation, ou remplacer cette image de prévisualisation. Quand une image de prévisualisation couvre la cible, une image est acquise, de préférence automatiquement. La surface de la cible représentée sur l’image acquise est marquée sur le modèle, de préférence colorée, par exemple en vert. La surface de la cible encore à couvrir est représentée différemment, par exemple colorée en rouge. L'utilisateur peut ainsi immédiatement visualiser le taux de couverture, par exemple le rapport entre la surface verte et la surface totale rouge et verte. La surface non marquée le guide vers des conditions d’acquisition permettant d’augmenter le taux de couverture. Dans une variante du deuxième mode de réalisation principal, la vue du modèle de référence est remplacée par une image de référence, par exemple une photo, par exemple une photo panoramique.
De préférence, un procédé selon l’invention est mis en œuvre pour acquérir
- au moins une image prise face à l'utilisateur et/ou au moins une image prise à droite de l'utilisateur et/ou au moins une image prise à gauche de l'utilisateur, de préférence au moins une image prise face à l'utilisateur et au moins une image prise à droite de l'utilisateur et au moins une image prise à gauche de l'utilisateur; et/ou
- au moins une image prise face à l'utilisateur d’une part et au moins une image prise de haut par rapport à l'utilisateur et/ou au moins une image prise de bas par rapport à l'utilisateur, d’autre part ; de préférence au moins une image prise face à l'utilisateur et au moins une image prise de haut par rapport à l'utilisateur et au moins une image prise de bas par rapport à l'utilisateur ; et/ou
- au moins une image prise bouche ouverte et/ou au moins une image prise bouche fermée.
L’invention concerne également un dispositif pour la mise en œuvre d’un procédé l’invention, comportant :
- un appareil d’acquisition d’images, un ordinateur équipé de caméra, en particulier un téléphone portable ou une tablette, de préférence un téléphone portable, ou un miroir équipé de caméra pour l’acquisition de l’ensemble d’images, en particulier pour la mise en œuvre de l’étape a) ;
- un ordinateur, qui peut être l'appareil d'acquisition, de préférence intégré dans le téléphone portable ou en communication avec le téléphone portable, comportant un programme d’ordinateur comprenant des instructions de code de programme pour, selon le premier aspect principal de l’invention, présenter en réalité augmentée les symboles tridimensionnels apportant une information de guidage, et/ou selon le deuxième aspect principal de l’invention
- la mise à jour du niveau de couverture à l'étape b),
- la comparaison du niveau de couverture avec le seuil de couverture, et
- si le niveau de couverture est inférieur au seuil de couverture, la détermination de l’information de guidage et la présentation à l'utilisateur de l’information de guidage et, de préférence, de l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, à l’étape c) ;
- de préférence, un écran pour la présentation de l’information de guidage et, selon le deuxième aspect principal de l’invention, de l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture, de préférence un écran de l’ordinateur.
Dans un mode de réalisation préféré, le programme d’ordinateur est exécuté par l’appareil d’acquisition d’images, le programme d’ordinateur pouvant être intégré dans un logiciel spécialisé, en particulier un logiciel spécialisé pour téléphone portable ou tablette.
L’écran peut être intégré dans l’appareil d’acquisition d’images. De préférence, l’écran est l’écran d’un téléphone portable ou d’une tablette.
De préférence, l’écran et le programme d’ordinateur sont intégrés dans l’appareil d’acquisition d’images.
L’utilisateur peut alors facilement, sans intervention d’un tiers, et en particulier sans intervention d’un professionnel de soins dentaires, au moyen d’un simple téléphone portable ou d’une tablette, acquérir des images de la cible de bonne qualité et couvrant ensemble toute la cible.
Le dispositif peut encore comporter des moyens de communication, notamment permettant d’envoyer la ou les images acquises et/ou de recevoir un modèle ou une image de référence.
Bien entendu, dans la mesure où elles ne sont pas techniquement incompatibles, les caractéristiques nécessaires ou optionnelles des différents aspects principaux de l’invention peuvent être combinées.
Définitions
Un « utilisateur » est une personne pour laquelle un procédé selon l’invention est mis en œuvre.
Par « professionnel de soins dentaires », on entend toute personne qualifiée pour prodiguer des soins dentaires, ce qui inclut un orthodontiste et un dentiste.
Par « arcade » ou « arcade dentaire », on entend tout ou partie d’une arcade dentaire, comportant de préférence au moins 2, de préférence au moins 3, de préférence au moins 4 dents. Selon la convention internationale de la Fédération Dentaire Internationale, chaque dent d’une arcade dentaire a un numéro prédéterminé.
Les « tissus mous » sont les parties de la bouche couvertes de peau, comme les gencives, le palais ou la langue, à la différence des dents ou d’un appareil orthodontique.
Un tissu mou est un tissu de soutien extra- squelettique, comme le tissu adipeux, les tendons, les ligaments, les fascias, la peau... (tissus conjonctifs mous) et les tissus musculaires, vasculaire et les nerfs (tissus non conjonctifs).
Un « écarteur » (« retractor » en anglais), ou « écarteur dentaire », est un dispositif destiné à retrousser les lèvres ou de façon plus générale à écarter les lèvres des dents. Il comporte de préférence un rebord supérieur et un rebord inférieur, et/ou un rebord droit et un rebord gauche, s’étendant autour d’une ouverture d’écarteur et destinés à être introduits entre les dents et les lèvres. En position de service, les lèvres de l’utilisateur sont en appui sur ces rebords, de sorte que les dents sont visibles à travers l’ouverture d’écarteur. Un écarteur permet ainsi d’observer les dents sans être gêné par les lèvres. Les dents ne reposent cependant pas sur l’écarteur, de sorte que l’utilisateur peut, en tournant la tête par rapport à l’écarteur, modifier les dents qui sont visibles à travers l’ouverture d’écarteur. Il peut aussi modifier l’écartement entre ses arcades dentaires. En particulier, un écarteur n’appuie pas sur les dents de manière à écarter les deux mâchoires l’une de l’autre, mais sur les lèvres. Dans un mode de réalisation, un écarteur est configuré de manière à écarter élastiquement l’une de l’autre les lèvres supérieure et inférieure de manière à dégager les dents visibles à travers l’ouverture d’écarteur. Dans un mode de réalisation, un écarteur est configuré de manière que la distance entre le rebord supérieur et le rebord inférieur, et/ou entre le rebord droit et le rebord gauche soit constante. Des écarteurs sont par exemple décrits dans PCT/EP2015/074896, US 6,923,761, ou US 2004/0209225.
Par « ordinateur », on désigne une unité de traitement informatique, ce qui inclut un ensemble de plusieurs machines, ayant des capacités de traitement informatique. Cette unité peut être notamment intégrée dans un téléphone portable, en particulier le téléphone portable de l'utilisateur, ou être un ordinateur de type PC ou un serveur, par exemple un serveur à distance de l’utilisateur, par exemple être le « cloud » ou un ordinateur disposé chez un professionnel des soins dentaires. Le téléphone portable et l’ordinateur comportent alors des moyens de communication pour échanger entre eux. Classiquement, un ordinateur comporte en particulier un processeur, une mémoire, une interface homme-machine, comportant classiquement un écran, un module de communication par internet, par WIFI, par Bluetooth® ou par le réseau téléphonique. Un logiciel configuré pour mettre en œuvre un procédé de l’invention est chargé dans la mémoire de l’ordinateur. L’ordinateur peut être également connecté à une imprimante.
Le procédé selon l’invention (hors l’opération d’acquisition, réalisée par l’appareil d’acquisition d’images, et l’opération de déplacement de l’appareil d’acquisition d’images, réalisée par l'utilisateur) est mis en œuvre par ordinateur, de préférence exclusivement par ordinateur.
Une « scène réelle » est constituée par un ensemble d’éléments observés simultanément par l'appareil d'acquisition. La vue de la scène réelle observée par l'appareil d'acquisition est classiquement affichée sur un écran de l'appareil d'acquisition, sous la forme d’une « image de prévisualisation » qui s’actualise en permanence, en temps réel, à la manière d’un film.
L’image de prévisualisation peut être remplacée ou complétée par une image équivalente représentant, de manière symbolique ou réaliste, une scène théorique représentant tout ou partie des éléments de la scène réelle, dans le même agencement que dans la scène réelle, c'est-à-dire d’une manière que les éléments représentés soient disposés, les uns par rapport aux autres, comme dans la scène réelle. L’image équivalente est une vue de la scène théorique dans des conditions d’observation identiques à celles utilisées par l'appareil d'acquisition pour observer la scène réelle et obtenir l’image de prévisualisation. Les contours de représentations d’éléments physiques sur l’image équivalente sont donc superposables aux contours desdits éléments physiques sur l’image de prévisualisation. L’image équivalente est choisie pour présenter une concordance maximale avec l’image de prévisualisation.
L’image de prévisualisation est de préférence affichée sur l’écran de l'appareil d'acquisition, mais, dans un mode de réalisation, l’image équivalente remplace l’image de prévisualisation sur l’écran. Cependant, l’acquisition d’une image avec l'appareil d'acquisition à un instant consiste à enregistrer l’image de prévisualisation lorsqu’elle est affichée ou telle qu’elle aurait été affichée lorsqu’elle est remplacée par une image équivalente.
La réalité augmentée est une forme de communication par laquelle des éléments visuels sont ajoutés à une image représentant, de manière réaliste ou symbolique, une scène. Les éléments visuels peuvent être en particulier ajoutés à une image de prévisualisation représentant la scène réelle observée par l'appareil d'acquisition ou à une image équivalente.
Dans un mode de réalisation préféré, on utilise la réalité augmentée, de manière que lors de l’acquisition, à l’étape a), d’une image représentant la cible, un écran représente, en temps réel, de manière réaliste ou symbolique, la cible comme l’appareil d’acquisition d’images l’observe.
Un symbole est « ancré », en réalité augmentée, lorsqu’il apparaît comme fixé dans la scène réelle ou théorique lorsque l'appareil d'acquisition se déplace par rapport à la scène réelle (et donc modifie l’image qui est affichée par l'appareil d'acquisition).
Un symbole qui apparaît en réalité augmentée peut être un point, être bidimensionnel, c'est- à-dire s’étendre dans un plan dans l’espace de l’objet buccal, ou de préférence, être tridimensionnel, c'est-à-dire s’étendre, de manière virtuelle, dans les trois dimensions de l’espace de l’objet buccal. La façon dont le symbole bidimensionnel ou tridimensionnel est représenté dépend des conditions dans lesquelles il est virtuellement observé. Par exemple sa taille dépend de la distance d’observation. De préférence, le symbole n’est pas sphérique de sorte que sa représentation fournit également des informations sur l’angulation et/ou l’orientation de l'appareil d'acquisition autour de son axe optique. Un symbole fournissant une information de guidage est de préférence représenté sur l’image de prévisualisation ou sur une image équivalente.
Par « modèle », on entend un modèle tridimensionnel numérique. Un modèle est constitué d’un ensemble de voxels.
Un « modèle de dent » est un modèle numérique tridimensionnel d’une dent. Un modèle d’une arcade dentaire peut être découpé de manière à définir, pour au moins une partie des dents, de préférence pour toutes les dents représentées dans le modèle de l’arcade, des modèles de dent. Les modèles de dent sont donc des modèles au sein du modèle de l’arcade.
Par "image", on entend une image en deux dimensions, comme une photographie ou une image extraite d’un film. Une image est formée de pixels. Un « film » est considéré comme un ensemble de photos. Le nombre de pixels d’une image est de préférence supérieur à 100, 1 000, 10 000 ou 100000 ou 1 000000, et/ou inférieur à 1 000 000000.
Une image représente une scène, de manière réaliste ou non. En particulier, une image peut représenter un masque déformé, résultant de la projection, de préférence par l'appareil d'acquisition, d’un masque d’origine. Le masque d’origine peut être par exemple une grille ou un ensemble de plots, classiquement distribués régulièrement. La projection peut être en lumière visible ou non, de préférence en lumière infra-rouge. La déformation d’une partie du masque d’origine, par exemple d’un plot, résultant de sa projection porte une information sur la distance entre la zone de la scène sur laquelle cette partie du masque d’origine a été projetée et l’appareil d’acquisition de l’image. Elle peut également fournir une information sur l’orientation de ladite zone dans l’espace. Les images utilisées par le logiciel Face ID d’Apple sont des exemples de telles images, aussi appelées « images 3D ».
Une image acquise suivant un procédé selon l’invention est de préférence une photo, éventuellement extraite d’un film, représentant de manière réaliste la scène observée, c'est- à-dire comme l’œil humain la perçoit. Elle peut représenter un masque déformé, notamment superposé à une image représentant la scène de manière réaliste. Elle peut ne représenter qu’un masque déformé. La projection du masque d’origine étant réalisée sur la scène réelle observée par l’appareil d’acquisition, l’image représentant le masque déformé est aussi considérée comme une image équivalente à l’image de prévisualisation.
On appelle « concordance » ou « proximité » (« match » ou « fit » en anglais) entre deux objets, par exemple entre les représentations d’une arcade dentaire sur deux images, une mesure de la différence, ou « distance », entre ces deux objets. Une concordance est maximale (« best fit ») lorsque cette différence est minimale, en particulier lorsque les deux images représentent sensiblement les mêmes éléments de la même façon, c'est-à-dire de manière que les représentations des éléments sur ces deux images soient sensiblement superposables en registre.
Les « conditions d’acquisition » d’une image précisent la position et/ou l’orientation dans l’espace d’un appareil d’acquisition d’images de cette image relativement à la cible et de préférence la calibration de cet appareil d’acquisition d’images (en particulier l’ouverture de diaphragme, le temps d’exposition, la distance focale et la sensibilité). Un symbole peut indiquer des conditions d’acquisition adaptées à une unique position et à une unique orientation de l’appareil d’acquisition. Un symbole peut alternativement indiquer des conditions d’acquisition correspondant à plusieurs positions et/ou à plusieurs orientations de l'appareil d'acquisition, pour guider vers plusieurs images potentielles. Par exemple, il peut guider vers un axe d’observation prédéterminé sans guider vers une position particulière le long de cet axe, laissant ainsi libre l'utilisateur d’acquérir une ou plusieurs images le long de cet axe à des positions diverses le long de cet axe, comme dans le mode de réalisation de la figure 3 par exemple. Il peut aussi guider vers une position prédéterminée dans l’espace, sans guider vers une orientation particulière de l'appareil d'acquisition autour de son axe optique, comme dans le mode de réalisation de la figure 5 par exemple.
L’appareil d’acquisition d’images comporte une caméra pour acquérir des images, par exemple des photos ou un film. Lorsqu’il est fait référence à une observation d’une scène par l’appareil d’acquisition, il est fait référence à une observation de la scène par la caméra de l’appareil d’acquisition. Lorsqu’il est fait référence à un axe optique de l’appareil d’acquisition, il est fait référence à l’axe optique de la caméra de l’appareil d’acquisition, etc.
Une « angulation » est une orientation de l’axe optique de l'appareil d'acquisition par rapport à la cible.
Un angle entre deux droites est un angle formé entre deux plans perpendiculaires à ces deux droites, respectivement.
Il faut interpréter "comprenant " ou "comportant " ou "présentant " de manière non restrictive, sauf indication contraire.
Brève description des dessins
D'autres caractéristiques et avantages de l'invention apparaîtront encore à la lecture de la description détaillée qui va suivre et à l'examen du dessin annexé dans lequel :
[Fig 1] la figure 1 représente schématiquement les étapes d’un cycle d’un procédé selon le deuxième aspect principal de l’invention ;
[Fig 2] la figure 2 représente un exemple de dispositif selon l’invention ;
[Fig 3] la figure 3 représente un exemple de mise en œuvre d’un procédé selon le deuxième aspect principal de l’invention, dans le premier mode de réalisation principal ;
[Fig 4] la figure 4 représente un exemple de mise en œuvre d’un procédé selon le premier aspect principal de l’invention et selon le deuxième aspect principal de l’invention, dans le deuxième mode de réalisation principal ; [Fig 5] la figure 5 représente un autre exemple de mise en œuvre d’un procédé selon le premier aspect principal de l’invention et selon le deuxième aspect principal de l’invention, dans le deuxième mode de réalisation principal ;
[Fig 6] la figure 6 représente un symbole de la figure 5 tel que présenté à l’utilisateur lorsque les conditions d’acquisition prédéterminées associées au symbole sont atteintes ;
[Fig 7] la figure 7 représente un autre exemple de mise en œuvre d’un procédé selon le premier aspect principal de l’invention et selon le deuxième aspect principal de l’invention, dans le deuxième mode de réalisation principal ;
[Fig 8] la figure 8 représente schématiquement un symbole tridimensionnel observé suivant son axe ;
[Fig 9] la figure 9 représente schématiquement les étapes d’un cycle d’un procédé selon le premier aspect principal de l’invention ;
[Fig 10] la figure 10 représente deux exemples d’images équivalentes à une image de prévisualisation.
Description détaillée
Un procédé d’acquisition selon l’invention, illustrée sur la figure 1, est par exemple mis en œuvre au moyen du dispositif 1 illustré sur la figure 2.
Le dispositif 1 comporte
- un appareil d’acquisition d’images 10 pourvu d’un écran 12 et dans lequel est chargé un programme d’ordinateur, et
- un ordinateur 14 pourvu d’un écran 18.
L’ordinateur 14 peut être distinct de l’appareil d’acquisition ou, de préférence, être intégré dans l’appareil d’acquisition.
L’ordinateur 14 peut comporter en outre des moyens de communication digitale permettant l’échange de données 20, notamment avec l’appareil d’acquisition d’images 10, voire avec une base de données 22.
La base de données 22 peut être aussi intégrée, partiellement ou totalement, dans l’appareil d’acquisition ou dans l’ordinateur. Elle peut notamment contenir les images acquises, le modèle de référence ou l’image de référence, la définition de la cible et de l’objet buccal, voire un modèle final généré à partir des images acquises. Elle peut aussi contenir les informations relatives aux conditions d’acquisition prédéterminées associées à chaque symbole.
Dans un mode de réalisation préféré de l’invention, l’appareil d’acquisition d’images 10 est un téléphone portable ou une tablette. L’écran 12 de l’appareil d’acquisition est configuré de manière à présenter l’information de guidage, et de préférence l’information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture. Alternativement, ou en complément, ces informations peuvent être présentées sur l’écran 18 de l’ordinateur.
L’appareil d’acquisition d’images peut être également un miroir équipé d’une caméra.
Le dispositif 1 est utilisé pour la mise en œuvre d’un procédé selon l’invention :
La cible présente une « surface à couvrir initiale » prédéterminée, c’est-à-dire une surface que la mise en œuvre du procédé a pour objet de couvrir.
La « surface couverte » est la partie de la surface à couvrir initiale qui, à un instant au cours du procédé, a déjà été couverte, c’est-à-dire représentée sur au moins une image acquise. La « surface encore à couvrir » est la partie de la surface à couvrir initiale qui, à un instant au cours du procédé, n’a été représentée sur aucune image acquise.
La surface d’une cible peut inclure des surfaces élémentaires de plusieurs organes identifiables respectifs, par exemple de plusieurs dents. Un organe peut être qualifié de « couvert » ou de « encore à couvrir » selon que toute sa surface élémentaire est couverte ou non.
L’objet buccal peut comprendre, ou être constitué de la langue et/ou du palais et/ou d’une ou deux gencives et/ou d’une ou de deux arcades dentaires, et/ou d’une ou plusieurs dents. De préférence l’objet buccal est une arcade dentaire.
L’objet buccal peut être également un appareil orthodontique, par exemple un appareil multiattaches, en vestibulaire ou en lingual, une gouttière orthodontique, de préférence invisible, un auxiliaire, par exemple un taquet, un bouton ou une vis, un appareillage d’éducation fonctionnel, par exemple pour modifier le positionnement de la langue ou traiter l’apnée du sommeil.
Une cible peut être l’objet buccal. Elle peut être aussi une région d’intérêt de l’objet buccal, en particulier une région ayant été identifiée comme une région à risque ou une région suivie, par exemple dans le cadre d’un traitement orthodontique ou d’un suivi parodontique, une région ayant été mal scannée, par exemple lors d’un rendez-vous précédent chez un professionnel de soins dentaires, ou une région ayant évolué.
Dans un mode de réalisation préféré, l’objet buccal est une arcade dentaire et la cible est constituée par une ou de préférence plusieurs dents de ladite arcade dentaire.
La cible est identifiée avant la mise en œuvre du procédé et l’ordinateur en est informé. Par exemple, on informe l’ordinateur qu’il faut acquérir un ensemble d’images couvrant les dents 10 à 14, ou on lui fournit une image ou un modèle d’arcade dentaire sur lequel la représentation de la cible a été identifiée.
L’image ou le modèle utilisés pour identifier la cible peuvent être génériques, c’est-à-dire être utilisables pour plusieurs utilisateurs. Ils peuvent être sélectionnés dans une base de données, la base de données étant accessible via des moyens de communication digitale. Un modèle générique peut être un typodont. De préférence, le modèle générique ou l’image générique sont choisis de sorte qu’ils représentent une cible présentant une forme proche de la cible de l’utilisateur, ce qui améliore la précision du procédé. Si la cible appartient à une arcade dentaire, le modèle peut être généré par la mise en œuvre d’un procédé agençant des modèles de dent, par exemple tel que décrit dans la demande européenne n° 18 184486.
Le modèle ou l’image utilisés pour identifier la cible sont de préférence un modèle ou une image représentant la cible de l’utilisateur, acquis antérieurement à la mise en œuvre du procédé.
Chaque zone de la cible qui est représentée sur une image acquise est dite « couverte » par cette image. L’union des zones représentées sur au moins une image acquise est la « surface couverte ».
L’ensemble d’images est considéré comme suffisant pour couvrir une cible déterminée lorsque le niveau de couverture par les images acquises atteint un seuil de couverture.
Le seuil de couverture définit ainsi, directement ou indirectement, un pourcentage de la surface à couvrir initiale qui est considéré comme suffisant pour qu’il puisse être mis fin à l’acquisition, c’est-à-dire pour que l’on puisse considérer que l’acquisition est achevée.
Un seuil de couverture de 100% impose par exemple que toute la surface de la cible soit représentée sur au moins une image acquise. Le seuil de couverture peut être déterminé pour que l’ensemble d’images suffise pour visualiser la cible selon des angles prédéterminés, notamment selon un angle quelconque.
Le seuil de couverture est de préférence prédéterminé, avant la première étape a).
Le seuil de couverture peut être supérieur à 50%, à 70%, à 80%, à 90%, à 95% de la surface de la cible. De préférence, le seuil de couverture est supérieur à 95%.
Le niveau de couverture est une mesure de l’avancement de l’acquisition par rapport au seuil de couverture. Avant l’acquisition d’une première image, le niveau de couverture est donc nul. Le niveau d’avancement augmente progressivement au fur et à mesure des cycles d’étapes a) à c).
Le niveau de couverture peut être par exemple le rapport de la surface couverte sur la surface à couvrir initiale. Si 30% de la surface à couvrir initiale est couvert, le niveau de couverture est ainsi de 30%.
Le niveau de couverture peut être aussi, par exemple, le rapport de la surface couverte sur la surface encore à couvrir, constituée par l’ensemble des zones de la cible qui ne sont représentées sur aucune image acquise. Si 30% de la surface à couvrir initiale est couvert, le niveau de couverture est ainsi de 30%/70%.
Si l’objet buccal comporte un ensemble de dents, le niveau de couverture peut être encore le rapport du nombre de dents couvertes sur le nombre de dents dudit ensemble. Une dent peut être considérée comme couverte par exemple si au moins 90% de la surface extérieure ou occlusale ou vestibulaire de la dent est représentée sur les images acquises, mieux si au moins 95% de ladite surface de la dent est représentée sur les images acquises, encore mieux si toute ladite surface de la dent est représentée sur les images acquises.
Une dent peut être alternativement considérée comme couverte lorsqu’un ou plusieurs points remarquables de cette dent sont représentés sur au moins une image acquise.
Dans le mode de réalisation décrit ci-dessus, on a considéré que l’objectif était de couvrir une surface de la cible.
Par extension, dans un mode de réalisation, l’objectif est d’acquérir un ensemble d’images dans des conditions d’acquisition respectives définies par des symboles, de préférence multidimensionnels, respectifs. L’ensemble de symboles définissant chacun des conditions d’acquisition pour une ou plusieurs images respectives peut être alors assimilé, au début de la mise en œuvre d’un procédé selon l’invention, à une « surface à couvrir initiale ». L’ensemble des symboles définissant, à un instant, des conditions d’acquisition dans lesquelles une image a déjà été acquise peut être assimilé à une « surface couverte », le nombre de ces symboles définissant un « niveau de couverture », le « seuil de couverture » pouvant être un nombre minimal pour ces symboles. Enfin, l’ensemble des symboles définissant des conditions d’acquisition dans lesquelles une image reste à acquérir peut être assimilé à une « surface encore à couvrir ».
Par extension également, dans un mode de réalisation, l’objectif est d’acquérir un ensemble d’images représentant partiellement la cible, par exemple représentant, pour chaque dent de la cible, des points remarquables comme les points mésiaux-distaux, les cuspides, le bord libre, les points du collet, ou le barycentre d’une face de la dent. L’ensemble des points remarquables de la cible peut être alors assimilé, au début de la mise en œuvre d’un procédé selon l’invention, à une « surface à couvrir initiale ». L’ensemble des points remarquables de la cible déjà représentés sur une image acquise peut être assimilé à une « surface couverte », le nombre de ces points définissant un « niveau de couverture », le « seuil de couverture » pouvant être un nombre minimal pour ces points. Enfin, l’ensemble des points remarquables encore non représentés sur une image déjà acquise peut être assimilé à une « surface encore à couvrir ».
Un objectif du procédé est de guider l’utilisateur lors de l’acquisition des images pour que l’ensemble des images acquises comporte le moins d’images possible, c’est-à-dire que l’acquisition soit efficace, mais suffisamment d’images pour que le seuil de couverture soit atteint.
Le premier aspect principal de l’invention vise à guider l’acquisition au moyen de symboles multidimensionnels. Le deuxième aspect principal de l’invention vise à guider l’acquisition en informant l’utilisateur sur le niveau d’avancement de cette acquisition.
Premier aspect principal de l’invention
A l’étape 1) d’un procédé selon le premier aspect principal de l’invention, illustré sur la figure 9, des symboles multidimensionnels, c'est-à-dire bidimensionnels ou tridimensionnels, de préférence tridimensionnels, sont disposés, c'est-à-dire « ancrés », et présentés à l'utilisateur, en réalité augmentée, dans l’espace de l’objet buccal, la forme et/ou la position d’un symbole étant déterminée(s) de manière à indiquer à l'utilisateur tout ou partie de conditions d’acquisition adaptées pour l’acquisition d’une dite image.
Bien entendu, l'utilisateur doit être capable d’interpréter un symbole. L’information associée à un symbole peut être explicite, par exemple lorsqu’il a la forme d’une flèche. Aucune formation n’est alors nécessaire. A défaut, l'utilisateur peut être formé afin de lui fournir la « règle du jeu », c'est-à-dire la façon dont on attend qu’il traite les symboles.
Un symbole bidimensionnel ou tridimensionnel qui apparaît en réalité augmentée s’étend, de manière virtuelle, c'est-à-dire sans avoir d’existence physique, dans la scène réelle observée par l'appareil d'acquisition, ou dans une scène virtuelle équivalente, en particulier un modèle d’au moins une partie de la scène réelle. Il s’étend dans un plan ou définit un volume, respectivement.
Une représentation dans une scène virtuelle équivalente permet avantageusement de mieux faire apparaître les symboles, comme illustré par exemple sur la figure 7.
L’écran affiche l’image de prévisualisation représentant la scène réelle observée par l’appareil d'acquisition et/ou une image équivalente, en particulier une vue dudit modèle qui correspond à l’observation de la scène réelle par l'appareil d'acquisition. Il affiche également les symboles comme s’ils avaient une existence physique, réelle, et étaient présents dans la scène réelle.
A chaque symbole est/sont associée(s) une ou plusieurs conditions d’acquisition pour une image respective, en particulier
- un axe d’observation prédéterminé de la cible ou une plage d’axes d’observation prédéterminée, et/ou
- une distance prédéterminée entre la cible et l'appareil d'acquisition, ou une plage de dites distances prédéterminée, et/ou
- une orientation prédéterminée de l’appareil d’acquisition autour de son axe optique, ou une plage de dites orientations prédéterminée.
L’ordinateur connaît les conditions d’observations prédéterminées associées à chaque symbole. Le nombre de symboles est adapté au nombre d’images de l’ensemble d’images souhaité. Il est de préférence supérieur à 2, à 5, à 10 ou à 100 et/ou inférieur à 1 000.
Un symbole, de préférence chaque symbole, est de préférence représenté sur l’image de prévisualisation ou sur l’image équivalente, mise à jour en temps réel lorsque l'utilisateur déplace l'appareil d'acquisition.
Un symbole, de préférence chaque symbole, est de préférence représenté, en réalité augmentée, sur un écran de l'appareil d'acquisition ou en communication avec l'appareil d'acquisition, de préférence sur un écran d’un téléphone portable utilisé pour acquérir les images.
Un symbole, de préférence chaque symbole, est de préférence ancré et/ou conformé de manière que la modification de sa représentation sur ledit écran résultant d’un déplacement de l'appareil d'acquisition, informe l'utilisateur du fait que ledit déplacement écarte ou rapproche de conditions d’acquisition prédéterminées associées audit symbole.
Les conditions d’acquisition prédéterminées définissent un axe d’observation de la cible par l'appareil d'acquisition, c'est-à-dire un axe d’observation prédéterminé, et/ou une distance prédéterminée de l'appareil d'acquisition par rapport à la cible, de préférence suivant l’axe d’observation, et/ou une orientation prédéterminée de l'appareil d'acquisition autour de son axe optique, et ladite modification de la représentation du symbole sur ledit écran informe de préférence l'utilisateur du fait que ledit déplacement
- réduit ou augmente la différence de l’angle entre l’axe optique de l'appareil d'acquisition et l’axe d’observation prédéterminé, c'est-à-dire améliore ou dégrade l’angulation de l'appareil d'acquisition ; et/ou
- réduit ou augmente la différence entre la distance entre l'appareil d'acquisition et la cible et la distance prédéterminée ; et/ou
- réduit ou augmente la différence entre l’orientation de l'appareil d'acquisition autour de son axe optique et l’orientation prédéterminée ; de préférence réduit ou augmente chacune des trois différences susmentionnées.
Les principes de la réalité augmentée sont bien connus. La détermination d’une dite angulation et/ou d’une dite distance et/ou d’une dite différence d’orientation ne pose pas de difficulté particulière à l’homme du métier. De préférence, un symbole multidimensionnel, de préférence chaque symbole multidimensionnel, présente une forme définissant une direction principale, ou « axe de symbole », identifiable par l'utilisateur, par exemple un axe de révolution, et indiquant un dit axe d’observation prédéterminé associé au dit symbole.
Un symbole multidimensionnel, de préférence chaque symbole multidimensionnel, comporte, lorsque l'axe optique de l'appareil d'acquisition est confondu avec ladite direction principale, une dimension qui, sur la représentation du symbole sur l’écran, est variable en fonction de la position de l’appareil d’acquisition le long de l’axe optique, c’est-à-dire en fonction de la distance entre l’appareil d’acquisition et ledit symbole.
Ladite dimension est évaluable par observation de l’écran par l’utilisateur, et l’utilisateur connaît une valeur de ladite dimension définissant la position de l’appareil d’acquisition à la distance prédéterminée associée au dit symbole.
Par exemple, le symbole multidimensionnel présente la forme d’une superposition d’anneaux, de préférence de différents diamètres,
- l’orientation prédéterminée étant obtenue lorsque les centres des anneaux sont alignés suivant l’axe optique de l'appareil d'acquisition, c'est-à-dire que lesdits centres apparaissent sur l’écran comme confondus, et/ou
- la distance prédéterminée étant obtenue lorsque les centres des anneaux sont alignés suivant l’axe optique et que l’écartement entre lesdits anneaux tels qu’ils apparaissent sur l’écran, de préférence sur la représentation du symbole dans l’image de prévisualisation ou l’image équivalente, a une valeur prédéterminée, par exemple quand un premier anneau apparait adjacent à un deuxième anneau, c'est-à-dire quand le contour intérieur du premier anneau est en contact avec le contour extérieur du deuxième anneau.
A l’étape 2), une image est acquise quand la ou les conditions d’acquisition prédéterminées associées à un symbole est/sont remplies.
L’acquisition peut en particulier être réalisée suivant une étape a) telle que décrite ci- dessous. L’image peut être du type des images décrites ci-dessous pour l’étape a).
L’image est ensuite analysée afin de déterminer les conditions d’acquisition.
Dans un mode de réalisation, on soumet chaque image acquise à un premier réseau de neurones entrainé pour détecter la représentation de la cible, et/ou des points remarquables de ladite cible, sur l’image, et à un deuxième réseau de neurones entrainé pour reconnaitre, à partir de la représentation de la cible ou desdits points remarquables sur l’image, lesdites conditions d’acquisition, et en particulier l’angulation et/ou la distance de l'appareil d'acquisition par rapport à la cible.
Le premier réseau de neurones peut être en particulier choisi parmi les Object Detection Networks, et en particulier parmi les réseaux de neurones listés ci-dessous, dans le passage relatif à l’étape b2). Par exemple, on entraine le réseau de neurones en lui présentant, par exemple pour plus 1000 images historiques : en entrée, une image historique représentant une cible historique et/ou les points remarquables, et en sortie, la représentation de ladite cible historique et/ou des points remarquables sur l’image historique.
Le réseau de neurones apprend ainsi à reconnaitre, dans une nouvelle image, la représentation de la cible et/ou des points remarquables.
Le deuxième réseau de neurones peut être en particulier choisi parmi les réseaux spécialisés dans la classification d’images, appelés « CNN » (« Convolutional neural network »), par exemple AlexNet (2012), ZF Net (2013), VGG Net (2014), GoogleNet (2015), Microsoft ResNet (2015), Caffe : BAIR Reference CaffeNet, BAIR AlexNet, Torch :VGG_CNN_S, VGG_CNN_M, VGG_CNN_M_2048, VGG_CNN_M_1024, VGG_CNN_M_128, VGG_CNN_F, VGG ILSVRC-2014 16-layer, VGG ILSVRC-2014 19-layer, Network-in- Network (Imagenet & CIFAR-10), Google : Inception (V3, V4) Par exemple, on entraine le réseau de neurones en lui présentant, par exemple pour plus 1000 images historiques : en entrée, une image historique représentant une cible historique et/ou les points remarquables, et en sortie, des conditions d’acquisition « historiques » de l’image historique.
Le réseau de neurones apprend ainsi à définir, pour une nouvelle image, les conditions de son acquisition.
La détermination des conditions d’acquisition d’une image peut être également réalisée en recherchant une vue d’un modèle de l’arcade de l'utilisateur qui correspond à l’image, par exemple avec une opération d’optimisation, de préférence une méthode métaheuristique, de préférence évolutionniste, de préférence un recuit simulé. Un exemple d’une telle recherche est par exemple décrit dans PCT/EP2015/074859, dans la demande de brevet européen n° 18 184477.0 ou dans WO2016/066651.
De préférence, lorsque le symbole est observé selon l’axe d’observation prédéterminé, et/ou lorsque l'appareil d'acquisition est à ladite distance prédéterminée et/ou lorsque l'appareil d'acquisition est orienté suivant ladite orientation prédéterminée, de préférence lorsque le symbole est observé selon l’axe d’observation prédéterminé, et lorsque l'appareil d'acquisition est à ladite distance prédéterminée, et lorsque l'appareil d'acquisition est orienté suivant ladite orientation prédéterminée, une image est acquise, de préférence automatiquement, c’est-à-dire sans intervention spécifique de l’utilisateur.
De préférence, un symbole change d’apparence, par exemple de couleur, ou disparaît quand une image a été acquise dans les conditions d’acquisition associées au dit symbole.
Deuxième aspect principal de l’invention
Le procédé suivant le deuxième aspect principal de l’invention comporte plusieurs cycles d’étapes a) à c).
A l’étape a), on acquiert une image, de préférence une photo, représentant l’objet buccal de l’utilisateur, au moyen d’un appareil d’acquisition d’images. Dans un mode de réalisation, on acquiert un film avec l’appareil d’acquisition d’images, et l’image acquise est extraite du film.
Dans un mode de réalisation, un « masque d’origine », de préférence un nuage de plots, est projeté sur la scène observée par l'appareil d'acquisition lors de l’étape a), de préférence au moyen d’un projecteur intégré dans l'appareil d'acquisition. Le masque déformé résultant de la projection du masque d’origine apparaît alors sur l’image de prévisualisation ou l’image équivalente. Dans un mode de réalisation, le projection est en lumière infrarouge de sorte que le masque déformé n’est pas visible à l’œil nu. Dans un mode de réalisation, l’image acquise est l’image représentant le masque déformé. L’appareil d'acquisition utilise alors, de préférence, une caméra infra-rouge. La nature du masque déformé n’est cependant pas limitée. L’image est de préférence acquise par l’utilisateur lui-même. L’utilisateur peut acquérir l’image au moyen d’un téléphone portable.
L’image acquise est de préférence « extraorale », c'est-à-dire sans que l’objectif optique de l'appareil d'acquisition ne soit introduit dans la bouche de l’utilisateur.
L’appareil d’acquisition d’images peut être en particulier un téléphone portable, une tablette, un appareil photo ou un ordinateur, l’appareil d’acquisition d’images étant de préférence un téléphone portable ou une tablette, notamment pour que l'utilisateur puisse acquérir des images en tout lieu, et en particulier en dehors du cabinet d’un professionnel des soins dentaires, par exemple à plus de 1 km du cabinet d’un professionnel des soins dentaires.
Dans un mode de réalisation, l'utilisateur utilise un téléphone portable et un support sur lequel le téléphone portable est fixé de manière amovible, le support étant maintenu en appui sur l'utilisateur pendant l’acquisition d’au moins une partie, de préférence de toutes les images. En particulier, le support peut être du type de ceux décrits dans PCT/EP2021/068702, EP17306361, PCT/EP2019/079565, PCT/EP2022/053847,
FR2113577, FR2206750, ou FR2206745.
Dans un mode de réalisation préféré, l'utilisateur utilise un téléphone portable libre, c'est-à- dire dont il peut librement fixer la position et l’orientation, et en particulier non fixé à un support. Le procédé selon l’invention permet en effet de guider l'utilisateur dans ses prises de vue, de sorte qu’un guidage au moyen d’un support n’est pas indispensable. De préférence, l’appareil d’acquisition d’images n’est pas en contact avec la bouche de l'utilisateur, ni directement, ni par l’intermédiaire d’un support pour l’appareil d’acquisition d’images.
Préalablement, en fonction de la cible, l’ordinateur ou l'appareil d'acquisition peut demander à l'utilisateur de mettre en position de service ou au contraire de retirer un appareil orthodontique, par exemple une gouttière orthodontique, un taquet ou un appareil à arc et attache. Il peut aussi demander à l'utilisateur d’écarter ses lèvres de ses arcades dentaires, de préférence en utilisant un écarteur, de manière à mieux exposer la cible à l’appareil d’acquisition d’images, par exemple pour exposer complètement au moins une dent, en particulier l’extrados d’une incisive et/ou au moins partiellement l’extrados d’une molaire. Il peut encore demander à l’utilisateur d’ouvrir grandement la bouche afin d’acquérir des images en vues occlusales représentant des surfaces linguales et occlusales des dents ainsi que du palais.
Le nombre d’images acquises lors d’une étape a) est de préférence inférieur à 100, de préférence inférieur à 50, de préférence inférieur à 10, afin que l’information de guidage soit mise à jour rapidement.
Avant la mise en œuvre de la première étape a) d’un procédé selon l’invention, le niveau de couverture est nul.
A l’étape b), le niveau de couverture est actualisé pour prendre en compte la ou les images acquises à l’étape a) immédiatement précédente, ou « nouvelles images ».
A l’étape b), l’ordinateur analyse donc chaque nouvelle image, de préférence suivant les étapes suivantes : bl) détermination d’une contribution potentielle par la nouvelle image ; b2) détermination de l’intersection entre la contribution potentielle et la contribution antérieure apportée par les images analysées antérieurement ; b3) si l’intersection n’est pas vide, ajout de la contribution potentielle à la contribution antérieure.
A l’étape bl), l'ordinateur détermine la contribution potentielle par la nouvelle image. En particulier, il détermine si la nouvelle image représente au moins partiellement, la cible. Si non, cette nouvelle image ne peut apporter de contribution et l’ordinateur passe à l’analyse de la nouvelle image suivante. Si oui, l’ordinateur détermine la contribution potentielle de la nouvelle image, par exemple détermine le contour de la représentation de la cible sur la nouvelle image, ou le numéro de la ou des dents de la cible représentées, au moins partiellement, sur la nouvelle image.
A l’étape b2), l’ordinateur compare ensuite la contribution potentielle à l’ensemble des contributions résultant de l’analyse des images analysées antérieurement, ou « contribution antérieure ».
Par exemple, la contribution potentielle de la nouvelle image est la représentation de la cible sur la nouvelle image. L'ordinateur évalue l’intersection cette contribution potentielle et la contribution antérieure constituée de l’union de l’ensemble des représentations de la cible sur les images analysées antérieurement. Si cette intersection est vide, la nouvelle image ne peut apporter de nouvelle contribution et l’ordinateur passe à l’analyse de la nouvelle image suivante. Si cette intersection n’est pas vide, c'est-à-dire que la nouvelle image représente une zone de la cible qui n’était sur aucune des images analysées antérieurement, l’ordinateur ajoute à la contribution antérieure une nouvelle contribution constituée de ladite intersection.
Autre exemple, la contribution potentielle de la nouvelle image est le numéro d’une ou plusieurs dents de la cible identifiées sur la nouvelle image. L'ordinateur évalue l’intersection cette contribution potentielle et la contribution antérieure constituée de l’ensemble des numéros des dents de la cible identifiés sur les images analysées antérieurement. Si cette intersection est vide, la nouvelle image ne peut apporter de contribution supplémentaire et l’ordinateur passe à l’analyse de la nouvelle image suivante. Si cette intersection n’est pas vide, l’ordinateur ajoute cette intersection à la contribution antérieure.
La détermination de la contribution potentielle d’une nouvelle image peut être réalisée par tout moyen connu.
Dans un mode de réalisation, elle comporte la segmentation de la nouvelle image de sorte à identifier la représentation éventuelle, totale ou partielle, de la cible. L’analyse peut être faite au moyen de méthodes de segmentation classiques.
En particulier, la nouvelle image peut être soumise à un réseau de neurones entrainé pour détecter la représentation de la cible sur la nouvelle image, par exemple pour déterminer les numéros des dents représentées sur l’image, et/ou les contours desdites dents, et/ou de la bouche et/ou des lèvres, et/ou de la langue, comme décrit par exemple dans la demande de brevet européen n° 18 184477.0.
Les réseaux spécialisés dans la localisation et la détection d’objets dans une image sont bien connus. Le réseau de neurones peut être en particulier choisi parmi les Object Detection Networks, par exemple R-CNN (2013), SSD (Single Shot MultiBox Detector : Object Detection network), Faster R-CNN (Faster Region-based Convolutional Network method : Object Detection network), Faster R-CNN (2015), SSD (2015), RCF (Richer Convolutional Features for Edge Detection) (2017), SPP-Net, 2014, OverFeat (Sermanet et al.), 2013, GoogleNet (Szegedy et al.), 2015, VGGNet (Simonyan and Zisserman), 2014, R-CNN (Girshick et al.), 2014, Fast R-CNN (Girshick et al.), 2015, ResNet (He et al.), 2016, Faster R-CNN (Ren et al.), 2016, FPN (Lin et al.), 2016, YOLO (Redmon et al.), 2016, SSD (Liu et al.), 2016, ResNet v2 (He et al.), 2016, R-FCN (Dai et al.), 2016, ResNeXt (Lin et al.), 2017, DenseNet (Huang et al.), 2017, DPN (Chen et al.), 2017, YQL09000 (Redmon and Farhadi), 2017, Hourglass (Newell et al.), 2016, MobileNet (Howard et al.), 2017, DCN (Dai et al.), 2017, RetinaNet (Lin et al.), 2017, Mask R-CNN (He et al.), 2017, RefineDet (Zhang et al.), 2018, Cascade RCNN (Cai et al.), 2018, NASNet (Zoph et al.), 2019, CornerNet (Law and Deng), 2018, FSAF (Zhu et al.), 2019, SENet (Hu et al.), 2018, ExtremeNet (Zhou et al.), 2019, NAS-FPN (Ghiasi et al.), 2019, Detnas (Chen et al.), 2019, FCOS (Tian et al.), 2019, CenterNet (Duan et al.), 2019, EfficientNet (Tan and Le), 2019, ou AlexNet (Krizhevsky et al.), 2012.
La liste ci-dessus n’est pas limitative. Par exemple, on entraine un réseau de neurones en lui présentant, par exemple pour plus 1000 images historiques : en entrée, une image historique représentant une cible historique, et en sortie, la représentation de ladite cible historique sur l’image historique.
Le réseau de neurones apprend ainsi à reconnaitre, dans une nouvelle image, la représentation de la cible.
Lorsque l’intersection entre la contribution potentielle et la contribution antérieure comporte une comparaison des représentations de la cible sur la nouvelle image et sur les images analysées antérieurement, ces représentations sont de préférence projetées sur un modèle de référence commun afin de prendre en considération des conditions d’acquisition différentes, et en particulier une orientation de l'appareil d'acquisition variable en fonction de l’image considérée.
Le modèle de référence représente de préférence un objet buccal de référence, de préférence similaire, voire identique à l’objet buccal de l'utilisateur.
Pour réaliser la projection d’une image, l'ordinateur analyse l’image pour déterminer les conditions de son acquisition, c'est-à-dire les conditions d’acquisition réelles. En particulier, il évalue la distance entre l'appareil d'acquisition et l’objet buccal de l'utilisateur et l’orientation de l'appareil d'acquisition dans l’espace, par rapport l’objet buccal de l'utilisateur, à l’instant de l’acquisition de l’image.
La détermination des conditions d’acquisition réelles peut être effectuée comme décrit par exemple dans la demande de brevet européen n° 18 184477.0 ou dans WO2016/066651, ou en soumettant l’image à un réseau de neurones entraîné pour déterminer les conditions d’acquisition de l’image qu’on lui soumet.
Les conditions d’acquisition réelles sont alors reproduites virtuellement par rapport au modèle de référence, et la représentation de la cible de l'utilisateur sur l’image est projetée sur le modèle de référence.
L’ensemble des surfaces projetées obtenues à partir des images antérieures peut constituer la contribution antérieure. La surface projetée obtenue à partir de la nouvelle image est la contribution potentielle.
De préférence, chaque image est soumise à un premier réseau de neurones de détection, identifiant des objets buccaux représentés sur l’image, en particulier, la langue et/ou les numéros de dents, et/ou les gencives et/ou la bouche et/ou les lèvres et/ou des points remarquables de ces organes, puis chaque image est soumise à un deuxième réseau de neurones entrainé pour déterminer les conditions d’acquisition de l’image qu’on lui soumet. De préférence, le deuxième réseau de neurones prend en entrée les objets buccaux détectés par le premier réseau de neurones, ce qui améliore la détermination des conditions d’acquisition.
Dans un mode de réalisation, la détermination de la contribution potentielle d’une nouvelle image est déterminée en comparant l’image à une image « de référence », par exemple une photo ou un cliché panoramique, de préférence d’au moins une arcade dentaire similaire ou identique à l’arcade dentaire de l'utilisateur.
La cible n’est alors généralement pas représentée de la même façon sur l’image de référence et sur la nouvelle image. De préférence, on entraîne un réseau de neurones afin qu’il apprenne à établir une concordance entre les objets représentés sur les deux images.
Par exemple, on l’entraine en lui présentant : en entrée, des enregistrements historiques comportant chacun une images historique représentant une cible historique dans des conditions d’acquisition possibles avec l'appareil d'acquisition, et une identification de la représentation de la cible historique dans l’image historique, et en sortie, l’identification de ladite cible historique sur une image de référence historique. Le réseau de neurones apprend ainsi à reconnaitre, dans une image de référence, la représentation de la cible qui correspond à la représentation de la cible dans une nouvelle image qu’on lui soumet. Le réseau de neurones apprend ainsi à identifier la contribution potentielle de la nouvelle image.
Le procédé peut être mis en œuvre plusieurs fois, avec à chaque fois une nouvelle image de référence.
A l’étape b3), l'ordinateur ajoute la contribution potentielle à la contribution antérieure si l’intersection n’est pas vide et calcule le niveau de couverture résultant de l’incrémentation de la contribution antérieure par la nouvelle contribution.
Dans un mode de réalisation préféré, l’ordinateur évalue la qualité de l’image ou des images acquises et n’ajoute la contribution potentielle à l’étape b3) que si la qualité est supérieure à un seuil de qualité prédéfini. La qualité peut être en particulier une évaluation de la netteté et/ou du contraste, et/ou de la balance des couleurs de l’image, et/ou de la distance entre l'appareil d'acquisition et la bouche de l'utilisateur. Avantageusement, seules les images qui présentent une qualité satisfaisante sont prises en compte.
Dans un mode de réalisation, l’appareil d’acquisition d’images, de préférence sous la forme d’un téléphone portable, est fixé sur un support qui est maintenu en contact avec l'utilisateur pendant l’acquisition, comme décrit précédemment, par exemple un support du type de ceux décrits dans PCT/EP2021/068702, EP17306361, PCT/EP2019/079565,
PCT/EP2022/053847, FR2113577, FR2206750, ou FR2206745. Avec un tel support, la qualité des images (en particulier la luminosité, la distance de l’appareil d’acquisition par rapport à la cible, l’angulation de l’appareil d’acquisition par rapport à la cible et l’orientation de l’appareil d’acquisition autour de son axe optique) est avantageusement bien contrôlée de sorte que l’évaluation de la qualité de l’image ou des images acquises est optionnelle.
De préférence, le support n’est pas mordu par l'utilisateur, et, de préférence encore, autorise une ouverture et une fermeture (jusqu’à une position dans laquelle les arcades sont en contact l’une avec l’autre dans le plan occlusal) des arcades.
L’évaluation de la qualité est particulièrement avantageuse en l’absence d’un tel support. En fonction du résultat, l’ordinateur peut décider de prendre plusieurs images, par exemple de faire varier la distance focale afin d’acquérir une première image nette du groupe des incisives, puis une deuxième image nette du groupe postérieur des dents.
L’acquisition de plusieurs images avec des conditions de calibration différentes peut être en fonction de l’évaluation de la qualité, mais peut être également programmée pour être systématique à chaque étape d’acquisition.
A l’étape c), l'ordinateur compare le niveau de couverture au seuil de couverture. Si le niveau de couverture est supérieur ou égal au seuil de couverture, l’étape c) est terminée. Sinon, l'ordinateur détermine une information de guidage pour guider l’utilisateur afin qu’il positionne l’appareil d’acquisition d’images vers des conditions d’acquisition « futures » adaptées pour l’acquisition, lors de l’étape a) suivante, d’une image supplémentaire augmentant ledit niveau de couverture.
L’information de guidage est ainsi déterminée pour renseigner l’utilisateur sur les zones de la cible pour lesquelles il doit encore acquérir une ou plusieurs image(s). Elle est présentée à l'utilisateur et le guide ainsi pour qu’il oriente et/ou positionne l’appareil d’acquisition d’images selon les conditions d’acquisition futures à adopter pour la prochaine étape a).
Dans un mode de réalisation préféré, l'ordinateur détermine, par exemple par une recherche aléatoire ou avec un algorithme d’optimisation, les conditions d’acquisition futures, pour le cycle suivant, afin que l’acquisition d’images dans ces conditions d’acquisition futures maximise l’accroissement du niveau de couverture.
La présentation de l’information de guidage peut comporter une transmission visuelle, sonore et/ou haptique, en particulier tactile, de l’information de guidage.
Par exemple, l’information de guidage peut comporter des instructions audios indiquant à l’utilisateur de rapprocher ou d’éloigner l’appareil d’acquisition d’images de ses dents, de décaler l’appareil d’acquisition d’images vers la droite ou vers la gauche, de réaliser une rotation de l’appareil d’acquisition d’images autour de l’arcade dentaire, d’ouvrir ou de fermer la bouche, ou d’ouvrir ou de fermer la mâchoire.
Une transmission tactile de l’information de guidage peut être une vibration indiquant par exemple à l’utilisateur d’arrêter un mouvement. Une transmission haptique de l’information de guidage peut être une vibration, par exemple pour indiquer le passage avec succès d’une mire sur une surface de la cible ou sur un symbole.
La présentation de l’information de guidage peut être adaptée à l’utilisateur.
De préférence, la présentation de l’information de guidage comporte plusieurs types de transmissions différents stimulant plusieurs sens différents, facilitant ainsi la communication vers l’utilisateur.
De préférence, l’information de guidage est présentée sur un écran, de préférence sur un écran de l’appareil d’acquisition d’images. La représentation de l’information de guidage sur un écran peut comporter
- de préférence un référentiel permettant à l'utilisateur de se repérer lors du déplacement de l'appareil d'acquisition dans l’espace, c'est-à-dire d’évaluer comment l'appareil d'acquisition est disposé par rapport à l’objet buccal, et en particulier par rapport à la cible, et
- un indicateur indiquant un mouvement par rapport à ce référentiel.
Le référentiel représente de préférence, au moins partiellement, de manière symbolique ou réaliste (c'est-à-dire adaptée pour que l'utilisateur reconnaisse l’objet représenté), au moins un objet buccal tel qu’observé par l'appareil d'acquisition. Il est déterminé en fonction des conditions d’acquisition réelles de l'appareil d'acquisition.
Le référentiel peut être par exemple une image de prévisualisation (« preview image » en anglais), c'est-à-dire l’image observée par l'appareil d'acquisition, de préférence le téléphone portable, en temps réel et affichée sur l’écran de l'appareil d'acquisition et/ou une image équivalente représentant une partie de l'utilisateur, par exemple la tête de l'utilisateur ou une partie de la tête ou la bouche ou les arcades dentaires de l'utilisateur (par « équivalente », on entend que l’image correspond à une observation de la partie du patient superposable avec l’image observée par l'appareil d'acquisition, et en particulier observée suivant l’axe optique de l'appareil d'acquisition).
L’image équivalente peut être un dessin au trait, par exemple représentant le contour d’une partie de l'utilisateur.
Le référentiel peut représenter une vue d’un modèle spécifique à l'utilisateur ou d’un modèle générique, ledit modèle représentant ainsi, précisément ou de manière plus grossière, une partie de l'utilisateur, de préférence au moins la cible, de préférence au moins l’objet buccal. Un modèle générique est commun à plusieurs individus. Un référentiel générique peut être notamment déterminé par analyse statistique de données historiques représentatives de ces individus. Un modèle générique peut être par exemple un modèle d’un typodont.
Un modèle spécifique à l'utilisateur peut être un modèle de tout ou partie de l’objet buccal de l'utilisateur, en particulier de la cible de l'utilisateur. Il peut être en particulier un scan des arcades dentaires de l'utilisateur. Il peut comprendre ou être également un modèle 3D d’une arcade de l’utilisateur dans une configuration propre à une étape du traitement. En particulier, il peut comprendre ou être un modèle 3D d’une arcade de l’utilisateur dans une configuration propre à une étape d’un traitement avec des gouttières orthodontiques, et en particulier un modèle 3D utilisé pour la conception et la fabrication d’une gouttière orthodontique. Un tel modèle 3D peut être généré au début du traitement orthodontique, ou pendant le traitement orthodontique.
L’image équivalente est de préférence une vue d’un modèle générique ou spécifique. De préférence, une texture est appliquée sur le modèle afin de le rendre plus réaliste et permettre à l’utilisateur de s’identifier plus facilement au modèle. La texture peut être extraite d’une image, par exemple d’une image acquise à une étape a), puis appliquée à un modèle, de préférence choisi dans une base de données avant la première étape a).
Le modèle dont une vue est utilisée comme référentiel peut être en particulier le modèle de référence utilisé pour comme support de projection des images acquises, décrit ci-dessus.
L’image équivalente peut être au moins en partie symbolique. Elle peut comporter, par exemple, un ensemble de formes géométriques représentant l’objet buccal, par exemple un ensemble de disques, chaque disque représentant une dent d’une partie d’une arcade dentaire, l’objet buccal étant l’arcade dentaire.
La figure 10 représente deux exemples d’images équivalentes, représentant la vue d’un modèle 3D d’une arcade de l'utilisateur, avec et sans gencive respectivement. La vue pourrait être également, par exemple, une représentation filaire.
Notamment lorsque l’image équivalente est une vue d’un modèle générique ou spécifique, l’appareil d’acquisition d’images peut afficher l’image de prévisualisation, de préférence dans une mini fenêtre, ou « thumbnail » en anglais, ce qui facilite le repérage spatial pour l'utilisateur. L’affichage du référentiel sur l’écran est optionnel si l’indicateur fournit une indication sur le déplacement souhaité. Par exemple, l’indicateur peut être une flèche ou un message préconisant un déplacement particulier. L’affichage du référentiel sur l’écran est cependant préféré car il facilite considérablement un positionnement précis de l'appareil d'acquisition.
L’indicateur est affiché, de préférence avec le référentiel, sur l’écran, de préférence sur l’écran de l’appareil d’acquisition d’images, de préférence sur un écran de téléphone portable ou de tablette.
Dans un mode de réalisation préféré, le référentiel comporte une représentation de l’objet buccal et l’indicateur est une marque indiquant une zone de cette représentation encore non couverte. L’indicateur peut être par exemple un contour particulier ceinturant cette zone ou, de préférence, une couleur particulière appliquée sur cette zone, ou un symbole superposé à cette zone. Par contour ou couleur « particulier », on entend un contour ou une couleur permettant à l'utilisateur de distinguer ladite zone du reste de la représentation de l’objet buccal.
Cet affichage permet de guider rapidement et efficacement l’utilisateur. Ce guidage, qui laisse une grande liberté à l'utilisateur, est intuitif, de sorte que l'utilisateur n’a pas besoin d’avoir été formé préalablement pour être guidé.
L’indicateur peut être notamment affiché en transparence ou en surbrillance sur la représentation de l’objet buccal.
L’indicateur est de préférence affiché en réalité augmentée lorsque le référentiel est une image de prévisualisation ou une image équivalente.
Taux et seuil de couverture
De préférence, à l’ étape c), on informe, de préférence en temps réel, l'utilisateur sur le niveau de couverture atteint, c'est-à-dire sur l’état d’avancement de l’acquisition, et de préférence sur le seuil de couverture.
De préférence, l’information sur le niveau de couverture et/ou l’information sur le seuil de couverture est/sont présentées sur un écran, de préférence sur l’écran du téléphone portable de l'utilisateur. L’information peut prendre par exemple la forme d’un compteur ou d’une jauge, par exemple sous la forme d’une barre de progression. Dans un mode de réalisation préféré, le niveau de couverture et/ou le seuil de couverture est/sont représenté(s) « graphiquement » sur l’écran, en particulier sous la forme de ligne(s) et/ou de surface(s) et/ou de symboles.
Dans un mode de réalisation, on affiche sur l’écran, et de manière à pouvoir les distinguer :
- la surface à couvrir initiale,
- la surface couverte, et
- de préférence, une représentation d’éléments du contexte de la cible, par exemple des parties de l’objet buccal différentes de la cible, c'est-à-dire des parties de l’objet buccal que le procédé n’a pas pour objet de couvrir, par exemple des dents adjacentes aux dents pour lesquelles on souhaite acquérir des images.
Par exemple, lorsque le référentiel est une représentation, symbolique ou de préférence réaliste, de l’objet buccal ou de la cible, la surface à couvrir initiale peut être présentée sur l’écran de manière identifiable par l'utilisateur afin de l’informer sur le seuil de couverture. Notamment, elle peut être colorée d’une couleur spécifique, ou plus généralement représentée avec une apparence spécifique, ou délimitée par un contour spécifique. La zone ainsi représentée avec une apparence spécifique ou ceinturée par ce contour représente le seuil de couverture.
De même, la surface couverte, c'est-à-dire pour laquelle au moins une image a déjà été acquise, peut être présentée sur l’écran de manière identifiable par l'utilisateur afin de l’informer sur le niveau de couverture. Notamment, elle peut être colorée d’une couleur spécifique, ou plus généralement représentée avec une apparence spécifique, ou délimitée par un contour spécifique. La ou les zones ainsi représentée(s) avec une apparence spécifique ou ceinturée par ce contour représente(nt) le niveau de couverture.
Par exemple, une surface de la cible peut être affichée en vert ou en rouge selon que l’acquisition de cette surface a été faite ou que l’acquisition de cette surface reste à faire. La surface couverte peut être affichée en transparence ou en surbrillance.
Dans un mode de réalisation, le seuil de couverture est représenté graphiquement sous la forme d’un ensemble de symboles s’affichant à proximité, de préférence en superposition, sur les représentations d’un ensemble de dents respectives. Les représentations de ces dents appartiennent, voire constitue un référentiel. Par exemple, les symboles peuvent être présentés en réalité augmentée sur l’image de prévisualisation du téléphone portable ou sur une vue d’un modèle d’arcade dentaire, de préférence sur une vue d’un modèle des arcades dentaires de l'utilisateur. L’apparence des symboles relatifs aux dents pour lesquelles les images souhaitées ont déjà été acquises (« dents couvertes ») peut être différente de celle des symboles relatifs à des dents pour lesquelles toutes les images souhaitées n’ont encore été acquises (« dents encore à couvrir »), ce qui permet de visualiser graphiquement le taux de couverture.
Dans un mode de réalisation, le symbole relatif à une dent disparaît dès que la dent est couverte. L'utilisateur voit alors la différence entre le seuil de couverture (tous les symboles affichés initialement) et le niveau de couverture (symboles ayant disparu).
L’affichage « graphique » du seuil de couverture et du niveau de couverture est particulièrement efficace pour que l'utilisateur acquiert toutes les images requises.
De manière remarquable, les représentations graphiques du seuil de couverture et du niveau de couverture permettent de visualiser les zones de la cible restant à couvrir, c'est-à-dire pour lesquelles des images souhaitées doivent être encore acquises. Ces représentations graphiques peuvent être ainsi utilisées comme indicateur pour guider l'utilisateur. Par exemple, la coloration de la surface couverte avec une couleur différente de la surface encore à couvrir permet de mettre en évidence la surface encore à couvrir, et ainsi guide l'utilisateur.
Le marquage graphique, ou « visuel », de la surface à couvrir initiale, de la surface couverte ou de la surface encore à couvrir n’est pas limité à l’application d’une couleur ou d’une texture ou d’un contour ou à la représentation de symboles particuliers.
De préférence, les représentations graphiques du seuil de couverture et du niveau de couverture sont affichées en réalité augmentée, de préférence sur l’écran du téléphone portable.
Dans un mode de réalisation, un chronomètre est activé pour mesurer la durée de l’acquisition des images depuis la première étape a). L’affichage de cette durée et du niveau de couverture et/ou de la différence entre le seuil de couverture et le niveau de couverture, sont un facteur de motivation pour l'utilisateur.
Dans un mode de réalisation, un score est calculé en fonction de la durée pour parvenir au seuil de couverture et/ou de la qualité des images acquises, et/ou de l’utilité des images acquises, plus généralement d’un objectif fixé à l'utilisateur. Dans un mode de réalisation, la surface à couvrir initiale comporte des zones affectées d’un coefficient d’utilité, et le score est déterminé en fonction des coefficients d’utilité des zones dans la surface couverte. Par exemple, il est possible, dans un mode de réalisation, que la surface à couvrir initiale soit constituée d’une partie qu’il est indispensable de couvrir et d’une partie qu’il est optionnelle de couvrir. Le coefficient d’utilité affecté à un pixel de la partie « indispensable » peut être par exemple de 100 et le coefficient d’utilité affecté à un pixel de la partie « optionnelle » peut être par exemple de 10. Le score peut par exemple être fonction, voire être la somme des coefficients d’utilité pour l’ensemble des pixels dans la surface couverte.
Le score peut être comparé à des scores réalisés antérieurement par l'utilisateur ou par d’autres utilisateurs, de manière à obtenir un classement de l’opération d’acquisition de l’ensemble d’images.
Un classement peut être établi pour plusieurs patients, par exemple pour tous les patients d’un même praticien. Un message d’informations et/ou un cadeau, par exemple une rétribution, peuvent être envoyés à un patient en fonction de son ordre de classement.
Le chronomètre et/ou le score et/ou le classement peuvent être affichés sur l’écran de l'appareil d'acquisition.
L’acquisition devient ainsi ludique. En particulier, l’acquisition peut être présentée comme un jeu vidéo, l’objectif étant de parvenir au seuil de couverture le plus rapidement possible.
Guidé par l’information de guidage et motivé par l’information sur le niveau de couverture, l'utilisateur modifie les conditions d’acquisition, ce qui permet de reprendre une nouvelle étape a), de préférence immédiatement à la fin de l’étape c).
Lorsque le niveau de couverture est présenté à l'utilisateur, il peut avantageusement visualiser immédiatement l’effet du déplacement de l'appareil d'acquisition, notamment quand la cible se colorie ou que des symboles associés à des dents changent d’apparence ou disparaissent à mesure de l’avancement de la couverture par l’acquisition d’images. Le guidage est avantageusement intuitif.
Dans un mode de réalisation préféré, l’écran affiche à tout instant une représentation réaliste de l’objet buccal et la surface couverte à cet instant. La surface couverte se complète au fur et à mesure des cycles, ce qui permet à l'utilisateur d’identifier facilement la surface qu’il reste à acquérir, et de positionner et orienter l’appareil d’acquisition d’images en conséquence.
L’intervalle temporel entre deux cycles d’étapes a) à c) successifs est de préférence inférieur à 5 minutes, 1 minutes, 30 secondes, ou 1 seconde. De préférence, l'utilisateur acquiert les images acquises en temps réel, de préférence en filmant l’objet buccal, des étapes b) à c) étant immédiatement réalisées pour chaque image acquise.
A l’issue des cycles d’étapes a) à c), c’est-à-dire lorsque le niveau de couverture est supérieur ou égal au seuil de couverture, les images acquises peuvent être transmises à l’utilisateur et/ou de préférence à un professionnel de soins dentaires.
Les images acquises peuvent être stockées, par exemple dans une base de données, de préférence accessible à un professionnel de soins dentaires et/ou à l’utilisateur. Par exemple, les images acquises peuvent être stockées dans un dossier médical de l’utilisateur.
L’ensemble des images acquises comporte typiquement plus de 2, plus de 5, plus de 10, plus de 50, plus de 100 et/ou moins de 10000 images.
Ledit ensemble des images acquises peut être utilisé, notamment pour :
- évaluer la situation dentaire de l'utilisateur, avant, pendant ou après un traitement orthodontique ou dentaire ; et/ou
- générer ou corriger un modèle d’une arcade dentaire de l'utilisateur ; et/ou
- concevoir un appareil orthodontique ; et/ou
- concevoir et proposer un traitement dentaire, par exemple un suivi hygiène, un suivi parodontique, ou un blanchiment.
Dans un mode de réalisation particulier, à l’issue des cycles d’étapes a) à c), le procédé peut comporter l’analyse des images acquises pour générer un modèle de la cible, appelé « modèle final ». Le modèle final peut être transmis à l’utilisateur, et de préférence à un professionnel de soins dentaires. Le modèle final peut représenter avec une haute précision la cible. Le modèle final peut être réalisé par un ordinateur du professionnel de soins dentaires à qui les images acquises sont transmises, ou réalisé par l’appareil d’acquisition d’images. Le modèle final peut être stocké, par exemple dans une base de données, de préférence accessible à un professionnel de soins dentaires et/ou à l’utilisateur. Par exemple le modèle final peut être stocké dans un dossier médical de l’utilisateur. Exemples
L’objectif de l’acquisition est d’acquérir un ensemble d’images d’une cible constituée par exemple par l’ensemble des dents de l’utilisateur. Les arcades dentaires, qui constituent l’objet buccal, comportent lesdites dents et la gencive. L’objet buccal est modélisé sous la forme d’un modèle de référence 16 accessible à l’ordinateur. Le modèle de référence 16 peut être issu d’une base de données et peut être générique. La cible est identifiée sur le modèle de référence. La surface à couvrir initiale est donc la surface de la cible dans le modèle de référence.
Les figures 3, 5, 6 et 7 illustrent des exemples de mise en œuvre du premier aspect principal de l’invention, dans lesquels des symboles multidimensionnels 24 sont virtuellement disposés dans l’espace afin de guider l'utilisateur vers des conditions d’acquisition associées.
Dans l’exemple de la figure 3, les symboles 24 sont bidimensionnels. Ils présentent chacun la forme de trois anneaux concentriques et coplanaires. Ils sont représentés sur une vue d’un modèle de référence représentant des arcades, ladite vue observant le modèle comme l'appareil d'acquisition observe les arcades dentaires de l'utilisateur. La vue est de préférence présentée sur l’écran d’un téléphone utilisé pour l’acquisition. L'utilisateur a pour objectif de positionner le téléphone de manière à voir une cible de face, c'est-à-dire de manière que les anneaux apparaissent circulaires. L’axe optique est alors confondu avec un axe d’observation prédéterminé adapté à l’acquisition d’une image.
Aucune mire n’est nécessaire pour ce guidage. Une mire représentant par exemple les contours circulaires des anneaux lorsqu’ils sont vus de face améliorerait cependant la précision du positionnement de l'appareil d'acquisition.
Dans l’exemple de la figure 5, les symboles sont tridimensionnels. Ils présentent chacun la forme de trois anneaux concentriques et superposés. Ils sont représentés sur une vue d’un modèle de référence représentant des arcades, ladite vue observant le modèle comme l'appareil d'acquisition observe les arcades dentaires de l'utilisateur. La vue est de préférence présentée sur l’écran d’un téléphone utilisé pour l’acquisition. L'utilisateur a pour objectif de positionner le téléphone de manière à voir une cible de face, c'est-à-dire de manière que les anneaux apparaissent circulaires et concentriques, comme sur la figure 6. L’axe optique est alors confondu avec un axe d’observation prédéterminé, à savoir l’axe X des anneaux, adapté à l’acquisition d’une image.
Dans l’exemple de la figure 7, chaque symbole 24 est constitué de deux cerceaux concentriques et s’étendant dans des plans à 90° l’un de l’autre. Les deux cerceaux sont de préférence de même forme (même diamètres intérieur et extérieur), et de préférence inclus dans une sphère de couleur 26, mais transparente afin de faciliter leur localisation. L’intersection des deux plans définit un axe d’observation X prédéterminé associé au symbole, identifiable par l'utilisateur. Cette forme de symbole permet de très facilement déterminer comment déplacer l'appareil d'acquisition.
Dans le mode de réalisation de la figure 7, le premier cerceau, horizontal, permet de déterminer s’il faut déplacer l'appareil d'acquisition vers le haut ou vers le bas, et le deuxième cerceau, vertical et dans un plan passant par le centre de la bouche, permet de déterminer s’il faut déplacer l'appareil d'acquisition vers le droite ou vers le gauche.
Le guidage avec un symbole tridimensionnel est particulièrement efficace. Aucune mire n’est nécessaire pour obtenir un positionnement précis de l’axe optique de l'appareil d'acquisition selon l’axe d’observation prédéterminé adapté à l’acquisition d’une image.
Un symbole tridimensionnel permet également de guider vers une distance prédéterminée le long de l’axe d’observation prédéterminé. Dans l’exemple de la figure 8, la distance d entre les anneaux est représentative de la distance entre l'appareil d'acquisition et le symbole, le long de l’axe X du symbole, c'est-à-dire le long de l’axe d’observation prédéterminé. La distance prédéterminée peut par exemple correspondre à une vue du symbole dans laquelle les anneaux se touchent (d = 0). Il est facile pour l’utilisateur d’éloigner l'appareil d'acquisition jusqu’à cette position.
Lorsque les conditions d’acquisition prédéterminées associées à un symbole sont atteintes, une image est acquise, de préférence automatiquement, et, de préférence, l’apparence, par exemple la couleur, du symbole est modifiée, ou le symbole disparaît.
On décrit à présent un exemple illustrant le deuxième aspect principal de l’invention :
A l’étape a), une image est acquise au moyen de l'appareil d'acquisition.
A l’étape b), l’image acquise est analysée pour mettre à jour le niveau de couverture. En particulier, on recherche la représentation éventuelle de la cible sur l’image acquise, c'est- à-dire l’existence d’une contribution potentielle de l’image acquise.
Si cette contribution potentielle existe, on recherche la vue du modèle de référence qui présente une concordance maximale avec l’image acquise et on en déduit la surface de ladite vue qui correspond à la cible, et en conséquence la surface correspondante sur le modèle de référence. Si une partie de cette dernière surface n’a pas encore été enregistrée comme appartenant à la surface couverte, elle est ajoutée à la surface couverte, et marquée sur le modèle de référence, de préférence colorée d’une première couleur spécifique à la surface couverte, par exemple en vert, le reste de la surface de la cible sur ladite vue étant de préférence d’une deuxième couleur, par exemple en rouge, et la surface du modèle de référence ne définissant pas la cible étant de préférence d’une troisième couleur différente, par exemple en blanc.
La vue du modèle de référence 16 équivalente à l’image de prévisualisation est projetée sur l’écran de l’appareil d’acquisition d’images 10, de préférence un téléphone portable, suivant la direction de l’axe optique.
La vue du modèle de référence ainsi projetée peut
- être superposée sensiblement exactement avec l’image de prévisualisation affichée sur l’écran, en transparence ou non, ou
- remplacer l’image de prévisualisation, comme sur la figure 4.
Elle permet à l'utilisateur de visualiser les surfaces couvertes et encore à acquérir, grâce à leurs couleurs spécifiques.
Cette présentation permet à l’utilisateur d’identifier rapidement et simplement les zones de dents qu’il lui reste à couvrir et de facilement orienter l'appareil d'acquisition en conséquence. Elle permet également d’informer l’utilisateur sur le niveau de couverture.
Au fur et à mesure des acquisitions d’images au cours des cycles d’étapes a) à c), la surface couverte augmente.
Les images de la figure 4 représentent chacune une vue d’un modèle de référence représentant deux arcades dentaires, de préférence similaires à celles de l'utilisateur. Chaque vue correspond à une image de prévisualisation et est affichée à la place de ladite image de prévisualisation, de préférence sur l’écran d’un téléphone portable utilisé pour l’acquisition des images. Les vues du modèle de référence sont donc des images « équivalentes » à des images de prévisualisation. Autrement dit, lorsque l'utilisateur tourne l'appareil d'acquisition autour de sa bouche, la vue du modèle de référence affichée s’adapte immédiatement en conséquence. L'utilisateur assimile donc facilement le modèle de référence à ses arcades dentaires. Il peut donc facilement positionner et orienter l'appareil d'acquisition pour acquérir des images des dents encore non couvertes.
Dans le mode de réalisation de la figure 4, la cible est constituée de l’ensemble des dents des deux arcades, et l’objet buccal est constitué de ces deux arcades (et donc inclut, en plus des dents, les gencives). La couleur d’une dent est spécifiquement en gris foncé (GF) lorsque la couverture de la dent est suffisante, et en gris clair (GS) sinon.
A mesure que l'utilisateur déplace l'appareil d'acquisition devant ses dents, la surface couverte augmente, et donc le nombre de dents suffisamment couvertes, en gris foncé, augmente. Les autres dents restent en gris clair.
Le niveau de couverture correspond par exemple au pourcentage de surface couverte par rapport à la surface à couvrir initiale. Le seuil de couverture peut être un pourcentage de la surface de la cible à couvrir. Par exemple, le seuil peut être de 90%, c’est-à-dire que lorsque plus de 90% de la surface des dents appartient à la surface couverte, le seuil de couverture est atteint.
Des symboles, éventuellement à une dimension, c'est-à-dire sous la forme d’un point, peuvent représenter symboliquement les dents à couvrir (cible). Lorsque, par exemple, au moins 90% de la surface d’une dent est acquise, mieux lorsqu’au moins 95% de la surface d’une dent est couverte, encore mieux lorsque toute la surface d’une dent est couverte, le symbole représentant symboliquement cette dent n’est plus présenté sur l’écran. Alternativement, le symbole est affiché en couleur ou en surbrillance.
Comme cela apparait clairement à présent, un dispositif et un procédé selon l’invention permettent avantageusement d’augmenter l’autonomie de l’utilisateur et d’améliorer la qualité et le contenu des images acquises par un utilisateur n’ayant aucune connaissance particulière dans le domaine dentaire. Ils permettent également d’éventuellement réaliser un modèle 3D d’une cible appartenant ou constituant un objet buccal de l'utilisateur, à distance. Enfin, ils facilitent grandement la détermination à distance d’un traitement orthodontique, ainsi que le suivi de tout traitement orthodontique, sans que l’utilisateur ait besoin de prendre rendez-vous chez un professionnel de soins dentaires.
Bien entendu, l'invention n'est pas limitée aux modes de réalisation décrits ci-dessus et représentés. En particulier, le téléphone portable peut être remplacé par un dispositif comportant un support équipé d’une caméra et maintenu en appui sur l'utilisateur pendant l’acquisition de l’ensemble d’images, et un écran affichant la scène observée par la caméra, ledit écran étant intégré dans le support ou à distance du support.
La forme des symboles n’est pas limitative. Des symboles à 1, 2 ou 3 dimensions peuvent être simultanément présentés en réalité augmentée.

Claims

Revendications
1. Procédé d’acquisition d’un ensemble d’images couvrant une cible appartenant à un objet buccal d’un utilisateur, le procédé comportant les étapes suivantes :
1) présentation à l'utilisateur, sur un écran (12) et en réalité augmentée dans l’espace de l’objet buccal observé par un appareil d'acquisition d’images (10), d’un symbole multidimensionnel ou d’un ensemble de symboles (24) multidimensionnels, la forme et/ou la position de chaque symbole étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d’acquisition prédéterminée adaptée pour l’acquisition d’une dite image ;
2) pour chaque symbole, acquisition, avec l'appareil d'acquisition, d’une dite image quand ladite au moins une condition d’acquisition prédéterminée associée au dit symbole est remplie, de préférence quand toutes les conditions d’acquisition prédéterminées associées au dit symbole sont remplies.
2. Procédé selon la revendication immédiatement précédente, dans lequel, à l’étape 2), on n’acquiert, avec l'appareil d'acquisition, une image que si une condition d’acquisition prédéterminée associée à au moins un symbole est remplie.
3. Procédé selon l’une quelconque des revendications précédentes, dans lequel au moins un symbole (24) définit
- un axe de symbole (X), de préférence un axe de révolution, ladite condition d’acquisition étant un écart angulaire entre l’axe optique de l'appareil d'acquisition et ledit axe de symbole inférieur à 20°, et/ou
- une dimension (r/) qui, sur la représentation du symbole à l’écran, est variable en fonction de la distance, entre l’appareil d’acquisition et ledit symbole dans la réalité augmentée, ladite condition d’acquisition étant une valeur spécifique pour ladite dimension ou l’appartenance de ladite dimension à une plage spécifique de valeurs prédéterminée.
4. Procédé selon l’une quelconque des revendications précédentes, dans lequel, à l’étape 2), on acquiert automatiquement, avec l'appareil d'acquisition, une dite image si des conditions d’acquisition prédéterminées définissant une position dans l’espace et/ou une orientation de l'appareil d'acquisition autour de son axe optique et incluant ladite au moins une condition d’acquisition indiquée par le symbole, sont remplies.
5. Procédé selon l’une quelconque des revendications précédentes, dans lequel, à l’étape 2), si on acquiert, avec l'appareil d'acquisition, une dite image,
- on modifie l’apparence dudit symbole ou on fait disparaitre ledit symbole, et/ou
- on émet un signal sonore, et/ou
- on modifie un score affiché sur l’écran et relatif à un taux de couverture de la cible par les images déjà acquises et/ou relatif à la durée pour l’acquisition des images déjà acquises et/ou relatif à la qualité des images déjà acquises et/ou relatif à l’utilité des images déjà acquises.
6. Procédé selon la revendication immédiatement précédente, dans lequel, quand l’ensemble d’images a été acquis, on présente à l'utilisateur, sur l’écran, un classement déterminé en fonction dudit score.
7. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’écran affiche les symboles sur des images de prévisualisation représentant la scène réelle observée par l'appareil d'acquisition ou sur des vues d’un modèle représentant, comme lesdites images de prévisualisation, au moins ledit objet buccal ou ladite cible.
8. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’écran affiche une mire dans une position fixe sur l’écran, un dit symbole présentant de préférence une forme complémentaire à la mire lorsqu’une condition d’acquisition prédéterminée associée au dit symbole est remplie.
9. Procédé selon l’une quelconque des revendications précédentes, dans lequel la cible comprend plus de 5 dents et/ou un appareil orthodontique, et/ou l’ensemble de symboles comporte plus de 2 symboles.
10. Procédé selon l’une quelconque des revendications précédentes, dans lequel l'appareil d'acquisition est manipulé par l'utilisateur aux étapes 1) et 2). Procédé d’acquisition selon l’une quelconque des revendications précédentes, dans lequel les images sont des photos, de préférence réalistes, et/ou représentent un masque déformé, résultant de la projection, de préférence par l'appareil d'acquisition, d’un masque d’origine, de préférence sous la forme d’une grille ou d’un ensemble de plots. Dispositif pour la mise en œuvre d’un procédé selon l’une quelconque des revendications précédentes, comportant
- un appareil d’acquisition d’images, de préférence sous la forme d’un téléphone portable (10) ;
- un ordinateur (14), de préférence intégré dans l'appareil d'acquisition ou en communication avec l'appareil d'acquisition, comportant un programme d’ordinateur comprenant des instructions de code de programme pour
- à l’étape 1), disposer et présenter à l'utilisateur un ou plusieurs symboles (24) multidimensionnels sur un écran (12,18), de préférence sur l’écran (12) de l'appareil d'acquisition, en réalité augmentée dans l’espace de l’objet buccal, la forme et/ou la position d’un symbole (24) étant déterminée(s) de manière à indiquer à l'utilisateur au moins une condition d’acquisition prédéterminée adaptée pour l’acquisition d’une dite image ;
- de préférence, à l’étape 2), n’autoriser l’acquisition, avec l'appareil d'acquisition, d’une dite image que si ladite au moins une condition d’acquisition prédéterminée associée à un symbole est remplie, et/ou commander à l'appareil d'acquisition l’acquisition d’une dite image que si ladite au moins une condition d’acquisition prédéterminée est remplie, et/ou mettre à jour un niveau de couverture de la cible par les images acquises, et de préférence comparer le niveau de couverture avec un seuil de couverture, et de préférence présenter sur l’écran une information sur le niveau de couverture et/ou sur la différence entre le seuil de couverture et le niveau de couverture. Dispositif selon la revendication immédiatement précédente, dans lequel l'appareil d'acquisition est
- un téléphone portable et ledit écran est intégré dans le téléphone portable ou - un dispositif comportant un support équipé d’une caméra et maintenu en appui sur l'utilisateur pendant l’acquisition de l’ensemble d’images, l’écran étant intégré dans le support ou à distance du support.
PCT/EP2023/073681 2022-08-31 2023-08-29 Procédé d'acquisition d'un ensemble d'images d'un objet buccal WO2024047046A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2208706 2022-08-31
FR2208706A FR3139002A1 (fr) 2022-08-31 2022-08-31 Procédé d’acquisition d’un ensemble d’images d’un objet buccal

Publications (1)

Publication Number Publication Date
WO2024047046A1 true WO2024047046A1 (fr) 2024-03-07

Family

ID=84053420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/073681 WO2024047046A1 (fr) 2022-08-31 2023-08-29 Procédé d'acquisition d'un ensemble d'images d'un objet buccal

Country Status (2)

Country Link
FR (1) FR3139002A1 (fr)
WO (1) WO2024047046A1 (fr)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2113577A5 (fr) 1970-11-06 1972-06-23 North American Rockwell
FR2206750A5 (fr) 1972-10-13 1974-06-07 Mobert Di Trezzi E Monguzzi
FR2206745A5 (fr) 1972-11-13 1974-06-07 Kleber Colombes
US20040209225A1 (en) 2003-03-17 2004-10-21 Kerrhawe Sa Cheek and lip retractor for dentistry
US6923761B1 (en) 2002-12-06 2005-08-02 Discus Dental Impressions, Inc. Retractors
WO2016066651A1 (fr) 2014-10-27 2016-05-06 H43 Development Procede de controle de la dentition
US20170310886A1 (en) * 2016-04-26 2017-10-26 J.A.K. Investments Group LLC Method and system for performing a virtual consultation
US20180060690A1 (en) * 2015-03-06 2018-03-01 Matthew Lee Method and device for capturing images using image templates
WO2022098621A1 (fr) * 2020-11-03 2022-05-12 Alta Smiles, Llc Système et procédé pour périodes de traitement orthodontique tout en réduisant au minimum les visites en cabinet d'orthodontie
US20220160476A1 (en) * 2019-03-29 2022-05-26 Osstemimplant Co., Ltd. Scan guide providing method and image processing device therefor

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2113577A5 (fr) 1970-11-06 1972-06-23 North American Rockwell
FR2206750A5 (fr) 1972-10-13 1974-06-07 Mobert Di Trezzi E Monguzzi
FR2206745A5 (fr) 1972-11-13 1974-06-07 Kleber Colombes
US6923761B1 (en) 2002-12-06 2005-08-02 Discus Dental Impressions, Inc. Retractors
US20040209225A1 (en) 2003-03-17 2004-10-21 Kerrhawe Sa Cheek and lip retractor for dentistry
WO2016066651A1 (fr) 2014-10-27 2016-05-06 H43 Development Procede de controle de la dentition
US20180060690A1 (en) * 2015-03-06 2018-03-01 Matthew Lee Method and device for capturing images using image templates
US20170310886A1 (en) * 2016-04-26 2017-10-26 J.A.K. Investments Group LLC Method and system for performing a virtual consultation
US20220160476A1 (en) * 2019-03-29 2022-05-26 Osstemimplant Co., Ltd. Scan guide providing method and image processing device therefor
WO2022098621A1 (fr) * 2020-11-03 2022-05-12 Alta Smiles, Llc Système et procédé pour périodes de traitement orthodontique tout en réduisant au minimum les visites en cabinet d'orthodontie

Also Published As

Publication number Publication date
FR3139002A1 (fr) 2024-03-01

Similar Documents

Publication Publication Date Title
EP4101418B1 (fr) Systeme de fabrication d'un appareil orthodontique
EP3659545B1 (fr) Système de contrôle du positionnement de dents d'un patient
EP3212115B1 (fr) Procédé de contrôle d'un traitement orthodontique
EP3432219A2 (fr) Procede d'analyse d'une image d'une arcade dentaire
EP3213293B1 (fr) Controle de la dentition
FR3069359B1 (fr) Procede d'analyse d'une image d'une arcade dentaire
CA2950028A1 (fr) Dispositif de visualisation de l'interieur d'une bouche d'un patient
EP3572029B1 (fr) Dispositif d'analyse d'une situation dentaire
EP3796866A1 (fr) Procede d'analyse d'une situation dentaire
FR3111268A1 (fr) Procédé de segmentation automatique d’une arcade dentaire
EP3552575B1 (fr) Procédé de génération d'un modèle 3d d'une arcade dentaire
EP4049289A1 (fr) Procede de generation d'une image dentaire
EP3821393A1 (fr) Procede de transformation d'une vue d'un modele 3d d'une arcade dentaire en une vue photorealiste
WO2024047046A1 (fr) Procédé d'acquisition d'un ensemble d'images d'un objet buccal
WO2024047054A1 (fr) Procédé d'acquisition d'un ensemble d'images d'un objet buccal
WO2021250065A1 (fr) Procede de suivi d'un mouvement dentaire
WO2024047019A1 (fr) Procédé de scannage d'une arcade dentaire d'un utilisateur
EP4348572A1 (fr) Procede d'acquisition d'un modele d'une arcade dentaire
WO2022248513A1 (fr) Procede d'acquisition d'un modele d'une arcade dentaire
WO2023227613A1 (fr) Procede d'acquisition d'un modele d'une arcade dentaire
FR3135891A1 (fr) Procede d’acquisition d’un modele d’une arcade dentaire

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23762446

Country of ref document: EP

Kind code of ref document: A1