BR102016005478B1

BR102016005478B1 - COMPUTER-IMPLEMENTED METHOD FOR MINING PREDICTIVE RELIABILITY IN A POPULATION OF CONNECTED MACHINES AND SYSTEM FOR MINING PREDICTIVE RELIABILITY IN A POPULATION OF CONNECTED MACHINES

Info

Publication number: BR102016005478B1
Application number: BR102016005478-8A
Authority: BR
Inventors: Karamjit Singh; Gautam Shroff; Puneet Agarwal
Original assignee: Tata Consultancy Services Limited
Priority date: 2015-10-15
Filing date: 2016-03-11
Publication date: 2023-05-30

Abstract

MÉTODO IMPLEMENTADO POR COMPUTADOR PARA A MINERAÇÃO DE FIABILIDADE PREVISÍVEL EM UMA POPULAÇÃO DE MÁQUINAS CONECTADAS, SISTEMA PARA A MINERAÇÃO DE FIABILIDADE PREVISÍVEL EM UMA POPULAÇÃO DE MÁQUINAS CONECTADAS, E, PRODUTO DE PROGRAMA DE COMPUTADOR A presente invenção se refere a sistemas e a métodos para a mineração de fiabilidade previsível que permitem a previsão de falhas emergentes inesperadas no futuro sem esperar pelo início da ocorrência de falhas reais em números significativos. São identificados conjuntos de Códigos de Diagnóstico de Falhas (DTCs) discriminativos de máquinas conectadas em uma população antes da falha das partes associadas. É gerado um modelo de dependência condicional temporal com base na dependência temporal entre a falha das partes a partir de dados relativos a falhas passadas e de conjuntos de DTCs discriminativos identificados. As falhas futuras são previstas com base em uma dependência condicional temporal gerada e é realizada uma análise das causas subjacentes às falhas futuras previstas para a mineração de fiabilidade previsível. A probabilidade de falha é computadorizada com base em ambas, na ocorrência e na não-ocorrência de DTCs. A análise das causas subjacentes permite identificar um subconjunto da população quando é gerado um aviso precoce e também quando não é (...).COMPUTER-IMPLEMENTED METHOD FOR MINING PREDICTIVE RELIABILITY IN A POPULATION OF CONNECTED MACHINES, SYSTEM FOR MINING PREDICTIVE RELIABILITY IN A POPULATION OF CONNECTED MACHINES, AND, COMPUTER PROGRAM PRODUCT . Discriminative sets of Diagnostic Trouble Codes (DTCs) of connected machines in a population are identified prior to the failure of associated parts. A conditional temporal dependency model is generated based on the temporal dependency between the failure of parts from data relating to past failures and sets of identified discriminative DTCs. Future failures are predicted based on a generated conditional time dependency and an analysis of the underlying causes of predicted future failures is performed for predictive reliability mining. The probability of failure is computed based on both the occurrence and non-occurrence of DTCs. The analysis of the underlying causes allows identifying a subset of the population when an early warning is generated and also when it is not (...).

Description

CROSS-REFERENCE TO RELATED AND PRIORITY ORDERS

[001] O presente pedido reivindica a prioridade do Pedido de Patente Indiano n.° 3922/MUM/2015 apresentado em 15 de outubro, 2015, a totalidade do qual é incorporada por referência pelo presente.[001] The present application claims priority of Indian Patent Application No. 3922/MUM/2015 filed on 15th October, 2015, the entirety of which is hereby incorporated by reference.

TECHNICAL FIELD

[002] As formas de realização no presente documento se referem à mineração de fiabilidade previsível e, mais particularmente, a sistemas e a métodos envolvendo modelos de fiabilidade aumentada por sensores.[002] The embodiments in this document relate to predictive reliability mining and, more particularly, to systems and methods involving sensor-enhanced reliability models.

BACKGROUND

[003] Com a internet industrial a desenhar o futuro é apenas natural ter máquinas conectadas formando parte de qualquer aspecto de tecnologia. Tradicionalmente, a mineração de fiabilidade previsível tem vindo a ser baseada em dados históricos relativos a falhas parciais de reivindicações de garantia usando distribuições de família exponencial tais como a distribuição de Weibull ou de lognormal. Quando as falhas observadas (em uma ou mais partes) em uma população de máquinas excede o número esperado com base em um modelo desta natureza, isto pode servir como um aviso precoce de um eventual problema sistêmico na população. Estes avisos precoces assentam em algumas falhas excepcionalmente elevadas tendo ocorrido realmente. Mais uma vez, tem vindo a ser considerado que desvios significativos de contagens de falhas esperadas frequentemente apenas ocorrem em algum subconjunto desconhecido da população, por exemplo, um lote específico, ou máquinas fabricadas em um ano específico ou em uma instalação específica e similar. Estes desvios são insignificantes na população total e permanecem não identificados quando são usadas as técnicas de mineração de fiabilidade tradicional. É um desafio não detectar apenas eventuais problemas mais cedo do que uma eventual análise usando a fiabilidade tradicional mas igualmente identificar um subconjunto da população em que possa ter ocorrido uma anomalia que de outra forma estaria escondida estatisticamente na população.[003] With the industrial internet designing the future it is only natural to have connected machines forming part of any aspect of technology. Traditionally, predictive reliability mining has been based on historical data relating to partial failures of warranty claims using exponential family distributions such as the Weibull or lognormal distribution. When the observed failures (in one or more parts) in a population of machines exceed the expected number based on a model of this nature, this can serve as an early warning of a possible systemic problem in the population. These early warnings are based on some exceptionally high failures having actually occurred. Again, it has come to be considered that significant deviations from expected failure counts often only occur in some unknown subset of the population, for example, a specific batch, or machines manufactured in a specific year or in a specific and similar facility. These deviations are insignificant in the total population and remain unidentified when traditional reliability mining techniques are used. It is a challenge not only to detect potential problems earlier than an eventual analysis using traditional reliability but also to identify a subset of the population where an anomaly may have occurred that would otherwise be hidden statistically in the population.

SUMMARY

[004] Este sumário é providenciado para introduzir conceitos relativos à mineração de fiabilidade previsível. No contexto da presente invenção, a expressão “máquinas conectadas” se refere a veículos conectados, motores conectados ou qualquer outro equipamento industrial que serve como máquina conectada conhecida no estado da técnica. Os sistemas de diagnóstico de bordo (OBD) providenciados para monitorar partes das máquinas conectadas incluem sensores no contexto da presente invenção. Este sumário não pretende identificar características fundamentais do objeto reivindicado nem pretende ser usado para determinar ou limitar o âmbito da presente invenção.[004] This summary is provided to introduce concepts relating to predictive reliability mining. In the context of the present invention, the expression "connected machines" refers to connected vehicles, connected engines or any other industrial equipment that serves as a connected machine known in the state of the art. On-board diagnostic systems (OBD) provided to monitor connected machine parts include sensors in the context of the present invention. This summary is not intended to identify key features of the claimed object nor is it intended to be used to determine or limit the scope of the present invention.

[005] Os sistemas e os métodos da presente invenção permitem a mineração de fiabilidade previsível em uma população de máquinas conectadas. Devido à “internet industrial”, a maior parte do equipamento industrial, instala sensores que monitoram continuamente o comportamento do tempo de execução de componentes desejados em campo e transmitem ainda de volta uma informação de sensor predefinida ao fabricante por vários meios incluindo redes celulares sem fios ou de WiFi metropolitanas. Em particular, os veículos automóveis modernos apresentam módulos de controle eletrônico de bordo que geram Códigos de Diagnóstico de Falhas (DTCs) alfanuméricos para indicar níveis de sensor anormais em várias situações, algumas das quais são indicativas de uma falha de parte real ou eventual. Estes DTCs tipicamente são desencadeados antes da falha de parte real. Os sistemas e os métodos da presente invenção analisam estes DTCs para correlacionar os DTCs como momentos de falha futuros para servirem como indicadores de aviso precoce de eventuais falhas de partes futuras.[005] The systems and methods of the present invention allow for predictable reliability mining in a population of connected machines. Due to the “industrial internet”, most industrial equipment installs sensors that continuously monitor the runtime behavior of desired components in the field and further transmit predefined sensor information back to the manufacturer via various means including cellular wireless networks or metropolitan WiFi. In particular, modern motor vehicles feature on-board electronic control modules that generate alphanumeric Diagnostic Trouble Codes (DTCs) to indicate abnormal sensor levels in various situations, some of which are indicative of an actual or eventual part failure. These DTCs are typically triggered prior to actual part failure. The systems and methods of the present invention analyze these DTCs to correlate the DTCs with future failure times to serve as early warning indicators of possible future part failures.

[006] Em um aspecto é providenciado um método implementado por computador para a mineração de fiabilidade previsível em uma população de máquinas conectadas, em que o método compreende identificar conjuntos de Códigos de Diagnóstico de Falhas (DTCs) discriminativos a partir de DTCs gerados por falhas passadas, em que os conjuntos de DTCs discriminativos correspondem a partes predefinidas associadas das máquinas conectadas; gerar um modelo de dependência condicional temporal com base na dependência temporal entre a falha das partes predefinidas a partir de dados relativos a falhas passadas e os conjuntos de DTCs discriminativos identificados, e; prever falhas futuras com base em uma dependência condicional temporal gerada e na ocorrência e na não-ocorrência de DTCs.[006] In one aspect, a computer-implemented method is provided for predictive reliability mining in a population of connected machines, wherein the method comprises identifying sets of discriminative Diagnostic Trouble Codes (DTCs) from DTCs generated by past failures, wherein the sets of discriminative DTCs correspond to associated predefined parts of the connected machines; generate a conditional time dependence model based on the time dependence between the failure of the predefined parts from data relating to past failures and the identified sets of discriminative DTCs, and; predict future failures based on a generated conditional time dependency and the occurrence and non-occurrence of DTCs.

[007] Em uma forma de realização, a etapa de prever falhas futuras pode ser seguida por realização de uma análise das causas subjacentes às falhas futuras previstas para a mineração de fiabilidade previsível.[007] In one embodiment, the step of predicting future failures may be followed by performing an analysis of the underlying causes of predicted future failures for predictive reliability mining.

[008] Em uma forma de realização, a etapa de identificar conjuntos de DTCs discriminativos é baseada na mineração de regras de associação, em que a mineração de regras de associação compreende o uso da técnica Apriori.[008] In one embodiment, the step of identifying sets of discriminative DTCs is based on association rule mining, where association rule mining comprises the use of the Apriori technique.

[009] Em uma forma de realização, os antecedentes das regras identificadas pela técnica de mineração de regras de associação formam o conjunto de DTCs discriminativos.[009] In one embodiment, the antecedents of the rules identified by the association rule mining technique form the set of discriminative DTCs.

[010] Em uma forma de realização, o modelo de dependência condicional temporal é uma rede Bayesiana.[010] In one embodiment, the conditional temporal dependency model is a Bayesian network.

[011] Em uma forma de realização, a dependência temporal entre a falha das partes predefinidas a partir de dados relativos a falhas passadas e os conjuntos de DTCs discriminativos identificados segue uma distribuição de Weibull.[011] In one embodiment, the time dependence between the failure of the predefined parts from data relating to past failures and the identified sets of discriminative DTCs follows a Weibull distribution.

[012] Em uma forma de realização, a etapa de gerar um modelo de dependência condicional temporal é seguida por uma etapa de separar a população de máquinas conectadas em um primeiro conjunto compreendendo máquinas conectadas em que os DTCs não são gerados em um período de tempo predeterminado e um segundo conjunto compreendendo máquinas conectadas em que pelo menos um dos DTCs é gerado no período de tempo predeterminado.[012] In one embodiment, the step of generating a conditional time dependency model is followed by a step of separating the population of connected machines into a first set comprising connected machines in which the DTCs are not generated in a predetermined period of time and a second set comprising connected machines in which at least one of the DTCs is generated in the predetermined period of time.

[013] Em uma forma de realização, a etapa de prever falhas futuras compreende a etapa de processar por computador a probabilidade de falha com base em ambas, na ocorrência e na não-ocorrência de DTCs, na população separada de máquinas conectadas e gerar um aviso precoce quando o número previsto de falhas é superior ao número esperado de falhas com base nos dados relativos a falhas passadas por um valor predefinido. Em uma forma de realização, o valor predefinido é baseado no número previsto de falhas e a variância de uma variável aleatória representando o número de falhas das partes predefinidas em um período de tempo predeterminado.[013] In one embodiment, the step of predicting future failures comprises the step of computer processing the probability of failure based on both the occurrence and non-occurrence of DTCs in the separate population of connected machines and generating an early warning when the predicted number of failures is greater than the expected number of failures based on data relating to past failures by a predefined value. In one embodiment, the preset value is based on the predicted number of failures and the variance of a random variable representing the number of failures of the predefined parts in a predetermined period of time.

[014] Em uma forma de realização, a etapa de realizar uma análise das causas subjacentes compreende identificar um subconjunto da população quando é gerado um aviso precoce para pelo menos uma das partes predefinidas. Em uma forma de realização, a etapa de realizar uma análise das causas subjacentes compreende: (i) calcular um primeiro momento de falha esperado com base nos dados relativos às falhas passadas; (ii) separar a população de máquinas conectadas em um primeiro conjunto compreendendo máquinas conectadas em que os DTCs não são gerados em um período de tempo predeterminado e um segundo conjunto compreendendo máquinas conectadas em que pelo menos um DTC é gerado no período de tempo predeterminado; (iii) calcular um segundo momento de falha esperado com base no momento de falha esperado do segundo conjunto que é baseado ainda em parâmetros retardadores predefinidos e o momento de ocorrência de pelo menos um DTC; (iv) definir uma pontuação de anomalia para cada uma das máquinas conectadas com base no primeiro momento de falha esperado e no segundo momento de falha esperado calculados; (v) realizar iterativamente as etapas desde (i) até (iv) para características predefinidas das máquinas conectadas, e; (vi) identificar o subconjunto da população apresentando a pontuação de anomalia superior a um limiar predefinido, em que o subconjunto identificado indica eventuais razões para o aviso precoce para cada uma das características predefinidas.[014] In one embodiment, the step of performing an underlying cause analysis comprises identifying a subset of the population when an early warning is generated for at least one of the predefined parties. In one embodiment, the step of performing an underlying cause analysis comprises: (i) calculating an expected first failure moment based on data relating to past failures; (ii) separating the population of connected machines into a first set comprising connected machines in which DTCs are not generated in a predetermined period of time and a second set comprising connected machines in which at least one DTC is generated in the predetermined period of time; (iii) calculating a second expected failure time based on the expected failure time of the second set which is based further on predefined delay parameters and the time of occurrence of at least one DTC; (iv) define an anomaly score for each of the connected machines based on the calculated first expected time of failure and second expected time of failure; (v) iteratively perform steps from (i) to (iv) for predefined characteristics of the connected machines, and; (vi) identify the subset of the population with an anomaly score greater than a predefined threshold, where the identified subset indicates possible reasons for early warning for each of the predefined characteristics.

[015] Em uma forma de realização, a etapa de realizar uma análise das causas subjacentes compreende identificar um subconjunto da população com uma eventual anomalia quando não é gerado um aviso precoce a nível da população. Em uma forma de realização, a etapa de realizar uma análise das causas subjacentes compreende: (i) definir uma pontuação de anomalia para cada uma das máquinas conectadas; (ii) associar cada uma das máquinas conectadas a um registro compreendendo um conjunto de características predefinidas e a pontuação de anomalia definida; (iii) discretizar a pontuação de anomalia definida em um nível elevado predefinido ou em um nível normal; (iv) realizar uma mineração de regras de associação para identificar regras com a pontuação de anomalia de nível elevado; (v) agregar as regras de associação identificadas usando uma técnica com base na densidade para formar agregados de regras; (vi) selecionar uma ou mais regras de cada um dos agregados de regras que apresentam suporte e confiança elevados; e (vii) identificar o subconjunto da população com a pontuação de anomalia de nível elevado com base em antecedentes das uma ou mais regras selecionadas que são indicativas de eventuais razões para a pontuação de anomalia de nível elevado.[015] In one embodiment, the step of performing an underlying cause analysis comprises identifying a subset of the population with an eventual anomaly when an early warning is not generated at the population level. In one embodiment, the step of performing an underlying cause analysis comprises: (i) setting an anomaly score for each of the connected machines; (ii) associate each of the connected machines with a record comprising a set of predefined characteristics and the defined anomaly score; (iii) discretize the defined anomaly score at a predefined high level or at a normal level; (iv) perform association rule mining to identify rules with the high-level anomaly score; (v) aggregating the identified association rules using a density-based technique to form rule aggregates; (vi) select one or more rules from each of the rule aggregates that show high support and confidence; and (vii) identify the subset of the population with the high-level anomaly score based on antecedents of the one or more selected rules that are indicative of possible reasons for the high-level anomaly score.

[016] Em outro aspecto é providenciado um sistema para a mineração de fiabilidade previsível em uma população de máquinas conectadas, em que o sistema compreende: um ou mais processadores; um dispositivo de interface de comunicação; um ou mais dispositivos de armazenamento de dados internos acoplados operacionalmente com um ou mais processadores para o armazenamento: um módulo de entrada configurado para receber Códigos de Diagnóstico de Falhas (DTCs) a partir de sistemas de diagnóstico de bordo de partes predefinidas das máquinas conectadas; um identificador de padrões de DTC configurado para identificar conjuntos de DTCs discriminativos a partir dos DTCs gerados por falhas precedentes, em que os conjuntos de DTCs discriminativos correspondem a partes predefinidas associadas das máquinas conectadas; um gerador de redes Bayesianas configurado para gerar um modelo de dependência condicional temporal com base na dependência temporal entre a falha de partes predefinidas a partir de dados relativos a falhas passadas e os conjuntos de DTCs discriminativos identificados; e um dispositivo de previsão de falhas configurado para prever falhas futuras com base na dependência condicional temporal gerada e na ocorrência e na não-ocorrência de DTCs.[016] In another aspect, a system is provided for mining predictable reliability on a population of connected machines, the system comprising: one or more processors; a communication interface device; one or more internal data storage devices operatively coupled with one or more processors for storing: an input module configured to receive Diagnostic Trouble Codes (DTCs) from on-board diagnostic systems of predefined parts of the connected machines; a DTC pattern identifier configured to identify sets of discriminative DTCs from DTCs generated by preceding faults, wherein the sets of discriminative DTCs correspond to associated predefined parts of the connected machines; a Bayesian network generator configured to generate a conditional temporal dependency model based on the temporal dependency between the failure of predefined parts from past failure data and the identified sets of discriminative DTCs; and a fault prediction device configured to predict future faults based on the generated conditional time dependency and the occurrence and non-occurrence of DTCs.

[017] Em uma forma de realização, o sistema acima descrito pode compreender ainda um analisador configurado para realizar uma análise das causas subjacentes às falhas futuras previstas para a mineração de fiabilidade previsível.[017] In one embodiment, the above-described system may further comprise an analyzer configured to perform an analysis of the underlying causes of predicted future failures for predictive reliability mining.

[018] Em ainda outro aspecto é providenciado um produto de programa de computador para processar dados, compreendendo um meio legível por computador não-transitório apresentando instruções incorporadas neste para identificar conjuntos de Códigos de Diagnóstico de Falhas (DTCs) discriminativos a partir de DTCs gerados por falhas precedentes, em que os conjuntos de DTCs discriminativos correspondem a partes predefinidas associadas das máquinas conectadas; gerar um modelo de dependência condicional temporal com base na dependência temporal entre a falha das partes predefinidas a partir de dados relativos a falhas passadas e os conjuntos de DTCs discriminativos identificados; prever falhas futuras com base na dependência condicional temporal gerada e na ocorrência e na não- ocorrência de DTCs; e realizar uma análise das causas subjacentes das falhas futuras previstas para a mineração de fiabilidade previsível.[018] In yet another aspect, a computer program product is provided for processing data, comprising a non-transient computer-readable medium having instructions incorporated therein to identify sets of discriminative Diagnostic Trouble Codes (DTCs) from DTCs generated by preceding faults, wherein the sets of discriminative DTCs correspond to associated predefined parts of the connected machines; generate a conditional time dependence model based on the time dependence between the failure of the predefined parts from data relating to past failures and the identified sets of discriminative DTCs; predict future failures based on the generated conditional temporal dependency and the occurrence and non-occurrence of DTCs; and perform an analysis of the underlying causes of predicted future failures for Predictive Reliability Mining.

BRIEF DESCRIPTION OF THE FIGURES

[019] As formas de realização no presente documento serão mais bem compreendidas com base na descrição detalhada com referência às figuras, em que a:[019] The embodiments in this document will be better understood based on the detailed description with reference to the figures, in which the:

[020] FIG. 1 ilustra um diagrama de blocos exemplificativo de um sistema para a mineração de fiabilidade previsível em uma população de máquinas conectadas de acordo com uma forma de realização da presente invenção;[020] FIG. 1 illustrates an exemplary block diagram of a system for predictive reliability mining on a population of connected machines in accordance with an embodiment of the present invention;

[021] FIG. 2 é um fluxograma exemplificativo ilustrando um método implementado por computador para a mineração de fiabilidade previsível em uma população de máquinas conectadas usando o sistema da FIG. 1 de acordo com uma forma de realização da presente invenção;[021] FIG. 2 is an exemplary flowchart illustrating a computer-implemented method for predictive reliability mining on a population of machines connected using the system of FIG. 1 according to an embodiment of the present invention;

[022] FIG. 3 é um modelo de fiabilidade Bayesiana aumentado por sensores de acordo com uma forma de realização da presente invenção;[022] FIG. 3 is a sensor-augmented Bayesian reliability model in accordance with an embodiment of the present invention;

[023] FIG. 4 ilustra gráficos (quantil- quantil) QQ de DTCs retirados de uma distribuição de Weibull e de Gaussian de um conjunto de dados exemplificativo;[023] FIG. 4 illustrates (quantile-quantile) QQ plots of DTCs drawn from a Weibull and Gaussian distribution of an exemplary dataset;

[024] FIG. 5 ilustra uma comparação do número de falhas previstas por SARM versus real versus esperado por BRM;[024] FIG. 5 illustrates a comparison of the number of failures predicted by SARM versus actual versus expected by BRM;

[025] FIG. 6 ilustra a tendência semanal de falhas e de previsões para a parte PG;[025] FIG. 6 illustrates the weekly trend of failures and predictions for the PG part;

[026] FIG. 7 ilustra uma análise das causas subjacentes ao aviso precoce (EW-1) usando ferramentas de análise visual, e;[026] FIG. 7 illustrates an analysis of underlying causes of early warning (EW-1) using visual analysis tools, and;

[027] FIG. 8 ilustra um subgrupo descoberto para aviso precoce (EW-2) como um par de exceção à regra.[027] FIG. 8 illustrates a subgroup discovered for early warning (EW-2) as an exception to the rule pair.

[028] Para o perito na técnica é evidente que qualquer diagrama de blocos no presente documento representa vistas conceptuais de sistemas ilustrativos de realização dos princípios do objeto da presente invenção. Da mesma forma, é evidente que quaisquer gráficos, fluxogramas, diagramas de transição de estado, pseudocódigos e similares representam vários processos que essencialmente podem ser representados em um meio legível por computador e, por conseguinte, executados por um dispositivo de computação ou processador, quer ou não este dispositivo de computação ou processador seja apresentado explicitamente.[028] For the person skilled in the art, it is clear that any block diagram in this document represents conceptual views of illustrative systems for realizing the principles of the object of the present invention. Likewise, it is evident that any graphs, flowcharts, state transition diagrams, pseudocode, and the like represent various processes that essentially can be represented on a computer-readable medium and therefore performed by a computing device or processor, whether or not that computing device or processor is explicitly presented.

DETAILED DESCRIPTION

[029] As formas de realização no presente documento e as várias características e detalhes vantajosos das mesmas são mais detalhadamente explicados com referência às formas de realização não limitativas que são ilustradas nas figuras em anexo e detalhados na descrição que se segue. Os exemplos usados no presente documento apenas pretendem facilitar a compreensão das formas de colocar em prática as formas de realização no presente documento e ainda para habilitar o perito na técnica a colocar em prática as formas de realização no presente documento. Assim, os exemplos não devem ser considerados como limitativos do âmbito das formas de realização no presente documento.[029] The embodiments in the present document and the various advantageous features and details thereof are explained in more detail with reference to the non-limiting embodiments which are illustrated in the attached figures and detailed in the following description. The examples used herein are only intended to facilitate understanding of ways to practice the embodiments herein and further to enable the person skilled in the art to practice the embodiments herein. Thus, the examples should not be considered as limiting the scope of the embodiments herein.

[030] As palavras “compreendendo”, “apresentando”, “contendo” e “incluindo” e outras formas correspondentes apresentam um significado equivalente e são abertas no sentido em que o item ou os itens que se seguem a qualquer uma destas palavras não pretendem ser uma listagem exaustiva desse item ou itens ou estar limitados apenas ao item ou itens alistados.[030] The words “comprising”, “featuring”, “containing” and “including” and other corresponding forms have an equivalent meaning and are open in the sense that the item or items that follow any of these words are not intended to be an exhaustive listing of that item or items or to be limited only to the item or items listed.

[031] É igualmente evidente que conforme usadas no presente documento e nas reivindicações anexas, as formas singulares “um”, “um” e “o” incluem as referências plurais exceto se expresso claramente de outra forma pelo contexto. Embora possam ser usados quaisquer sistemas e métodos similares ou equivalentes àqueles descritos no presente documento na prática ou no teste das formas de realização da presente invenção, os sistemas e os métodos preferidos são descritos em seguida.[031] It is equally evident that as used in this document and in the appended claims, the singular forms "a", "a" and "the" include plural references unless otherwise clearly expressed by the context. While any systems and methods similar or equivalent to those described herein may be used in practicing or testing embodiments of the present invention, preferred systems and methods are described below.

[032] Algumas formas de realização da invenção, ilustrando todas as suas características, serão mais detalhadamente discutidas em seguida. As formas de realização divulgadas são apenas exemplificativas da invenção, que pode ser realizada de várias formas.[032] Some embodiments of the invention, illustrating all its features, will be discussed in more detail below. The disclosed embodiments are only exemplary of the invention, which can be embodied in various ways.

[033] Antes de avançar com a explicação detalhada é de salientar que toda a discussão abaixo, independentemente da implementação específica que está a ser descrita, é de natureza exemplificativa e não limitativa. Por exemplo, embora aspectos, características ou componentes selecionados das implementações sejam apresentados como sendo armazenados em memórias, a totalidade ou uma parte dos sistemas e dos métodos em conformidade com o sistema e com o método de reconhecimento e de classificação de equipamento podem ser armazenados, distribuídos ou lidos a partir de quaisquer outros meios legíveis por máquinas.[033] Before proceeding with the detailed explanation, it should be noted that the entire discussion below, regardless of the specific implementation that is being described, is exemplary and not limiting in nature. For example, although selected aspects, features, or components of the implementations are shown to be stored in memories, all or a portion of the systems and methods conforming to the system and method of recognizing and classifying equipment may be stored, distributed, or read from any other machine-readable media.

[034] No que se refere às figuras e, mais particularmente às FIGS. de 1 a 8, em que os mesmos números de referência se referem a características correspondentes em todas as figuras, são apresentadas formas de realização preferidas e estas formas de realização são descritas no contexto do sistema e do método exemplificativo que se segue.[034] With regard to the figures, and more particularly to FIGS. 1 to 8, where the same reference numerals refer to corresponding features throughout the figures, preferred embodiments are shown, and these embodiments are described in the context of the exemplary system and method that follows.

[035] A FIG. 1 ilustra um diagrama de blocos exemplificativo de um sistema 100 para a mineração de fiabilidade previsível de acordo com uma forma de realização da presente invenção e a FIG. 2 ilustra um fluxograma exemplificativo ilustrando um método implementado por computador 200 para o modelo de fiabilidade previsível usando o sistema da FIG. 1 de acordo com uma forma de realização da presente invenção. As etapas do método 200 da presente invenção serão agora explicadas com referências aos componentes do sistema 100 conforme apresentado na FIG. 1. Em uma forma de realização, o sistema 100 inclui um ou mais processadores (não apresentados), uma interface de comunicação ou interface de entrada/saída (I/O) (não apresentadas) e uma memória ou um ou mais dispositivos de armazenamento de dados internos (não apresentados) acoplados operacionalmente com o um ou mais processadores. O um ou mais processadores podem ser implementados como um ou mais microprocessadores, microcomputadores, microcontroladores, processadores de sinais digitais, unidades de processamento central, máquinas de estado, circuitos lógicos e/ou quaisquer dispositivos que manipulem sinais com base em instruções operacionais. Entre outras capacidades, o processador é configurado para aceder a e executar instruções legíveis por computador armazenadas na memória. Em uma forma de realização, o sistema 100 pode ser implementado em um servidor ou em uma variedade de sistemas de computação, tais como um computador portátil, um computador fixo, um notebook, uma estação de trabalho, um computador do tipo mainframe, um servidor, um servidor de rede, uma nuvem, um dispositivo portátil e similar.[035] FIG. 1 illustrates an exemplary block diagram of a system 100 for predictive reliability mining in accordance with an embodiment of the present invention, and FIG. 2 illustrates an exemplary flowchart illustrating a computer-implemented method 200 for predictive reliability modeling using the system of FIG. 1 according to one embodiment of the present invention. The steps of method 200 of the present invention will now be explained with reference to the components of system 100 as shown in FIG. 1. In one embodiment, system 100 includes one or more processors (not shown), a communication interface or input/output (I/O) interface (not shown), and a memory or one or more internal data storage devices (not shown) operatively coupled with the one or more processors. The one or more processors can be implemented as one or more microprocessors, microcomputers, microcontrollers, digital signal processors, central processing units, state machines, logic circuits and/or any devices that manipulate signals based on operational instructions. Among other capabilities, the processor is configured to access and execute computer-readable instructions stored in memory. In one embodiment, system 100 can be implemented on a server or on a variety of computing systems, such as a portable computer, a desktop computer, a notebook computer, a workstation, a mainframe-type computer, a server, a network server, a cloud, a portable device, and the like.

[036] A interface I/O pode incluir uma pluralidade de interfaces de software e de hardware, por exemplo, uma interface web, uma interface de usuário gráfica e similares e pode facilitar comunicações múltiplas em uma vasta gama de tipos de rede e de protocolo, incluindo redes por cabo, por exemplo, LAN, cabo, etc., e redes sem fios, tais como WLAN, celular ou satélite. Em uma forma de realização, a interface I/O pode incluir uma ou mais portas para conectar um número de dispositivos uns com os outros ou com outro servidor.[036] The I/O interface may include a plurality of software and hardware interfaces, for example, a web interface, a graphical user interface, and the like, and may facilitate multiple communications over a wide range of network types and protocols, including wired networks, e.g., LAN, cable, etc., and wireless networks, such as WLAN, cellular, or satellite. In one embodiment, the I/O interface can include one or more ports for connecting a number of devices with each other or with another server.

[037] A memória pode incluir qualquer meio legível por computador conhecido na técnica incluindo, por exemplo, memória volátil, tal como memória estática de acesso aleatório (SRAM) e memória dinâmica de acesso aleatório (DRAM) e/ou memória não volátil, tal como memória só de leitura (ROM), ROM programável delével, memórias flash, discos rígidos, discos ópticos e fitas magnéticas. Em uma forma de realização, os vários módulos do sistema 100 podem ser armazenados na memória.[037] Memory may include any computer-readable medium known in the art including, for example, volatile memory, such as static random access memory (SRAM) and dynamic random access memory (DRAM) and/or non-volatile memory, such as read-only memory (ROM), programmable elusive ROM, flash memories, hard disks, optical disks and magnetic tapes. In one embodiment, the various modules of system 100 can be stored in memory.

[038] As máquinas conectadas são providenciadas com sistemas de diagnóstico de bordo (OBD) 110. Tipicamente existe um mapeamento exagerado entre os Códigos de Diagnóstico de Falhas (DTCs) e partes das máquinas conectadas, quer dizer, um DTC pode indicar uma falha em mais do que uma parte e uma falha em uma parte pode desencadear mais do que um DTC. Por conseguinte, é importante identificar DTCs discriminativos que possam ser correlacionados com falhas futuras de cada parte, mesmo quando não estão associadas apenas a falhas de uma parte única. Na etapa 202, um identificador de padrões DTC 114 pode identificar conjuntos de DTCs discriminativos em que os conjuntos de DTCs discriminativos correspondem a partes predefinidas associadas das máquinas conectadas. Em uma forma de realização, a etapa de identificar conjuntos de DTCs discriminativos é baseada na mineração de regras de associação. Em uma forma de realização, a mineração de regras de associação pode incluir identificar regras para DTCs discriminativos para cada parte por análise das ocorrências de DTC em situações que levam a falhas e por comparação destas com situações em que não são observadas falhas.[038] The connected machines are provided with on-board diagnostic systems (OBD) 110. Typically there is an exaggerated mapping between the Diagnostic Trouble Codes (DTCs) and parts of the connected machines, that is, a DTC can indicate a failure in more than one part and a failure in one part can trigger more than one DTC. Therefore, it is important to identify discriminative DTCs that can be correlated with future failures of each part, even when they are not associated with single-part failures only. In step 202, a pattern identifier DTC 114 may identify sets of discriminative DTCs wherein the sets of discriminative DTCs correspond to associated predefined parts of the connected machines. In one embodiment, the step of identifying sets of discriminative DTCs is based on association rule mining. In one embodiment, association rule mining can include identifying rules for discriminative DTCs for each part by analyzing DTC occurrences in situations that lead to failures and comparing these to situations where no failures are observed.

[039] Para usar os DTCs eficazmente como um indicador de aviso precoce de uma falha de parte, na etapa 204, é gerado um modelo de dependência condicional temporal por um gerador de redes Bayesianas 116. Em uma forma de realização, o modelo de dependência condicional temporal é baseado na dependência temporal entre a falha das partes predefinidas a partir de dados relativos a falhas passadas e os conjuntos de DTCs discriminativos identificados. Os sistemas e os métodos da presente invenção usam os dados relativos a falhas passadas, os conjuntos de DTCs discriminativos identificados e a dependência temporal para aperfeiçoar os modelos de fiabilidade convencionais. Em uma forma de realização, a dependência temporal entre a falha de partes predefinidas a partir de dados relativos a falhas passadas e os conjuntos de DTCs discriminativos identificados segue uma distribuição de Weibull.[039] To use DTCs effectively as an early warning indicator of a part failure, in step 204, a conditional temporal dependency model is generated by a Bayesian network generator 116. In one embodiment, the conditional temporal dependency model is based on the temporal dependency between the failure of the predefined parts from data relating to past failures and the identified sets of discriminative DTCs. The systems and methods of the present invention use past failure data, identified sets of discriminative DTCs, and time dependence to improve conventional reliability models. In one embodiment, the time dependence between the failure of predefined parts from data relating to past failures and the identified sets of discriminative DTCs follows a Weibull distribution.

[040] Na etapa 206, as falhas futuras são previstas com base na dependência condicional temporal gerada por um dispositivo de previsão de falhas 118. Em uma forma de realização, a etapa de prever falhas futuras compreende gerar um aviso precoce quando o número previsto de falhas é superior ao número esperado de falhas com base nos dados relativos a falhas passadas por um valor predefinido. Em uma forma de realização, o dispositivo de previsão de falhas 118 é configurado para identificar partes das máquinas conectadas associadas ao aviso precoce e correspondentemente identificar um subconjunto da população associado.[040] In step 206, future failures are predicted based on the conditional temporal dependence generated by a failure prediction device 118. In one embodiment, the step of predicting future failures comprises generating an early warning when the predicted number of failures is greater than the expected number of failures based on data relating to past failures by a predefined value. In one embodiment, the fault prediction device 118 is configured to identify parts of the connected machines associated with the early warning and correspondingly identify a subset of the associated population.

[041] Na etapa 208 é realizada uma análise das causas subjacentes às falhas futuras previstas para a mineração de fiabilidade previsível por um analisador 120.[041] In step 208, an analysis of the underlying causes of predicted future failures is performed for predictable reliability mining by an analyzer 120.

[042] As etapas de 202 a 208 da FIG. 2 serão mais detalhadamente explicadas em seguida. No contexto da presente invenção, as várias expressões usadas doravante são definidas conforme apresentadas abaixo. I = {ii, Í2, ... im} é um conjunto de atributos de binário m designados por itens. D = {ti, t2,.. tn} é um conjunto de transações designado por base de dados. Cada transação em D apresenta uma id única e contém um subconjunto de itens em I. Os conjuntos de itens X, Y são designados por antecedente e por consequente de uma regra, respectivamente. Uma regra de associação r é uma expressão de implicação da forma X -> Y, em que X, Y Ç I e X n Y = 0. O suporte s(X) de um conjunto de itens X é definido como a fracção de transações na base de dados D que contém o conjunto de itens X. A confiança de uma regra conf(r) é s(X U Y ) / s(X). Uma elevação adicional de uma regra l(r) mede o respectivo interesse e é uma relação da respectiva confiança e suporte do consequente. Quer dizer, conf(r)/s(Y). A cobertura de uma regra r é a fracção do número de transação em D contendo X e dada por s(X). R = {r1, r2,.... rl} é um conjunto de regras l, então a cobertura de R representada por cR em D é uma fracção de transações em D contendo os antecedentes de regras no conjunto R.[042] Steps 202 to 208 of FIG. 2 will be explained in more detail below. In the context of the present invention, the various expressions used hereinafter are defined as set out below. I = {ii, Í2, ... im} is a set of binary attributes m designated by items. D = {ti, t2,.. tn} is a set of transactions called a database. Each transaction in D has a unique id and contains a subset of items in I. The sets of items X, Y are designated by the antecedent and consequent of a rule, respectively. An association rule r is an implication expression of the form X -> Y, where X, Y Ç I and X n Y = 0. The support s(X) of an item set X is defined as the fraction of transactions in database D that contain the item set X. The confidence of a rule conf(r) is s(X U Y ) / s(X). A further elevation of an l(r) rule measures the respective interest and is a relation of the respective confidence and support of the consequent. That is, conf(r)/s(Y). The coverage of a rule r is the fraction of the number of transactions in D containing X and given by s(X). R = {r1, r2,.... rl} is a set of rules l, so the coverage of R represented by cR in D is a fraction of transactions in D containing the antecedents of rules in the set R.

[043] A etapa 202 em que são identificados conjuntos de Códigos de Diagnóstico de Falhas (DTCs) discriminativos envolve identificar DTCs que são discriminativos para falhas da parte Pi, quer dizer, os DTCs que ocorrem antes da falha de Pi mas não antes de outras falhas de partes. Em uma forma de realização, identificar DTCs discriminativos é baseado na mineração de regras de associação. Em uma forma de realização, a mineração de regras de associação usa a técnica Apriori para identificar regras de DTCs que conduzem à falha da parte Pi com confiança e elevação elevadas. Considerando que uma parte única pode falhar devido a diferentes razões em diferentes veículos é possível obter mais do que uma regra de confiança elevada para uma parte única. Para a parte Pi, em que I é o conjunto de itens de todos os DTCs possíveis para a totalidade da população de máquinas conectadas. Em qualquer momento t0, Pi representa uma parte falhada em n máquinas conectadas. Para cada uma das n máquinas conectadas, partindo da data de falha da parte Pi, todos os DTCs em transação fi que são desencadeados nos dias d passados são recolhidos e o item f representando a falha é adicionado a cada transação. Por conseguinte, para n máquinas conectadas, é obtido um conjunto de n transações Df = {fi, Í2,..., fn } designado por conjunto de falhas, em que cada fi £ I. Da mesma forma, é obtido um outro conjunto Dnf designado por conjunto de não falhas para as máquinas conectadas, em que partes diferentes de Pi apresentaram falhas e um item nf é adicionado a cada transação do conjunto Dnf. Para a ocorrência múltipla de um DTC único em uma transação é considerada a primeira ocorrência desse DTC. É gerado um conjunto de regras R = Df U Dnf usando a técnica Apriori. São identificadas as regras no conjunto R apresentando uma confiança con f(r) > Tp Vr £ R, e cR representando a cobertura do conjunto R em Df > Rc. Neste caso, Tp é um limiar preliminar para a confiança e Rc é um limiar preliminar para a cobertura. O conjunto de antecedentes de todas as regras no conjunto R formam o conjunto de DTCs discriminativos conforme disci = {Di, D2, D3,... DN} para a parte Pi, em que cada conjunto Dj contém pelo menos um DTC e Di D D2 A....DN = 0.[043] The step 202 in which sets of discriminative Diagnostic Trouble Codes (DTCs) are identified involves identifying DTCs that are discriminative for failures of the Pi part, that is, the DTCs that occur before the failure of Pi but not before other failures of parts. In one embodiment, identifying discriminative DTCs is based on association rule mining. In one embodiment, association rule mining uses the Apriori technique to identify DTC rules that lead to failure of the Pi part with high confidence and elevation. Considering that a single part can fail due to different reasons on different vehicles it is possible to obtain more than one high confidence rule for a single part. For part Pi, where I is the item set of all possible DTCs for the entire population of connected machines. At any time t0, Pi represents a failed part on n connected machines. For each of the n connected machines, starting from the failure date of part Pi, all DTCs in transaction fi that are triggered in the past d days are collected and the item f representing the failure is added to each transaction. Therefore, for n connected machines, a set of n transactions Df = {fi, Í2,..., fn } is obtained, called the set of failures, in which each fi £ I. Likewise, another set Dnf is obtained, called the set of non-failures for the connected machines, in which different parts of Pi have failed and an item nf is added to each transaction of the Dnf set. For the multiple occurrence of a single DTC in a transaction, the first occurrence of that DTC is considered. A rule set R = Df U Dnf is generated using the Apriori technique. Rules are identified in set R having a confidence con f(r) > Tp Vr £ R, and cR representing the coverage of set R in Df > Rc. In this case, Tp is a preliminary threshold for confidence and Rc is a preliminary threshold for coverage. The set of antecedents of all rules in set R form the set of discriminative DTCs as disci = {Di, D2, D3,... DN} for part Pi, where each set Dj contains at least one DTC and Di D D2 A....DN = 0.

[044] Considerando que os DTCs ocorrem antes da falha real, o retardamento temporal entre a ocorrência do DTC e a falha da parte define a dependência entre estes. Na etapa 204 é gerado um modelo de fiabilidade Bayesiana ou uma rede Bayesiana com base na dependência entre a falha da parte Pi e o respectivo conjunto de DTCs discriminativos disci conforme ilustrado na FIG. 3. Cada nó da rede Bayesiana representa uma variável aleatória contínua conforme descrita abaixo. No contexto da presente invenção, a variável tpi se refere ao momento em que a parte Pi falha. Em uma forma de realização, o momento tpi segue a distribuição de Weibull com parâmetros de falha αi e βi, representando parâmetros de escala e de forma da distribuição de Weibull, respectivamente conforme representados na equação (1) abaixo. [044] Considering that the DTCs occur before the actual failure, the time delay between the occurrence of the DTC and the failure of the part defines the dependence between them. In step 204, a Bayesian reliability model or a Bayesian network is generated based on the dependency between the failure of part Pi and the respective set of disci discriminative DTCs as illustrated in FIG. 3. Each node of the Bayesian network represents a continuous random variable as described below. In the context of the present invention, the tpi variable refers to the moment when the Pi part fails. In one embodiment, the moment tpi follows the Weibull distribution with failure parameters αi and βi, representing scale and shape parameters of the Weibull distribution, respectively as represented in equation (1) below.

[045] No contexto da presente invenção, a distribuição uniforme é assumida como um pré-requisito para αi e βi com um limite inferior de 0 e limite superior de a > 0 e b > 0 respectivamente, quer dizer P(αi) ~U(0, a) e P(βi) ~U(0, b).[045] In the context of the present invention, the uniform distribution is assumed as a prerequisite for αi and βi with a lower limit of 0 and an upper limit of a > 0 and b > 0 respectively, that is to say P(αi) ~U(0, a) and P(βi) ~U(0, b).

[046] O nó Ti na FIG. 3 representa a variável Tij que se refere ao retardamento temporal entre o momento de falha da parte Pi e o momento de ocorrência de DTC Dj. Em uma forma de realização, o momento Tij segue a distribuição de Weibull com os parâmetros de retardamento αDj e βDj, representando parâmetros de escala e de forma da distribuição de Weibull, respectivamente. Os parâmetros de retardamento capturam a dependência condicional temporal entre a parte Pi e DTC Dj conforme representada na equação (2) abaixo. [046] The Ti node in FIG. 3 represents the variable Tij which refers to the time delay between the moment of failure of part Pi and the moment of occurrence of DTC Dj. In one embodiment, the moment Tij follows the Weibull distribution with the delay parameters αDj and βDj representing scale and shape parameters of the Weibull distribution, respectively. The delay parameters capture the conditional time dependence between the Pi part and DTC Dj as represented in equation (2) below.

[047] No contexto da presente invenção, a distribuição uniforme é assumida como um pré-requisito para os parâmetros de retardamento com um limite inferior 0 e um limite superior de aDj > 0 e bDj > 0 respectivamente, quer dizer P(αDj) ~U(0, aDj) e P(βDj) ~U(0, bDj).[047] In the context of the present invention, uniform distribution is assumed as a prerequisite for delay parameters with a lower bound 0 and an upper bound of aDj > 0 and bDj > 0 respectively, that is P(αDj) ~U(0, aDj) and P(βDj) ~U(0, bDj).

[048] Considerando que os DTCs ocorrem antes da falha da parte, no contexto da presente invenção, o nó tD representa a variável tDj que se refere ao momento em que ocorre DTC Dj em termos de variáveis tpi e Tij. Em uma forma de realização, o momento tDj segue uma distribuição normal com uma média tpi - Tij com um desvio padrão Oj conforme representado na equação (3) abaixo. , em que um pré-requisito para Oj é a distribuição uniforme, quer dizer Oj ~ U(0, Sj).[048] Considering that the DTCs occur before the failure of the part, in the context of the present invention, the node tD represents the variable tDj that refers to the moment in which DTC Dj occurs in terms of variables tpi and Tij. In one embodiment, the moment tDj follows a normal distribution with a mean tpi - Tij with a standard deviation Oj as depicted in equation (3) below. , where a prerequisite for Oj is the uniform distribution, that is Oj ~ U(0, Sj).

[049] De acordo com a presente invenção, a rede BayeSiana Se aproxima da diStribuição com um nó repreSentado por tpi, um nó para cada DTC Dj no conjunto diScriminativo de Pi representado por Tij, um para cada Dj G disci representado por tDj e o reSto doS nóS repreSentando oS parâmetroS deStaS três variáveis aleatórias. Todos os parâmetros do modelo, nomeadamente os parâmetros de Weibull para as falhas e os DTCs e a média e a variância dos retardamentos distribuídos normalmente são determinados usando a amostragem do tipo Markov Chain Monte Carlo (MCMC) relativa aos dados relativos a falhas passadas e aos dados relativos ao DTC de uma população de máquinas conectadas.[049] According to the present invention, the Bayesian network approaches distribution with a node represented by tpi, a node for each DTC Dj in the discriminative set of Pi represented by Tij, one for each Dj G disci represented by tDj and the rest of the nodes representing the parameters of these three random variables. All model parameters, namely the Weibull parameters for faults and DTCs and the mean and variance of normally distributed delays are determined using Markov Chain Monte Carlo (MCMC) sampling of past fault data and DTC data from a population of connected machines.

[050] Na etapa 206, as falhas futuras são previstas com base nos dados relativos a falhas passadas e nos DTCs discriminativos que foram modulados como rede Bayesiana na etapa 204. Npi representa o número de falhas da parte Pi durante um intervalo de tempo específico no futuro com base em DTCs e Mpi representa o número de falhas esperado usando o modelo de fiabilidade convencional. Comparando estatisticamente Npi e Mpi é gerado um aviso precoce pelo sistema 100 quando Npi é superior a Mpi por um valor predeterminado.[050] In step 206, future failures are predicted based on data relating to past failures and discriminative DTCs that were modulated as a Bayesian network in step 204. Npi represents the number of failures of part Pi during a specific time interval in the future based on DTCs and Mpi represents the number of failures expected using the conventional reliability model. Statistically comparing Npi and Mpi an early warning is generated by the system 100 when Npi is greater than Mpi by a predetermined value.

[051] Considerando m máquinas conectadas e o momento t0, supondo que Pi falhou em n de m máquinas conectadas, V é o conjunto de máquinas conectadas restantes r (= m - n), a probabilidade de falha de a parte Pi falhar em [t1, t2] (t2 > t1 > t0) considerando que sobreviveu até t0 é representada pela equação (4) abaixo. em que dk é o momento calculado até tk a partir de um momento inicial e F(t) é a probabilidade de que a parte vai falhar antes do momento t.[051] Considering m connected machines and time t0, assuming Pi failed on n out of m connected machines, V is the set of remaining connected machines r (= m - n), the failure probability of part Pi failing at [t1, t2] (t2 > t1 > t0) assuming it survived until t0 is represented by equation (4) below. where dk is the time calculated to tk from an initial time and F(t) is the probability that the part will fail before time t.

[052] F(t), conforme conhecido na técnica, pode ser representado pela equação (5) abaixo. em que α e β são parâmetros de escala e de forma da distribuição de Weibull e S(t) é a chamada probabilidade de sobrevivência que pode ser representada pela equação (6) abaixo. [052] F(t), as known in the art, can be represented by equation (5) below. where α and β are scale and shape parameters of the Weibull distribution and S(t) is the so-called probability of survival that can be represented by equation (6) below.

[053] A probabilidade de falha da parte Pi para cada v e V é calculada usando o modelo de fiabilidade básica (BRM) convencional assim como o modelo de fiabilidade aumentada por sensores (SARM) que incorpora DTCs. No BRM convencional apenas são usados dados relativos a falhas passadas da parte Pi para calcular a probabilidade de falhas em r veículos. Usando os “parâmetros de falhas” enquanto tv parâmetros de escala e de forma e considerando o momento de cada veículo v e V como momento inicial, quer dizer, nas equações 4 e 5. Então é calculado probabilidade de falha para cada v G V.[053] The probability of failure of the part Pi for each ve and V is calculated using the conventional basic reliability model (BRM) as well as the sensor-enhanced reliability model (SARM) that incorporates DTCs. In conventional BRM, only data related to past failures of part Pi are used to calculate the probability of failures in r vehicles. Using the “fault parameters” while showing scale and shape parameters and considering the moment of each vehicle see V as initial moment, that is, in equations 4 and 5. Then it is calculated probability of failure for each v G V.

[054] No SARM da presente invenção são usados os dados relativos a falhas passadas e os DTCs. Os veículos r restantes em que a parte Pi não falhou até t0 são divididos em dois conjuntos 1) V1: conjunto de veículos em que ocorreu pelo menos um de Dj G disci em [to — d, to], e, 2) Vo: conjunto de veículos em que não ocorreu nenhum de Dj G disci em [t0 — d, t0].[054] In the SARM of the present invention, data related to past failures and DTCs are used. The remaining vehicles r in which part Pi has not failed up to t0 are divided into two sets 1) V1: set of vehicles in which at least one of Dj G disci occurred in [to — d, to], and, 2) Vo: set of vehicles in which none of Dj G disci occurred in [t0 — d, t0].

[055] Para os veículos em V1, considerando que ocorreu pelo menos um de Dj G disci em [t0 — d, t0] , para cada v G V1, o momento de ocorrência tDj do DTC Dj é usado como o momento inicial, quer dizer dk = tk - tDj. Usando ainda os “parâmetros de retardamento” como parâmetros de escala e de p? forma nas equações 4 e 5, , 1 , a probabilidade de falha da parte Pi para cada v G V1 é calculada considerando que DTC Dj ocorreu no momento tDj. No caso em que tenha ocorrido mais do que um DTC discriminativo em um veículo é usado um DTC de confiança elevada. Além disso, considerando que a confiança conf(r) da regra r: Dj- > Pi afirma que (1-conf(r))% vezes nV DTC Dj levará à falha diferente de Pi, é marginalizado com a equação 7 abaixo. em que, é a probabilidade calculada para cada v G V1 tal como no caso do BRM.[055] For vehicles in V1, considering that at least one of Dj G disci occurred in [t0 — d, t0] , for each v G V1, the moment of occurrence tDj of DTC Dj is used as the initial moment, that is dk = tk - tDj. Still using the “delay parameters” as scale and p parameters? form in equations 4 and 5, , 1 , the failure probability of part Pi for each v G V1 is calculated considering that DTC Dj occurred at time tDj. In the event that more than one discriminative DTC has occurred on a vehicle, a high confidence DTC is used. Furthermore, given that the confidence conf(r) of rule r: Dj->Pi states that (1-conf(r))% times nV DTC Dj will lead to failure other than Pi, is marginalized with equation 7 below. on what, is the calculated probability for each v G V1 as in the case of BRM.

[056] Para os veículos em V0 é calculada a probabilidade de falha para a parte Pi para cada v G V0 usando apenas os dados relativos a falhas passadas, quer dizer usando os “parâmetros de falha” como parâmetros de escala e de forma nas equações 4 e 5 é calculado o' para tv cada v e Vo. o momento de venda de um veículo v e Vo é usado como momento inicial, quer dizer . Considerando que para cada v e Vo não ocorreu nenhum DTC Dj e disci em [t0 — d, t0], mas como a definição de CR afirma que CR% de vezes, ocorrerá pelo menos um de Dj e disci em [tpi — d, tpi] antes da falha da parte Pi, em que a probabilidade ' usando cR é marginalizada com a equação 8 abaixo. , em que pij é a probabilidade de que ocorrerá pelo menos um de DTC Dj e disci em [t0, t1]. Subsequentemente é determinado o pij para a parte Pi usando a falha n da parte Pi que ocorreu até t0.[056] For vehicles in V0, the probability of failure for part Pi is calculated for each v G V0 using only data related to past failures, that is, using the “failure parameters” as scale and shape parameters in equations 4 and 5, the ' to tv every ve Vo. the moment of sale of a vehicle ve Vo is used as the initial moment, i.e. . Considering that for each ve Vo no DTC Dj e disci occurred in [t0 — d, t0], but as the definition of CR states that CR% of times, there will occur at least one of Dj e disci in [tpi — d, tpi] before the failure of part Pi, where the probability ' using cR is marginalized with equation 8 below. , where pij is the probability that at least one of DTC Dj and disci will occur in [t0, t1]. Subsequently, the pij for part Pi is determined using the failure n of part Pi that occurred up to t0.

[057] Para determinar se o volume de falhas conforme previsto pelo modelo BRM e pelo modelo SARM da presente invenção diferem o suficiente para declarar um aviso precoce, a falha da parte Pi em um veículo é considerada como uma variável aleatória da distribuição de Bernoulli com o parâmetro p (probabilidade de falha de Pi). Considerando que a probabilidade de falha de Pi é diferente de veículo para veículo, as falhas de Pi em r veículos formam as variáveis aleatórias da distribuição de Bernoulli independentes de r e não idênticas. A soma destas variáveis r forma uma outra variável aleatória X representando o número de falhas de Pi em [t1, t2] que segue a distribuição binomial de Poisson. A media de X para ambos os casos é calculada conforme apresentada na equação 9 abaixo. [057] To determine whether the volume of failures as predicted by the BRM model and the SARM model of the present invention differ enough to declare an early warning, the failure of part Pi in a vehicle is considered as a random variable of the Bernoulli distribution with the parameter p (probability of failure of Pi). Considering that the failure probability of Pi is different from vehicle to vehicle, the failures of Pi in r vehicles form the non-identical r-independent random variables of the Bernoulli distribution. The sum of these variables r forms another random variable X representing the number of failures of Pi in [t1, t2] that follows the binomial Poisson distribution. The mean of X for both cases is calculated as shown in equation 9 below.

[058] Da mesma forma, a variância de X para ambos os casos é dada como [058] Likewise, the variance of X for both cases is given as

[059] De acordo com a presente invenção, o aviso precoce para a parte Pi é comunicado quando NPÍ - MPÍ > TPÍ, em que TPÍ é decidido com base em NPÍ e VarNPi.[059] According to the present invention, the early warning for the Pi part is communicated when NPÍ - MPÍ > TPÍ, where TPÍ is decided based on NPÍ and VarNPi.

[060] Uma vez detectado um aviso precoce para a parte pi são determinadas as causas subjacentes possíveis na etapa 208 identificando e caracterizando um subconjunto das máquinas conectadas por regras que apontam eventuais causas para a anomalia. Em alguns casos, um subconjunto que se desvia significativamente do resto da população de máquinas conectadas em termos da taxa de falhas é pequeno em comparação com a população total, o que resulta em um caso de não aviso precoce quando é realizada uma análise a nível da população total. O sistema 100 da presente invenção considera dois cenários possíveis - 1) análise das causas subjacentes para encontrar um subconjunto das máquinas conectadas, quando é identificado um aviso precoce para alguma parte a nível da população total e 2) determinação de regras para encontrar um subconjunto de veículos, quando não é visível nenhum aviso precoce a nível da população total, quer dizer quando a diferença entre Mpi e Npi é insignificante a nível da população, mas existe um pequeno subconjunto de população desconhecido que apresenta um desvio significativo em relação ao resto da população em termos de taxa de falhas.[060] Once an early warning for part pi is detected, the possible underlying causes are determined in step 208, identifying and characterizing a subset of machines connected by rules that point out possible causes for the anomaly. In some cases, a subset that significantly deviates from the rest of the population of connected machines in terms of failure rate is small compared to the total population, which results in a case of no early warning when an analysis is performed at the total population level. The system 100 of the present invention considers two possible scenarios - 1) analysis of underlying causes to find a subset of connected machines, when an early warning is identified for some part at the total population level, and 2) determination of rules to find a subset of vehicles, when no early warning is visible at the total population level, i.e. when the difference between Mpi and Npi is insignificant at the population level, but there is a small unknown population subset that has a significant deviation from the rest of the population in terms of failure rate .

[061] De acordo com a presente invenção, para encontrar um subconjunto de veículos que possa ser a eventual razão para um aviso precoce já identificado, as probabilidades processadas por computador nas equações 7 e 8 acima referidas são usadas para determinar os momentos de e? falha esperados a nível dos veículos, quer dizer, , o momento de falha esperado da parte Pi é processado por computador considerando que sobreviveu até ao momento t0 para cada v e V, o que é dado pela equação 13 abaixo. , em que e representam o tempo do veículo até ao início de t0 a partir de algum momento inicial e S(t) é a probabilidade de sobrevivência.[061] According to the present invention, to find a subset of vehicles that may be the eventual reason for an early warning already identified, the computer-processed probabilities in equations 7 and 8 above are used to determine the times of e? expected failures at vehicle level, ie , the expected failure moment of part Pi is computer processed considering that it survived until moment t0 for each v and V, which is given by equation 13 below. , where e represent the vehicle's time to the start of t0 from some initial time and S(t) is the probability of survival.

[062] A probabilidade de falha da parte Pi para cada v e V é analisada usando o modelo de fiabilidade básica (BRM) convencional assim como o modelo de fiabilidade aumentado por sensores (SARM) que incorpora DTCs. No BRM, os parâmetros de falha são usados como parâmetros de escala e de forma na equação 13 para calcular para cada v e V. Em uma forma de realização, o momento de venda do veículo v é usado como momento inicial, quer dizer [062] The probability of failure of the part Pi for each ve and V is analyzed using the conventional basic reliability model (BRM) as well as the sensor-augmented reliability model (SARM) that incorporates DTCs. In BRM, the failure parameters are used as scale and shape parameters in equation 13 to calculate for each v and V. In one embodiment, the moment of sale of the vehicle v is used as the initial moment, that is

[063] No SARM, o tempo de falha esperado da parte Pi é determinado dividindo r veículos nos conjuntos V0 e V1. Para cada v e V0 é calculado o momento de falha esperado. Mas para os veículos em V1, os parâmetros de retardamento são usados na equação 13 para calcular o momento de falha esperado de Pi. Assim, o momento de ocorrência tDj de DTC Dj é usado como momento inicial, quer dizere .[063] In SARM, the expected failure time of part Pi is determined by dividing r vehicles into sets V0 and V1. For each ve and V0, the expected failure time is calculated. But for vehicles in V1, the delay parameters are used in Equation 13 to calculate the expected failure moment of Pi. Thus, the moment of occurrence tDj of DTC Dj is used as the initial moment, i.e. It is .

[064] Assim para cada v G V existem dois eV eV momentos de falha esperados e da parte Pi, calculados usando o BRM e o SARM conforme acima descritos. Além disso, e - são usados para definir uma pontuação de anomalia da parte Pi para v G V, que é dada pela equação seguinte. [064] So for each v GV there are two eV eV expected failure moments It is of the Pi part, calculated using the BRM and SARM as described above. Furthermore, and - are used to define an anomaly score from part Pi to v GV, which is given by the following equation.

[065] Os veículos da população que apresentam uma pontuação de anomalia superior a um limiar predeterminado são selecionados para encontrar um subconjunto de veículos que possam apontar para as eventuais razões para o aviso precoce. Usando uma análise característica-a-característica, uma recolha de características, por exemplo, modelo, ano de fabricação, instalação de fabricação, geografia, fornecedor, etc. das máquinas conectadas que diferem estatisticamente entre os dois conjuntos, quer dizer, a totalidade da população e o subconjunto exibindo pontuações de anomalia elevadas são determinados.[065] Vehicles from the population that have an anomaly score greater than a predetermined threshold are selected to find a subset of vehicles that might point to the possible reasons for the early warning. Using a feature-by-feature analysis, a collection of features, e.g. model, year of manufacture, manufacturing facility, geography, vendor, etc. of the connected machines that differ statistically between the two sets, that is, the entire population and the subset exhibiting high anomaly scores are determined.

[066] É igualmente possível que apenas um subconjunto reduzido e desconhecido de veículos apresente um desvio significativo do resto da população em termos de taxa de falhas e que a diferença entre NPi e MPi permaneça insignificante a nível da população. Para assegurar que estas situações são detectadas tem de ser identificado um subgrupo da população apresentando uma pontuação de anomalia elevada. De acordo com uma forma de realização é usada uma técnica de descoberta de subgrupo, em que são agregadas regras de associação para se obter um pequeno conjunto de regras que cobrem uma fracção grande dos dados. Conforme descrito acima, a cada máquina conectada ou parte desta pode ser atribuída uma pontuação de anomalia e, de acordo com a presente invenção, podem ser identificados subgrupos de veículos com pontuações de anomalia elevadas, caracterizadas por regras com base nos atributos ou nas características da máquina/parte, tais como o modelo, o ano de fabricação, a instalação de fabricação, a geografia, o forneceder, etc.. Cada máquina conectada pode ser visualizada como um registro com as respectivas características em campos e uma pontuação de anomalia para a parte Pi que é discretizada em dois níveis, “elevada” ou “normal”, quer dizer, o campo de anomalia divide o conjunto de veículos V em dois conjuntos designados por Ei representando um conjunto de aviso precoce e NEi representando um conjunto de não aviso precoce para a parte Pi, em que e quer dizer complementam o conjunto de Ei.[066] It is also possible that only a small and unknown subset of vehicles presents a significant deviation from the rest of the population in terms of failure rate and that the difference between NPi and MPi remains insignificant at the population level. To ensure that these situations are detected, a subset of the population with a high anomaly score must be identified. According to one embodiment, a subgroup discovery technique is used, where association rules are aggregated to obtain a small set of rules covering a large fraction of the data. As described above, each connected machine or part thereof can be assigned an anomaly score and, according to the present invention, subgroups of vehicles with high anomaly scores can be identified, characterized by rules based on attributes or characteristics of the machine/part, such as model, year of manufacture, manufacturing facility, geography, supplier, etc. or “normal”, that is, the anomaly field divides the vehicle set V into two sets designated by Ei representing an early warning set and NEi representing a non-early warning set for part Pi, where It is that is to say they complement the set of Ei.

[067] De acordo com uma forma de realização, as regras de associação com uma pontuação de anomalia “elevada” Ei primeiro são minerados como o consequente, por ex. X&Y ...-> Ei, que satisfazem igualmente uma confiança mínima razoável (por ex. conf(r) > 0.75). Subsequentemente estas regras são ordenadas por ordem decrescente de suporte para escolher um subconjunto principal que cobre uma fracção suficientemente grande dos dados (por ex. pelo menos 50%). Em seguida as regras são agregadas usando uma técnica com base na densidade tal como DBScan e uma medida de distância que é inversamente proporcional ao grau de sobreposição entre duas regras, quer dizer, o número de registros que satisfazem ambas as regras. Como resultado, cada agregado de regras contém regras que se sobrepõem fortemente umas às outras; ao contrário, as regras de agregados diferentes apresentam uma sobreposição mútua reduzida. Finalmente, são selecionadas uma ou mais regras de cada agregado que apresentam um suporte e uma confiança elevados, gerando um conjunto de regras reduzido que identifica um subconjunto de máquinas conectadas com pontuações de anomalia predominantemente elevadas; os antecedentes destas regras apontam eventuais causas para as pontuações de anomalia elevadas observadas. Além disso, cada regra pode ser refinada pelas respectivas “exceções” por re- execução do procedimento acima referido não apenas dos dados cobertos pelos antecedentes da regra, mas usando o NEi como consequente. O procedimento de determinação de regras, conforme acima descrito, tem de ser executado independentemente de uma anomalia ser detectada a nível da população total ou não, considerando que é concebido particularmente para a situação em que a anomalia não é visível a nível da população.[067] According to one embodiment, association rules with a "high" anomaly score Ei first are mined as the consequent, e.g. X&Y ...-> Hey, which equally satisfy a reasonable minimum confidence (eg conf(r) > 0.75). Subsequently these rules are sorted in descending order of support to choose a major subset that covers a sufficiently large fraction of the data (eg at least 50%). Then the rules are aggregated using a density-based technique such as DBScan and a distance measure that is inversely proportional to the degree of overlap between two rules, that is, the number of records that satisfy both rules. As a result, each rule aggregate contains rules that heavily overlap with each other; on the contrary, the rules of different aggregates present a reduced mutual overlap. Finally, one or more rules from each aggregate that have high support and confidence are selected, generating a reduced rule set that identifies a subset of connected machines with predominantly high anomaly scores; the antecedents of these rules point to possible causes for the observed high anomaly scores. Furthermore, each rule can be refined by the respective “exceptions” by re-executing the above procedure not only on the data covered by the rule's antecedents, but using the NEi as a consequent. The rule determination procedure as described above has to be performed irrespective of whether an anomaly is detected at the total population level or not, considering that it is designed particularly for the situation where the anomaly is not visible at the population level.

EXPERIMENTAL RESULTS

[068] Os sistemas e os métodos da presente invenção foram validados pela previsão de falhas futuras de um conjunto de dados reais de um fabricante de veículos automóveis e pela comparação desta com falhas reais e falhas esperadas calculadas usando o BRM. Foram considerados três cenários encontrados nos dados do mundo real: 1) quando os volumes de falha reais são significativamente superiores ao esperado, quer dizer, um caso de aviso precoce; 2) quando os volumes de falha reais são inferiores ao esperado, e; 3) quando os volumes de falha reais e esperados coincidem. Os volumes de falha “esperados” se referem àqueles previstos por um modelo de fiabilidade básica (BRM) convencional apenas com base em dados relativos a falhas passadas. Em cada um dos casos acima referidos se verificou que o modelo aumentado (SARM) da presente invenção prevê volumes futuros que estão mais próximos dos números reais do que o modelo convencional (BRM). O modelo SARM da presente invenção foi igualmente validado por análise das causas subjacentes e determinação de regras com base em dados sintéticos.[068] The systems and methods of the present invention were validated by predicting future failures from a set of real data from a car manufacturer and comparing this with actual failures and expected failures calculated using the BRM. Three scenarios found in real-world data were considered: 1) when actual failure volumes are significantly higher than expected, ie an early warning case; 2) when actual failure volumes are lower than expected, and; 3) when actual and expected failure volumes coincide. “Expected” failure volumes refer to those predicted by a conventional basic reliability model (BRM) based solely on past failure data. In each of the above cases it was found that the augmented model (SARM) of the present invention predicts future volumes that are closer to the real numbers than the conventional model (BRM). The SARM model of the present invention has also been validated by analyzing underlying causes and determining rules based on synthetic data.

[069] Dados reais: foram considerados três conjuntos de dados incluindo dados relativos à venda, dados relativos ao DTC e dados relativos a reclamações. A Tabela I apresenta o número de veículos únicos ou os números de identificação de veículo VINs e o período de tempo para o qual os três conjuntos de dados estão disponíveis. TABELA I — CARACTERIZAÇÃO DE DADOS DO CONJUNTO DE DADOS [069] Actual data: three sets of data were considered including data related to sales, data related to DTC and data related to complaints. Table I presents the number of unique vehicles or vehicle identification numbers VINs and the time period for which the three sets of data are available. TABLE I — DATA CHARACTERIZATION OF THE DATA SET

[070] Com base na disponibilidade de dados, são escolhidas duas partes PG e PB para validar os métodos e os sistemas da presente invenção e os resultados foram processados por computador para os três cenários acima referidos. A caracterização de dados para estas duas partes é dada na Tabela II. TABELA II — CARACTERIZAÇÃO DE DADOS DAS PARTES PG E PB [070] Based on the availability of data, two parts PG and PB are chosen to validate the methods and systems of the present invention and the results were processed by computer for the three scenarios mentioned above. The data characterization for these two parts is given in Table II. TABLE II — DATA CHARACTERIZATION OF THE PG AND PB PARTS

[071] De acordo com os métodos da presente invenção primeiro é identificado um conjunto de DTCs discriminativos para cada parte. A Tabela III apresenta as regras identificadas para as partes PG e PB. TABELA III — REGRAS DOS DTCS IDENTIFICADOS PARA AS PARTES PG E PB [071] According to the methods of the present invention, a set of discriminative DTCs for each part is first identified. Table III presents the rules identified for the PG and PB parts. TABLE III — DTCS RULES IDENTIFIED FOR THE PG AND PB PARTS

[072] É evidente que existem três regras com Tp = 0.7 e Rc = 0.8 para ambas as partes. É igualmente evidente que o suporte de cada regra na base de dados geral D e em um conjunto de falha Df. Assim, o disci para a parte PG é {P2162, P07E7, P07E0} e para a parte PB é {B1304, B100D, B1D21}. Para cada parte, os parâmetros de retardamento e de falha de cada DTC em disci são determinados usando um modelo gráfico Bayesiano conforme acima explicado com referência à etapa 204 do método da presente invenção. Para a experiência foi usada uma biblioteca python “pymc” para estimar os parâmetros do modelo Bayesiano por meio da amostragem do tipo Markov Chain Monte Carlo (MCMC).[072] It is evident that there are three rules with Tp = 0.7 and Rc = 0.8 for both parts. It is equally evident that the support of each rule in the general database D and in a failure set Df. So the disci for the PG part is {P2162, P07E7, P07E0} and for the PB part it is {B1304, B100D, B1D21}. For each part, the delay and failure parameters of each DTC in disci are determined using a graphical Bayesian model as explained above with reference to step 204 of the method of the present invention. For the experiment, a python library “pymc” was used to estimate the parameters of the Bayesian model through Markov Chain Monte Carlo (MCMC) sampling.

[073] Conforme acima descrito no modelo Bayesiano se parte do princípio que o retardamento entre a falha da parte e a ocorrência do DTC segue uma distribuição de Weibull com parâmetros de retardamento como parâmetros de escala e de forma da distribuição. Foi confirmado empiricamente que a distribuição de Weibull é adequada para a variável Tij. A adequação da distribuição de Weibull foi comparada com a distribuição de Gaussian para a variável Tij. A FIG. 4 ilustra gráficos (quantil-quantil) QQ entre os dados reais da variável Tij e os dados de amostra das distribuições de Weibull e de Gaussian, com parâmetros estimados a partir do modelo Bayesiano, para os seis DTCs. É claramente evidente que a distribuição de Weibull é mais adequada do que a distribuição de Gaussian para a variável Tij. Além dos gráficos QQ foi usado um teste do tipo Kolmogorov-Smirnov(K- S) para verificar a adequação para a variável Tij. A Tabela IV apresenta o valor p da distribuição de Weibull e de Gaussian para a variável Tij. São igualmente evidente os valores dos parâmetros de retardamento e de falha em termos de dias calculados a partir do momento de venda do veículo, que foram determinados para partes e os respectivos DTCs discriminativos usando o modelo Bayesiano. TABELA IV — PARÂMETROS DETERMINADOS USANDO O MODELO GRÁFICO BAYESIANO [073] As described above in the Bayesian model, it is assumed that the delay between the failure of the part and the occurrence of the DTC follows a Weibull distribution with delay parameters as parameters of scale and shape of the distribution. It was empirically confirmed that the Weibull distribution is suitable for the Tij variable. The adequacy of the Weibull distribution was compared with the Gaussian distribution for the Tij variable. FIG. 4 illustrates (quantile-quantile) QQ graphs between the actual data of the Tij variable and sample data from the Weibull and Gaussian distributions, with parameters estimated from the Bayesian model, for the six DTCs. It is clearly evident that the Weibull distribution is more suitable than the Gaussian distribution for the Tij variable. In addition to the QQ graphs, a Kolmogorov-Smirnov(K-S) test was used to verify the suitability for the Tij variable. Table IV shows the p-value of the Weibull and Gaussian distributions for the Tij variable. Equally evident are the values of the delay and failure parameters in terms of days calculated from the time of sale of the vehicle, which were determined for parts and the respective discriminative DTCs using the Bayesian model. TABLE IV — PARAMETERS DETERMINED USING THE BAYESIAN GRAPHIC MODEL

[074] De acordo com a presente invenção, o número futuro de falhas das partes PG e PB é previsto usando os parâmetros de retardamento e de falha apresentados na Tabela IV. No caso da parte PG, os dados relativos a reclamações e os dados relativos ao DTC até t0 são usados para identificar um conjunto de DTCs discriminativos e para determinar os parâmetros do modelo Bayesiano. O número de falhas para o mês M1 (> t0) é previsto e comparado com o número de falhas esperado e as falhas reais. Da mesma forma, no caso da parte PB, é previsto o número de falhas para dois meses M2 e M3. A FIG. 5 apresenta o número de falhas previsto (usando SARM) vs real vs esperado (por BRM) para os três cenários acima referidos, demonstrando claramente o melhor desempenho preditivo do SARM da presente invenção em comparação com as falhas esperadas usando o BRM. É evidente que as previsões apontam para um aviso precoce para a parte PG, considerando que a diferença entre os valores previstos (SARM) e esperados (BRM) é significativa. Além disso, as previsões SARM coincidem melhor com as falhas observadas em M1.[074] According to the present invention, the future number of failures of the PG and PB parts is predicted using the delay and failure parameters presented in Table IV. In the case of the PG part, the data relating to complaints and the data relating to the DTC up to t0 are used to identify a set of discriminative DTCs and to determine the parameters of the Bayesian model. The number of failures for month M1 (>t0) is predicted and compared with the expected number of failures and the actual failures. Likewise, in the case of part PB, the number of failures for two months M2 and M3 is predicted. FIG. 5 presents the predicted (using SARM) vs actual vs expected (by BRM) number of failures for the above three scenarios, clearly demonstrating the better predictive performance of the SARM of the present invention compared to the expected failures using the BRM. It is evident that the predictions point to an early warning for the PG part, considering that the difference between the predicted (SARM) and expected (BRM) values is significant. Furthermore, the SARM predictions better match the observed failures in M1.

[075] A FIG. 6 apresenta a tendência semanal de esperado vs real vs previsto, para a parte PG. É claramente evidente que existe um caso de aviso precoce na semana 6 e uma tendência de aviso precoce similar ocorre nas semanas futuras (> t0) e que o modelo SARM da presente invenção prevê corretamente esta tendência.[075] FIG. 6 shows the weekly trend of expected vs actual vs forecast for the PG share. It is clearly evident that there is a case of early warning at week 6 and a similar early warning trend occurs in future weeks (>t0) and that the SARM model of the present invention correctly predicts this trend.

[076] Dados sintéticos: Foram simulados três cenários: 1) NW: sem aviso precoce; 2) EW-1: aviso precoce-1, e; 3) EW-2: aviso precoce-2. No caso de NW, foram gerados 0,1M registros para veículos com data de compra, quilômetros percorridos, datas de ocorrência de DTC e datas de falha de partes; assumindo que as datas de compra estão distribuídas uniformemente por um período de 5 anos. O número de quilômetros percorridos por dia para cada veículo foi determinado a partir de uma distribuição uniforme. Os momentos de falha foram gerados para 10 partes usando distribuições de Weibull com diferentes parâmetros de escala e de forma. Foram igualmente gerados os dados relativos ao DTC com códigos DTC, que se tornam observáveis antes da falha da parte. O retardamento entre a falha da parte e a ocorrência do DTC foi gerado usando a distribuição de Weibull com parâmetros diferentes para cada DTC. Os atributos ou as características dos veículos gerados são apresentados na Tabela V. TABELA V — ATRIBUTOS E CARACTERÍSTICAS DE VEÍCULOS EM DADOS SINTÉTICOS [076] Synthetic data: Three scenarios were simulated: 1) NW: no early warning; 2) EW-1: early warning-1, and; 3) EW-2: Early Warning-2. In the case of NW, 0.1M records were generated for vehicles with purchase date, kilometers driven, DTC occurrence dates and parts failure dates; assuming purchase dates are spread evenly over a 5-year period. The number of kilometers traveled per day for each vehicle was determined from a uniform distribution. Failure moments were generated for 10 parts using Weibull distributions with different scale and shape parameters. DTC data with DTC codes, which become observable prior to part failure, have also been generated. The delay between part failure and DTC occurrence was generated using the Weibull distribution with different parameters for each DTC. The attributes or characteristics of the vehicles generated are shown in Table V. TABLE V — ATTRIBUTES AND CHARACTERISTICS OF VEHICLES IN SYNTHETIC DATA

[077] No caso de EW-1, o aviso precoce em veículos do ano do modelo 2012 foi induzido por antecipação dos momentos de falha da parte Pi nestes veículos. Da mesma forma, no caso de EW-2, o aviso precoce em veículos do ano do modelo “2012”, da geografia “EUA”, e fabricados na instalação 1 e 2 foi induzido por antecipação dos momentos de falha da parte Pi nestes veículos. Considerando o momento t0 as falhas da parte Pi foram previstas usando uma abordagem de aviso precoce e comparadas com as falhas esperadas e com as falhas reais.[077] In the case of EW-1, early warning on 2012 model year vehicles was induced by anticipating Pi part failure times on these vehicles. Likewise, in the case of EW-2, the early warning in vehicles of model year “2012”, geography “USA”, and manufactured in installation 1 and 2 was induced by anticipating the moments of failure of the Pi part in these vehicles. Considering time t0 the failures of part Pi were predicted using an early warning approach and compared with expected failures and actual failures.

[078] A Tabela VI contém as pontuações de anomalias médias para veículos de toda a população para cada um dos três casos acima referidos. TABELA VI — ATRIBUTOS OU CARACTERÍSTICAS DE VEÍCULOS EM DADOS SIMULADOS [078] Table VI contains the mean malfunction scores for vehicles across the population for each of the three cases above. TABLE VI — VEHICLE ATTRIBUTES OR CHARACTERISTICS IN SIMULATED DATA

[079] É evidente que a pontuação de anomalia para EW-1 é quase o dobro da pontuação do caso sem aviso (NW) e, por conseguinte, visível a nível da população total. Contudo, o aviso de EW-2 não é visível na população total, sendo que a respectiva pontuação de anomalia é equivalente àquela de NW ou do caso sem aviso precoce.[079] It is evident that the anomaly score for EW-1 is almost double the score for the case without warning (NW) and therefore visible at the total population level. However, the EW-2 warning is not visible in the total population, and the respective anomaly score is equivalent to that of NW or the no early warning case.

[080] A análise das causas subjacentes foi realizada para revelar a eventual causa de EW-1. EW-2 pode ser detectado apenas por determinação de regras considerando que é invisível com base nas pontuações de anomalias médias a um nível da população total. A análise das causas subjacentes para a parte Pi é demonstrada por meio de um suporte de ferramentas analíticas visuais ilustrado na FIG. 7, que apresenta um mapa de calor entre o mês de falhas esperado da parte Pi para os veículos, calculado usando o BRM (eixo x) e o SARM (eixo y). É igualmente evidente a distribuição de vários atributos de veículos selecionados para observação. A região muito abaixo da diagonal do mapa de calor contém veículos em que o SARM prevê uma falha muito mais precoce do que o BRM, quer dizer, os veículos envolvidos no aviso precoce. A seleção de uma gama desta região atualiza as distribuições por atributos para aquelas para este conjunto restrito. Usando as distribuições antes e depois de uma seleção desta natureza são comparadas, revelando a razão para o aviso precoce. A FIG. 7 sugere claramente que depois de selecionar veículos na região direita inferior, quer dizer aqueles com pontuações de anomalia elevadas, a probabilidade do atributo “ano do modelo 2012” aumenta significativamente, o que demonstra que uma percentagem elevada de veículos que se situam em uma região de pontuações de anomalia elevada são carros do ano do modelo 2012.[080] Analysis of underlying causes was performed to reveal the eventual cause of EW-1. EW-2 can only be detected by rule determination considering it is invisible based on average anomaly scores at a total population level. The analysis of underlying causes for part Pi is demonstrated using a visual analytic tool holder illustrated in FIG. 7, which presents a heat map between the Pi part expected failure month for the vehicles, calculated using the BRM (x-axis) and the SARM (y-axis). Equally evident is the distribution of various attributes of vehicles selected for observation. The region far below the diagonal of the heat map contains vehicles that the SARM predicts a failure much earlier than the BRM, that is, the vehicles involved in the early warning. Selecting a range from this region updates the attribute distributions to those for this restricted set. Using the distributions before and after a selection of this nature are compared, revealing the reason for the early warning. FIG. 7 clearly suggests that after selecting vehicles in the lower right region, i.e. those with high anomaly scores, the probability of the “2012 model year” attribute increases significantly, which demonstrates that a high percentage of vehicles that fall in a region of high anomaly scores are 2012 model year cars.

[081] Para a determinação de regras da parte Pi no caso EW-2, os veículos em que a parte Pi não falhou até t0 são divididos em dois conjuntos: “aviso precoce” e “aviso não precoce”, usando um limiar Ta como a média da pontuação de anomalia para todos os veículos. Além disso, as regras e as exceções dos atributos dos veículos são identificadas usando técnicas, conforme explicadas com referência às equações 13, 14 e 15. A FIG. 8 ilustra um par de exceção à regra exemplificativo descoberto para um conjunto de aviso precoce, em que são apresentados a confiança, o suporte e a elevação para a regra; além disso uma exceção à regra é apresentada de forma similar. Isto demonstra que os veículos do ano do modelo 2012 e da geografia (EUA) e fabricados em todas as instalações apresentam um aviso precoce, com uma confiança de 82% e um suporte de 15,6%, com uma exceção: nos carros cobertos por esta regra, aqueles fabricados na instalação b situam-se mais frequentemente no conjunto de aviso não precoce do que outros.[081] For the determination of part Pi rules in the EW-2 case, vehicles in which part Pi has not failed by t0 are divided into two sets: “early warning” and “non-early warning”, using a threshold Ta as the average of the anomaly score for all vehicles. Furthermore, rules and exceptions of vehicle attributes are identified using techniques as explained with reference to equations 13, 14 and 15. FIG. 8 illustrates an example exception-to-rule pair discovered for an early warning set, where confidence, support, and elevation for the rule are shown; furthermore an exception to the rule is presented in a similar way. This demonstrates that vehicles of the 2012 model year and geography (US) and manufactured in all facilities have an early warning, with an 82% confidence and 15.6% support, with one exception: in the cars covered by this rule, those manufactured in facility b are more frequently in the non-early warning set than others.

[082] Os sistemas e os métodos da presente invenção providenciam uma estrutura completa para prever avisos precoces de volumes de falha inesperados usando DTCs com base em sensores conjuntamente com dados relativos à falha de partes e combinam os avisos precoces de falha com uma análise das causas subjacentes assim como uma descoberta de subgrupo. Os sistemas e os métodos da presente invenção exploram a disponibilidade de sensores indicadores incorporados em veículos modernos para sinalizar avisos precoces desta natureza por comparação das previsões de fiabilidade convencional com aquelas de um modelo aumentado com informação de sensores conforme recolhida e transmitida por meio da “internet industrial” de populações de máquinas conectadas altamente. Quando os dois modelos diferem significativamente é um indicativo de uma anomalia a nível da população e eventualmente de um indicador da eventual necessidade de uma repetição no futuro. Além disso, para detectar anomalias da forma acima referida, os sistemas e os métodos da presente invenção permitem expandir para descobrir eventuais causas subjacentes à anomalia, de forma que possa ser resolvida antecipadamente. Finalmente, os sistemas e os métodos da presente invenção identificam anomalias em pequenos subgrupos que não são visíveis estatisticamente na população geral. A eficácia dos sistemas e dos métodos da presente invenção é evidente a partir das experiências realizadas usando dados da vida real em que foram detectados avisos precoces reais e experiências usando dados gerados sinteticamente em que foram corretamente estabelecidas uma análise das causas subjacentes e uma descoberta de regras.[082] The systems and methods of the present invention provide a complete framework for predicting early warnings of unexpected failure volumes using DTCs based on sensors in conjunction with data relating to the failure of parts and combine early warnings of failure with an analysis of the underlying causes as well as a subgroup discovery. The systems and methods of the present invention exploit the availability of indicator sensors incorporated into modern vehicles to signal early warnings of this nature by comparing conventional reliability predictions with those of a model augmented with sensor information as gathered and transmitted over the "industrial internet" from populations of highly connected machines. When the two models differ significantly, it is an indication of an anomaly at the population level and eventually an indicator of the possible need for a repetition in the future. In addition, to detect anomalies in the above-mentioned manner, the systems and methods of the present invention allow expanding to discover possible underlying causes of the anomaly, so that it can be resolved in advance. Finally, the systems and methods of the present invention identify anomalies in small subgroups that are not statistically visible in the general population. The effectiveness of the systems and methods of the present invention is evident from experiments performed using real life data where real early warnings were detected and experiments using synthetically generated data where an analysis of underlying causes and rule discovery were correctly established.

[083] Embora os sistemas e os métodos da presente invenção tenham sido ilustrados com referência à previsão de falhas na indústria automóvel por meio dos dados experimentais acima referidos para o perito na técnica é evidente que a previsão de falhas desempenha um papel importante em vários domínios e os sistemas e os métodos da presente invenção podem ser aplicados aos domínios do software, da saúde e dos seguros e similares.[083] Although the systems and methods of the present invention have been illustrated with reference to predicting failures in the automotive industry by means of the above experimental data for the person skilled in the art, it is clear that predicting failures plays an important role in various domains, and the systems and methods of the present invention can be applied to the domains of software, health and insurance and the like.

[084] A descrição escrita descreve o objeto da presente invenção para permitir ao perito na técnica realizar e usar as formas de realização da invenção. O âmbito das formas de realização do objeto definido no presente documento pode incluir outras modificações que ocorram ao perito na técnica. Estas modificações pretendem fazer parte do âmbito quando apresentam elementos similares que não diferem da linguagem literal das reivindicações ou quando incluem elementos equivalentes com diferenças não substanciais da linguagem literal.[084] The written description describes the object of the present invention to enable the person skilled in the art to carry out and use the embodiments of the invention. The scope of embodiments of the object defined herein may include other modifications occurring to the person skilled in the art. These modifications are intended to be within the scope when they present similar elements that do not differ from the literal language of the claims or when they include equivalent elements with insubstantial differences from the literal language.

[085] Contudo, é evidente que o âmbito da proteção se estende a um programa desta natureza e além disso a um meio legível por computador apresentando uma mensagem neste; este meio de armazenamento legível por computador contém meios de código de programa para implementar uma ou mais etapas do método, quando o programa é executado em um servidor ou um dispositivo móvel ou qualquer outro dispositivo programável adequado. O dispositivo de hardware pode ser qualquer tipo de dispositivo que possa ser programado incluindo por ex. qualquer tipo de computador como um servidor ou um computador pessoal, ou similar, ou qualquer combinação destes. O dispositivo pode igualmente incluir meios que podem ser por ex. meios de hardware tais como por ex. circuitos integrados específicos de aplicação (ASIC), redes de portas lógicas programáveis (FPGA) ou uma combinação de meios de hardware e de software, por ex. um ASIC e uma FPGA, ou pelo menos um microprocessador e pelo menos uma memória com módulos de software localizados nesta. Assim, os meios podem incluir meios de hardware e de software. As formas de realização do método descritas no presente documento podem ser implementadas em hardware e em software. O dispositivo pode igualmente incluir meios de software. Alternativamente, a invenção pode ser implementada em diferentes dispositivos de hardware, por ex. usando uma pluralidade de CPUs.[085] However, it is clear that the scope of protection extends to a program of this nature and further to a computer-readable medium displaying a message on it; this computer-readable storage medium contains program code means for implementing one or more steps of the method when the program is executed on a server or a mobile device or any other suitable programmable device. The hardware device can be any type of device that can be programmed including e.g. any type of computer such as a server or a personal computer, or similar, or any combination thereof. The device may also include means which may be e.g. hardware means such as e.g. application-specific integrated circuits (ASIC), programmable logic gate networks (FPGA) or a combination of hardware and software means, e.g. an ASIC and an FPGA, or at least one microprocessor and at least one memory with software modules located therein. Thus, means may include both hardware and software means. Embodiments of the method described herein can be implemented in hardware and in software. The device may also include software media. Alternatively, the invention can be implemented on different hardware devices, e.g. using a plurality of CPUs.

[086] As formas de realização no presente documento podem compreender hardware e software. As formas de realização que são implementadas em software incluem mas não estão limitadas a firmware, software residente, microcódigos, etc.. As funções desempenhadas pelos vários módulos que constituem o sistema da presente invenção e são descritos no presente documento podem ser implementados em outros módulos ou em combinações de outros módulos. Para efeitos desta descrição, um meio utilizável por computador ou legível por computador pode ser qualquer aparelho que compreenda, armazene, comunique, propague ou transporte o programa para o uso por ou em conexão com o sistema, aparelho ou dispositivo de execução de instruções. Os vários módulos descritos no presente documento podem ser implementados como módulos de software e/ou hardware e podem ser armazenados em qualquer tipo de meio legível por computador não transitório ou outro dispositivo de armazenamento. Alguns exemplos não limitativos de meios legíveis por computador não transitórios incluem CDs, DVDs, BLU-RAY, memórias flash e unidades de disco rígido.[086] The embodiments herein may comprise both hardware and software. Embodiments that are implemented in software include but are not limited to firmware, resident software, microcodes, etc. The functions performed by the various modules that make up the system of the present invention and are described in the present document can be implemented in other modules or in combinations of other modules. For purposes of this description, a computer-usable or computer-readable medium may be any apparatus that understands, stores, communicates, propagates, or transports the program for use by or in connection with the instruction-executing system, apparatus, or device. The various modules described herein may be implemented as software and/or hardware modules and may be stored on any type of non-transient computer readable medium or other storage device. Some non-limiting examples of non-transient computer readable media include CDs, DVDs, BLU-RAY, flash memories and hard disk drives.

[087] Um sistema de processamento de dados adequado para o armazenamento e/ou a execução de códigos de programa inclui pelo menos um processador acoplado diretamente ou indiretamente a elementos de memória por meio de um sistema de barramento. Os elementos de memória podem incluir uma memória local usada durante a execução real do código de programa, memória de grande capacidade e memórias em cache que providenciam um armazenamento temporário de pelo menos algum código de programa para reduzir o número de vezes que o código tem de ser consultado a partir da memória de grande capacidade durante a execução.[087] A data processing system suitable for storing and/or executing program codes includes at least one processor coupled directly or indirectly to memory elements via a bus system. Memory elements may include local memory used during actual execution of program code, large memory, and cache memories that provide temporary storage of at least some program code to reduce the number of times code must be consulted from large memory during execution.

[088] Além disso, embora as etapas de processo, as etapas de método, as técnicas ou similares possam ser descritos em uma ordem sequencial, estes processos, métodos e técnicas podem ser configurados para trabalhar em ordens alternadas. Por outras palavras, qualquer sequência ou ordem de etapas que pode ser descrita não indica necessariamente que as etapas tenham de ser realizadas nessa ordem. As etapas dos processos descritas no presente documento podem ser realizadas em qualquer ordem prática. Além disso, algumas etapas podem ser realizadas simultaneamente.[088] Furthermore, although process steps, method steps, techniques or the like may be described in a sequential order, these processes, methods and techniques may be configured to work in alternating orders. In other words, any sequence or order of steps that may be described does not necessarily indicate that the steps must be performed in that order. The process steps described herein may be performed in any practical order. Also, some steps can be performed simultaneously.

[089] A descrição precedente foi apresentada com referência a várias formas de realização. Para os peritos na técnica é evidente que podem ser realizadas alterações e mudanças nas estruturas e nos métodos de operação descritos sem abandonar o princípio, o espírito e o âmbito.[089] The foregoing description has been presented with reference to various embodiments. It is apparent to those skilled in the art that alterations and changes can be made to the described structures and methods of operation without departing from principle, spirit and scope.

Claims

1. A COMPUTER-IMPLEMENTED METHOD (200) FOR MINING PREDICTABLE RELIABILITY IN A POPULATION OF CONNECTED MACHINES, characterized in that the method (200) comprises: identifying sets of Discriminative Diagnostic Trouble Codes (DTCs) (114) from DTCs generated by past failures, wherein the sets of discriminative DTCs correspond to associated predefined parts of the connected machines; generate a conditional time dependence model based on the time dependence between the failure of the predefined parts from data relating to past failures and the identified sets of discriminative DTCs; and predict future failures based on the generated conditional time dependency and on the occurrence and non-occurrence of DTCs; and perform an analysis of the underlying causes of predicted future failures for predictive reliability mining, where the step of performing an analysis of the underlying causes comprises identifying a subset of the population with an eventual anomaly when an early warning is not generated at the population level, where the step of performing the analysis of the underlying causes comprises: (i) defining an anomaly score for each of the connected machines; (ii) associate each of the connected machines with a record comprising a set of predefined characteristics and the defined anomaly score; (iii) discretizing the defined anomaly score at a predetermined high level or at a normal level; (iv) perform association rule mining to identify rules with the high-level anomaly score; (v) aggregating the identified association rules using a density-based technique to form rule aggregates; (vi) select one or more rules from each of the rule aggregates that show high support and confidence; and identifying the subset of the population with the high-level anomaly score based on antecedents of the one or more selected rules that are indicative of possible reasons for the high-level anomaly score.

2. METHOD IMPLEMENTED BY COMPUTER (200), according to claim 1, characterized in that the step of identifying sets of discriminative DTCs is based on mining association rules.

3. METHOD IMPLEMENTED BY COMPUTER (200), according to claim 2, characterized by the mining of association rules comprising the use of the Apriori technique.

4. METHOD IMPLEMENTED BY COMPUTER (200), according to claim 2, characterized by the antecedents of the rules identified by the mining technique of association rules forming the set of discriminative DTCs.

5. COMPUTER-IMPLEMENTED METHOD (200), according to claim 1, characterized in that the temporal conditional dependency model is a Bayesian network (116).

6. METHOD IMPLEMENTED BY COMPUTER (200), according to claim 1, characterized by the temporal dependence between the failure of the predefined parts from data related to past failures and the sets of discriminative DTCs identified following a Weibull distribution.

7. COMPUTER-IMPLEMENTED METHOD (200), according to claim 1, characterized in that the step of generating a conditional time dependency model is followed by a step of separating the population of connected machines into a first set comprising connected machines in which the DTCs are not generated in a predetermined period of time and in a second set comprising connected machines in which at least one of the DTCs is generated in the predetermined period of time.

8. COMPUTER-IMPLEMENTED METHOD (200), according to claim 7, characterized by the step of predicting future failures comprising the step of computer processing the probability of failure based on both the occurrence and non-occurrence of DTCs in the separate population of connected machines and generating an early warning when the predicted number of failures is greater than the expected number of failures based on data relating to past failures by a predefined value.

9. METHOD IMPLEMENTED BY COMPUTER (200), according to claim 8, characterized in that the predefined value is based on the predicted number of failures and the variance of a random variable representing the number of failures of the predefined parts in a predetermined period of time.

10. COMPUTER-IMPLEMENTED METHOD (200), according to claim 1, characterized by the step of performing an analysis of the underlying causes comprising identifying the subset of the population when an early warning is generated for at least one of the predefined parties.

11. COMPUTER-IMPLEMENTED METHOD (200), according to claim 7, characterized by the step of performing an analysis of the underlying causes when an early warning is generated for at least one of the predefined parts to comprise: (i) calculate a first expected failure moment based on data related to past failures; (ii) calculate a second expected time of failure based on the expected time of failure of the second set of the separated population based further on predefined delay parameters and the time of occurrence of at least one DTC; (iii) define an anomaly score for each of the connected machines based on the calculated first expected time of failure and second expected time of failure; (iv) iteratively perform steps from (i) to (iv) for predefined characteristics of connected machines; and (v) identify the subset of the population with an anomaly score greater than a predefined threshold, where the identified subset indicates possible reasons for early warning for each of the predefined characteristics.

12. A SYSTEM (100) FOR MINING PREDICTABLE RELIABILITY ON A POPULATION OF CONNECTED MACHINES, characterized in that the system (100) comprises: one or more processors; a communication interface device; one or more internal data storage devices operatively coupled with the one or more processors for storing: an input module (112) configured to receive Diagnostic Trouble Codes (DTCs) (114) from on-board diagnostic systems (110) of predefined parts of the connected machines; a DTC pattern identifier configured to identify sets of discriminative DTCs from DTCs generated by preceding faults, wherein the sets of discriminative DTCs correspond to predefined parts of connected machines; a Bayesian network generator (116) configured to generate a conditional time dependency model based on the time dependence between the failure of predefined parts from past failure data and the identified sets of discriminative DTCs; and a fault predictor (118) configured to predict future faults based on the generated conditional time dependency and the occurrence and non-occurrence of DTCs; and an analyzer (120) configured to perform an analysis of the underlying causes of predicted future failures for predictive reliability mining, wherein the step of performing an analysis of the underlying causes comprises identifying a subset of the population with an eventual anomaly when an early warning is not generated at the population level, wherein the step of performing the analysis of the underlying causes comprises: (i) setting an anomaly score for each of the connected machines; (ii) associate each of the connected machines with a record comprising a set of predefined characteristics and the defined anomaly score; (iii) discretizing the defined anomaly score at a predetermined high level or at a normal level; (iv) perform association rule mining to identify rules with the high-level anomaly score; (v) aggregating the identified association rules using a density-based technique to form rule aggregates; (vi) select one or more rules from each of the rule aggregates that show high support and confidence; and identifying the subset of the population with the high-level anomaly score based on antecedents of the one or more selected rules that are indicative of possible reasons for the high-level anomaly score.