Use o componente de Comparação de Modelos para identificar o algoritmo de melhor desempenho entre dois algoritmos para solucionar um problema complexo em todos os cenários (SAP HANA e outros). Inclua um componente filho para realizar análises futuras.
Pré-requisitos: É obrigatório usar os componentes
Estatísticas de Modelos e
Partição com o componente de
Comparação de Modelos para criar sua cadeia de comparação de modelos.
Siga as etapas a seguir para realizar uma comparação entre dois componentes:
- Em Expert Analytics, conecte-se a uma Fonte de Dados e vá até a divisão Prever.
- Da Lista de componentes, escolha a seção Preparação de dados.
- Arraste e solte um componente de Partição no editor de análise. Alternativamente, dê um duplo clique no componente Partição. Clique em OK.
- Na seção de Algoritmo, arraste e solte os algoritmos selecionados para o editor de análises. Por exemplo, se estiver solucionando um problema de classificação, selecione três algoritmos de classificação, Auto Classification, R-CNR Tree, e Naïve Bayes.
- A partir da seção Preparação de Dados inclua componentes Estatísticas de Modelos para cada algoritmo selecionado. Isso permite que o Expert Analytics calcule estatísticas de desempenho no conjunto de dados que o algoritmo gera.
- Clique duas vezes nos componentes Estatísticas de Modelo para exibir as opções de configuração. Alternativamente, clique no ícone do menu de contexto e selecione Configurar configurações. O resultado é uma cadeia configurada que pode realizar a comparação de modelos.
- Configura as colunas Meta e Prevista para computar as estatísticas de desempenho em ambos os componentes de Estatísticas de Modelo.
- Da seção Preparação de dados, adicione o componente Comparação de Modelos no editor de análises.
- Arraste e solte o componente de Comparação de Modelos que incluiu no editor de análise sobre ambos os componentes de Estatísticas de Modelos que quer comparar. Depois disso o componente Comparação de Modelos estará vinculado a todos os componentes que deseja comparar.
Nota Para uma comparação de dois componentes, o componente
Comparação de Modelos permite que você inclua um nó filho, que o componente indica exibindo o ícone a seguir:

- Para começar a configurar a comparação, clique duas vezes sobre o componente Comparar para ver suas configurações. Como alternativa, no componente, clique no ícone Configurações
e, no menu de contexto, selecione Configurar definições.
- Na caixa de diálogo Comparação de Modelos selecione uma partição Validação ou Teste para comparar o desempenho de diversos componentes conectados a ele.
Nota O componente Comparação de Modelos usa a configuração Validar como padrão para compara modelos.
- Na seção KPI, realize uma das seguintes ações:
- Selecione os KPIs para uso e selecione para que possam ser comparados. O controle da ordem é importante pois o principal KPI não pode identificar um algoritmo vencedor, o componente pode realizar cálculos com o segundo KPI na lista e assim por diante.
- Clique nas setas para mover os KPIs para cima ou para baixo na ordem de comparação. Os componentes de entra devem ser do mesmo tipo no componente Comparação de Modelos. Se não, uma mensagem de erro será exibida.
- Especifique a porcentagem para comparação Ganho. A porcentagem do público-alvo deve estar entre 1% e 100% para um ponto decimal (por exemplo, 15,3%).
Nota Classificação possui 7 KPIs = KI, KR, KI + KR, AUC, S(KS), Ganho % e Comparação de Precisão %, onde a Regressão possui 9 KPIs = KI, KR, KI + KR, R2, L1, L2, LInf, ErrorMean e ErrorStdDev.
- Após concluir a configuração clique em Concluído.
- A cadeia de análise agora está totalmente configurada e pronta para ser executada. O sumário do componente de Estatísticas de Modelo exibe os KPIs calculados para todas as partições. Os títulos estão na ordem definida no componente Comparação de Modelo e as partições de Teste mostram somente quando o componente Comparação de Modelo existir e o Teste tiver sido selecionado para comparação.
Nota Se todas as partições estiverem indisponíveis no algoritmo ou no componente Estatísticas de Modelo o componente o considera como uma cadeia sem partição.
- Clique no ícone Executar análise
. Nota O componente calcula os resultados de desempenho em cada partição, mas somente na partição que você selecionar ele identifica um vencedor. O resultado é o melhor componente somente entre os comparados. É recomendado que você assegure que os valores KI sejam superiores a 95% antes de implementar o componente na produção.
- A guia Resultados mostra o Sumário dos resultados de comparação e destaca o melhor componente. O feedback inclui as seguintes informações:
- Um ícone de estrela
indica o componente de melhor desempenho. Isto é baseado na comparação de estatísticas de desempenho para os algoritmos, que pode ser do tipo classificação ou regressão. O Resumo separa os algoritmos do modelo por ordem desempenho. Ele compara os resultados com base nas partições selecionadas, que pode ser Testar ou Validar.
- Exibição em títulos na ordem definida no componente de Comparação de Modelos, com os títulos em negrito indicando os selecionados para comparação.
- Em caso de algoritmo de classificação as configurações Lucro ou Comparação de Precisão serão definidas por padrão em 10% caso não seja especificada uma porcentagem.
- Opcionalmente, quando estiver usando dois componentes pais você pode ampliar a análise incluindo um nó filho com uma tela de mapeamento para o componente Comparação de Modelos Para fazer isso, clique com o botão direito em Comparação de Modelos e selecione Configurar configurações. Alternativamente, clique duas vezes no componente Comparação de Modelos ou pressione F5. Depois disso ocorrerá um mapeamento padrão baseado no nome e tipo da coluna.
- Opcionalmente, nomeie as colunas que resultarem do mapeamento para o componente filho usar. É possível adicionar ou remover outras colunas do mesmo tipo. Para mapear outras colunas, inclua manualmente as linhas adicionais.
Nota Os dados nas colunas mapeadas se originam do componente vencedor. Nenhuma das colunas na janela de configuração podem estar vazias.
- Opcionalmente, é possível exportar o melhor modelo como um procedimento armazenado para consumo. Para fazer isso, no componente Comparação de Modelos clique no ícone Configurações
e a partir do menu de contexto resultante, selecione Exportar como procedimento armazenado.
- Opcionalmente, você pode salvar e exportar a melhor cadeia diretamente a partir do componente Comparação de Modelos. Para fazer isso, no componente Comparação de Modelos clique no ícone Configurações
e a partir do menu de contexto resultante, selecione Salvar como modelo.
Você pode usar os componentes Partição, Estatísticas de Modelo e Comparação de Modelos em harmonia para comparar algoritmos múltiplos para encontrar o melhor para usar em uma análise complexa.