A gestão de dados mestre está a evoluir de uma função reativa e baseada em regras para uma capacidade estratégica e orientada pela inteligência.
As abordagens tradicionais têm frequentemente dificuldade em acompanhar o ritmo dos dados complexos e abrangentes a vários domínios, distribuídos por sistemas ERP, CRM, PLM e SCM, o que deixa as organizações vulneráveis a erros, duplicações e registos incompletos.
Gartner indica que a má qualidade dos dados custa às organizações, em média, $12,9 milhões por ano. A IA e a aprendizagem automática estão a transformar este panorama, permitindo processos autónomos, tais como o enriquecimento de dados, a normalização, a deduplicação e a deteção de anomalias.
Estas capacidades permitem às organizações manter, de forma proativa, dados de elevada qualidade, consistentes e úteis para a tomada de decisões nos domínios dos clientes, dos produtos e do MRO.
Ao transformar o MDM de uma tarefa orientada para a conformidade num processo proativo e baseado em IA, as empresas podem converter conjuntos de dados anteriormente fragmentados e propensos a erros numa única fonte de verdade, o que contribui para melhores decisões operacionais, reduz o risco e permite obter novas eficiências em toda a empresa.
CASOS DE UTILIZAÇÃO
Os processos no âmbito da gestão de dados mestre incluem uma vasta gama de fluxos de trabalho e processos, nos quais podem ser implementadas tecnologias centradas na IA;
Normalização e padronização de registos de dados
Enriquecimento dos registos de dados mestre
Desduplicação
Integrações entre domínios de dados mestre
Governança dos Dados de Referência
Nas secções seguintes, iremos abordar a forma como as tecnologias de IA podem dar resposta a alguns dos desafios mais recorrentes, monótonos e demorados em cada uma destas áreas.
Normalização e padronização de registos de dados
Em ambientes empresariais, um mesmo item é frequentemente descrito de várias formas em diferentes fábricas, sistemas ou regiões, utilizando diferentes abreviaturas, convenções de nomenclatura, unidades de medida ou até mesmo idiomas.
Isto cria inconsistências que prejudicam a análise, a capacidade de pesquisa, a recuperação de dados, a lógica de correspondência e a colaboração interfuncional
Algumas das questões decorrentes destes desafios incluem: a dificuldade em alinhar conjuntos de dados em grande escala, a duplicação resultante de diferentes convenções de nomenclatura e vários desafios na implementação de um programa de governação de dados.
Um dos principais desafios na gestão de dados mestre é o facto de os atributos críticos dos artigos, como dimensões, classes de pressão e classes de material, estarem frequentemente ocultos em descrições de texto livre ou em documentos técnicos, tais como PDFs, fichas técnicas e manuais técnicos, Listas de materiais (listas de materiais), ou desenhos CAD.
Esta natureza não estruturada dificulta a extração, a normalização ou mesmo a pesquisa eficaz destes registos. A IA e o ML, em particular o Processamento de Linguagem Natural (NLP), desempenham um papel fundamental neste contexto.
Os modelos de PNL treinados, que recorrem frequentemente ao Reconhecimento de Entidades Nomeadas (NER), conseguem analisar descrições complexas e identificar automaticamente os atributos-chave.
Por exemplo, uma descrição de produto como «Válvula de esfera com flange SS316, PN40, DN25» seria dividido de forma inteligente em: Material = SS316, Pressão = PN40, Tamanho = DN25, e Tipo = Válvula de esfera.
Exemplos:
Num sistema de dados mestre de clientes, a morada do cliente A refere-se ao estado «Texas» como «TX», enquanto outro registo pode referir-se ao estado simplesmente como «Texas»; inconsistências semelhantes nas moradas, como «Parkway» ser referido como «Pk way», são bastante comuns.
Num sistema de dados de materiais, a dimensão indicada na descrição resumida de uma peça sobressalente pode referir-se ao tamanho em “Polegadas”» ou «Em» ou simplesmente como ″
Problemas como estes podem levar a um excesso de stock (no caso do mestre de materiais), à duplicação nas comunicações (no caso do mestre de clientes) e a toda uma série de outros problemas
Antes da IA, estes desafios eram geridos através de uma biblioteca de taxonomias existentes que, em geral, não era «holística», era difícil de manter e acompanhar, exigia atualizações contínuas e só funcionava quando gerida no âmbito de uma base de código estruturada.
Graças aos modelos de IA que são «sensíveis ao contexto» e treinados com conjuntos de dados verificáveis e de grande dimensão, estas inconsistências podem agora ser eliminadas sem grande esforço, com base na taxonomia adotada.
Basta fornecer ao modelo de IA as informações relativas à taxonomia adotada e o modelo encarrega-se de cumprir os requisitos de normalização.
Dica de profissional: Escolha um software de MDM com capacidade de autoaprendizagem que possa ser treinado em tempo real pelo «Human-in-the-Loop», que verifica as alterações e as aprova
Desta forma, o sistema de autoaprendizagem pode tornar-se verdadeiramente autónomo, limitando o papel do gestor de dados ao de um aprovador.
1. Expansão de abreviaturas e correspondência de terminologia: Os modelos de IA treinados com dados do setor compreendem que «Mtr» = «Metro», «SS304» = «Aço inoxidável 304», «CS Ball Vlv» = «Válvula de esfera em aço ao carbono», e assim por diante. Estas variantes são associadas a terminologia normalizada.
2. Normalização e conversão de unidades: Quer as dimensões sejam escritas como «10 mm», «0,01 m» ou «3 polegadas × 5 jardas», a IA pode convertê-los e unificá-los no sistema de medidas preferido (por exemplo, métrico) e separar campos compostos em atributos estruturados, como Largura e Comprimento.
3. Estruturação independente da linguagem: Os modelos de IA conseguem interpretar descrições em outras línguas que não o inglês e formatos locais, de modo a garantir a consistência a nível global.
Exemplo: Reconhecendo que «Filtros de óleo, 7-1/16 polegadas» em espanhol refere-se a um «Filtro de óleo, 7-1/16 polegadas», e, em seguida, extraí-la e mapeá-la corretamente.
Enriquecimento dos registos de dados mestre
Uma das questões mais incómodas na gestão da maioria dos conjuntos de dados mestre prende-se com a falta de informação. Muitas vezes, isto resulta, em primeiro lugar, da ausência ou da má qualidade das práticas de governação dos dados mestre. De acordo com Super AGI,
O enriquecimento de dados com IA pode melhorar a qualidade dos dados em até 90% e reduzir o tempo de processamento em até 80%
É complicado gerir a falta de informação, uma vez que a deduplicação, a normalização e as integrações entre vários domínios se tornam complexas se o contexto de um registo de dados simplesmente não estiver disponível desde o início.
No passado enriquecimento de registos de dados era feito manualmente por uma equipa de especialistas na matéria OU através de automatizações complexas que exigiam a manutenção de um armazém de dados de forma estruturada.
Automações prediais no enriquecimento de dados anteriormente necessário fornecedores de software de dados mestre estabelecer parcerias de dados para aceder a catálogos de fornecedores, dados de contacto, informações sobre colaboradores, etc., dependendo do domínio de dados em questão.
Contratar uma equipa de especialistas na matéria é uma opção bastante dispendiosa. Além disso, o desafio de resolver a questão dos dados em falta também se agrava, causando mais atrasos e agravando os desafios decorrentes da fraca qualidade dos dados mestre.
Os sistemas de IA agênica dão resposta a este desafio, uma vez que são «sensíveis ao contexto» e capazes de executar tarefas complexas, como navegar na Internet, recuperar dados de documentos e outras fontes não estruturadas e preencher as lacunas nos registos de dados existentes.
Além disso, Protocolos MCP estão a avançar a cada dia, dotando os agentes de IA de informação suficiente para que possam executar fluxos de trabalho tanto rudimentares como complexos, tirando partido de software de terceiros.
Desta forma, os agentes de IA treinados para fins específicos, quando dotados dos recursos adequados, podem resolver de forma autónoma quase todos os desafios relacionados com o enriquecimento de dados, e numa fração do tempo necessário.
No caso de documentos digitalizados ou ficheiros de desenhos técnicos, os sistemas de IA utilizam o Reconhecimento Ótico de Caracteres (OCR), combinado com o reconhecimento de padrões, para extrair dados tabulares ou especificações, mesmo quando estes aparecem em imagens ou esquemas técnicos.
Isto permite que as organizações extrair dados de documentos técnicos e transformá-los em registos de dados mestre organizados, estruturados e pesquisáveis.
Algumas aplicações de agentes de IA no enriquecimento de dados mestres
Aplicações
1. Análise automática de atributos a partir de descrições
Os modelos de IA, nomeadamente os baseados em PLN e treinados com conjuntos de dados específicos do setor, conseguem extrair de forma inteligente dados estruturados a partir de descrições complexas e não estruturadas de produtos ou materiais.
Exemplo: Converter «3-11/16″OD, 7-1/16″LG» em campos estruturados, tais como Diâmetro exterior e Comprimento nos registos do Mestre de Materiais.
2. Compreensão semântica para o mapeamento de campos
A IA compreende o contexto das palavras e abreviaturas utilizadas em diversos setores (por exemplo, «LG» = Comprimento, «OD» = Diâmetro Externo) e associa-as a campos de dados normalizados.
Exemplo: Reconhecer que «BALDWIN 915» se refere a um fabricante e a um número de peça, e atribuí-los em conformidade.
3. Harmonização e conversão de unidades
A IA padroniza os diferentes formatos e representações das medições, unificando-os num formato único em todo o conjunto de dados, eliminando assim as inconsistências.
Exemplo: Converter «3IN X 5 YDS» para unidades métricas padronizadas e dividi-las em Largura e Comprimento
A falta de informações, tais como especificações, números de referência do fabricante ou unidades de medida, é um problema comum, especialmente em conjuntos de dados antigos ou em importações de terceiros.
Estas lacunas podem prejudicar os fluxos de trabalho relacionados com as aquisições, a conformidade e a análise de dados.
A IA e o ML oferecem formas inteligentes de preencher essas lacunas. Recorrendo a técnicas como a inferência baseada na semelhança, os modelos analisam registos existentes e completos para sugerir valores prováveis para os registos incompletos.
Por exemplo, Se um novo artigo, «Rolamento SKF 6205», não tiver indicado o diâmetro exterior, a IA pode inferir o valor (por exemplo, 52 mm) a partir de outros artigos idênticos ou semelhantes já existentes na base de dados.
Além disso, a IA generativa pode cruzar dados internos com catálogos externos ou bases de dados de fornecedores para obter informações mais detalhadas, como dimensões, fichas técnicas, dados sobre o ciclo de vida ou peças alternativas.
Os modelos preditivos, tais como algoritmos de regressão ou árvores de decisão, também podem ser utilizados para estimar valores numéricos, como tensão, binário ou pressão nominal, quando estes não forem explicitamente mencionados.
Este nível de enriquecimento garante dados mestre mais completos e úteis, minimiza a introdução manual de dados e apoia os esforços de automatização, aprovisionamento e conformidade nas fases subsequentes.
É bastante comum, especialmente no domínio dos dados mestre de clientes, deparar-se com casos em que falta um endereço de e-mail, um número de telefone ou uma morada num registo de dados.
Através de uma combinação de protocolos MCP e agentes de IA, estas informações em falta podem ser complementadas através da recolha de dados de fontes públicas, como o LinkedIn, e até mesmo de fontes de terceiros disponíveis mediante subscrição, como DnB ou ZoomInfo.
Uma abordagem semelhante está agora a ser cada vez mais aplicada aos dados relativos a peças sobressalentes e à manutenção, reparação e revisão (MRO), em que a falta de informações ou a inconsistência dos dados podem afetar gravemente o desempenho da manutenção e da cadeia de abastecimento.
Os dados relativos às peças sobressalentes apresentam frequentemente descrições incompletas, atributos técnicos em falta ou registos duplicados espalhados por vários sistemas. Isto leva a confusão durante a pesquisa de peças, atrasos na manutenção e aquisições redundantes.
O enriquecimento de dados baseado em IA ajuda a superar estes desafios, tornando os registos de peças sobressalentes mais completos, consistentes e úteis.
Ao analisar registos de equipamentos, catálogos de fornecedores e dados históricos, os sistemas de IA podem:
1. Inferir os atributos em falta tais como o tipo de peça, a classe do material ou as especificações de funcionamento.
Por exemplo, nos dados relativos às matérias-primas das fábricas de produtos químicos, a IA consegue inferir os níveis de pureza, os códigos de perigo ou as instruções de armazenamento em falta, comparando materiais semelhantes na base de dados.
2. Identificar os padrões relativos ao fabricante e ao número de peça para garantir a harmonização entre os fornecedores.
Nos catálogos de compras, a IA consegue detetar SKUs duplicados que existem com nomes ou códigos de fornecedor ligeiramente diferentes, ajudando a evitar encomendas redundantes.
3. Padronizar as convenções de nomenclatura para garantir a consistência entre as unidades.
Por exemplo, nos dados mestre de produtos, a IA consegue identificar categorizações inconsistentes, como, por exemplo, um smartphone listado na categoria «Acessórios» em vez de «Dispositivos móveis», e corrigi-lo para garantir a coerência dos relatórios e das análises.
De acordo com um Relatório da Gartner,
No que diz respeito às prioridades da governação da qualidade dos dados, verifica-se que as inconsistências entre os silos (falta de consistência, integridade e unicidade dos registos) estão entre os desafios mais complexos para as grandes empresas.
4. Recomendar peças intercambiáveis ou alternativas com base na semelhança das especificações, da utilização ou dos dados históricos de consumo.
Por exemplo, se um registo indicar apenas «GSKT, 4BOLT, SS316», A IA consegue reconhecê-la como uma junta de aço inoxidável, identificar o tipo de flange e até sugerir alternativas compatíveis que estejam em stock ou provenientes de fornecedores aprovados.
Esta visão mais abrangente das peças sobressalentes e dos dados dos produtos melhora o planeamento da manutenção, agiliza o aprovisionamento e permite a otimização do inventário, especialmente em operações com várias unidades, onde a visibilidade das peças ou a consistência do ficheiro mestre dos produtos se encontra frequentemente fragmentada entre as diferentes instalações.
A seguir, apresentamos o vídeo do nosso produto, que demonstra como a nossa solução «agentic» enriquece os dados provenientes de fontes próprias e de terceiros:
Desduplicação de dados
A Gartner indica que a má qualidade dos dados custa às organizações, em média, $12,9 milhões por ano.
Depois de os registos de dados terem sido estruturados, normalizados, padronizados e enriquecidos com a ajuda da IA, a deduplicação de dados torna-se uma tarefa muito simples.
O processo de deduplicação, por si só, não recorre muito à IA (exceto no caso das duplicatas de nível 2), mas as etapas anteriores são fundamentais para garantir uma deduplicação precisa em todo o conjunto de dados.
As entradas duplicadas num conjunto de dados mestre são normalmente classificadas em duas categorias: L1 e L2
A deduplicação L1 é simples e direta; neste caso, todo o conjunto de dados é deduplicado com base numa única lógica.
Exemplo 1: O mesmo código de material, no caso de materiais diretos.
Exemplo 2: O mesmo endereço de e-mail ou número de telefone no caso dos dados mestre do cliente
Exemplo 3: O mesmo Número de Parceiro do Fabricante (MPN) no caso de Peças sobressalentes MRO dados.
Essencialmente, qualquer registo de dados com os mesmos valores numa propriedade que identifique de forma irrefutável o registo como uma entrada duplicada é considerado uma duplicata de nível L1.
Quase não há IA que possa ser utilizada neste contexto, uma vez que a lógica é padronizada e estruturada.
É por isso que o enriquecimento dos dados mestre é, geralmente, um passo prévio à deduplicação dos dados mestre, uma vez que o enriquecimento permite que vários valores sejam atualizados no sistema, os quais podem depois ser utilizados para a deduplicação de nível 1.
Por outro lado, as duplicatas de L2 são muito mais complexas e são geralmente utilizadas nos casos em que os valores necessários para a aplicação da lógica de L1 simplesmente não existem.
A IA simplesmente ainda não evoluiu o suficiente para automatizar totalmente a deteção de duplicados no L2.
Dito isto, a IA pode simplificar bastante o trabalho, identificando possíveis duplicados ao analisar todo o registo de dados e o próprio conjunto de dados antes de atribuir um «pontuação de confiança duplicada”, que podem depois ser atribuídos como tarefa a um revisor humano para que este «aceite» ou «rejeite» os registos de dados como duplicados.
Depois de o responsável pelos dados «aceitar», os registos de dados são, em geral, combinados, sendo que os dados do 2.ºnd O registo é eliminado após a criação dos campos no primeiro registo.
Segue-se um vídeo que demonstra como o nosso agente de IA elimina as duplicatas dos dados:
Integrações de dados mestre para o sucesso em vários domínios
Uma das críticas mais conhecidas a um sistema de dados mestre é o facto de, na prática, cada conjunto de dados mestre existir isoladamente dos outros, em sistemas organizacionais distintos.
Para compreender verdadeiramente o desempenho de qualquer função organizacional, é fundamental interpretar os dados em todos os domínios de dados mestre.
Exemplo 1: É importante saber quantos clientes podem ser alcançados através de um determinado canal de comunicação de marketing, mas também é importante saber quais são os produtos que estes consumidores mais preferem, o que exige integrações profundas com dados mestre do produto
Exemplo 2: É importante saber quantas peças sobressalentes existem na plataforma de aquisição para o abastecimento das atividades de produção, mas é ainda mais importante saber quais dessas peças são necessárias para a manutenção de ativos críticos; estas serão as peças sobressalentes essenciais.
Isto só é possível através de integrações profundas entre os dados mestre dos ativos e o mestre de materiais de peças sobressalentes.
Governança de dados
Governança dos Dados de Referência As estruturas visam garantir que os dados mestre sejam precisos, seguros, normalizados e conformes com as políticas internas e os regulamentos externos.
No entanto, à medida que os volumes de dados aumentam e se tornam mais complexos nos sistemas distribuídos (ERP, PLM, CRM, SCM, etc.), a aplicação manual das políticas de governação torna-se inviável em termos de escalabilidade e assume um caráter reativo.
A aprendizagem automática introduz uma automatização proativa e inteligente nas funções essenciais de governação de dados, permitindo a aplicação dinâmica de políticas, a deteção de anomalias e o apoio inteligente à tomada de decisões.
Estes modelos permitem monitorizar e melhorar continuamente a qualidade dos dados, reduzindo simultaneamente a carga de trabalho manual dos gestores de dados.
Aplicações:
1. Verificações inteligentes de políticas
A IA aprende como são normalmente os registos corretos e aprovados e verifica se as novas entradas têm campos em falta ou incorretos, mesmo que não exista uma regra definida.
Exemplo: Se a maioria dos registos de motores elétricos tiver o campo «Tensão» preenchido e um novo registo não o tiver, a IA assinala-o imediatamente.
A IA analisa registos anteriores, aprende quais os campos que se relacionam entre si e utiliza esse conhecimento para detetar erros.
2. Detetar anomalias e erros
Os modelos de aprendizagem automática detetam valores ou combinações invulgares nos seus dados que não se enquadram nos padrões normais.
Exemplo: Um «tubo de PVC» com a indicação «1000 PSI» é assinalado, porque o PVC normalmente não suporta uma pressão tão elevada.
A IA cria uma noção do que é normal para cada tipo de item e deteta valores atípicos utilizando modelos de reconhecimento de padrões, como a «Isolation Forest» ou os «Autoencoders».
3. Aprovações automatizadas de registos
A IA atribui pontuações aos registos novos ou atualizados com base na sua exatidão e integridade. Os registos com elevado nível de confiança podem ser aprovados automaticamente, enquanto os que apresentam um nível de confiança mais baixo são enviados a um colaborador para revisão.
Exemplo: Um artigo classificado como «parafuso sextavado», com todos os campos devidamente preenchidos e cujos dados correspondam aos registados anteriormente, é aprovado automaticamente.
Os modelos de ML calculam uma pontuação de confiança com base no grau de correspondência do registo com as normas existentes.
4. Apoiar os gestores de dados em tempo real
A IA apoia os gestores de dados enquanto estes trabalham, sugerindo valores, assinalando campos em falta ou identificando possíveis problemas.
Exemplo: Ao rever um registo de material, um responsável vê sugestões da IA relativas a campos em falta e recebe alertas caso algo não corresponda a registos semelhantes.
Os modelos de PNL e de aprendizagem automática funcionam em segundo plano e apresentam sugestões e avisos inteligentes diretamente na interface.
Seguem-se alguns casos de utilização:
Dados mestre do cliente:
Nas grandes empresas multinacionais, os novos registos de clientes chegam frequentemente através de vários canais, portais de CRM, envios de parceiros ou carregamentos internos.
A falta de endereços de e-mail, números de identificação fiscal ou informações de faturação incompletas pode atrasar a emissão de faturas e criar riscos de conformidade. Os sistemas de governação baseados em IA detetam automaticamente os campos obrigatórios em falta, preenchem-nos com dados provenientes de fontes internas e externas verificadas e assinalam possíveis duplicados logo na fase de introdução dos dados.
Por exemplo, Se dois registos apresentarem «Acme Corp» e «Acme Corporation», o sistema assinala uma possível duplicação e impede entradas redundantes. Isto garante um elevado nível dedados de clientes de qualidade ao mesmo tempo que reduz o esforço manual.
Dados sobre materiais e peças sobressalentes:
No domínio dos Materiais ou MRO, é comum que faltem especificações, referências do fabricante ou informações sobre a unidade de medida, especialmente em conjuntos de dados antigos ou em importações de terceiros.
Estas lacunas dificultam os processos de aquisição, planeamento da manutenção e análise de dados. O enriquecimento baseado em IA permite inferir valores em falta a partir de registos existentes, cruzar informações com catálogos de fornecedores e uniformizar as convenções de nomenclatura em várias fábricas.
Por exemplo, Um novo registo «Rolamento SKF 6205» em que falte o diâmetro exterior pode ser automaticamente preenchido com o valor correto, com base em artigos semelhantes presentes na base de dados.
Da mesma forma, um registo listado como «GSKT, 4BOLT, SS316» pode ser ampliado para especificar uma junta de aço inoxidável, identificar o tipo de flange e sugerir alternativas compatíveis.
Os modelos preditivos, tais como algoritmos de regressão ou árvores de decisão, também podem estimar grandezas numéricas, como valores nominais de tensão, binário ou pressão, quando não existem valores explícitos.
Ao identificar anomalias, harmonizar os números de referência das peças, normalizar as descrições e sugerir alternativas, a IA garante que o registo mestre de materiais se torne uma fonte de informação fiável e útil.
Segue-se o vídeo sobre a solução de governação de dados da Verdantis:
Conceção e implementação da IA no MDM
Embora as vantagens da aprendizagem automática na gestão de dados mestre sejam evidentes, a sua adoção bem-sucedida requer uma integração cuidadosa com a arquitetura empresarial e os modelos de governação:
Qualidade dos dados de treino: O desempenho dos modelos de IA/ML está diretamente ligado à qualidade e à representatividade dos dados históricos utilizados para os treinar.
Contexto específico do domínio: Os modelos prontos a usar necessitam frequentemente de ajustes ou de um novo treino para lidar com as nuances específicas do domínio em dados de engenharia, fabrico ou aquisição.
Explicabilidade e confiança: Os utilizadores devem poder acompanhar e compreender como é que a IA chegou a uma determinada decisão ou sugestão, especialmente em setores regulamentados.
Human-in-the-Loop (HITL): Os sistemas de IA devem ser concebidos para complementar, e não substituir, os gestores de dados, permitindo a supervisão humana sempre que necessário e criando ciclos de feedback para a melhoria contínua.
Conclusão
A IA e o ML não se limitam a melhorar a gestão de dados mestres, estão a redefinir o que é possível. Estas tecnologias proporcionam um nível de rapidez, adaptabilidade e inteligência que os sistemas manuais e baseados em regras não conseguem igualar.
No que diz respeito à gestão de dados de MDM e MRO, bem como à governação de dados, a IA já não é um conceito emergente — é uma capacidade essencial para melhorar a qualidade dos dados, acelerar a tomada de decisões e preparar as operações empresariais para o futuro.
À medida que as organizações continuam a adotar a transformação digital, aquelas que integrarem a inteligência baseada em IA nas suas práticas de dados mestres estarão melhor posicionadas para operar com agilidade, precisão e perspicácia.
