Harmonize: Ferramenta de limpeza de dados baseada em IA
As organizações enfrentam um volume de dados sem precedentes, distribuído por várias plataformas. À medida que os dados se tornam cada vez mais essenciais para o sucesso empresarial, é fundamental garantir a sua exatidão, consistência e fiabilidade. É aqui que Ferramentas de limpeza de dados mestre entra em cena e constitui a solução de última geração que está a transformar a forma como as empresas abordam a gestão de dados.
A limpeza de dados mestre é um processo essencial para qualquer organização que pretenda garantir dados limpos e precisos. Ao implementar um processo de limpeza de dados mestre, é possível melhorar a tomada de decisões, aumentar a eficiência, reduzir custos e melhorar a experiência do cliente.
Existem demasiados pontos de contacto no que diz respeito à gestão dos registos de dados mestre. Para citar alguns, podemos referir as cotações de fornecedores, as descrições de «punchout», os dados de engenharia e, mais importante ainda, as contribuições de milhares de utilizadores empresariais espalhados por diferentes localizações geográficas. Isto conduz frequentemente a dados mestre repletos de detalhes em falta, erros, inconsistências e duplicados.
A IA consegue analisar e identificar padrões e relações complexas nos dados que os métodos tradicionais podem não detectar. É capaz de aprender com as correções efetuadas em dados históricos e aplicar uma lógica semelhante a conjuntos de dados futuros, melhorando de forma eficiente a precisão dos resultados da limpeza ao longo do tempo.
O papel do Harmonize na limpeza de dados
Classificação automatizada de dados: Agrupar diferentes tipos de dados mestre num conjunto estruturado e normalizado de categorias predefinidas no âmbito da «Taxonomia», com vista a criar uma estrutura de classificação robusta. Uma das taxonomias mais populares e amplamente utilizadas em todo o mundo é a UNSPSC (Código Padrão das Nações Unidas para Produtos e Serviços); outros tipos de taxonomias utilizadas em várias regiões ou setores incluem eClass, PIDX, CPV, ETIM, GS1, ISIC e NAICS.
A classificação de dados mestres da Harmonize, impulsionada por IA, automatiza o processo de classificação inteligente e categorização lógica dos dados com base em padrões, semântica e contexto. A Harmonize aprende com os dados históricos, melhorando a precisão ao longo do tempo, e adapta-se às necessidades específicas de classificação de uma organização.
- Detecção automática de duplicados: Algoritmos sofisticados conseguem identificar e apresentar registos duplicados, mesmo quando os dados não correspondem exatamente (por exemplo, erros ortográficos, abreviaturas, vários idiomas). Os modelos de IA compreendem o contexto subjacente às entradas de dados, o que os torna altamente eficazes na deteção de duplicados que passariam despercebidos pelas abordagens tradicionais baseadas na correspondência exata dos valores dos campos.
- Enriquecimento de dados: Melhorar os dados existentes através da adição de informação adicional e mais abrangente proveniente de fontes externas de domínio público, incluindo catálogos de fabricantes e fornecedores, diretórios de dados, etc. Utilização de IA generativa com validação em várias camadas, através do cruzamento de dados com fontes externas fiáveis, para garantir que a informação é precisa e atualizada, tornando este processo altamente escalável.
- Padronizar e normalizar os dados: Uma vez que os dados podem provir de várias fontes que seguem normas/nomenclaturas diferentes, a sua normalização e padronização melhoram a qualidade geral dos dados e a capacidade do utilizador de efetuar pesquisas e elaborar relatórios com precisão, bem como de tomar decisões informadas. É essencial dispor de um conjunto estabelecido de regras, normas e diretrizes que definam a forma como os dados devem ser introduzidos, formatados e armazenados.
- Suporte multilingue:
Dados que existem em diferentes idiomas, consoante a sua origem, e que podem apresentar inconsistências na ortografia, formatação, sinónimos e convenções de nomenclatura. O suporte multilingue garante que todos os dados sejam geridos de acordo com um único conjunto de normas, independentemente do idioma ou da região de origem. Isto é crucial para manter a qualidade dos dados em todas as entidades globais, assegurar a conformidade com as regulamentações locais e, ao mesmo tempo, manter uma governação centralizada dos dados.
Ao lidar com dados em várias línguas, é comum deparar-se com erros de tradução, mapeamentos incorretos ou desafios específicos do contexto que exigem uma limpeza dos dados. Uma ferramenta com suporte multilingue pode detetar automaticamente essas discrepâncias e garantir que os dados introduzidos sejam precisos e adequados ao contexto, independentemente da língua em que foram criados.
As ferramentas avançadas baseadas em IA conseguem traduzir os dados para uma linguagem comum, com vista à sua análise e limpeza, mantendo, ao mesmo tempo, a linguagem original na saída. É importante referir que estas ferramentas conseguem reconhecer o contexto das palavras e frases, evitando as armadilhas das traduções simples, palavra a palavra.
Integrity: Ferramenta robusta de governação de dados mestres
A Integrity é uma plataforma de governação de dados mestres baseada em IA que oferece uma solução robusta estrutura através do qual os dados são controlados, normalizados, limpos, geridos e comunicados, de forma a garantir a qualidade e a consistência dos dados mestre de uma organização em vários sistemas e unidades de negócio. A Integrity fornece a estrutura e os fluxos de trabalho necessários para estabelecer políticas, procedimentos e a gestão responsável pelos dados, de modo a garantir que os dados mestre se mantêm precisos, completos e em conformidade com normas internas pré-definidas e regulamentos externos.
Principais características da integridade:
1. Gestão em autoatendimento:
No que diz respeito à governação de dados, a funcionalidade de autoatendimento é revolucionária. Sem depender da equipa de TI, permite que os utilizadores da empresa visualizem, gerem e atualizem diretamente os dados mestre. Esta democratização da gestão de dados reduz os estrangulamentos e aumenta a produtividade, ao capacitar pessoas de diferentes áreas para contribuírem para a qualidade dos dados.
Os modelos de dados de IA recorrem a regras de negócio e normas de dados desenvolvidas através do processamento de mais de 150 milhões de registos e mais de 250 implementações em clientes. A Integrity interpreta as entradas do utilizador para classificar, enriquecer, normalizar e deduplicar registos, com vista a criar um registo de referência robusto. Tudo isto na primeira etapa do processo – o início do pedido de criação/atualização de dados.
2. Validação em tempo real:
A precisão dos dados é fundamental, e a validação em tempo real garante que os dados mestre cumpram as normas de qualidade de dados da organização logo que sejam introduzidos ou atualizados.
- Feedback imediato: À medida que os dados são introduzidos no sistema, a validação em tempo real verifica se existem erros, duplicações ou inconsistências, fornecendo feedback imediato aos utilizadores.
- Melhoria da qualidade dos dados: Ao identificar erros logo na fase de introdução, a ferramenta garante que apenas dados de alta qualidade sejam introduzidos no sistema, evitando problemas a jusante.
- Regras personalizáveis: As regras de validação podem ser adaptadas às políticas específicas de governação de dados de uma organização, garantindo a conformidade com as normas internas e os requisitos regulamentares.
- Enriquecimento a pedido: Com a funcionalidade AutoEnrichAI, a Integrity atribui em tempo real informações do fabricante, tais como características, imagens, disponibilidade e alternativas das peças. Isto elimina a necessidade de recolher dados manualmente e aumenta a qualidade dos dados, reduzindo simultaneamente o tempo de resposta aos pedidos.
3. Acesso baseado em funções:
Uma governação eficaz dos dados exige que as pessoas certas tenham acesso aos dados certos no momento certo. O controlo de acesso baseado em funções garante que os utilizadores só possam aceder aos dados e funcionalidades que são relevantes para a sua função.
A integridade garante que seja possível conceder acesso a conjuntos de dados e fluxos de trabalho específicos a diferentes funções de utilizador, tornando a ferramenta mais intuitiva e eficiente para todos os envolvidos.
4. Automatização de fluxos de trabalho:
A Integrity oferece automação de fluxos de trabalho numa ferramenta de governação de dados mestre que simplifica o processo de introdução, aprovação, validação e atualização de dados, garantindo a consistência e reduzindo a necessidade de intervenção humana.
Os fluxos de trabalho automatizados permitem a criação de cadeias de aprovação, nas quais as alterações aos dados são encaminhadas para as entidades competentes para validação, reduzindo os erros humanos e os acompanhamentos manuais.
Os fluxos de trabalho automatizados proporcionam uma visibilidade clara da fase em que se encontram os pedidos de dados no processo, facilitando o acompanhamento do progresso e a resolução rápida de eventuais estrangulamentos.
5. Auditorias exaustivas aos dados:
Uma auditoria abrangente aos dados consiste numa análise sistemática e exaustiva dos dados, com o objetivo de garantir que estes estão em conformidade com as políticas de governação, as normas de qualidade dos dados e os requisitos regulamentares.
A Integridade inclui regras de auditoria predefinidas que verificam automaticamente se os dados cumprem os requisitos regulamentares, garantindo que as organizações se mantêm em conformidade.
A Integrity mantém registos de auditoria detalhados, registando todas as alterações efetuadas aos dados, quem as efetuou, quando e porquê. Isto garante transparência e responsabilização, as quais são fundamentais em ambientes regulamentados.
Os benefícios da governação dos dados mestres:
- Melhoria da qualidade dos dados: A integridade garante que os dados mestre sejam limpos, precisos, completos e consistentes, o que é essencial para a tomada de decisões empresariais informadas.
- Eficiência operacional: A integridade garante que os dados estejam padronizados em todos os sistemas, o que reduz as ineficiências, permitindo operações e processos empresariais mais fluidos.
- Conformidade reforçada: A Integrity disponibiliza quadros de governação claros, para que as organizações possam garantir o cumprimento dos requisitos regulamentares, reduzindo o risco de responsabilidades financeiras, multas e sanções decorrentes de dados não conformes ou incorretos.
- Data Trust: Dados fiáveis permitem que as partes interessadas de toda a organização se baseiem nos dados de referência para as operações do dia-a-dia e para as estratégias a longo prazo.
- Mitigação de riscos: A Integrity aplica políticas de segurança de dados e monitoriza as alterações nos dados, reduzindo assim o risco de fugas de dados e de acesso não autorizado no seio da organização.
Pontos-chave do negócio:
Num mundo centrado nos dados, as empresas têm de dar prioridade à governação e à qualidade dos dados para se manterem competitivas. A Harmonize e a Integrity não só garantem que os dados são precisos e fiáveis, como também proporcionam benefícios comerciais tangíveis ao melhorar eficiência, a conduzir redução de custos, garantindo o cumprimento das normas e prestando apoio escalabilidade.
1. Eficiência:
As operações empresariais eficientes dependem de dados de alta qualidade e bem geridos. Com a implementação do Harmonize e do Integrity, as empresas podem automatizar processos-chave e melhorar a eficiência operacional.
- Validação e normalização automatizadas de dados: As ferramentas da Harmonize e da Integrity validam automaticamente os dados em função de regras e normas predefinidas, o que garante que os dados sejam precisos, completos e consistentes em toda a organização, reduzindo os erros manuais e o trabalho repetido.
- Maior acessibilidade aos dados: Com dados mestre bem geridos, os utilizadores de vários departamentos podem aceder e recuperar facilmente a informação de que necessitam. Isto reduz o tempo gasto na procura de dados e melhora a capacidade de tomada de decisões.
- Redução da introdução de dados redundantes: O Harmonize ajuda a identificar e eliminar registos duplicados, evitando redundâncias e minimizando o esforço de introdução de dados. Isto não só poupa tempo, como também garante que as decisões se baseiem numa única fonte de verdade.
2. Poupança de custos:
A qualidade dos dados não se resume apenas à eficiência, mas também à redução de custos. A má qualidade dos dados pode conduzir a perdas financeiras significativas, incluindo o aumento dos custos operacionais, multas regulamentares e a perda de oportunidades de negócio.
- Redução dos custos de TI: A gestão manual de dados requer frequentemente um apoio substancial das TI, especialmente quando se trata de resolver erros, duplicados ou inconsistências nos dados. Com as ferramentas Harmonize e Integrity a automatizar estes processos, as organizações podem reduzir a sua dependência de intervenções dispendiosas das TI, libertando recursos para iniciativas mais estratégicas.
- Gestão otimizada do inventário: Para as organizações em setores como a indústria transformadora ou o retalho, uma má gestão de dados pode resultar em excesso ou falta de stock, situações que acarretam custos significativos. Dados limpos e bem geridos garantem uma previsão da procura e um controlo de stock mais precisos, reduzindo o desperdício e melhorando o fluxo de caixa.
- Custos de conformidade reduzidos: A conformidade regulamentar exige frequentemente que as organizações mantenham registos de dados limpos e precisos. As ferramentas de governação de dados garantem que as organizações cumprem estes requisitos regulamentares, evitando multas e sanções relacionadas com violações de dados ou imprecisões.
3. Escalabilidade:
À medida que as empresas crescem, o volume e a complexidade dos seus dados também aumentam. Sem práticas adequadas de gestão e governação de dados, as organizações têm dificuldade em acompanhar as suas necessidades crescentes em matéria de dados. As ferramentas da Integrity e da Harmonize foram concebidas para apoiar a escalabilidade, permitindo que as empresas cresçam mantendo o controlo sobre os seus dados.
- Arquitetura de dados preparada para o futuro: As ferramentas da Harmonize e da Integrity garantem que existam políticas de governação de dados para acomodar novos sistemas, processos e unidades de negócio à medida que a organização cresce. Isto significa que as empresas podem expandir as suas operações sem terem de enfrentar problemas de qualidade dos dados no futuro.
- Tratamento de grandes volumes de dados: À medida que as organizações se expandem, o volume de dados que gerem aumenta exponencialmente. O Harmonize foi concebido para lidar com conjuntos de dados em grande escala, garantindo que a qualidade dos dados se mantém mesmo com o aumento da quantidade de informação processada.
- Apoio a fusões e aquisições (M&A): Quando as organizações passam por fusões ou aquisições, enfrentam frequentemente o desafio de integrar grandes volumes de dados díspares. As ferramentas Harmonize e Integrity facilitam a realização de processos de fusões e aquisições, garantindo que os dados provenientes de diferentes fontes sejam harmonizados e alinhados com as normas de governação da organização.
Cenários de clientes:
A jornada de transformação dos dados mestres de uma empresa global do setor alimentar e de confeitaria:
Uma história de sucesso da Verdantis na gestão de dados mestres
Fundada em 1911, esta empresa multinacional americana é líder no fabrico de produtos de confeitaria, alimentos para animais de estimação e outros produtos alimentares, além de prestar serviços de cuidados aos animais, empregando mais de 100 000 colaboradores em mais de 300 instalações, incluindo mais de 130 fábricas em cerca de 75 países em todo o mundo. Com sede em McLean, Virgínia, EUA, é uma das maiores empresas alimentares do mundo, gerando receitas globais superiores a $35 mil milhões anualmente.
O desafio: complexidade e inconsistência dos dados entre as diferentes fontes:
As operações da organização abrangiam várias regiões, cada uma das quais mantinha sistemas distintos para a gestão dos dados de clientes, produtos e fornecedores.
- Regiões geográficas – América do Norte e América Latina (NALA), Europa e CEI (EUCIS) e Ásia-Pacífico, Médio Oriente e África (APMEA).
- Sistemas de origem: 5 instâncias do SAP e o Microsoft One Navision.
- Volume de dados: 1 milhão de SKUs – peças e consumíveis MRO.
- Idiomas: 10
- Taxonomia: SMD e UNSPSC.
Esta fragmentação deu origem a vários desafios:
- Silos de dados: Cada departamento e região tinha os seus próprios processos de gestão de dados, o que criava silos de informação que prejudicavam a visibilidade global.
- Dados duplicados e inconsistentes: A duplicação de dados entre fornecedores e produtos constituía um problema grave, que conduzia a ineficiências e erros nas áreas de aquisição, inventário e distribuição.
- Reportagem imprecisa: A falta de uniformidade nas normas de introdução de dados e a fragmentação dos sistemas faziam com que os relatórios e as análises fossem, muitas vezes, pouco fiáveis, dificultando a execução de estratégias globais.
- Processos manuais dispendiosos: Com os dados dispersos por vários sistemas, era necessária uma intervenção manual para consolidar e limpar os dados, o que aumentava os custos operacionais.
A solução: Gestão de Dados Mestres da Verdantis
Para fazer face a estes desafios, a empresa estabeleceu uma parceria com Verdantis para implementar uma plataforma robusta de gestão de dados de clientes (MDM) capaz de unificar os seus dados a nível mundial. A Verdantis tirou partido da sua Solução de MDM baseada em IA para limpar, eliminar duplicados e enriquecer os dados, permitindo uma melhor qualidade e governação dos dados em todas as operações. Os elementos-chave da solução incluíram:
- Centro de dados centralizado: A Verdantis criou uma fonte única de informação ao consolidar dados relativos a produtos, fornecedores e clientes, provenientes de diferentes sistemas, numa plataforma unificada e centralizada.
- Desduplicação com recurso à IA: A Verdantis utilizou algoritmos avançados de IA para identificar e eliminar registos duplicados, garantindo dados limpos e precisos em toda a empresa.
- Normalização de dados: Para garantir a coerência, a Verdantis aplicou normas globais aos campos de dados, unificando a forma como os registos de produtos, fornecedores e clientes eram introduzidos e mantidos.
- Governança automatizada de dados: A Verdantis ajudou a implementar protocolos de governação de dados que monitorizavam continuamente a qualidade dos dados, reduzindo a supervisão manual e prevenindo erros futuros nos dados.
- Acessibilidade aos dados em tempo real: A solução de MDM proporcionou um acesso fácil a dados fiáveis através de uma interface intuitiva, permitindo-lhes tomar decisões mais rápidas e baseadas em dados.
Os resultados: eficiência operacional e precisão dos dados
O impacto da solução de MDM da Verdantis nas operações da empresa foi imediato e substancial:
- Redução de registos duplicados: Ao eliminar as entradas duplicadas, a organização verificou uma redução drástica da confusão e dos mal-entendidos no que diz respeito aos seus dados mestre.
- Melhoria da qualidade dos dados em todos os domínios: Com dados consistentes e normalizados, a precisão dos dados mestre melhorou significativamente.
- Poupança de custos na gestão de dados: A automatização da limpeza e da governação de dados reduziu a intervenção manual em 80%, o que resultou numa poupança significativa nos custos operacionais.
- Operações globais simplificadas: A solução de gestão de dados de produtos (MDM) da Verdantis permitiu à organização gerir as suas operações de forma mais eficaz, reduzindo os prazos de entrega, diminuindo os custos de aquisição e melhorando a gestão de stock.
- Tomada de decisões mais rápida e bem fundamentada: Com acesso em tempo real a dados fiáveis e precisos, a direção da empresa conseguiu tomar decisões mais rápidas e baseadas em dados.
Como a Harmonize e a Integrity trabalham em conjunto para uma gestão eficaz dos dados mestres:
Para uma gestão eficaz dos dados mestre, tanto a harmonização como a integridade são indispensáveis. A harmonização garante que os seus dados mestre sejam precisos, consistentes e isentos de erros, enquanto a integridade estabelece as regras, políticas e estruturas que asseguram a qualidade dos dados e a conformidade a longo prazo.
Quando integradas, estas ferramentas complementam-se mutuamente e criam uma estratégia holística de gestão de dados.
Eis como a Harmonização e a Integridade atuam em conjunto para uma Gestão de Dados Mestres:
1. Melhoria da qualidade dos dados: A qualidade dos dados é um objetivo comum tanto para a limpeza de dados como para a governação de dados. O Harmonize ajuda a eliminar imprecisões, inconsistências e duplicados nos dados mestre, enquanto o Integrity garante o cumprimento das normas e regras de qualidade para prevenir futuros problemas relacionados com os dados.
- Harmonize em ação: O Harmonize consegue detetar se o endereço de e-mail de um cliente está em falta ou está incorreto. A ferramenta irá resolver este problema ou assinalá-lo para revisão manual.
- Integridade em ação: Assim que o endereço de e-mail for corrigido, o Integrity garante que este cumpre as regras de qualidade de dados da organização. Pode exigir que todos os endereços de e-mail dos clientes sigam um determinado formato, garantindo a consistência entre os sistemas.
Ao trabalharem em conjunto, o Harmonize corrige erros imediatos, enquanto o Integrity mantém a qualidade dos dados a longo prazo através da monitorização contínua e da aplicação de regras.
2. Coerência entre sistemas: A Harmonização garante a consistência através da normalização e unificação dos dados, enquanto a Integridade aplica regras em todos os sistemas para manter essa consistência ao longo do tempo.
- Harmonize em ação: O Harmonize identifica vários registos de clientes dispersos por diferentes departamentos ou sistemas. O Harmonize agrupa-os num único registo preciso, eliminando as duplicatas e garantindo a consistência da informação.
- Integridade em ação: A integridade garante que este registo único do cliente seja aplicado em todos os sistemas relevantes e que quaisquer atualizações futuras a este registo sigam políticas predefinidas, mantendo a consistência em todos os sistemas.
Esta coordenação garante que os dados mestre se mantêm harmonizados em várias plataformas, contribuindo para a elaboração de relatórios precisos e para a tomada de decisões.
Prevenir erros de dados na origem: Enquanto o Harmonize é eficaz na correção de erros já existentes, o Integrity impede que surjam novos erros. Ao definirem normas de introdução de dados, controlos de acesso e fluxos de trabalho de aprovação, as ferramentas de governação garantem que apenas dados corretos e em conformidade sejam introduzidos no sistema desde o início.
- Harmonize em ação: O Harmonize analisa regularmente a base de dados para detetar erros, tais como códigos de produto incorretos ou registos duplicados, e corrige-os.
- Integridade em ação: As políticas de governação garantem que os dados dos produtos introduzidos no sistema sejam validados de acordo com as normas em vigor, reduzindo o risco de erros desde o início.
Em conjunto, estas ferramentas criam um ambiente de gestão de dados proativo e reativo: o Integrity previne erros, enquanto o Harmonize corrige os que acabam por passar despercebidos.
Apoio à conformidade e à auditabilidade: A conformidade regulamentar exige que as organizações mantenham padrões elevados de precisão, segurança e privacidade dos dados. A integridade desempenha um papel crucial na aplicação destas regulamentações, enquanto o Harmonize garante a integridade dos dados que estão a ser geridos.
- Harmonize em ação: A Harmonize assegura que os dados pessoais sejam precisos e estejam atualizados.
- Integridade em ação: A Integrity mantém registos de auditoria que documentam quem acedeu ou alterou dados confidenciais, garantindo que toda a atividade relacionada com os dados cumpre as políticas internas e os regulamentos externos.
Em conjunto, estas ferramentas ajudam as organizações a evitar violações de conformidade dispendiosas, garantindo simultaneamente que os dados mestre cumprem as normas regulamentares.
5. Promover a escalabilidade: À medida que as organizações crescem, o volume e a complexidade dos seus dados também aumentam. A gestão de dados mestre em grande escala requer tanto dados de alta qualidade como políticas de governação capazes de se adaptarem às necessidades em constante evolução do negócio
- Harmonize em ação: O Harmonize consegue lidar com conjuntos de dados de maior dimensão, garantindo que as duplicatas e os erros sejam detetados, mesmo à medida que a organização cresce.
- Integridade em ação: A integridade garante que os novos sistemas, departamentos ou regiões que entram em funcionamento cumpram as mesmas regras e normas de gestão de dados, mantendo a qualidade dos dados consistente em toda a empresa.
Esta combinação garante que, à medida que as organizações crescem, os seus dados mestre se mantêm precisos, em conformidade com os requisitos e prontos para utilização empresarial.
