As organizações podem medir o sucesso de sistemas e projetos de IA usando algumas métricas importantes. Os KPIs de IA mais importantes são quantitativos, mas outros são qualitativos.
Para medir o sucesso dos projetos de IA, as organizações devem estabelecer adequadamente os KPIs para melhorar a eficiência dos projetos e permitir que eles tornem a sociedade melhor.
A implementação clássica de IA, para iniciantes, envolve aprendizado de máquina para estabelecer modelos e algoritmos básicos e, em seguida, arquitetar métodos de treinamento. Após o processo de treinamento, os desenvolvedores medem seus dados de treinamento em relação aos resultados previstos para fazer modificações e reduzir erros ao longo do tempo.
Existem diferentes tipos de modelos, mas em todos eles, é importante ter uma saída mensurável em relação a uma entrada conhecida para que o treinamento seja eficaz. Escolher as ferramentas certas para o trabalho é igualmente importante, com elementos que reproduzem os cenários do mundo real o mais próximo possível.
Definindo KPIs de IA
Uma das principais métricas no aprendizado de máquina é o erro quadrático médio (MSE). Os cursos de aprendizado de máquina geralmente introduzem essa fórmula como parte de seus currículos. O bom aspecto do MSE é que ele extrapola o impacto dos resultados discrepantes, o que pode levar a rápidos aumentos iniciais na eficiência da máquina. As únicas desvantagens incluem ser menos eficaz na redução de pequenos erros ou na medição da eficácia em iterações repetidas de aprendizado.
Os KPIs existentes que têm relevância comercial e de TI também se aplicam a projetos de IA. Os KPIs típicos relacionados à IA incluem o tempo médio de reparo (MTTR) ou quanto tempo leva para corrigir um problema e a taxa de resolução no primeiro contato (FCRR), que indica qual porcentagem de problemas são resolvidos pelo suporte de TI de nível 1 (suporte básico) sem precisar de escalonamento. Além disso, o grande número de tickets que uma equipe de TI recebe por mês é uma métrica tangível.
A melhor prática seria usar a métrica mais diretamente observável e mensurável e depois traduzi-la para qualquer outra métrica conforme necessário.
Métricas indiretas, que tendem a ser derivadas de métricas mais diretas, incluem satisfação do cliente, pontuação do promotor líquido e custo total de propriedade. Embora as métricas indiretas sejam importantes, é essencial que as métricas diretas e observáveis sejam a base para qualquer uma dessas métricas secundárias.
Como os KPIs medem o sucesso da IA
Os KPIs relacionados à IA ajudam as empresas a medir o sucesso da aplicação de IA ao demonstrar um retorno sobre o investimento (ROI) concreto. O ROI pode ser expresso como tempo, dinheiro ou trabalho.
O ROI geralmente é medido como tempo – mais especificamente, quanto tempo levaria para ganhar a mesma quantia de dinheiro investida em uma iniciativa de IA. Imagine uma organização que investe US$ 200.000 em uma iniciativa de IA e, em seguida, mediu uma redução de 20% no MTTR, por exemplo. Como ela tem 20 funcionários usando a ferramenta com uma taxa de mão de obra combinada de US$ 2 milhões por ano, essa redução de custo de 20% chegaria a US$ 400.000 por ano. Como levou metade desse tempo (6 meses) para ganhar US$ 200.000, esse é o ROI.
Outro bom exemplo é uma empresa de serviços gerenciados. Em uma típica empresa de serviços gerenciados, o FCRR é de cerca de 65%. Especificamente, para cada 100 chamadas recebidas, 65 dessas chamadas são resolvidas pela pessoa que inicialmente atendeu a chamada, que é um engenheiro de primeiro nível de baixo custo. Isso indica que as outras 35 ligações precisariam ir a um especialista para resolução.
Essa situação adiciona tempo e custo à resolução, porque os engenheiros de segundo nível que precisam atender a essas chamadas têm salários significativamente mais altos. As empresas que implementam a IA para ajudar os engenheiros de primeiro nível a lidar com mais chamadas podem aumentar as taxas de resolução no primeiro contato em mais de 80%, reduzindo o MTTR e o FCRR.
O sucesso da IA deve ser sucesso para todos. Primeiro, as empresas medem o sucesso diretamente, com métricas observáveis e mensuráveis. Em seguida, eles medem os benefícios qualitativos indiretamente após determinar alguns KPIs diretamente mensuráveis. Embora existam métricas técnicas alinhadas à IA, como erro quadrático médio, métricas clássicas de TI e negócios, incluindo MTTR, FCRR e custo por ticket de solução de problemas de TI, geralmente são mais relacionáveis.
Comentários