Nanny ML : Monitoraggio di modelli senza etichette disponibili

NannyML è una libreria open source in Python progettata per il monitoraggio dei modelli di machine learning dopo il deployment, in particolare quando le etichette reali (ground truth) non sono immediatamente disponibili. È pensata per data scientist, ingegneri ML e team MLOps che devono rilevare guasti silenziosi, drift nei dati e controllare le prestazioni del modello in produzione.

A differenza degli strumenti tradizionali, NannyML consente di stimare le metriche di performance senza disporre di etichette, utilizzando tecniche statistiche avanzate. È particolarmente utile in contesti come credito, frodi o raccomandazioni, dove i risultati reali arrivano con ritardo.

Vantaggi principali:

• Stima delle prestazioni senza etichette reali
• Rilevamento del data drift e variazioni nell’importanza delle feature
• Report visivi utili per analisi e diagnostica

Quali sono le funzionalità principali di NannyML?

Stima delle prestazioni senza ground truth

Monitora l’efficacia del modello anche senza conoscere i risultati reali:

• Utilizza metodi come CBPE (Confidence-Based Performance Estimation) e DLE (Direct Loss Estimation)
• Stima metriche di classificazione e regressione (accuracy, precision, recall, ecc.)
• Rileva cali improvvisi di prestazione
• Utile in contesti con feedback ritardato

Rilevamento del data drift

Controlla se le distribuzioni delle variabili di input cambiano nel tempo:

• Analisi a livello di feature e dell’intero dataset
• Usa metriche come divergenza di Jensen-Shannon, PSI, distanza di Wasserstein
• Evidenzia le feature più colpite
• Aiuta a decidere se è necessario un retraining

Confronto tra performance stimate e reali

Quando le etichette diventano disponibili, confronta prestazioni previste e osservate:

• Verifica l’attendibilità delle stime
• Allinea le curve di performance stimata vs. reale
• Migliora la strategia di monitoraggio nel tempo

Analisi dell’importanza delle feature e qualità dei dati

Fornisce spiegazioni su variazioni nel comportamento del modello:

• Misura cambiamenti nell’importanza delle feature
• Rileva dati mancanti, corrotti o anomali
• Aiuta a identificare cause di errore nelle predizioni

Report e visualizzazioni interattive

Genera strumenti visivi per il monitoraggio e l’analisi temporale:

• Integrabile in notebook Jupyter, esportabile in HTML, o visualizzabile come dashboard
• Ideale per workflow MLOps o analisi periodica
• Supporta una comunicazione chiara dei problemi tecnici

Perché scegliere NannyML?

• Monitora anche senza etichette: fondamentale in ambienti con feedback ritardato
• Tecniche statistiche avanzate: migliori rispetto al monitoraggio tradizionale
• Open source e indipendente dal framework
• Visualizzazioni dettagliate e diagnostica chiara
• Ottimizzato per la produzione: pensato per l’uso in contesti reali