Trasformazione digitale nell'analisi dei questionari di indagine e formulazione delle raccomandazioni: Soluzione AI per CARNET con il supporto di EDIH Adria

Sfide

La rete accademica e di ricerca croata CARNET lavora costantemente per migliorare la maturità digitale del sistema educativo nella Repubblica di Croazia. Nell'ambito del progetto e-Universities è stato sviluppato un "Quadro per la maturità digitale degli istituti di istruzione superiore nella Repubblica di Croazia", nonché un modello per l'autovalutazione della maturità digitale e i relativi questionari per diversi gruppi di rispondenti presso gli istituti di istruzione superiore. Tuttavia, l'elaborazione di una grande quantità di dati e la formulazione di raccomandazioni personalizzate per ogni istituto di istruzione superiore si è rivelata una sfida dato che si tratta di un compito complesso e ad alta intensità di risorse. Per questo motivo è stata individuata la necessità di introdurre soluzioni tecnologiche avanzate basate sull'intelligenza artificiale, vale a dire modelli linguistici di grandi dimensioni (LLM), per consentire un sostegno scalabile e automatizzato alla trasformazione digitale degli istituti di istruzione superiore.

Soluzione

Nell'ambito del servizio TBI (Test Before Invest) e con il sostegno professionale del consorzio EDIH Adria, CARNET ha avviato lo sviluppo e la sperimentazione di un prototipo del sistema LLM dal titolo "Advisor for Digital Transformation of Higher Education Institutions in the Republic of Croatia" (Consigliere per la trasformazione digitale degli istituti di istruzione superiore nella Repubblica di Croazia). Il sistema è progettato per analizzare automaticamente i dati raccolti attraverso questionari di indagine, arricchire il contesto utilizzando documenti strategici disponibili al pubblico da istituti di istruzione superiore selezionati e generare relazioni strutturate e raccomandazioni concrete per la trasformazione digitale per il rispettivo istituto di istruzione superiore. Il prototipo è stato testato con successo attraverso un progetto pilota in cui sono state dimostrate le possibilità di elaborazione automatizzata, l'integrazione dei documenti nella generazione rapida e interattiva di raccomandazioni. Sebbene non sia una soluzione commerciale pronta per l'implementazione, questo progetto di proof-of-concept ha chiaramente dimostrato la fattibilità tecnica e il potenziale della tecnologia LLM nel contesto del sostegno agli istituti di istruzione superiore nei processi di sviluppo digitale.

Come parte dell'attività TBI, è stato sviluppato e implementato un prototipo come applicazione web nell'ambiente Streamlit, che ha consentito un'interfaccia utente intuitiva disponibile tramite il browser. Il sistema utilizza tecniche di ingegneria rapida e include interi documenti strategici nel contesto del modello per collegare i dati quantitativi dell'indagine con il contenuto testuale dei documenti strategici. Il risultato è una relazione generata automaticamente che mostra chiaramente lo stato della maturità digitale, identifica i settori prioritari per lo sviluppo e offre raccomandazioni personalizzate basate su dati e confronti con le migliori pratiche delle università europee. Il report può essere salvato localmente sul computer in formato PDF per ulteriori elaborazioni e analisi.

I dati di input ottenuti dal sistema di autovalutazione, 360 questionari condotti su quattro gruppi (gestione, insegnanti, professionisti IT e studenti) sono mostrati nella Figura 1, mentre le seguenti immagini mostrano l'analisi come risultato dell'interazione dell'utente con LLM.

Risultati e benefici

La sperimentazione e la valutazione del prototipo di "consulente per la trasformazione digitale" hanno evidenziato un potenziale significativo per l'applicazione di modelli linguistici di grandi dimensioni nel campo della consulenza strategica e dell'analisi nell'istruzione superiore, apportando una serie di vantaggi concreti:

• Analisi dei dati più rapida e scalabile: La sintesi automatizzata dei risultati delle indagini e dei documenti strategici consente di generare report strutturati in pochi minuti, accelerando notevolmente i processi.
• Risultati standardizzati e basati sui dati: L'uso del LLM aumenta la coerenza dell'analisi e riduce la soggettività nell'interpretazione dei dati, aumentando così la qualità e la comparabilità delle relazioni tra le istituzioni.
• Maggiore efficienza dei servizi di consulenza: Gli esperti ottengono una visione iniziale attraverso rapporti generati automaticamente, che consente loro di concentrare il loro tempo sull'interpretazione più profonda e sulla consulenza individuale.
• Flessibilità e aggiornabilità: Il sistema può essere facilmente esteso ad altre istituzioni, includere documenti aggiuntivi o estendere l'analisi a nuove aree, garantendo l'usabilità e l'adattabilità a lungo termine dello strumento.

Insegnamenti tratti

Durante la fase di TBI, sono state individuate le informazioni chiave per un'attuazione efficace:

• Pertinenza contestuale dei dati: La qualità e la precisione dell'output dipendono direttamente dai dati di input. L'inclusione di documenti strategici pertinenti, aggiornati e strutturati con precisione è essenziale per l'accuratezza delle raccomandazioni.
• Importanza critica dell'ingegneria tempestiva e dell'arricchimento contestuale: Includere documenti strategici completi nel prompt ha permesso al modello di fornire un'analisi più approfondita e contestualmente ricca.
• Potenziale per l'analisi comparativa e l'apprendimento dalle pratiche degli altri: L'inclusione di documenti delle università europee ha dimostrato come le raccomandazioni possano essere ulteriormente arricchite con esempi di buone pratiche provenienti dall'ambiente internazionale.
• Adeguamento necessario dell'interfaccia utente: Sebbene il prototipo dimostri la fattibilità tecnica, per la soluzione di produzione sarà necessario sviluppare un'interfaccia utente intuitiva e l'integrazione con i sistemi esistenti, in modo che lo strumento possa essere utilizzato senza avanzate pre-conoscenze tecniche.

Conclusion

Il progetto "Test Before Invest" realizzato con CARNET ha dimostrato con successo come l'uso dell'intelligenza artificiale, in particolare dei modelli linguistici di grandi dimensioni, possa migliorare in modo significativo i processi di analisi e consulenza strategica nel sistema di istruzione superiore. Il prototipo sviluppato, insieme alle conoscenze acquisite e alle raccomandazioni individuate, fornisce una solida base per prendere decisioni informate sull'ulteriore trasformazione digitale degli istituti di istruzione superiore. Il progetto ha confermato la fattibilità tecnica, l'economicità e la rilevanza di questa tecnologia in un contesto reale, aprendo così lo spazio per lo sviluppo di una soluzione avanzata e scalabile che possa portare benefici misurabili agli istituti di istruzione superiore e ai responsabili delle politiche educative. EDIH Adria continua a sostenere CARNET e altre istituzioni pubbliche, PMI e unità di autogoverno locale (LGU) nei loro sforzi di trasformazione digitale, aiutandole a cogliere i benefici delle tecnologie avanzate per una gestione più efficiente, trasparente e sostenibile delle loro risorse.