Dal human-in-the-loop al LLM-in-the-loop per l'annotazione dei datasets giuridici

Abstract

Annotare documenti legali con strutture retoriche è difficile e richiede molto tempo, soprattutto se fatto completamente manualmente. Questo documento esplora due metodologie per risultati ottimali: in primo luogo, un approccio human-in-the-loop basato su un processo di annotazione in più fasi con esperti di dominio che esaminano e revisionano i set di dati in modo iterativo. Per migliorare la interpretabilità, vengono incorporati modelli di intelligenza artificiale spiegabile (XAI), che aiutano a comprendere i processi decisionali. In secondo luogo, un metodo LLM-in-the-loop prevede che gli esseri umani sfruttano modelli linguistici generativi di grandi dimensioni (LLM) per assistere gli esperti automatizzando attività di annotazione ripetitive sotto supervisione. Sono proposte ulteriori ricerche per sviluppare modelli di interazione che bilancino efficacemente l'automazione con la guida e la responsabilità umane.