MODIFICATI CON SCRIPT

TesiZIP/Cap1.tex

@@ -21,10 +21,10 @@ Per risolvere il problema di risposte apparentemente corrette nella forma, ma er
 Le seguenti tecniche di \emph{prompting} si rivelano particolarmente utili per migliorare le prestazioni dei modelli in compiti relativi a materie specifiche e quindi renderli strumenti efficaci per l’apprendimento:
 
 \begin{enumerate}
-\item \textit{Few-Shot prompting}: Questa tecnica sfrutta la capacità degli LLM di apprendere dagli esempi. Fornendo al modello un numero limitato di esempi (da uno a pochi) di input e output desiderati, lo si guida a comprendere il compito richiesto e a generare risposte coerenti. Ad esempio, per insegnare all'LLM a completare analogie, si possono fornire alcuni esempi come "caldo : freddo = alto : basso" prima di chiedere di completare una nuova analogia, ad esempio in chimica. Questa tecnica è particolarmente utile per compiti ben definiti e con una struttura chiara. Studi come quello di \textcite{min_rethinking_2022} sottolineano l'importanza della scelta degli esempi, del formato e della distribuzione delle etichette per massimizzare l'efficacia del few-shot prompting.
-\item \textit{Chain-of-Thought (CoT) prompting}: Invece di fornire solo input e output, si includono nel prompt anche i passaggi intermedi del ragionamento. Questo aiuta l'LLM a scomporre il problema e a generare risposte più accurate e motivate. Ad esempio, per un problema matematico, si possono includere nel prompt i singoli passaggi di calcolo. \textcite{wei_chain--thought_2022} hanno dimostrato l'efficacia del CoT prompting nel migliorare le capacità di ragionamento degli LLM. La variante zero-shot CoT, che prevede l'aggiunta di frasi come "Pensiamo passo a passo" al prompt, può essere efficace anche senza esempi specifici \parencite{liu_generated_2022}.
-\item \textit{Retrieval Augmented Generation (RAG)}: La RAG è particolarmente utile in contesti educativi dove l'accuratezza delle informazioni è cruciale. Questa tecnica rappresenta un approccio ibrido che unisce la capacità generativa degli LLM con un meccanismo di recupero di informazioni da un archivio esterno. Il processo di RAG si sviluppa in due fasi principali: il recupero e la generazione. Nella fase di recupero, a fronte di una domanda, il sistema interroga un archivio di documenti precedentemente organizzati attraverso la creazione di rappresentazioni vettoriali, chiamate embeddings. Gli embeddings sono vettori numerici che catturano il significato semantico di porzioni dei documenti (chunks), permettendo di misurare la somiglianza di significato con la domanda. Le parti dei documenti con maggiore somiglianza semantica vengono quindi recuperate. Nella successiva fase di generazione, questi documenti, insieme alla domanda iniziale, vengono forniti come contesto all'LLM. Il modello linguistico utilizza queste informazioni aggiuntive per generare una risposta più precisa, pertinente e adatta al contesto. In questo modo, la RAG mira a ridurre i problemi legati alle "allucinazioni" fattuali e a migliorare l'affidabilità delle risposte generate, basandosi su fonti concrete e verificabili. La creazione preliminare di embeddings per l'organizzazione dell'archivio e l'efficiente calcolo della somiglianza durante la fase di recupero sono quindi aspetti cruciali per il corretto funzionamento e l'efficacia del paradigma RAG, ed è un lavoro da svolgere in precedenza. La maggior parte dei sistemi RAG permette di visualizzare quali sono gli estratti selezionati per generare la risposta, il che è molto utile perché consente di "vedere le fonti".
-\item \textit{Knowledge Generated Prompting}: Simile alla RAG, questa tecnica \parencite{liu_generated_2022} prevede l'aggiunta di informazioni rilevanti al prompt, ma in questo caso la "conoscenza" viene generata dall'LLM stesso prima di rispondere alla domanda principale. Questo approccio può essere utile per fornire contesto o definizioni che aiutano l'LLM a comprendere meglio il compito e a generare risposte più accurate.
+\item \textit{Few-Shot prompting}: Questa tecnica sfrutta la capacità degli LLM di apprendere dagli esempi. Fornendo al modello un numero limitato di esempi (da uno a pochi) di input e output desiderati, lo si guida a comprendere il compito richiesto e a generare risposte coerenti. Ad esempio, per insegnare all'LLM a completare analogie, si possono fornire alcuni esempi come \enquote{caldo : freddo = alto : basso} prima di chiedere di completare una nuova analogia, ad esempio in chimica. Questa tecnica è particolarmente utile per compiti ben definiti e con una struttura chiara. Studi come quello di \textcite{min_rethinking_2022} sottolineano l'importanza della scelta degli esempi, del formato e della distribuzione delle etichette per massimizzare l'efficacia del few-shot prompting.
+\item \textit{Chain-of-Thought (CoT) prompting}: Invece di fornire solo input e output, si includono nel prompt anche i passaggi intermedi del ragionamento. Questo aiuta l'LLM a scomporre il problema e a generare risposte più accurate e motivate. Ad esempio, per un problema matematico, si possono includere nel prompt i singoli passaggi di calcolo. \textcite{wei_chain--thought_2022} hanno dimostrato l'efficacia del CoT prompting nel migliorare le capacità di ragionamento degli LLM. La variante zero-shot CoT, che prevede l'aggiunta di frasi come \enquote{Pensiamo passo a passo} al prompt, può essere efficace anche senza esempi specifici \parencite{liu_generated_2022}.
+\item \textit{Retrieval Augmented Generation (RAG)}: La RAG è particolarmente utile in contesti educativi dove l'accuratezza delle informazioni è cruciale. Questa tecnica rappresenta un approccio ibrido che unisce la capacità generativa degli LLM con un meccanismo di recupero di informazioni da un archivio esterno. Il processo di RAG si sviluppa in due fasi principali: il recupero e la generazione. Nella fase di recupero, a fronte di una domanda, il sistema interroga un archivio di documenti precedentemente organizzati attraverso la creazione di rappresentazioni vettoriali, chiamate embeddings. Gli embeddings sono vettori numerici che catturano il significato semantico di porzioni dei documenti (chunks), permettendo di misurare la somiglianza di significato con la domanda. Le parti dei documenti con maggiore somiglianza semantica vengono quindi recuperate. Nella successiva fase di generazione, questi documenti, insieme alla domanda iniziale, vengono forniti come contesto all'LLM. Il modello linguistico utilizza queste informazioni aggiuntive per generare una risposta più precisa, pertinente e adatta al contesto. In questo modo, la RAG mira a ridurre i problemi legati alle \enquote{allucinazioni} fattuali e a migliorare l'affidabilità delle risposte generate, basandosi su fonti concrete e verificabili. La creazione preliminare di embeddings per l'organizzazione dell'archivio e l'efficiente calcolo della somiglianza durante la fase di recupero sono quindi aspetti cruciali per il corretto funzionamento e l'efficacia del paradigma RAG, ed è un lavoro da svolgere in precedenza. La maggior parte dei sistemi RAG permette di visualizzare quali sono gli estratti selezionati per generare la risposta, il che è molto utile perché consente di \enquote{vedere le fonti}.
+\item \textit{Knowledge Generated Prompting}: Simile alla RAG, questa tecnica \parencite{liu_generated_2022} prevede l'aggiunta di informazioni rilevanti al prompt, ma in questo caso la \enquote{conoscenza} viene generata dall'LLM stesso prima di rispondere alla domanda principale. Questo approccio può essere utile per fornire contesto o definizioni che aiutano l'LLM a comprendere meglio il compito e a generare risposte più accurate.
 \end{enumerate}
 
 Nei contesti educativi, l’integrazione di queste tecniche di \emph{prompting} permette di sfruttare appieno il potenziale degli LLM come strumenti per l’apprendimento, migliorando la qualità delle interazioni e promuovendo un utilizzo più efficace e consapevole dell’IA in educazione in modo più economico.
@@ -33,7 +33,7 @@ Nei contesti educativi, l’integrazione di queste tecniche di \emph{prompting}
 
 Aggiungendo istruzioni al contesto possiamo indicare una strada da seguire all’LLM, specificando la maniera in cui risponde, il tono, la lingua. Ad esempio, dopo aver arricchito la conoscenza dell’LLM, si può indicare che non deve dare la soluzione all’utente quando quest’ultimo chiede il risultato di un esercizio, ma piuttosto guidarlo alla soluzione e invitarlo a riflettere. Questo è il principio, ad esempio, dei tutor Khanmigo, un prodotto di KhanAccademy basato su GPT-4. Al giorno d’oggi la creazione di un tutor didattico basato su un LLM, se ben progettato, è un processo relativamente semplice. La facilità d’uso di piattaforme come GPTs e le Gems di Gemini rende oggi possibile persino ai docenti creare tutor personalizzati per i propri studenti, se disposti a pagare per il servizio.
 
-La manipolazione del contesto e, in particolare, la RAG rappresentano approcci promettenti ed economici per raggiungere questo obiettivo. Il contesto, inteso come l’insieme delle informazioni, indicazioni e conoscenze relative a un determinato ambito selezionato dal \emph{prompt engineer}, può essere fornito all’LLM attraverso il \emph{prompt} di sistema, ovvero l’input testuale principale che guida la generazione del testo. Un \emph{prompt} ben strutturato e ricco di dettagli contestuali può indirizzare l’LLM verso la produzione di risposte più pertinenti e precise e ridurre ma non eliminare del tutto le allucinazioni. Con il passare del tempo, l’avanzamento della tecnologia sta portando a un ampliamento del contesto. Ad oggi, alcuni modelli della serie Gemini offrono un contesto che, secondo l’azienda, arriva a 2 milioni di \emph{token}, anche se alcuni studi dimostrano che in realtà è leggermente inferiore \parencite{hsieh_ruler_2024}. L’aumento della capacità del contesto permette di far riferimento a interi libri, mentre prima era necessario vettorializzare e per poi affidarsi alla RAG. Chiaramente, inserire molte informazioni nel contesto è più costoso dal punto di vista computazionale, perché, in un certo senso, l’LLM "ripassa" tutto ciò che è presente nel contesto, lo "studia" di nuovo prima di ogni sessione. E se la quantità di informazioni è elevata, ovviamente, questo influisce sui tempi di risposta.
+La manipolazione del contesto e, in particolare, la RAG rappresentano approcci promettenti ed economici per raggiungere questo obiettivo. Il contesto, inteso come l’insieme delle informazioni, indicazioni e conoscenze relative a un determinato ambito selezionato dal \emph{prompt engineer}, può essere fornito all’LLM attraverso il \emph{prompt} di sistema, ovvero l’input testuale principale che guida la generazione del testo. Un \emph{prompt} ben strutturato e ricco di dettagli contestuali può indirizzare l’LLM verso la produzione di risposte più pertinenti e precise e ridurre ma non eliminare del tutto le allucinazioni. Con il passare del tempo, l’avanzamento della tecnologia sta portando a un ampliamento del contesto. Ad oggi, alcuni modelli della serie Gemini offrono un contesto che, secondo l’azienda, arriva a 2 milioni di \emph{token}, anche se alcuni studi dimostrano che in realtà è leggermente inferiore \parencite{hsieh_ruler_2024}. L’aumento della capacità del contesto permette di far riferimento a interi libri, mentre prima era necessario vettorializzare e per poi affidarsi alla RAG. Chiaramente, inserire molte informazioni nel contesto è più costoso dal punto di vista computazionale, perché, in un certo senso, l’LLM \enquote{ripassa} tutto ciò che è presente nel contesto, lo \enquote{studia} di nuovo prima di ogni sessione. E se la quantità di informazioni è elevata, ovviamente, questo influisce sui tempi di risposta.
 
 Di seguito un esempio di \textit{prompt} per una applicazione di chimica, nel quale vengono fornite più informazioni sull’argomento e si cerca di evitare che il sistema diventi uno strumento per dare le soluzioni ai compiti \footnote{Prompt creato e testato con il supporto di dell'IA \textit{Antropic Prompt Improver}}:
 \begin{lstlisting}[language=plain]
@@ -51,7 +51,7 @@ Ricorda che il tuo obiettivo non è fornire la soluzione immediata, ma guidare l
 Analizzando il prompt possiamo notare che si tratta di un testo relativamente corto con queste caratteristiche:
 
 \begin{enumerate}
-    \item Il ruolo dell'LLM viene definito con precisione: un tutor esperto, paziente e con ottime capacità comunicative. Questa impostazione permette di delineare un vero e proprio "personaggio" e di modulare al meglio lo stile interattivo del modello.
+    \item Il ruolo dell'LLM viene definito con precisione: un tutor esperto, paziente e con ottime capacità comunicative. Questa impostazione permette di delineare un vero e proprio \enquote{personaggio} e di modulare al meglio lo stile interattivo del modello.
     
     \item Il \textit{prompt} non si limita a richiedere risposte corrette, ma sottolinea l'importanza di assistere lo studente nel suo percorso di apprendimento, stimolandone il ragionamento autonomo e la capacità di risolvere i problemi. Di conseguenza, l'LLM non è una semplice fonte di soluzioni, ma una guida.
    
@@ -64,4 +64,3 @@ Analizzando il prompt possiamo notare che si tratta di un testo relativamente co
 \end{enumerate}
 Secondo chi scrive, le case editrici, grazie al possesso dei diritti sui testi, hanno un potenziale e un vantaggio competitivo in questo ambito, in quanto non dovrebbero affrontare problemi di copyright nell'utilizzo dei contenuti. Questo apre scenari interessanti per il futuro dell'istruzione tradizionale, con la possibilità di integrare strumenti di apprendimento sempre più efficaci e personalizzati nell'editoria scolastica e universitaria all'interno dei libri di testo.
 
-