Come funzionano i Transformer e il principio dell’attenzione

INTELLIGENZA ARTIFICIALE

Questo articolo spiega in modo semplice ma dettagliato i concetti chiave dietro l’architettura che ha rivoluzionato l’elaborazione del linguaggio naturale e molte altre aree: l’attenzione (attention) e i moduli basati sui transformer. Troverai intuizioni, formule in LaTeX pronte per WordPress/MathJax, un esempio numerico e schemi visivi integrati.

Perché l’attenzione è importante

Prima dei modelli basati su attenzione, le reti ricorrenti e CNN affrontavano difficoltà nel catturare dipendenze a lunga distanza nel testo. L’idea chiave è semplice: invece di trattare ogni parola con lo stesso peso o dipendere solo dall’ordine sequenziale, si calcola per ogni elemento una “mappa di rilevanza” (pesi) verso gli altri elementi, e si costruisce la rappresentazione come combinazione pesata delle informazioni rilevanti.

Intuizione di base

Immagina di tradurre una frase. Per decidere il significato di una parola, spesso guardi ad altre parole nella frase. L’attenzione dà al modello la capacità di “guardare” ovunque nella sequenza e decidere quanto peso assegnare a ciascun elemento. Questo è fatto in modo differenziabile e parallelo, permettendo addestramento efficiente su GPU.

Formulazione matematica (concetti fondamentali)

Tre sono i termini fondamentali: Query (Q), Key (K) e Value (V). Per ogni posizione la rete costruisce:

  • Query: cosa sto cercando;
  • Key: caratteristiche che descrivono ciò che ogni posizione offre;
  • Value: il contenuto effettivo da combinare.

La forma più comune di attenzione usata nei transformer è la “scaled dot-product attention”. In LaTeX (display) si scrive:

$$text{Attention}(Q,K,V)=mathrm{softmax}!left(frac{QK^top}{sqrt{d_k}}right)V$$

Qui (d_k) è la dimensione delle key (usata per scalare i prodotti punto e mantenere stabilità numerica). La matrice (mathrm{softmax}(cdot)) genera i pesi di attenzione per ogni Query rispetto a tutte le Key.

Multi-head attention

Per consentire al modello di osservare relazioni diverse in parallelo si usa la multi-head attention. Formula (display):

$$text{MultiHead}(Q,K,V) = text{Concat}(text{head}_1,dots,text{head}_h)W^O$$

dove ogni testa è:

$$text{head}_i = text{Attention}(QW_i^Q,,KW_i^K,,VW_i^V)$$

\frac{a}{b} = c

Positional encoding

Poiché l’attenzione è in gran parte agnostica rispetto alla posizione, i transformer aggiungono informazioni posizionali alle rappresentazioni iniziali. Un encoding comune è la versione sinusoidale:

$$mathrm{PE}_{(pos,2i)}=sinleft(frac{pos}{10000^{2i/d_text{model}}}right),qquad
mathrm{PE}_{(pos,2i+1)}=cosleft(frac{pos}{10000^{2i/d_text{model}}}right)$$

Esempio numerico semplice

Considera un caso minimale con una Query e due coppie Key/Value (tutte vettori di dimensione 2):

Q = [1, 0]
K1 = [1, 1], V1 = [1, 0]
K2 = [0, 1], V2 = [0, 1]
d_k = 2

Calcoliamo i prodotti punto QK^T:

Q·K1 = 1*1 + 0*1 = 1
Q·K2 = 1*0 + 0*1 = 0

Applichiamo lo scaling con sqrt(d_k) = sqrt(2) ≈ 1.414:

[1, 0] / 1.414 ≈ [0.7071, 0]

Softmax sui due valori:

softmax([0.7071, 0]) = [ e^{0.7071} / (e^{0.7071}+e^0), e^0 / (e^{0.7071}+e^0) ]
                  ≈ [0.669, 0.331]

Infine la combinazione pesata dei Value:

Output = 0.669 * [1,0] + 0.331 * [0,1] = [0.669, 0.331]

Questo mostra come la Query prenda principalmente informazione da K1/V1 ma includa anche una parte da K2/V2 in base ai pesi.

Schema visuale dell’attenzione

Query (Q)Key (K1)Value (V1)Key (K2)

Value (V2)

pesi di attenzione → combinazione pesata

Output

Rappresentazione semplificata: la Query si confronta con le Key, genera pesi e combina i Value.

Come questo si integra nei Transformer

Un blocco transformer tipico contiene: multi-head attention (self-attention), normalizzazione (LayerNorm), feed-forward posizionale e residui (skip connections). I blocchi sono impilati per creare modelli profondi. Ecco lo schema semplificato integrato direttamente:

Multi-Head AttentionAdd & LayerNormPosition-wise Feed-Forward
Struttura di un singolo blocco transformer (semplificata).

Consigli pratici e varianti

Esistono molte varianti: attenzione locale, attenzione sparsa, transformer encoder-only (BERT), decoder-only (GPT) e encoder-decoder (originale Transformer per traduzione). Per compiti lunghi si adottano tecniche di scaling o meccanismi di compressione per limitare la quadraticità della matrice QK^T.

Conclusione e passi successivi

La combinazione di attenzione scalata, multi-head e posizioni codificate rende possibile apprendere relazioni complesse in modo efficiente e parallelo. Per approfondire, prova a implementare in poche righe la scaled dot-product attention e sperimenta con dataset testuali piccoli per visualizzare i pesi di attenzione.

Vuoi ricevere guide pratiche, notebook con esempi e visualizzazioni interattive sull’attenzione? Iscriviti alla newsletter o scarica il mini-tutorial gratuito cliccando il link qui sotto.

Scarica il mini-tutorial gratuito

Se vuoi farmi qualche richiesta o contattarmi per un aiuto riempi il seguente form

    Comments