Come capire se la tua rete neurale soffre di problemi di overfitting o di underfitting

AI, INTELLIGENZA ARTIFICIALE

In questo post voglio riprendere un concetto di cui ho già parlato nell’articolo relativo all’overfitting di una rete neurale, in cui fornivo una spiegazione su cosa fossero i fenomeni di overfitting e di ‘underfitting, ma su cui non mi sono soffermato con esempi pratici.

In questo breve post voglio riprendere lo stesso concetto andando ad analizzare le curve di loss di training e di validation, per  dare un interpretazione al fenomeno.

loss function

 

Per comprendere la dinamica del fenomeno attraverso la lettura della curva di loss possiamo darci delle rigide regole e considerare che :

Se la validation loss  è molto maggiore  della training loss possiamo dire che la rete soffre di problemi di overfitting.

Se la validation loss è maggiore  della training loss possiamo dire che la rete probabilmente ha problemi di overfitting.

Se la validation loss  è minore  della training loss possiamo dire che la rete probabilmente ha problemi di underfitting.

Se la validation loss è molto minore della training loss possiamo dire che la rete soffre di problemi di underfitting.

 

N.B.

La situazione perfetta si ottiene quando la validation loss e la training loss seguono un andamento simile, ma per una addestramento ideale la validation loss dovrà essere la più piccola  possibile.

A questo punto risulterà chiaro osservando l’esempio della figura  di cui sopra  che la rete addestrata soffre di problemi di overfitting, ma ancora più grave emerge il problema relativo al valore finale della validation loss troppo elevato.

In tal caso si può indubbiamente concludere che la rete non risponderà adeguatamente alla fase di testing e che l’addestramento non è adeguato.

Comments