Come viene preparato il set di dati per l'addestramento del modello AI in Pong e quali passaggi di preelaborazione sono necessari per garantire che i dati siano adatti all'addestramento?

/ / Pubblicato in Intelligenza Artificiale, Apprendimento approfondito EITC/AI/DLTF con TensorFlow, Apprendimento approfondito nel browser con TensorFlow.js, Modello di addestramento in Python e caricamento in TensorFlow.js, Revisione d'esame

Preparazione del set di dati per l'addestramento del modello AI in Pong

Raccolta dati

Il passaggio iniziale nella preparazione di un set di dati per l'addestramento di un modello di intelligenza artificiale per il gioco Pong prevede la raccolta di dati di gioco grezzi. Questi dati possono essere raccolti con vari mezzi, come la registrazione di sessioni di gioco in cui giocatori umani o agenti IA preesistenti giocano. I dati registrati dovrebbero includere:

1. Stati del gioco: Ciò comporta l'acquisizione delle posizioni dei paddle, della palla e potenzialmente di altri elementi di gioco rilevanti in ciascun fotogramma.
2. Azioni: Le azioni intraprese dal giocatore o dall'agente AI in ogni fotogramma, come spostare la pagaia verso l'alto o verso il basso.
3. Premi: I premi immediati ricevuti per ogni azione, che in Pong potrebbero essere punti segnati o penalità subite.

Una tipica voce di set di dati potrebbe assomigliare a questa:

{{EJS12}}
Pre-elaborazione dei dati


Una volta raccolti i dati grezzi, questi devono essere sottoposti a diverse fasi di pre-elaborazione per garantire che siano adatti all'addestramento di una rete neurale. Queste fasi includono: 1. Normalizzazione: Le posizioni della pallina e delle racchette devono essere normalizzate a una scala coerente. Ad esempio, se la risoluzione dello schermo di gioco è di 800x600 pixel, le posizioni possono essere normalizzate a un intervallo compreso tra 0 e 1.

    
python
    def normalize_position(position, screen_width, screen_height):
        return [position[0]/screen_width, position[1]/screen_height]
    
2. Codifica One-Hot: Le azioni devono essere convertite in un formato adatto ai modelli di machine learning. A questo scopo viene generalmente utilizzata la codifica one-hot.
python
    from sklearn.preprocessing import OneHotEncoder
    actions = ["up", "down", "stay"]
    encoder = OneHotEncoder(sparse=False)
    encoded_actions = encoder.fit_transform(np.array(actions).reshape(-1, 1))
    
3. Impilamento dei telai: Per fornire al modello un contesto temporale, i fotogrammi consecutivi possono essere impilati insieme. Ciò consente al modello di comprendere il movimento della palla e dei paddle nel tempo.
python
    def stack_frames(frames, stack_size):
        stacked_frames = []
        for i in range(len(frames) - stack_size + 1):
            stacked_frames.append(frames[i:i + stack_size])
        return np.array(stacked_frames)
    
4. Modellazione della ricompensa: Regolazione del segnale di ricompensa per rendere il processo di formazione più efficiente. Ad esempio, dare una piccola ricompensa negativa per ogni frame in cui non si vince la partita può incoraggiare il modello a vincere più velocemente.
 
{{EJS16}}
Creazione dei set di training e convalida
I dati preelaborati vengono quindi suddivisi in set di training e di validazione. Questo passaggio è importante per garantire che il modello possa essere generalizzato a dati nuovi e inediti. Un rapporto di suddivisione comune è dell'80% per il training e del 20% per la validazione.
 
{{EJS17}}
Aumento dei dati
Per migliorare la robustezza del modello, è possibile applicare tecniche di aumento dei dati. Ciò può includere:
1. Capovolgimento casuale: Capovolgere la schermata di gioco in orizzontale.
 2. Ritaglio casuale: Ritagliare parti della schermata di gioco per simulare diverse dimensioni o prospettive dello schermo.
 3. Aggiungere rumore: Aggiunta di rumore casuale alle posizioni della palla e delle palette.
 
{{EJS18}}
Addestramento del modello in Python
Una volta preparato il set di dati, il passo successivo è addestrare il modello di intelligenza artificiale utilizzando un framework di deep learning come TensorFlow. Una rete neurale convoluzionale (CNN) viene generalmente utilizzata per questo compito grazie alla sua efficacia nell'elaborazione dei dati visivi.
Definizione dell'architettura del modello
Un semplice modello CNN per Pong potrebbe includere diversi livelli convoluzionali seguiti da livelli completamente connessi.
 
{{EJS19}}
Compilazione del modello
Il modello viene quindi compilato con un ottimizzatore e una funzione di perdita appropriati. Per un compito di classificazione come questo, viene comunemente utilizzata l'entropia incrociata categoriale.
 
{{EJS20}}
Formazione del modello
Il modello viene addestrato utilizzando i dati di addestramento, con il set di convalida utilizzato per monitorare le prestazioni e prevenire l'overfitting.
 
{{EJS21}}
Caricamento del modello in TensorFlow.js
Una volta addestrato il modello, può essere convertito in un formato compatibile con TensorFlow.js e caricato in un'applicazione web.
Conversione del modello
TensorFlow.js fornisce un'utilità per convertire i modelli TensorFlow nel formato TensorFlow.js.
 
{{EJS22}}
Caricamento del modello nel browser
Nell'applicazione Web, il modello TensorFlow.js può essere caricato e utilizzato per l'inferenza.
 
{{EJS23}}
tags
Apprendimento automatico, preelaborazione dei dati, TensorFlow, TensorFlow.js, CNN
Altre domande e risposte recenti riguardanti Apprendimento approfondito nel browser con TensorFlow.js:
Visualizza altre domande e risposte in Deep learning nel browser con TensorFlow.js
Altre domande e risposte:
Etichettato sotto: