NO.
La questione è semplice.
Sul terreno si può costruire (seppur con indici normalmente bassi). Ma ci si può costruire solo quanto strumentalmente attinente all'esercizio dell'attività agricola (stalle, granai, rimesse per i mezzi e gli attrezzi agricolo, silos... finanche la casa del coltivatore diretto).
Quello che non si può fare è costruire qualcosa che NON abbia attinenza con l'attività agricola (ed es. un casa per le vacanze, una albergo, un hangar, una industria).
Nel tuo caso ciò che vuoi edificare è una palestra quindi il divieto è palese. Posto che la palestra nulla ha a che fare con l'attività agricola.
Il fatto che la struttura sia smontabile E' DEL TUTTO IRRILEVANTE. Le norme urbanistiche si applicano ad ogni tipo di intervento idoneo a trasformare l'ambiente anche se in maniera transitoria e reversibile.
Vuoi montare un prefabbricato... ti devi rivolgere al comune... vuoi costruire una veranda aperta ..... ti devi rivolgere al comune.... vuoi piazzare la tua roulotte e momentaneamente smonti le ruote per evitare che si rovinino... incredibile ma vero è considerata attività edificatoria.
Ciò che rileva non è la removibilità della struttura e quindi la sua precarietà ma la sua idoneità trasformare il territorio, anche solo temporaneamente. Certo se monti un tendone per un paio di giorni per celebrare una festa (chessò un matrimonio) dubito che qualcuno ti venga a disturbare (salvo denuncia di vicini) ma se quello stesso tendono ci resta 15 giorni vedrai che folla di Vigili Urbani ti troverai sotto casa...