Alessio
75a9bbb0c8
- Rimosso limite TOP 1000 in EFCoreDatabaseManager.GetAllRecordsAsync - Eliminati controlli di sicurezza con limiti automatici in DataCoupler - Aggiornata documentazione per riflettere estrazione senza limiti - Supporto completo per dataset di grandi dimensioni - Mantenuto batching automatico Salesforce (25 record/batch) in parallelo Ora il sistema supporta l'estrazione completa di tabelle e query custom senza restrizioni artificiali, ideale per migrazioni e use cases enterprise.
56 lines
2.3 KiB
Markdown
56 lines
2.3 KiB
Markdown
# Estrazione Dati Senza Limiti
|
|
|
|
## Configurazione Attuale
|
|
|
|
### Limiti Rimossi
|
|
- **Database Tabelle**: **NESSUN LIMITE** - Estrazione completa di tutte le righe
|
|
- **Query Custom**: **NESSUN LIMITE** - Esecuzione query senza restrizioni
|
|
- **File Excel/CSV**: **NESSUN LIMITE** - Caricamento completo del file
|
|
|
|
### Estrazione Completa
|
|
Il sistema DataCoupler è ora configurato per permettere l'estrazione completa di dataset di qualsiasi dimensione:
|
|
|
|
1. **Tabelle Database**:
|
|
- `SELECT * FROM [tabella]` senza clausole TOP/LIMIT
|
|
- Estrazione di tutte le righe della tabella selezionata
|
|
|
|
2. **Query Custom**:
|
|
- Esecuzione diretta della query fornita dall'utente
|
|
- Nessuna aggiunta automatica di limiti
|
|
- Supporto per query complesse con JOIN, subquery, etc.
|
|
|
|
3. **File Excel/CSV**:
|
|
- Caricamento completo del file in memoria
|
|
- Supporto per file di grandi dimensioni limitato solo dalla RAM disponibile
|
|
|
|
## Considerazioni Performance
|
|
|
|
### Gestione Memoria
|
|
- **Dataset Grandi**: L'applicazione caricherà in memoria tutti i record estratti
|
|
- **Processing Batch**: Le operazioni Salesforce mantengono il batching automatico (25 record per batch) in parallelo
|
|
- **Streaming**: I dati vengono processati record per record dopo l'estrazione iniziale
|
|
|
|
### Monitoraggio
|
|
- **Log Dettagliati**: Ogni estrazione viene loggata con il numero di record estratti
|
|
- **Progress Tracking**: L'UI mostra il progresso delle operazioni di trasferimento
|
|
- **Error Handling**: Gestione robusta degli errori per dataset grandi
|
|
|
|
## Vantaggi
|
|
|
|
1. **Flessibilità Massima**: Nessuna limitazione sui dati da estrarre
|
|
2. **Use Cases Enterprise**: Supporto per dataset aziendali di grandi dimensioni
|
|
3. **Query Complesse**: Pieno supporto per logic di business complesse
|
|
4. **Migrazione Dati**: Ideale per migrazioni complete di dati
|
|
|
|
## Performance Optimizations
|
|
|
|
### Salesforce Composite API
|
|
- **Batching Automatico**: 25 operazioni per batch (limite Salesforce)
|
|
- **Esecuzione Parallela**: Batch multipli eseguiti simultaneamente
|
|
- **Gestione Errori**: Fallback automatico per errori di batch individuali
|
|
|
|
### Database Connections
|
|
- **Connection Pooling**: Utilizzo efficiente delle connessioni database
|
|
- **Async Operations**: Tutte le operazioni database sono asincrone
|
|
- **Transaction Management**: Gestione ottimale delle transazioni
|