| 

.NET C# Java Javascript Exception

Re: SQL-Abfrage(3Mio. Datensätze) zu CSV

Dies ist das Archiv des ehemaligen Forums zum Thema Groovy, Grails, Griffon und Bean Scripting Framework, welches unter groovy-forum.de existierte. Die neue Adresse des Groovy-Forums ist: http://codekicker.de/fragen/themen/groovy.


Re: SQL-Abfrage(3Mio. Datensätze) zu CSV

ASteiger - 30.04.2009 14:33
Hi,

ich habe schon diese Werte eingestellt:

-Xmx1536M -Xms1536M

Der Speicher reicht aber leider nur für ca. 1 Millionen Datensätze.

Es könnte aber durchaus passieren das ich Datenbank-Tabellen mit mehr als 10 Millionen Datensätze bekomme.

Trotzdem erstmal danke.

Gruß Alex


Re: SQL-Abfrage(3Mio. Datensätze) zu CSV

Jo - 30.04.2009 16:06
Versuchs mal mit eachRow anstatt query. Damit konnte ich problemlos 2 Mio. Datensätze aus einer Oracle-DB lesen.

oracleSql.eachRow('select * from tabelle') { row ->
    ...
}

Gruß
Jo.


Re: SQL-Abfrage(3Mio. Datensätze) zu CSV

krey - 03.05.2009 23:10
Groovy sollte man für Batching von großen Datenmengen nicht verwenden.

Schau dir SpringBatch an und schreib den Kram lieber in Java. Damit hast du das Speicherproblem nicht mehr (da du beliebig viele Prozesse zum Batching starten kannst).


Lösung?

christian - 04.05.2009 17:47
Es wurden ja nun verschiedene Möglichkeiten genannt, wie man das Problem lösen könnte. Es wäre doch ein schöner Abschluss der Diskussion, wenn du uns noch verraten würdest, wie du es letztlich gelöst hast.

Gruß
Christian


Stelle deine Groovy-Frage jetzt!


Diese Seite zeigt den Thread "Re: SQL-Abfrage(3Mio. Datensätze) zu CSV" der ehemaligen Webseite groovy-forum.de, welche durch einen Serverunfall zerstört wurde. codekicker.de hat viele Konversationen über die beliebte Programmiersprache Groovy und zugehörige Frameworks wie das Grails-Framework retten können.

Hast Du eine Frage zum Thema Groovy, Grails oder allgemein Java? Viele ehemalige groovy-forum.de Mitglieder beantworten dir auf codekicker.de deine Frage! Stelle jetzt eine Frage!

Viele weitere Diskussionen zu Grails und Groovy befinden sich auf der Threadübersicht des alten groovy-forum.de.