Sinds lange tijd is er weer een extreem grote dataconversie uitgevoerd. Het betrof een groot gezondheidscentrum met tientallen huisartsen die overstapte naar een pakket dat zich meer richt op wetenschappelijk onderzoek.
Het eerste probleem waarop ik stuitte was dat de structuur van de data van het bronpakket wezenlijk anders was dan die van het doelpakket. Dat betekende dat de data op vele punten anders moest worden ingericht.
Maar een ander groot probleem was de omvang van de data. Allereerst leverde dat iedere keer veel wachttijden op om de gegevens te verwerken. Maar omdat ik vaak gebruik maak van MS Access (om snel inzicht te krijgen in de datastructuren; voor mij werkt dat erg prettig), liep ik al snel tegen de grenzen van het programma op. Een Access database mag nl. niet groter worden dan 2GB en gezien de omvang van de gegevens (van 1995 tot heden) was het meteen al duidelijk dat het onmogelijk was om alle gegevens hier in onder te brengen.
Er is nog overwogen om een SQL database te gaan gebruiken, maar in combinatie met Access resulteerde dat in een (voor mij) te traag werkend systeem. Gelukkig kent Access wel een oplossing: je kan de data in meerdere ACCDB bestanden onderbrengen en dan koppelen met de centrale database. Dit is wel even puzzelen, maar werd uiteindelijk geautomatiseerd uitgevoerd.
Tijdens de verwerkingen viel het op wel dat een Access databasebestand kan groeien als gevolg van en tijdens bewerkingen. En als je dan over de grens van 2GB heen resulteert dat in een foutmelding en kan je opnieuw beginnen. En daarnaast bleek ook dat een groot ACCDB bestand steeds trager wordt.
Uiteindelijk werkte alles wel naar behoren. De aangeleverde 7GB resulteerde in 13GB databases, waaruit 8GB aan export werd gegenereerd, wat vervolgens weer 4GB aan uitlever-bestanden opleverde. Inclusief alle werk- en tijdelijke bestanden besloeg de werkmap op de conversie PC na de definitieve conversie 134 GB.
De conclusie is dat Access als tool voor mij wel goed voldoet, maar dat het niet aan te raden is om er dergelijk grote databestanden mee te verwerken. En zeker als er sprake is van tabellen met 2 miljoen-plus records, want dan word je geduld regelmatig op de proef gesteld...
Joop Mullemeister is sinds 2000 gespecialiseerd in database conversies voor huisarts- en fysiotherapiepraktijken en schrijft zo nu en dan een kort stukje over wat hij op dat moment belangrijk vindt. Wil je reageren? Stuur dan een mailtje, of gebruik het contactformulier.
