Ich habe die letzten Tage genutzt, sämtliche noch verwendeten iMacros Skripte abzulösen. IMacro ist relativ schnell einsatzbar, jedoch für meinen Zweck stellte es sich als unbrauchbar heraus. Die große Ärgernis sind die Updates, die nicht kompatibel zu den aktuellen Firefox Versionen sind, ständige Änderungen an den Encoding für Umlaute und das die Chrome Version , Firefox ,IE und die Standalone Version nicht wirklich kompatibel untereinander sind. Einige Funktionen sind da, andere nicht oder andere funktionieren in den unterschiedlichen Versionen anders.
Die Firefox (free) Version kann immer nur ein Skript laufen lassen. Das erzwingt eine Behandlung mit einer Queue. Leider verschluckt sich das Teil öfters, und das Marko startet erst garnicht. Dann benötigt man als Ergänzung einen Watchdog, der hängende Markos abschießt, damit die Queue weiter arbeitet. Alles zusammen und der relative große Speicherverbrauch haben mich nochmal dazu gebracht, die Entscheidung zu überdenken.
Die ursprüngliche Version sah eine Kombination aus wget/curl, grep, sed und awk vor. Das ist damals leider an einem Problem gescheitert, dessen Lösung ich nun endlich nach einer ziemlichen Sucherei gefunden habe. Wget bzw. curl können auch Werte per Post übergeben. Dazu müssen alle Sonderzeichen entsprechend kodiert werden. Das hat nicht funktioniert, weil die Behandlung durch wget/curl anders war, als dies Browser tun. Durch einen Trick konnte ich dies jetzt beheben und damit alles auf wget umstellen. Ansatt die Werte für das Post Kommando direkt als Parameter anzugeben, einfach die Werte aus einer Datei lesen. Schon gibt es keine Probleme mit Sonderzeichen mehr.
Die Skripte sind nun extrem speicherschonend, ich kann sie endlich auch parallel laufen lassen und damit die Aktualisierung meiner Datenbanken extrem beschleunigen und die Frequenz der Aktualisierung massiv erhöhen.