Bei Stapelverarbeitung SPP Metadaten beschnitten

Diskutiere Bei Stapelverarbeitung SPP Metadaten beschnitten im Sigma Dunkelkammer Forum im Bereich Sigma Forum; Das heißt bei 46 wurden die EXIF nicht mutgespeichert, oder traten größere Fehler auf? Bei 1000 Bildern sind das ca 40-60GB die gespeichert werden...
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #21
Oh wie recht Ihr leider habt:
"Schweine können wirklich nicht fliegen".
Hab jetzt alle möglichen Hintergrundprogramme geschlossen, vom Netz getrennt.... um meine Rechnerkerne samt Speicher auf die Kernaufgabe "SPP zu TIFF im Stapel" zu konzentrieren und durch nichts stören zu lassen.
Ergebnis : von 1000 Stück x3fs waren 46 Ausschuss:mad::mad::mad:
Das das herstellerseitig ignoriert wird wundert mich,

Das heißt bei 46 wurden die EXIF nicht mutgespeichert, oder traten größere Fehler auf?
Bei 1000 Bildern sind das ca 40-60GB die gespeichert werden müssen.
Insofern ist es wirklich interessant wie lange die Aktion gedauert hat.
Bei solchen Datenmengen ist die Abstimmung des Systems oft entscheidend.
Ein schneller Prozessor kann beispielsweise einen langsamen Datenbus überfordern und zu solchen defekten in den Dateien führen.
Bei Windows steht die Datenintegrität leider nicht an erster Stelle.
Eine mögliche Fehlerquelle wäre eine Datenübertragung über USB.
USB ist von seiner Architektur her nicht für sichere Datenübertragungen geeignet.
FireWire, Thunderbolt oder sogar SCSI wären hier deutlich ausfallsicherer.

Gruß

Frankg
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #22
Es waren 1180 Merrill-Dateien (sicher brauch ich die nicht alle). Es hat ca. 7 Std. gedauert.
Es traten sonst keine Fehler auf, nur eben paar Exifs sind weg.
Die Fehler traten zu unterschiedlichen Zeitpunkten un Gruppen von 3-10 Bildern auf.
Sie gesamte Datengröße kann ich jetzt nicht mehr sagen, ca. 60 GB kann es sein.( sind inzwischen in LR importiert.
Hab wirklich versucht mir zugängliche Hardware und Software-Bremsen abzuschalten.
Mein Rechenknecht werkelt mit i7-720QM, 16GB RAM, Win 7, gelesen und geschrieben auf einer internen SSDin unterschiedlicher Partition, die auch die Boot-Partition mit BS draufhat die ich aber nicht zum Lesen und Schreiben der Merrill-Files benutzt hab.
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #23
Dann ist es wirklich einigermaßen unverständlich.
7 Stunden sind weit mehr als ich geschätzt hätte.
Es könnte natürlich dennoch sein, dass SPP nicht sauber organisieren kann, wann die Daten geschrieben werden. Die interne Platte ist ja, auch wenn alles abgeschaltet ist, immer im Zugriff des BS, z.B bei Archivierungen, Fehlerbehebungen etc. Das sind ja Hintergrundprozesse, die sich nicht deaktivieren lassen. Wenn während eines solchen Zugriffs SPP speichern möchte, kann das unabhängig von der Geschwindigkeit des Rechners Probleme machen. Da fällt mir nur eine externe Platte als Möglichkeit der Fehlerbehebung ein. Ich trenne stets Photo- und Video-Dateien strikt vom Betriebssystemmedium.
Ich habe den Fehler bislang bei mir nicht beobachtet.

Gruß

Frankg
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #24
Noch als Info hier: die Festplatte, die ich für Bilder nutze, hängt an einem eigenen SATA-Kabel (der Controller wird ja wahrscheinlich der gleiche sein).
Das Problem trat an verschiedenen Rechnern und Motherboards auf.
Das Problem trat auch auf, als SPP unter WINE unter Linux lief (und hier gefühlt öfter und schneller).
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #25
Frank G:
Ich trenne stets Photo- und Video-Dateien strikt vom Betriebssystemmedium

ICH AUCH
nur passiert das auf der zweiten Platte , der über Sata-intern verbaut ist genauso fehlerhaft, da meine 2. Platte nur eine HDD ist und dort Probleme vermutet hatte, hab ichs eben mal probeweise alles auf die SDD gelegt und von dort laufen lassen,
ein Versuch wars wert...
Danke Euch
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #26
Erstmal Danke für Eure Hilfe, habe vorhin nochmal verglichen , mein Fazit :
Automatisches Bilderspeichern ist nur bedingt brauchbar, egal ob jpeg, oder Tiff mit 16 bit,die konvertierten Dateien haben dieselbe Qualität, mit beiden lassen sich sich in LR gleiche Ergebnisse erzielen TIFF egal ob mit 8 bit oder 16 bit haben nicht mehr Bildinformationen, weder in den Details noch in den Farben.
-----
Aus einem in SPP entwickelten X3F-Datei lassen bedeutend bessere Ergebnisse erzielen, wenns z.B. darum geht, über oder unterbelichtete Fotos zu retten.
----
Lange wollte ich das nicht glauben, aber SPP bleibt unabdingbar....
Bleibt bloß noch zu glauben das "Schweine fliegen können)...
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #27
Das mit den fehlenden exifs ist mir auch passiert. Allerdings ohne Stapelverarbeitung, die habe ich bisher noch gar nicht verwendet bei der SD1, weil JEDES Bild einen unpassenden Weissabgleich hatte und mit der Hand korrigiert werden musste :(... Alle Bilder einzeln gespeichert.

Im x3f sind die Daten allerdings noch vorhanden. Insofern kann ich damit leben. Wofür brauche ich eigentlich die exif-Daten im gewandelten TIFF/JPG??? Um zu erkennen ob das Bild gut ist? Beim gerahmten Dia konnte ich ohne Entrahmung nicht mal mehr die Filmsorte erkennen, also habt euch nicht so jungfernhaft wegen der paar exifs. :psst:

So sorgt SIGMA dafür, dass ich ab und zu nochmal in die x3f's schauen muss. Dabei sehe ich dann, dass mit der nächsten SPP-Variante sowieso alle Entwicklungsparameter der vorhergehenden Version im Eimer sind, weil ein VÖLLIG ANDERER Bildeindruck entsteht. :D

PS: Dieses Schwein läuft ja noch nicht mal richtig, wie soll's dann fliegen können.
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #28
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #29
Tut mir leid, dass ich mich erst heute wieder melden kann.

@Frankg
An Speicherprobleme dachte ich als erstes. Können es aber eigentlich nicht sein.
Die Probleme traten an drei Rechnern auf. Probleme gibt es eigentlich nur beim Schreiben, wenn zuviel gecached werden muss. Ist die Quelle langsam, und sollte das Ziel schneller sein, muss das Ziel halt etwas warten. Kann dann Daten etwas gemächlicher schreiben, das sollte nicht das Problem sein.

Auffallend war, dass die Datenübertragung aus der SIGMA, per USB. immer grottenschlecht, also langsam war. Auch die Fehlerhäfigkeit war sehr hoch.
(Hier sollte sich SIGMA mal die richtigen Chips entwickeln "lassen", als zu kaufen was der Markt gerade günstig hergibt)

Ich hole die SD aus der Kamera, > USB-stick oder internen Kartenleser, und kopiere auf > unabhängige Partitionen, > bzw externes Laufwerk. In einen Ordner namens Rohdaten. Dann fängt die Verarbeitung erst an. Die Ergebnisse werden dann in einem anderen Verzeichnis gespeichert, welche beide, Roh/End, automatisch auf NAS gespeichert werden.

@cgrille
SATA, FireWire, u. SCSI ist mir bestens bekannt. Frage; Warum ist der Fehler auch bei FireWire passiert? (Zu SCSI könntest du mir helfen; Mir hat es es kürzlich einen PC mit 2 SCSI-karten zerrissen; Explosion der CPU-Kondensatoren, Totalschaden der Systemplatten, nicht aber der des externen SCSI-Towers; An die Daten von 7 SCSI-Laufwerken würde ich gerne wiederkommen, war eben nicht alles gesichert, da es das ATA-Home-Laufwerk, auf dem die Sicherungen lagen, mitzerissen hatte.)

Zu meinen Rechnern:
Zwei Bussines-Notebooks Marke IBM/Lenovo, eines noch unter Gartantie.
Ein MSI-AMD Bolide, wenn auch schon 2 Jahre alt, der sich gern, wenn man ihn fordert auch über 350 Watt gönnt, Raid 5, und Raid 2, also 6 Platten schnelle, da auf Spiele optimiert.
Zwei Rechner sind Multiboot, drei unterschiedlich konfigurierte Systeme.
Wie?, Part1 für Service, schwierige Fälle; Part2 für allgemeine Aufgaben, wie Office, EBV, Audio, Video; Part3 entweder für Spiele, im anderen Fall für KFZ-Messtechnik.
Verwendete OS: Win XP - 4x; Win 7 - 2x, 1x 32 bit, 1x 64Bit.
Win 8 liegt hier rum, wurde aber aus Überzeugung noch nicht installiert.
Netzwerk: GB Netzwerkkarten, und Switch.

Workflow jetzt, da weniger Datenfehler; Datenübertragung s.o.; ACR, > Tiff in Pro Photo, > Egalisieren, > Bearbeiten, > in AdobeRGB wandeln, wg. Farbraumüberschreitung. Schaut übrigens nicht schlecht aus.
Auch in SPP speicherte ich in Tiff- ProPhoto!

Frage bleibt, woher kommen die Speicherfehler, und warum wenn die Daten zuvor durch das Sigma-Progamm gelaufen sind, sind sie höher?

Eine Frage zum Schluss. Welchen Exif-Viewer nehm ihr? Bei den meisten Bildern die ich hier anschaue sehe ich keine Daten. Dabei würden mich doch nur die ASA, und das Messfeld interessieren.
Mein Browser ist übrigens der Feuerfuchs.

Freundliche Grüße
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #30
Mit SATA, Firewire und SCSI war Frankg, der dies schrieb.

Bezüglich SCSI kann ich nur sagen, wenn die Sache ähnlich einem Hardware IDE-Raid Controller liegt, kommt man so nicht ohne weiteres mit einem anderen Controller an die Daten.
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #31
Photon :
Erstmal Danke für Deinen ausführlichen Beitrag, ich stelle fest, dass es wohl keine Lösung gibt, es sei denn "Schweine können fliegen"
]Welchen Exif-Viewer nehm ihr?
bei mir läuft FXiF 04.7.1 auf firefox, allerdings haben bisher alle Exif-Viewer den Feuerfuchs abstürzen lassen, was mich aktuell in Googles Chrom brausen lässt.
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #32
Bei mir läuft CoolNovo und folgende Exif-Erweiterungen:

EXIF Viewer 2.3.3
EXIF Viewer 2.4.1

Heißen beide gleich, arbeiten aber unterschiedlich.
Die eine zeigt bei Mauskontakt in der obersten Zeile des Bildes eine Kurzinfo über Kamera, Blende, Datum, ISO und letztes Bearbeitungsprogramm.
Die andere kann durch Klick auf ein kleines Symbol rechts unten aktiviert werden und eine Infoleiste an der rechten Seite geht auf, in der Histogramm und eventuell noch ein Bild der Kamera hinzukommt.
Es funktionieren beide nicht immer bei allen Bildern.
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #33
Wenn während eines solchen Zugriffs SPP speichern möchte, kann das unabhängig von der Geschwindigkeit des Rechners Probleme machen.
Sorry, aber das ist totaler Unfug!
Das OS hat dafür entsprechende Queues und kann mit zig tausend gleichzeitigen Schreib-/Leseanforderungen umgehen. Andere Programme haben damit auch keine Probleme.
Bspw. starte ich in LR mehrere Imports hintereinander, bevor der erste auch nur ansatzweise fertig ist. D.h. LR importiert und berechnet Vorschauen von vielen RAWs parallel und speichert das ganze natürlich in seinem Katalog. Die CPU Last steigt dabei auf 100%. Alles ohne Probleme.

Hier ist ganz eindeutig SPP das Problem. Mich wundert eher, daß es 7h ohne Absturz durchgelaufen ist!
Wenn ich im SPP mal zu schnell hintereinander auch nur die Einstellungen für Schärfe und Rauschunterdrückung ändere, wird das schon häufig mit Programmabsturz quittiert!
Die fehlenden Exils im Batch kann ich leider nachvollziehen. Ich importiere auch die TIFFs nach LR, da ist es dann sehr ärgerlich, wenn zwischendurch ein paar Exils fehlen.
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #34
Inzwischen habe ich einen neuen Rechenknecht, so richtig neu ist er nicht, fast der Gleiche, nur ein Kleinwenig schneller ( i7 720 Q zu i7-2630QM, SSD und Fesstplatte sind die Gleichen, doch wie von Zauberhand: bei Batchbearbeitung von SPP werden keine Exif-Dateien mehr beschnitten.......
 
  • Bei Stapelverarbeitung SPP Metadaten beschnitten Beitrag #35
SPP verhält sich mehr als merkwürdig.
Es scheint mit dem Betriebssystem gar nicht zu kommunizieren.
So ist es beispielsweise unter MacOS X möglich, während SPP auf das Laufwerk zugreift selbiges über das Betriebssystem auszuwerfen.
Das ist ein Verhalten, das ich noch bei keinem Programm sehen konnte.
Das Mac OS ist normalerweise rigoros darauf bedacht, dass Laufwerke im Zugriff nicht freigegeben werden. Bleibt für mich nur der Schluss, dass SPP dem Betriebssystem gar nicht mitteilt, dass es zugreift, was die Datenverluste erklären würde.

Gruß

Frankg
 
Thema:

Bei Stapelverarbeitung SPP Metadaten beschnitten

Ähnliche Themen
othello8
Antworten
14
Aufrufe
8.216
othello8
othello8
Antworten
24
Aufrufe
5.660
Waldschrat
Waldschrat
Antworten
10
Aufrufe
3.291
juser
Zurück
Oben Unten