Mehr brandheiße Inhalte
zur Gruppe
FETISCH FOTOGRAFIE
5258 Mitglieder
Das Thema ist für dich interessant? Jetzt JOYclub entdecken

piximport - Bildimport - Suche nach Beta-Testern

*******aire Mann
171 Beiträge
Themenersteller 
piximport - Bildimport - Suche nach Beta-Testern
Ich suche Betatester für ein Bildimportprogramm, das ich für Linux/WSL2 entwickelt habe.

Hintergrund:
Ich wollte schon immer ein Tool, das jpeg+raw Bilder importieren kann, Bilder drehen kann, Bilder in verschiedene Verzeichnisse auf Basis des Datums aufteilen kann, die Gültigkeit von Bildern prüfen kann und doppelte Bilder ignorieren kann, und das so nah wie möglich an der maximalen I/O-Geschwindigkeit ist, also habe ich es entwickelt. Warum? weil ich es vorziehe, zu einem schönen Essen zu gehen, wenn ich vor Ort bin, und ich möchte nicht ewig warten, während LR/C1 meine Bilder eines ganzen Tages importiert *zwinker*

Technische Beschreibung/Anmerkungen:
Um Bilder schnell zu importieren, müssen die folgenden Komponenten ausgeglichen werden:
1. Speicherkarten-I/O zum PC/Notebook/Server ssd/nas Speicher-I/O-Leistung
2. schnelle PC/Notebook/Server I/O-Leistung als Basis für den Prefetching-Cache
3. verfügbarer Arbeitsspeicher für die Ausführung paralleler Aufträge und die Zwischenspeicherung zu schreibender Daten
4. CPU-Leistung, d. h. Anzahl der Kerne und Drosselung (thermische Dynamik)

Die Abstimmung dieser Komponenten wird für einen PC/Server und ein Notebook unterschiedlich sein.

Dieses Tool priorisiert die Speicher-I/O und verwendet daher einen Prefetching-Cache, um alle Speicherkartenbilder über parallele I/O-Aufträge (--cache-fill-jobs) auf den lokalen Speicher (HDD/SSD/NAS) zu kopieren. Das Prefetching wird vor dem Start von Bildverarbeitungsaufträgen gestartet und durch --cache-fill-time gesteuert. Nach Erreichen der Prefetch-Fill-Time werden --num-jobs Bildverarbeitungsaufträge gestartet und greifen auf die bereits zwischengespeicherten Bilder aus dem schnellen lokalen Speicher zu. Eine konstante Leistung wird durch ein Gleichgewicht zwischen
der Anzahl der Prefetch-Cache-Leseaufträge und der Anzahl der gleichzeitig laufenden Bildverarbeitungsaufträge erreicht. Sobald der Prefetch abgeschlossen ist, befinden sich alle noch nicht verarbeiteten Bilder auf dem schnelleren lokalen Speicher. Zu diesem Zeitpunkt kann die Anzahl der Bildverarbeitungsaufträge auf --max-jobs erhöht werden, wobei das Tool der CPU Priorität einräumt.

Wenn jemand daran interessiert ist, es zu testen, schickt mir eine PN.
*********mera Mann
319 Beiträge
Hört sich sehr interessant an, PN kann ich dir leider nicht schicken. Bin kein Premium Mitglied mehr...
Foto ?
*********ektor Mann
110 Beiträge
Mal ne ganz blöde Frage....

was soll nach dem Importieren mit den Bildern passieren ?
Zitat von *******aire:
Ich wollte schon immer ein Tool, das jpeg+raw Bilder importieren kann, Bilder drehen kann, Bilder in verschiedene Verzeichnisse auf Basis des Datums aufteilen kann, die Gültigkeit von Bildern prüfen kann und doppelte Bilder ignorieren kann,

Das ist ja ganz praktisch, aber einer RAW Entwicklung entspricht das ja nicht gerade. Also wenn du die RAW´s weiterentwickeln willst, musst du sie doch trotzdem in LR/C1 importieren ?
*******aire Mann
171 Beiträge
Themenersteller 
@*********ektor Nein, es handelt sich nicht um einen Rohdatenkonverter.

Sein Ziel ist es, alle jpeg+raw Dateien so schnell wie möglich von einer Speicherkarte zu übertragen, zu überprüfen, ob die Dateien nicht beschädigt sind, sie in Aufnahmeverzeichnisse auf Basis des Datums aufzuteilen und auch verkleinerte jpeg Bilder zu erzeugen (standardmäßig 1024px).

Es kann auch auf 2 Ziele gleichzeitig schreiben.

Motto: Schnell, korruptionsfrei und gesichert.
draußen
****ro Mann
1.198 Beiträge
hm ... als Unixer würde ich dazu kein Programm schreiben, sondern 'ne kleinen Satz an Scripten, die das tun ... exiftool liefert die Bilddaten (um zu wissen, ob ein Bild hochkant oder quer ist), convert (aus der Imagemagic-Sammlung) verkleinert sie, Kopieren nach Datum mit Umbenennen ist etwas für 'n awk mit 'ner pipe Richtung cp und Input entweder aus ls -l oder dem exiftool.
Und über Cache würde ich nicht gehen ... die Speicherkarte dürfte in 'nem System der langsamste Teil sein.
Trotzdem wünsche ich viel Erfolg bei deinem Projekt.
*******aire Mann
171 Beiträge
Themenersteller 
@****ro Vielen Dank für Ihre Gedanken zu verschiedenen Unix-Tools.

Ich habe viel Zeit damit verbracht, mir verschiedene Bildverarbeitungs- und Datenverschiebungstools anzuschauen und ihre Single-Thread- und Multi-Thread-Leistung zu bewerten.

Ein paar Anmerkungen zu den verschiedenen von Ihnen genannten Tools und warum ich sie in meinem Programm (Skript) nicht verwendet habe:

1. ImageMagick - ich bin ein großer Fan und verwende es in vielen Bereichen meines Workflows, ABER es ist groß und braucht eine Weile zum Starten.

Tipp: Verwenden Sie GraphicMagick... schnellere Startzeit und bei bestimmten Bildbearbeitungsoperationen auch schneller.

2. ExifTool - ebenfalls ein großer Fan zum Lesen und Schreiben von EXIF/IPTC-Bildinformationen, aber es ist Perl-basiert und langsam.

Tipp: Verwenden Sie "file image.jpg" - liefert Informationen über die Größe (BxH) und eine erste Prüfung, ob es sich um eine jpg-Datei handelt. Sie werden kein schnelleres Tool finden (imagemagick "identify" ist auch nett, aber wieder langsam). Die Information zur Bildrotation ist anders implementiert.

3. cp - ein relativ langsames Tool für die Bewältigung großer Datenmengen aufgrund der fest kodierten Puffergröße, die es auf den meisten Systemen verwendet.

Tipp: Verwenden Sie "cat" oder "dd" - die Puffergröße kann erhöht werden und funktioniert gut mit der Pipe "|", besonders beim Lesen von langsamen Medien. Zusammen mit "mbuffer" kann man multi-threaded I/O-Kanäle mit konstanter Geschwindigkeit aufbauen.

4. Bildrotation - werfen Sie einen Blick auf "jpegtran".

Um die maximale Leistung zu erreichen, müssen Sie Werkzeuge verwenden, die gut in mehreren parallelen Threads arbeiten.

5. Prefetch-Cache - dies ist ein GROSSER Leistungsgewinn. Es wird die gesamte Importzeit um 30-50% verringern, abhängig von den Konfigurationsparametern. Ich kann nur sagen, dass die Konfiguration für ein Notebook und für eine schnelle Workstation sehr unterschiedlich sein wird, um die bestmögliche Leistung zu erzielen.

Ich hoffe, dass ich damit die von Ihnen genannten Punkte beantworten konnte.
draußen
****ro Mann
1.198 Beiträge
danke für die Tipps ... keiner offtopic-Tipp von mir: wir duzen uns hier.
*******aire Mann
171 Beiträge
Themenersteller 
@****ro ja ich weiss ABER bei so ein Technische Text ich wollte ein Gutes Deutsch verwenden also deepl.com... kostenlose Version gibts nur Formal... gegen $$$'s gibts du Form *g*

ps. ueber Tipps und Tricks bin ich immer ganz offen *g*
Anmelden und mitreden
Du willst mitdiskutieren?
Werde kostenlos Mitglied, um mit anderen über heiße Themen zu diskutieren oder deine eigene Frage zu stellen.