Bildvergrößerung: The Winner Is ....

[cicollus]

Nachdem ich eine handvoll bei Github gehostete Programme unter freier Lizenz zur Aufwärts-Skalierung probierte, steht nun mein persönlicher Favorit fest.

Das von mir getesteten mit Abstand beste Programm ist RearSR , "the winner of CVPR NTIRE 2020 Challenge on Real-World Super-Resolution " und auch einfach zu installieren.

Es benötigt aber eine Nvidia-Grafikkarte mit installierten CUDA-Treiber, die ML-models stehen für Ubuntu, MacOS und Windows zur Verfúgung.

Zum Ablauf der Installation:

mkdir RealSR && cd RealSR
git clone https://github.com/jixiaozhong/RealSR.git

python3 -m venv pyvenv && source pyvenv/bin/activate
cd RealSR

Lade das model je nach Betriebssystem der URL Releases · nihui/realsr-ncnn-vulkan
in das RealSR Wurzelverzeichnis und entpacke es.

unzip realsr-ncnn-vulkan-20210210-ubuntu.zip

Installiere Python-Paket

python3 -m pip install --upgrade pip

python3 -m pip install tensorboardX pyyaml opencv-python torchvision torch scipy

Das Arbeitsverzeichnis ist realsr-ncnn-vulkan...xyz

cd realsr-ncnn-vulkan

Die Ausführung ist nun einfach:

./realsr-ncnn-vulkan -i infile -o outfile [options]...

Die Option -x aktiviert den tta-Modus, das Bild noch sauberer, aber auch etwas weich gezeichnet.

 

[cicollus]

Fazit:
Bei den klassischen Vergrößerungs-Methoden schnitt ImageMagick mit "convert -filter LanczosRadius" besser ab als Gimp Bicubic oder Lohalo. Sogar besser als das ML-Plugin superresolution.

Von L. nach R. ein Vergleich zwischen LanczerosRadius, realsr-ncc-vulkan und realsr-ncc-vulcan -x

 

[RoToR]

Das nennst du einfache Installation?
Dein Vergleich lässt sich schwer deuten, wenn man das Original nicht kennt. Ich sehe kaum einen Unterschied bei dem 2. und 3. Ausschnitt.

Ich habe für Vergrößerungen Smilla Enlarger verwendet. Damit habe ich immer erstaunliche Ergebnisse erzielt. Hatte vor Jahren auch mal andere Open Source bzw. Freeware Programme verglichen, aber keines war so gut wie dieses.

 

[cicollus]

Das ist nun mal keine Installation in klassischer Art, sondern es wird die Entwickler-Umgebung kopiert.
Ich sehe allerdings nicht, was daran schwierig sein dürfte.

Die Fotos lassen sich nur richtig vergleichen, wenn diese mit 100% dargestellt sind und der ggf. das Filter des Bild-Betrachters ausgeschaltet ist.
Ich gebe zu, der Ausschnitt wurde nicht klein genug gewählt um gravierende Unterschiede zu erkennen. Aber auch die beste klassische Methode, der Lanczos-Filter, ist schon verdammt gut.

 

[cicollus]

Ich glaube, Upload hierher funktioniert so nicht. Die Bilder scheinen dabei versaut zu werden ...


Dann mal ein Beispiel zum Nachmachen:
Bild, welches bitte um den Faktor 4, also auf 400% vergrößert werden soll:


Bild-Vorlage zum Download

Ergebnis auf 400% Skaliert, Methode kubisch

Ergebnis auf 400% Skaliert, Methode RealSR TTA

Dann bitte bei 100% Größe mit ausgeschalteten Rendering im Bildbetrachter vergleichen.
Hätte auch gern mal das Ergebnis von dem Smilia Enlarger dazu gewusst.

 

[Janni]

Von Deiner Vorlage hab ich es auch mal auf Faktor 4 vergrössert (400%)
Die Darstellung auf "echte" 100% gebracht und mal Deine beiden Ergebnisse zum Direktvergleich daneben gestellt (mitte und rechts)
Da alle 3 Ergebnisse nicht nebeneinander im Forum darstellbar sind hab ich echte 100%-Crops aus den Bildern geschnitten damit nix verfälscht wird....

Ganz links mein Ergebnis, in der Mitte Deine 1. Version und rechts Deine 2. Version, die meiner Meinung nach zu sehr "weichgezeichnet" ist.



Bevor ich sage wie und womit ich die Vergrösserung gemacht habe warte ich erstmal die anderen Meinungen ab

 

[cicollus]

Super, danke für deine Mitarbeit.
Hier eine andere Version ohne diesen tta-Modus:

Ergebnis auf 400% Skaliert, Methode RealSR

Viele Grüße
Jörn

 

[RoToR]

Hier das Ergebnis des SmillaEnlarger. Es gibt natürlich auch einige Parameter, an denen man drehen kann.
Auf 400% skaliert.

 

[cicollus]

Es ist schwer, da gravierende Unterschiede zu bemerken. Vielleicht habt ihr eine Vorlage zur Vergrößerung, wo das besser gesehen werden kann?

 

[Janni]

Hier stellt sich mir aber die Frage ob das überhaupt Sinn macht aus einem normalen Einzelbild eine derartig starke Vergrösserung herauszuholen ?
Die Unterschiede, egal mit welcher speziellen Software, werden minimal sein weil einfach keine zusätzlichen Details dazu "erfunden" werden können....und wenn doch, dann isses eine Art Simulation.

Möchte man mehr Details aus einem Motiv herausholen kann und sollte man schon bei der Aufnahme unterschiedliche Techniken anwenden, entweder mit mehreren Einzelaufnahmen dasselbe Motiv aufnehmen und mit der EBV "überlagern", das habe ich vor einigen Jahren hier schon einmal dargestellt und beschrieben, oder man teilt das Motiv in mehrere Mosaikteilchen auf und macht mit grösserer Brennweite Einzelbilder die man anschliessend mit der EBV zusammenfügt , nennt sich dann "stitching" und ist noch die beste Methode für eine sehr detailreiche Aufnahme oder für sehr grosse Ausdrucke die dennoch mit 300dpi gedruckt werden können

 

[cicollus]

Na ja, die Unterschiede sind schon bei den klassischen Verfahren, je nach ausgeklügelter Mathematik, z.B. kubisch vs. Lanczos zu bemerken.

Aber mit Einsatz der AI-Verfahren, also des "Machine Learning" werden sich , je nach rechenleistung und trainierten Modellen, größere Unterschiede ergeben.
Im schlimmsten Fall: Was nicht vorhanden ist, wird dazu erfunden auf Grundlage von gespeicherten Erfahrungen. -> Dann hat er eben eine andere Nase, die ist aber nicht verpixelt

 

[kris-kelvin]

bei der #5 ist es bei mir RealSR TTA
bei der #6 finde ich die 2. Version am klarsten.

 

[RoToR]

Super, danke für deine Mitarbeit.
Hier eine andere Version ohne diesen tta-Modus:

Ergebnis auf 400% Skaliert, Methode RealSR

Viele Grüße
Jörn

Diese Version finde ich von allen am besten.

 

[cicollus]

Schön, dass RealSR kostenlos zur Verfügung gestellt wird.
Damit kann aber nur 4-fach vergrößert werden.

Ich habe nun mal eine Herausforderung wie folgt mit 8-facher Vergrößerung konstruiert:

Dazu habe ich die Vorlage 2 mal mit RealSR, erst auf 400% , anschließend mit der Option -x, also mit der tta-Option noch einmal auf 400% skaliert, mit unscharf maskiert geschärft und mit lohalo auf 50% skaliert.

4x4-x-um-50pz

 

[RoToR]

Wozu der ganze Aufwand eigentlich?

Ich meine, wenn ein Bild so klein ist, dass man es 8x vergrößern muss, um es vielleicht auf Poster etc. drucken zu können, dann sieht das Ergebnis danach auch bescheiden aus, dann kann man es gleich lassen.
Ich sage immer Schei..e kann man nicht polieren, so auch bei digitalen Bildern mit bescheidener Auflösung.

Ich fotografiere auch mit Kameras mit 4 bis 12 Megapixel und ich habe auch schon für größere Ausdrucke mit Smilla Enlarger Bilder vergrößert, wenn ich das Bild z.B. beschneiden musste, und das es nicht mehr bildschirmfüllend war. Dann habe ich aber maximal 2-fach vergrößert, das hat echt was gebracht und sah danach wesentlich besser aus.
Aber wenn das Bild so klein war, dass ich es mehr als 2-fach vergrößern musste, hat die Qualität darunter so gelitten, dass ich es habe bleiben lassen.

 

[cicollus]

Aber wenn das Bild so klein war, dass ich es mehr als 2-fach vergrößern musste, hat die Qualität darunter so gelitten, dass ich es habe bleiben lassen.

Genau aus diesem Grund ist die Bildvergrößerung und ~verbesserung durch den Einsatz von Machine Learning im Kommen.

 

[Robert]

Es wird interessant zu sehen sein, ob die zur Zeit in vielen Bereichen im Kommen befindliche KI tatsächlich bessere Ergebnisse liefern wird. Persönlich würde ich da jetzt keine Wunder erwarten, aber Potenzial sehe ich da durchaus!

 

[cicollus]

Es ist schon spannend, diese Entwicklung zu verfolgen. Das KI-Plugin von Gimp (Gimp-ML) macht z.B. u.A. in sekundenschnelle aus einem S/W ein 'Bunt'-Foto:

 

[kris-kelvin]

Bunt ist etwas übertrieben. Ich würde es eher sepia nennen.

 

[Janni]

Sehe da auch nur unterschiedliche Sepia-Töne und die Hand der Pilotin passt nicht zur Gesichtfarbe

Aber völlig egal, sehe persönlich keine Sinn darin bei solchen alten Fotos unbedingt Farbe reinzupumpen, passt am Ende eigentlich garnicht zur der Zeit als die Aufnahme entstand und sieht dazu noch merkwürdig und nicht mehr authentisch aus (meine Meinung)

Ist zwar eine gute Demonstration was heute mit KI so alles möglich ist, aber ob der Einsatz überall Sinn macht ist eine andere Frage.