Testberichte 2 : "Auflösung"?

[derbeil]

addendum zum letzten Beitrag:
Es gibt noch einen wesentlichen Punkt bezüglich der Tests:

Ein Hauptkriterium bei der Bildqualität ist die Auflösung (in Linienpaaren nach ISO-Norm vermutlich). Da hab ich die Vermutung, dass in Eurem Testverfahren bei den Fotokameras nur die Fotoauflösung gemessen wird. Die Videoauflösung liegt aber fast immer weit darunter. Und vermutlich besteht ein weiterer Unterschied zwischen 4k und HD.

Es ist anscheinend ein gehütetes Geheimnis der Hersteller, wie sie die Foto-Sensoren im Videobetrieb auslesen. Binning? Skipping? Cropping? Die Zusammenhänge zwischen Sensorgröße, Pixeldichte, Auflösung und Auslese-Verfahren sind schwer zu durchschauen und bei jeder Kamera anders.

Auch deshalb ist es so schade, dass Eure Testergebnisse nicht vergleichbar sind zwischen Pro-Videokameras und Foto-Kameras. Da schlummern bestimmt heftige Überraschungen. Also wenn ihr in Zukunft was anpassen solltet bei den Tests, dann lasst doch lieber die Fotoauflösung weg und messt die tatsächliche Videoauflösung für 4k und HD bei Normal-Licht und Lowlight. Das wäre hilfreich vergleichbar auch :-)

[Joachim Sauer]

Der entscheidende Unterschied, den wir zu Fotomagazinen haben: Wir messen NICHT die Fotoauflösung, sondern ausschließlich die Videoauflösung. Alles andere würde ja auch keinen sinn machen, denn schließlich dreht sich unser gesamtes Testverfahren nur um die Videofunktionalität.

[derbeil]

Und welche? 4k oder HD? Und sind Sie da wirklich sicher?

[CLA]

Natürlich jeweils die beste, die das Gerät liefern kann.
Also 4K bei 4K-Kameras, HD bei HD Kameras.
Ja, da sind wir sicher. Das Testverfahren wurde ja extra dafür entwickelt.

Sicher wäre es im Einzelfalle interessant zu wissen, wie das Signal genau aufbereitet wird. Aber - das sehen Sie ganz richtig – diesbezüglich sind die Hersteller mehr als zurückhaltend.
Letztlich ist das aber auch nicht so wesentlich. Denn wie die Kamera die Videos generiert ist zwar interessant, am Ende aber weniger wichtig als die Qualität, die sie erzielt.
Und die können wir mit unserem Verfahren – vergleichend und reproduzierbar – messen.

[beiti]

Da hab ich die Vermutung, dass in Eurem Testverfahren bei den Fotokameras nur die Fotoauflösung gemessen wird. Die Videoauflösung liegt aber fast immer weit darunter.

Man kann ja an den Tests im Detail einige Sachen kritisieren, aber komplette Idioten sind die VAD-Tester nun auch wieder nicht. ;)

Und vermutlich besteht ein weiterer Unterschied zwischen 4k und HD.

Da gibt es ein generelles Problem, das aber nicht auf VAD beschränkt ist: Die meisten Tests berücksichtigen für ihre Bewertung die "bestmögliche" Qualitätseinstellung einer Kamera. Wenn es verschiedene Auflösungen gibt, ist das immer die höchstmögliche, und wenn es mehrere Frameraten gibt, ist es ebenfalls die höchstmögliche. Auflösung schlägt im Zweifelsfall Framerate.

Jetzt ist es aber leider an manchen Kameras so, dass man Vor- und Nachteile verschiedener Modi gegeneinander abwägen muss:
Es gibt Kameras, die im 4k-Modus zwar eine höhere Auflösung, aber dafür eine niedrigere Framerate, einen stärkeren Rolling-Shutter-Effekt und ggfs. aufgrund des Crops weniger Weitwinkel haben. Vielleicht hat dieselbe Kamera im HD-Modus zwar keinen Crop und wenig Rolling Shutter, aber insgesamt eine schlechtere Bildqualität mit mehr Artefakten. Bewertet wird hier natürlich der 4k-Modus.
Es gibt auch Kameras, die bei 25 fps in HD eine hervorragende artefaktfreie Bildqualität mit vollem Sensor-Readout liefern, aber mit 50 fps aufgrund von Lineskipping deutlich nachlassen - und nach der Logik der Tester muss hier dann der 50p-Modus bewertet werden, weil er aufgrund der höheren Framerate "besser" ist.
Je nachdem, welchen Modus der spätere Käufer bevorzugt nutzen will, gelten für ihn also andere Kriterien.

messt die tatsächliche Videoauflösung für 4k und HD bei Normal-Licht und Lowlight.

Lowlight ist auch noch so ein Punkt, den ich an anderer Stelle schon mal aufgegriffen hatte: Die Automatik mancher Kameras hat die Eigenheit, bei wenig Licht die Belichtungszeit bis zum Kehrwert der Framerate hochzuschrauben - also bei 25 fps (was oft im 4k-Modus die höchste Framerate ist) ist das dann 1/25 Sekunde. Das sieht ziemlich hässlich aus, sobald sich im Bild was bewegt - aber bei Bewertung eines Standbildes schneidet es natürlich besser ab als dieselbe Kanera bei 1/50 Sekunde. In der Praxis würde fast jeder anspruchsvolle Nutzer hier die Automatik abschalten und auf 1/50 runtergehen, aber dann ist die messtechnische Lowlight-Fähigkeit eben um 1 Blende schlechter.
Wenn es ein Parallelmodell derselben Kamera ohne 4k gibt, wird die standardmäßig in HD bei 50 fps und 1/50 Sekunde gmessen. In der Tabelle ist ihre Lowlight-Wirkung dann tatsächlich schlechter - obwohl man sie natürlich auch manuell auf 25 fps und 1/25 schalten könnte, wenn man das wollte.

Was ich damit sagen will: Kameras testen ist nicht einfach - und oft nicht so eindeutig, wie die Tabelle uns glauben machen will.

[derbeil]

Ich nehme mal an, es wird bei Base-ISO getestet und nach Norm? Was mich dann etwas wundert sind die Abweichungen. Bei Chip und Colorfoto sind die Messungen so identisch, dass man fast vom gleichen Labor ausgehen könnte. Die Unterschiede zwischen Chip und Videoaktiv sind dagegen extrem. Ein krasses Beispiel wäre die 1DX. Bei Chip eine Fotoauflösung von 1592 LP und Video bei 490 LP. Eure Messung 1642 LP bei Video. Aber die Messung ist doch genormt, oder? Ist es überhaupt möglich, dass die 1DX eine so gigantische Videoauflösung hat? Noch schlimmer ist es bei der Sony a7s II. Da liegt Eure gemessene Videoauflösung 25% über der gemessenen Fotoauflösung von Chip und CF.
Tendenziell sind alle Werte verdächtig hoch. Abgesehen von der C300 mit ihren mageren 900 LP für 15000 Euro.

[derbeil]

Lieber beiti, das ist alles richtig und wahr. Aber Linienpaare sind sind genormt und aussagekräftig. Sonst würden sie nicht alle Magazine messen. CLA meint ja auch, es sei eine genormte Messung. Dann kann er bestimmt die hohen Werte und die extremen Ausreisser erklären. Jetzt erfahre ich auch, dass immer im 50p-Modus gemessen wird. Und die traumhaften Werte mancher günstigen Kameras werden noch magischer.

[beiti]

Auch Linienpaare/Millimeter kann man sehr verschieden messen. Z. B. muss man festlegen, welchen Kontrast man als Schwelle festlegt, wie man mit starker Scharfzeichnung einer Kamera umgeht (weil die ja die Messung verfälschen kann), ob man nur in der Mitte misst oder auch am Rand und dann mittelt etc. Am Ende sind die Messungen dann bestenfalls innerhalb desselben Messlabors vergleichbar, aber bestimmt nicht universell.

Aber mal ehrlich: Wen interessieren solche Werte denn? Sagen die irgendwas über die tatsächliche Bildqualität aus?
Ich habe im Lauf der Jahre unzählige VAD-Testberichte gelesen und daraus teils interessante Infos rausgezogen, aber ich habe nie auf Lp/mm geachtet.

[derbeil]

Lieber beiti,
mich interessieren sie :-)
Ob bspw. die a7R II wirklich nur 600 Linienpaare hat im 4k Videomodus oder 1800, das macht schon einen Unterschied. Und dann kaufe ich sie nicht. Und VAD spart mir einen Haufen Geld und Ärger. Es ist ärgerlich natürlich, dass die Hersteller selbst nicht offenlegen, wie sie mit den Sensoren umgehen. Wie Letztere ausgelesen werden und welche Auswirkungen das hat (so wie sie das ja selbst beschreiben) gehört deshalb (u.a.) unbedingt in einen Testbericht. Mir hilft es weniger, wenn noch ein Tester sagt, was ihm persönlich gefällt oder nicht. Das gibt's en masse auf YouTube.

Wäre doch super, wenn Herr CLA sachlich beschreiben und vergleichen würde, wie es bei HD ist und in 4K und was jeweils bei 25p passiert und bei 50p und wie sich das auswirkt bei verschiedenen ISOs. Weder das Labor noch die persönliche Einschätzung ist aussagekräftig, wenn wir die genauen Einstellungen und Testbedingungen nicht kennen.

Ich glaub nicht, dass dies keinen interessiert. Und ich denke, dass Leser auch keine kompletten Idioten sind ;-)

[Joachim Sauer]

Bei Chip und Colorfoto sind die Messungen so identisch, dass man fast vom gleichen Labor ausgehen könnte.

Oh Wunder, genau so ist es!

Gleichzeitig sind die Messwerte von ColorFoto nicht mal ansatzweise mit den unseren vergleichbar - weil dort eben die Fotoqualität und bei uns die Videoqualität gemessen wird.

Am Ende sind die Messungen dann bestenfalls innerhalb desselben Messlabors vergleichbar, aber bestimmt nicht universell.

Dem würde ich prinzipiell zustimmen.

[derbeil]

Lieber Herr Sauer,

schon bei der X T20 lagen Sie falsch und Ihre Kommentare waren ähnlich flapsig. Wenn Ihnen die Messungen so unwichtig sind wie beiti, dann lassen Sie sie doch weg. Einfach zu schreiben, bei Ihnen sei halt alles anders ist aus meiner Sicht unseriös.

Chip misst ebenfalls die Videoauflösung und die Abweichungen zu VAD liegen im heftigsten Fall bei 400%. Und wenn ihre gemesene Videoauflösung weit über der gemessenen Fotoauslöung von mehreren anderen Magazinen liegt, dann stimmt da etwas nicht. Und mit mehrere meine ich nicht nur Chip und Colorfoto.

Und es geht um ein genormtes und damit auch für verschiedene Labore vergleichbares Messverfahren. Ihre Messwerte sind aus meiner Sicht unrealistisch aus den schon beschriebenen Gründen. Deshalb bin ich sehr gespannt auf die Laborbedingungen, die anderen Magazine veröffentlicht haben und Sie nicht. Und bitte schicken Sie mir nicht nochmal den nichts sagenden link von 2010.

[Joachim Sauer]

Einfach zu schreiben, bei Ihnen sei halt alles anders ist aus meiner Sicht unseriös.

Das ist nicht unseriös sondern schlicht die Realität. Da ich unser Messsystem (einstmals) und damit die Basis für die heutigen Messungen mit entwickelt habe, nehme ich mir raus das so zu schreiben. Es ist zwar kurz aber schlicht technisch so korrekt. Es sind Vergleichsmessungen, die an jedem anderen Messplatz, der nicht auf der gleichen Routine und der gleichen Technik aufsetzt, anders ausfallen.

Chip misst ebenfalls die Videoauflösung und die Abweichungen zu VAD liegen im heftigsten Fall bei 400%. Und wenn ihre gemesene Videoauflösung weit über der gemessenen Fotoauslöung von mehreren anderen Magazinen liegt, dann stimmt da etwas nicht. Und mit mehrere meine ich nicht nur Chip und Colorfoto.

Auch das ist nicht weiter erstaunlich, denn die Messungen stammen alle von Image Engeneering, oder aber von einem Messplatz, der mit der Technik von diesem Anbieter erstellt wurden. Entsprechend handelt es sich hier immer um mehr oder weniger die gleiche Messung - Unterschiede ergeben sich durch Toleranzen bei der Messung und bei der Seriensteuung.
Die Unterschiede zwischen den angesprochenen Messungen der Kollegen und unseren wundern mich übrigens nicht - dazu kenne ich beide Testverfahren zu genau (auch als ColorFoto-Tester). Was auch die Unterstellung ich hätte kein Interesse an den Messungen widerlegt.

Bei besagtem Messplatz wird ein Bild ausgewertet, das aus dem Videostream ausgelesen wird. Wir messen tatsächlich aus dem Videostream eine Array an Bildinformationen aus und somit wirklich Bewegtbild.

Und es geht um ein genormtes und damit auch für verschiedene Labore vergleichbares Messverfahren. Ihre Messwerte sind aus meiner Sicht unrealistisch aus den schon beschriebenen Gründen. Deshalb bin ich sehr gespannt auf die Laborbedingungen, die anderen Magazine veröffentlicht haben und Sie nicht. Und bitte schicken Sie mir nicht nochmal den nichts sagenden link von 2010.

Keine Frage: Wenn alle die gleichen Messbedingungen verwenden dann kann man von einem genormtem Messverfahren sprechen. Die Kollegen von Image Engeneering haben zudem tatsächlich eine Normung in den Ausschüssen von ihrem Testverfahren gemacht. Bei Bildmessungen klappt das ohne Frage hervorragend. Grundbedingung für deren Messungen sind aber nicht Bewegtbilder sondern statische Messcharts. Genau das ist der entscheidende Unterschied zu unseren Messungen.

Eine Veröffentlichung zu unserem Testverfahren habe ich versprochen - aber auch um Geduld gebeten. Hier muss derjenige, der heute die Messungen verantwortet, Stellung beziehen und einmal eine Veröffentlichung dazu machen.
Zwangsläufig planen wir aber etwas weiter voraus, so dass derzeit eher die nächste Ausgabe mit ihren Tests im Mittelpunkt steht. Wir können hier nicht spontan auf Einzelanfragen mit stundenlanger Arbeit reagieren. Wir erkennen aber, und auch das habe ich schon geschrieben, dass wir hier prinzipiell nachlegen müssen. Entsprechend wird etwas kommen - mehrfaches Nachfragen macht unsere Reaktion aber nicht schneller.