Ladezeit eines WX Projekt

[Christoph Hilger]

Hallo Erhard,

aktuell arbeite ich an der Effekt-Engine. Das ist ein großes Thema und wird in Summe sicher eine Weile benötigen. Aber der Grundstein ist bereits gelegt und die ersten Erfolge sind schon sichtbar (z.B. bei der Textausgabe). Die Effekte sind aber so ein Thema, wo über Jahre immer neue Ideen und Anforderungen kommen werden, so dass das (im positiven Sinne) eine Dauerbaustelle sein wird. Daher macht es auch keinen Sinn, mit dem nächsten Release auf eine Fertigstellung der Effekte zu warten, die es de facto nie geben wird. Um so besser, wenn ich weiß, was am meisten gewünscht wird, denn dann kann ich mich ja zuerst einmal mit der Realisierung dieser Effekte befassen.
Neben der Effekt-Engine werden natürlich parallel andere Themen bearbeitet. So ist z.B. gerade auch der Kurven-Pool in Arbeit und dieser wird schon in der nächsten Version enthalten sein.
Bei den dynamischen Masken fehlt ja noch ein schlüssiges Konzept. Das haben wir zwar hier im Forum schon einmal andiskutiert, aber das ist bei Weitem noch nicht zu Ende gedacht.
Alles was Du beschreibst, wird kommen, und die ersten Features davon stehen eher bald zur Verfügung. Und Dein Projekt wird ja auch nicht schon in ein paar Tagen fertig sein...

Viele Grüße!
Christoph Hilger

[Erhard]

Hallo Christoph

danke für die schnelle Antwort
Ja, das stimmt mein Projekt wird nicht so bald fertiggestellt sein.,
Ich warte geduldig auf die neuen Versionen..

Viel Erfolg für die weiteren Schritte

Herzliche Grüße
Erhard

[XGucki]

Lieber Günter, lieber Christoph,

@Günter gbo
Danke für die wertvollen Hinweise

@Christoph
besten Dank für Deine Erläuterungen zum Dateihandling Thumbnails WingsX etc.

Lichtleiter und Raid 5 wie bei Erhards Beispiel ist wohl für WingsX nicht schnell genug, um vom Server komfortabel arbeiten zu können

Bin nun wirklich kein PC Spezie, aber die Hinweise von GBO sind sehr interessant.

1. Was davon wird denn seitens Stumpfl empfohlen um mit WingsX auch vom Server schnell arbeiten zu können ?
2. Abschied vom Server und fest verbaute SSD oder sogar NVMe-SSD mit PCi Schnitstelle s.u.?

Da in beiden Konfigurationen bereits eine SSD zum Einsatz kommt und in Wings X ein größeres Datenvolumen beim Ladevorgang übertragen wird, sollte in die Systemvoraussetzungen eine NVMe-SSD mit PCIe-Schnittstelle aufgenommen werden.

Da ich auch demnächst einen neuen PC bauen lasse , wäre es schon gut Empfehlungen seitens Stumpfl zgl. Systemvoraussetzungen für WingX nachlesen zu können.

Vielleicht wäre ein Referenztestprojekt ja sinnvoll , mit dem man verschiedene Konfigurationen mal durchspielen kann, um einigermaßen vergleichbare Daten zu bekommen...

Grüße Heinz-Jürgen

[Cuno]

Hallo Heinz-Jürgen, Erhard,

Die maximale Datenraten sind nicht die einige (oder wichtigste) Daten für unsere Anwendung, Wings X.

Vor allem die Anzahl an gleichzeitig akive Dateiverbindungen (anders formuliert: die Verarbeitung von mehrere kleinere Datenströmen) is viel mehr entscheidend.
Da sind, wegen die verwendete Protokolle die intern verbaute SSDs absolut weit vorne im Rennen.
Dafür sind die Netzwerkprotokolle (10Gbit und LWL) nicht optimiert.

Das braucht Wings X (jetzt) beim öfnnen eines Projekts. Genau wie Wings 7 beim neu berechenen aller Grafikdaten.

LG
Cuno

[Christoph Hilger]

Guten Abend zusammen!

Ich kann Cunos Beitrag nur unterschreiben und würde mir jetzt nicht allzuviel Gedanken um dieses Thema machen. Heutzutage sind die meisten dieser Technologien völlig ausreichend für eine typische AV-Anwendung und ich würde erst einmal mit dem arbeiten, was ich aktuell habe. Bei einer Neuanschaffung würde ich aber auf jeden Fall an eine SSD für die aktuellen Daten denken.
Wings X lädt ja gerade deswegen alle Thumbnails in den Speicher, damit dann beim weiteren Arbeiten die Geschwindigkeit der Massenspeicheranbindung keine Rolle mehr spielt.

Allen einen schönen Abend!
Christoph Hilger

[gbo]

Hallo Heinz-Jürgen,

ich bin schon der Meinung, dass Cat-7- bzw. LWL-Kabel als Übertragungstechnik leistungsfähig genug sind den nötigen Durchsatz zu bewältigen (wobei LWL-Kabel noch mehr Durchsatz schaffen).
Auf dem Server von Erhard kommt zudem ein SSD als schneller Cache zum Einsatz, damit findet die eigentliche Übertragung zwischen der Server-SSD und dem Haupspeicher des Notebook statt. Auf beiden Seiten werden für die Übertragung die Nutzdaten zudem noch im IP-Protokollstack ver- und entpackt.
Was aus den Angaben nicht hervorgeht, ist das zu übertragene Datenvolumen. Ich teile auch nicht die Sicht, dass die Zeit von der Menge der Obkjekte im Pool abhängig ist, sondern wie gesagt von dem gesamten zu übertragenen Datenvolumen auf der Übertragungsstrecke.
Ich denke auch, dass der QNAP-Server die meiste Zeit (von den 1:24 Min.) benötigt um die Daten von den Festplatten in die Server-SSD zu übertragen.
Festplatten schaffen lediglich einige Hundert Input/Output Operations per Second (IOPS), gute SATA-SSDs bis zu 100.000 IOPS, SSDs mit PCIe 3.0 mehrere Hunderttausend und SSDs mit PCIe 4.0 etwa 1 Million IOPS.
Insofern sind die Zeitangaben m.M. nach nicht aussagekräftig. Würde man die Zeit für die Übertragung des Datenstroms von der Server-SSD mit der für die Übertragung von der SSD-Festplatte vergleichen, käme man vmtl. auf eine ähnliche Größenordnung.
An diesen Gegebenheiten kann die Wings X- Entwicklung nichts ändern. Erst nach dem Empfang der Daten aus dem IP-Stack auf dem Notebook bestehen evtl. Optimierungsmöglichkeiten. Das kann aber zuverlässig nur Christoph beantworten.

Edit: IOPS für SSDs mit PCIe 3.0 und 4.0 nachgetragen.

[Buidlmocha]

Hallo Christoph!

Die längeren Ladezeiten sind, wenn man einmal die Hintergründe dazu kennt, nicht das Problem. Aber wäre es nicht möglich, dass die Ladezeit in einer Fortschrittsanzeige angezeigt wird. Ich habe ja schon in einem anderen Thread zu dem Thema nachgefragt, weil ich an ein Hardwareproblem bzw. an einen Programmfehler dachte. Noch dazu, nachdem bei einer längeren Ladezeit in der Programmleiste nach einiger Zeit die Meldung "keine Rückmeldung" aufscheint. Da liegt dann der Gedanke recht nahe, dass das Programm abgestürzt ist. Wenn da aber eine Fortschrittsanzeige läuft, weiß man, es ist alles in Ordnung und am Fortschrittsbalken kann man ersehen, wie lang es in etwa noch dauert, bis das Projekt geladen ist.

Viele Grüße!
Bruno

[Christoph Hilger]

Hallo Bruno,

vielen Dank für Deine Anregung! Ich werde mir das Thema generell noch einmal anschauen. Momentan habe ich das Gefühl, dass ess darauf hinauslaufen wird, dass die Thumbnails nach dem Öffnen eines Projekts im Hintergrund geladen werden. Dann würde man auch keine Fortschrittsanzeige benötigen.

Viele Grüße!
Christoph Hilger

[gbo]

Hallo,

ein Nachtrag.

Für Interssierte: In der c't 10/2022 ist ein Test von 13 SSDs mit PCIe 3.0 und 4.0 nachzulesen.

Bitte beachten:
Ältere Mainboard können nicht von einer PCIe-SSD booten, bei Intel geht das erst ab dem Z170-Chipsatz.
Wer überlegt das Betriebssystem und die Anwendungen (Wings X) auf eine PCIe-SSD umzuziehen sollte dies berücksichtigen.

[Erhard]

Hallo Christoph, hallo Forum,

ich möchte hier noch einmal auf die Ladezeit zurückkommen.

unabhängig von den technischen Details, auf die ich hier nicht näher eingehen möchte, ist das Arbeiten über das Netzwerk für mich auch mit WX wirklich möglich.

In der Praxis sieht mein Workflow folgender maßen aus.

Ich habe bisher ohne Probleme mit W7 auf dem Server programmiert. Und auch mit WX scheint es ohne Probleme bei der Programmierung zu funktionieren. Ich habe keine wesentlichen Unterschiede zwischen SSD und Server jedenfalls beim programmieren mit WX festgestellt (außer dem Laden eines Projektes).
Und Zugriffe, die über das Netz einige Millisekunden länger dauern sind nicht zu merken.

Ein Hauptvorteil ist, dass ich auf den Server auf mein gesamtes Bild/Video-Archiv redundanzfrei zugreifen kann!
Nach Fertigstellung exportiere ich das Projekt nur mit den Benutzten Objekt-Dateien auf eine SSD, um es transportabel zu haben.
Auf der SSD werde ich evtl. notwendige Kompilierungen oder Videoerstellung aus der Timeline erstellen. Denn wenn massenhaft ein Datentransfer stattfindet, ist es auf der SSD natürlich sehr viel schneller.

Alle meine W7-Projekte habe ich auf meinen Server liegen. Das sind zurzeit ca. 10 Tb.
Und es ist schön, wenn ich eines der Projekte starte und das Ergebnis fast Verzögerungsfrei einsehen kann, um dann evtl. festzustellen, oh es war das falsche Projekt. Auch nach einem Absturz eines Projektes ist es schön das Projekt wieder schnell online zu haben.

Die Ladezeit beim Öffnen eines WX-Projektes ist von der Menge der im Pool registrierten Objekte abhängig und das ist genau das Problem im Netzwerk, dass die massenhaften Objektdateien von den Serverfestplatten in den Cache und dann über die Netzwerkprotokolle zum PC laden muss. Und das dauert nun mal wesentlich länger, als wenn man direkt auf einer direkt angeschlossenen SSD arbeitet.
Die Ladezeit beim Öffnen eines Projektes, dass bei großen WX-Projekten im Netz mehrere Minuten dauern kann, ist störend. Auch über eine SSD dauert das Laden des gleich gr0ßen Projektes immerhin noch 28 Sec. Das ist zwar akzeptabel, aber auch störend. Da gibt es intelligentere Lösungen, z. B. ein Hintergrundladen, was Christoph ja auch schon vorgeschlagen hat. Damit würde man die technischen Protokollhürden umgehen.

Solch eine Lösung muss ja auch nicht sofort gelöst werden, denn da gibt es andere Prioritäten. Nur sollte es nicht vergessen werden.

Meine Erfahrungen beim Erstellen eines großen Projektes werde ich mit einem extra Bericht vorstellen.

Viele Grüße
Erhard