DFIELDSOLUTIONS

Werkstattnotizen

LaborDie Werkstatt mit ComfyUI bauen

Der Raum, durch den du hierhergekommen bist, ist ein einziges Bild, in dreizehn Teile geschnitten. Die Teile einzeln zu generieren war genau das, was nicht funktioniert hat.

Die Werkstatt mit ComfyUI bauen

Werkstattnotizen5 Abschnitte · 2 Min. LesezeitVon Dezső Mező.mdComfyUISDXLrembgPipeline

Die Werkstatt braucht ihre Requisiten auf getrennten Ebenen, damit sie sich unterschiedlich schnell bewegen, wenn der Zeiger wandert. Der naheliegende Weg zu getrennten Ebenen: jedes Requisit einzeln auf transparentem Hintergrund generieren und dann platzieren. Genau das haben wir zuerst gemacht, und das Ergebnis sah nie nach einem Raum aus.

Jede Generierung erfindet ihre eigene Kamera. Ein allein gezeichneter Schreibtisch hat eine andere Augenhöhe und einen anderen Fluchtpunkt als ein allein gezeichnetes Rack, und noch so viel Verschieben repariert keine zwei Objekte, die sich uneins darüber sind, wo der Boden liegt. Die Requisiten schwebten.

01Den Raum einmal malen

Die Lösung ist, keine Requisiten mehr zu generieren, sondern ein einziges Bild. Ein 3440×1920 großes Gemälde der ganzen Werkstatt legt Kamera, Licht und Palette in einer einzigen Entscheidung fest. Alles danach ist Schneiden, nicht Zeichnen — also kann nichts mehr mit irgendetwas uneins sein.

02Per Differenz schneiden, nicht per Auswahl

Um ein Requisit aus dem Master zu lösen, generieren wir ein zweites Bild aus demselben Seed und Prompt, nur ohne dieses Requisit. Die Subtraktion der beiden lässt das Requisit übrig. Eine rohe Pixeldifferenz ist auf gemalter Textur zu verrauscht, deshalb werden beide Bilder zuerst hochpassgefiltert und die Differenz auf dem gefilterten Paar gebildet — das reagiert auf Kanten statt auf breite Tonwertverschiebungen.

03Zwei Masken, beide auf ihre Art falsch

Die Differenzmaske findet das Requisit, blutet aber in seinen Schatten aus. Ein Hintergrundentferner findet das Objekt, frisst aber innenliegende Grautöne, die er für Hintergrund hält. Der Schnitt beider behält, worin sie übereinstimmen. Der Entferner braucht außerdem eine randverbundene Flutfüllung statt eines Farbschwellwerts, sonst löscht er das graue Klemmbrett mitten in einem grauen Requisit.

04Das Loch, das bleibt

Die Hintergrundebene ist der Master, bei dem das Loch jedes Requisits aus der Platte gefüllt, um ein paar Pixel geweitet und an der Naht weichgezeichnet wird. Das bewahrt jedes Leuchten und jeden Schlagschatten, den das Modell gemalt hat — und genau das lässt die Montage als einen Raum lesen statt als Collage.

05Als WebP ausliefern

Dreizehn geschnittene Requisiten als PNG ergaben 5,4 MB — das meiste von dem, worauf ein Telefon hinter dem Ladebildschirm wartet. WebP bei Qualität 90 speichert den Alphakanal verlustfrei und misst auf diesen gemalten Bildern unter 2/255 mittlerem Fehler, bei etwa einem Neuntel der Bytes.

Was bleibt

  • Die ganze Szene einmal generieren. Getrennte Generierungen können sich nicht auf eine Kamera einigen.
  • Requisiten durch die Differenz zweier Renders desselben Seeds schneiden, nicht durch Maskieren eines einzelnen.
  • Differenzmaske mit Hintergrundentferner schneiden; jede für sich liegt falsch.
  • Das Loch aus der Platte füllen, damit Licht und Schatten des Masters den Schnitt überleben.
Das bauen wir auchGenerative KI

Mehr aus dem Lab

Alle Beiträge ansehen

Sollen wir das an Ihrem System ansehen?Gespräch beginnen

DField Bt. · Dunakeszi · dezso@dfieldsolutions.com
5,0
“Von der LinkedIn-Nachricht zur Live-Seite. Zwei winzige Änderungen, dann online.”Michael J Ringer · Vilya ProtectionGründer · Spanien