Futurebeat To AI wprowadza edycję zdjęć na zupełnie nowy poziom

"Badacze zwrócili uwagę na fakt, że obecnie sztuczna inteligencja generująca obrazy posiada swoje ograniczenia. Po podaniu jej konkretnych instrukcji, nadal może nam ona wygenerować coś, co nie do końca spełnia nasze oczekiwania. W tym momencie nie jesteśmy w stanie zmodyfikować otrzymanej grafiki."

Nie jest prawdą, że nie można zmodyfikować grafiki wygenerowanej przez AI.

Obawiam się, że istnieje całe mnóstwo aplikacji, które oferują dość rozbudowane opcje modyfikacji obrazu wygenerowanego przez AI, a także dowolnego innego obrazu, takiego jak zdjęcia z aparatu.

Wystarczyłoby zwykłe zapytanie w Google, żeby odkryć, że edycja obrazu jest dostępna już od dawna (w formie zaawansowanej, od co najmniej 6 miesięcy - w świecie AI to lata świetlne).

Jeśli szuka Pani czegoś prostego, ale efektywnego, to polecam Playground AI. Jest to podstawowe miejsce, gdzie zachęciłbym do wypróbowania narzędzi, które podobno nie istnieją.

Jest możliwość upscalingu oraz edycji tzw. "image to image", czyli podania za wzór obrazu A i ustalenia, jak bardzo ma się różnić od niego obraz B.

Jest także możliwość edycji obrazu za pomocą komend. Na przykład, jeśli jest wazon z różami, można wpisać komendę "zamień róże na słoneczniki" i oczywiście dostosować wagę dla nowej komendy.

O tym, jakie możliwości edycji obrazu oferuje GUI znane jako Automatic 1111, pisane są całe artykuły, nie wspominając o tutorialach na YouTube.

Powodem, dla którego temat modyfikacji obrazu generowanego przez AI jest tak szeroko opisywany, jest fakt, że możliwości edycji i postprodukcji są dziesiątki.

Mówimy o darmowym, powszechnym, świetnie udokumentowanym projekcie, który ma setki tysięcy użytkowników - a Wy piszecie, że nie ma takiej opcji?

"Oczywiście, na ten moment to jedynie projekt badawczy i zapewne upłynie jeszcze dużo czasu, zanim to AI zostanie udostępnione szerszej publiczności."

Być może wiele czasu upłynie, zanim to AI, wspomniane w artykule, będzie to potrafiło, natomiast obecnie jest masa sposobów na modyfikację obrazu i tylko z powodu ich ogromnej ilości wypiszę tylko najważniejsze:

Generalnie jeśli chodzi o postprodukcję obrazów generowanych z pomocą AI, to są dwie metody (pomijam, że można zawsze użyć czegoś w stylu Photoshopa), i są to edycje ImageToImage i InPaint.
ImageToImage - oferuje całkowitą zmianę obrazu, czyli np. zwykłe powiększenie z (opcjonalnie: dodaniem detali), czyli tzw. upscaling, czyli nasze skalowanie. Różnica polega na tym, że można ustalić wartość 'szumu', im wyższa wartość, tym większe zmiany zajdą w obrazie. A jakie zmiany, to zależy od komendy [prompt] w polu tekstowym, może być to np. add details, albo soften shadows, itd.

InPaint z kolei pozwala na zamaskowanie dowolnej części obrazu i wprowadzanie zmian regionalnych.

Są już nawet wtyczki, które tłumaczą komendy z różnych języków na angielski (nie sprawdzałem, czy jest PL, ale byłbym zaskoczony, gdyby nie).

W tym momencie wypada wspomniec, ze jesli mowimy o generowaniu obrazow z pomoca AI to bardzo popularny jest wlasnie A1111 -> (stable-diffusion-art w googlach) -> znakomita strona, oferuje kompletne tutoriale, takze o edycji obrazu.
A1111 to graficzna interpretacja generatora obrazow (GUI) oparta o STABLE DIFFUSION i oferuje wszystko to, co oferuje playground ai, tylko że instaluje się na własnym sprzęcie, więc my mamy pełną kontrolę nad 'generatorem'.

W STANDARDZIE jest tzw. InPaint, czyli za pomocą prostego pędzla jest możliwość zaznaczenia DOWOLNEJ partii zdjęcia/obrazu celem modyfikacji.
Modyfikacja jest ograniczona tylko wyobraźnią.

Ponadto, oczywiście, jest masa dodatkowych funkcji, jak odwrócona maska, miękkość/twardość pędzla, dodatkowe podprogramy usprawniające edycje.
3. Maskowanie oraz ImageToImage obsługuje także funkcje, w których modyfikujemy obraz za pomocą komend tekstowych, także zero ograniczeń.

4. A1111 ma kilka, jeśli nie kilkanaście dodatkowych modyfikatorów obrazu. Różnią się one wielkością (od 200 kB do około 400 MB) i są to po kolei:
- textual inversion (100-200kb)
HyperNetwork (ok ¬75MB)
LORA (¬200MB)
Lycoris (200MB)
i dosłownie SETKI różnego rodzaju rozszerzeń (extensions) oferujących dodatkowe opcje edycji.
Do tego zupełnie nowy wymiar, jeśli chodzi o możliwość edycji zdjęć, wprowadziła 'nakładka' ControlNet, nie tylko wzbogacając możliwość edycji (upscalingu).

ControlNet w połączeniu z 3D open pose, czy ekwiwalentem, daje kontrolę nad ustawieniem modela. Dostatecznie powiedzieć, że ControlNet już dorobił się swoich własnych dedykowanych nakładek, które oferują masę możliwości od pozowania do skakania w różnych stylach itp.

Dodajmy do tego, że użytkownik ma do dyspozycji 'standardowy' model, jak na przykład Open Midjourney v4 (bestia!), ale także dziesiątki innych, które wciąż tworzy społeczność.

Teraz proszę sobie wyobrazić, że poszczególne modele można ze sobą łączyć, na przykład model midjourney z realisticVision2, co daje nam nowy model.

I na dodatek - w większości przypadków nie ma ograniczenia w ilości wtyczek użytych do tworzenia / edycji obrazu.

"Każda modyfikacja oznacza wygenerowanie nowego obrazu. Dzięki temu można dokonać bardzo dużych zmian w grafice."
Na koniec chciałbym jeszcze zauważyć, że to chyba nie jest jakaś specjalna rewolucja, ludzkość już zna to rozwiązanie jako 'zapisz jako' albo 'save as' - dostępne od jakiegoś czasu. Trudno, żeby się zmiana nadpisywała na oryginale, to akurat by było sprzeczne z intuicją.

I dokładnie na tej zasadzie odbywa się obecnie edycja zdjęć przez AI, każda zmiana oznacza wygenerowanie nowego obrazu. Tylko, ze to juz jest, i jest uzywane od dawna.