Yapay Zekâ Görsel Üretimi Nasıl Çalışır: Şişirmeden Arındırılmış Difüzyon Anlatımı
Artık neredeyse herkes yapay zekâ görsel üreteçlerinin işe gürültüyle başlayıp bunu işleyerek bir görsele dönüştürdüğünü biliyor.
Artık neredeyse herkes yapay zekâ görsel üreteçlerinin işe gürültüyle başlayıp bunu işleyerek bir görsele dönüştürdüğünü biliyor. Ancak görseli "çizmezler" — bunun yerine, komut istemi ve yönlendirme ölçeğinin rehberliğinde, gürültüyü tekrar tekrar temizlerler. Bir yapay zekâ kullanıcısının müdahale edebileceği ana kollar —komut istemi, tohum ve yönlendirme ölçeği— sırasıyla bu kılavuzlu gürültü giderme sürecini şekillendirir.
Gürültüden Görsele
Difüzyon modellerinin üretici gücü, nihai görselin neye benzeyeceğine dair önceden edinilmiş bir bilgiden değil, rastlantısallığın şekillendirilmesinden gelir.
2020 tarihli bir makalede tanıtılan Gürültü Giderici Difüzyon Olasılık Modelleri'nin temel mekanizması şöyle işler: ilk görseli gürültüyle bozarak başlarlar, ardından bu bozulmayı adım adım tersine çevirmeyi öğrenirler. Sonuç olarak, her biri bir öncekinden daha az gürültülü bir dizi gürültülü görsel elde ederler. Model, komut isteminin rehberliğinde gürültü giderme işlemini birçok adım boyunca tekrarlar.
[TO VERIFY: Güncel ve belirli bir görsel üretecinde bu sürecin alıntı olmayan bir örneği]
Özünde bu süreç, aşamalı bir kayıplı açma işlemi gibi düşünülebilir: ileri yönlü gürültü ekleme sürecindeki her adım bir kayıptır ve tersine gürültü giderme sürecindeki her adım bu kaybın bir kısmını geri alır. Gürültü giderme genellikle tamamen rastgele bir örtük gürültü parçasıyla başlar ve bu gürültü, öğrenilmiş modelin rehberliğinde giderek daha makul bir görsele dönüştürülür.
Komut İstemi Gerçekte Ne Yapar
Görsel üretim sürecinin temel "girdisi" —kullanıcının en yaratıcı veya en yönlendirici olarak düşünebileceği unsur— komut istemidir. Fakat bir insanın çizim yaparken aldığı ve çizen eli yönlendiren komuttan farklı olarak, bir yapay zekâ modelindeki komut istemi çizimi aynı şekilde "idare etmez".
Komut istemi bir emirden ziyade, üretim için bir koşullandırma sinyalidir. Görseli doğrudan kontrol etmez, ancak içerdiği kelimeler CLIP'in metin kodlayıcısından gelen "metin gömmelerine" dönüşür. Ardından bu metin gömmeleri, ortaya çıkacak görseli koşullandırır. Koşullandırma sinyali üretim sürecinin en olası sonucunu değiştirir, ancak teknolojistler şimdiye dek kesin "karar" sürecini ve her bir gömmenin nihai görseli nasıl etkilediğini açıklamanın bir yolunu bulamamıştır.
Pratikte bu durum, komut isteminin görselle bire bir eşleşmediği ve komut isteminde yapılacak küçük değişikliklerin görselde belirgin ya da ince değişimlere yol açabileceği anlamına gelir. Üretim süreci, komut istemini konuşma tanıma sistemlerinin anladığı gibi anlamaz; yalnızca üretimi nazikçe yönlendirmek için komut isteminden faydalanır.
Tohum Neden Önemlidir
Difüzyon modelindeki tohum, üretim sürecini başlatan ilk rastlantısallığın kaynağıdır. Bir görsel üretmeye başladığınızda bu tohum, modelin işe başlayacağı ilk örtük gürültüyü belirler. Tohumdaki küçük değişiklikler, hatta önemsiz görünen bir değişim bile, çok farklı başlangıç görsellerine yol açabilir. [TO VERIFY: Sıradan birine 'örtük' gürültüyü açıklayan adı geçen bir model, sağlayıcı veya teknoloji uzmanı kaynağı.]
Farklı tohumlar, aynı komut isteminden farklı görseller üretmenin yoludur. Ancak aynı komut isteminin bu denli farklı sonuçlar verebilmesinin tek nedeni tohum değildir: ilk örtüklüğün kaotik doğası, tamamen aynı tohumun bile aynı komut istemi ve yönlendirme ayarlarıyla biraz farklı sonuçlar üretebileceği anlamına gelir; çünkü tohum her zaman tamamen aynı görseli veren bir komut değil, ilk gürültü için bir başlangıç noktasıdır.
Peki neden bir başlangıç tohumu seçilsin ki? En önemli nedenlerden biri tekrarlanabilirliktir: Değerlendirme ya da paylaşım (veya tersine mühendislik) amacıyla bire bir aynı çıktıyı oluşturmak istiyorsanız, bir çıktıyı yeniden üretmek için aynı tohumu ve aynı ayarları kullanabilirsiniz. Tohumu rastgele gürültü üretiminizin başlangıç noktası, komut istemi ve ayarları da diğer girdiler olarak görmek, üretici sürecin ne kadar doğrusal olmayan ve sistematiklikten uzak bir yapıda olduğunu gözler önüne serer.
Yönlendirme Ölçeği Neyi Değiştirir
Difüzyon modelindeki yönlendirme ölçeği, koşullandırma sinyaline bağlılığı —başka bir deyişle, üretilen görselin komut istemini ne kadar yakından takip edeceğini— denetler. Daha düşük bir yönlendirme ölçeğinde üretilen görseller komut isteminden daha fazla sapabilir ve daha geniş bir çıktı çeşitliliği sergileyebilir. Buna karşılık daha yüksek bir yönlendirme ölçeği, modelin komut istemine daha sıkı bağlı kalmasını sağlayarak tarif edilen içerikle birebir örtüşen görseller ortaya çıkarır.
Bu anlamda yönlendirme ölçeği, bağlılık ile sapma arasındaki bir ayar düğmesi olarak görülebilir: Düşük bir değer daha fazla yaratıcı özgürlük ve varyasyona izin verirken, yüksek bir değer komut istemiyle daha yakın bir uyum sağlar.
Süreç Neden Anlık Değildir
Difüzyon modellerindeki gürültü giderme süreci anlık değildir, çünkü gürültüyü kademeli olarak tutarlı bir görsele dönüştürmek birden fazla yineleme gerektirir. Gürültü giderme sürecinin her adımı gürültünün bir kısmını ortadan kaldırarak görselin her yinelemede daha makul görünmesini sağlar. Bunun nedeni, modelin çoğunlukla gürültüden oluşan başlangıçtan nihai görsele giden kademeli bir yörüngeyi öğrenebilmesi ve dolayısıyla birkaç adımdan fazlasını görmeye ihtiyaç duymasıdır.
Sonraki modeller daha az adım kullanarak örnekleme sürecini hızlandırmayı başardı, ancak çok az adım görsel kalitesinin düşmesine yol açabilir. Örnekleme hızı ile görsel kalitesi arasındaki bu ödünleşim, difüzyon modellerinin temel bir boyutudur ve araştırmacılar bu dengeyi optimize etmenin yollarını keşfetmeyi sürdürmektedir.
Tekrarlayan Kısıtlamalar
Difüzyon modellerindeki ilerlemelere rağmen bazı kısıtlamalar varlığını koruyor. Yaygın sorunlardan biri, modelin ince detayları ve yapıyı doğru şekilde tasvir etmekte zorlanması nedeniyle genellikle bozuk veya şekilsiz görünen el ve metin üretimidir. Örneğin parmak sayıları yanlış olabilir veya metinler hatalı aktarılabilir.
Bu kısıtlamaların nedeni üretici sürecin doğasında yatar: Modele belirli nesneleri veya metinleri tanıması ve üretmesi açıkça öğretilmez; model bunun yerine eğitim verileri aracılığıyla bir gürültüden görsele eşleme yapmayı öğrenir. Sonuç olarak, unsurların hassas şekilde yerleştirilmesini ve düzenlenmesini gerektiren karmaşık yapılarda zorlanabilir.
Bir diğer kısıtlama ise anlamlı ve amaca uygun görseller üretmek için yüksek kaliteli komut istemlerine duyulan ihtiyaçtır. Model basit komut istemlerinden etkileyici sonuçlar üretebilse de, daha karmaşık veya soyut komut istemleri tutarsız ya da istenmeyen çıktılara yol açabilir. Ayrıca model, mesleki veya sanata özgü tanımlamalar gibi görsel alanın derinlemesine anlaşılmasını gerektiren görseller üretmekte zorlanabilir.
Sonuç
Difüzyon modelleri rastgele bir gürültüyle başlayıp, komut istemi ve yönlendirme ölçeğini içeren bir dizi parametrenin rehberliğinde bu gürültüyü kademeli olarak bir görsele dönüştürerek çalışır. Tohum ilk rastlantısallığı belirlerken, komut istemi ve yönlendirme ölçeği nihai çıktıyı şekillendirir. Süreç anlık olmasa da, çok çeşitli komut istemlerinden yüksek kaliteli görsellerin üretilmesine olanak tanır.
Yine de difüzyon modelleri kusursuz değildir; el ve metin üretmek hâlâ zorlu bir iş olabilir. Yapay zekâ ile görsel üretimi alanı gelişmeye devam ettikçe, bu kısıtlamaların üstesinden gelmek ve bu güçlü modellerin yeteneklerini genişletmek için daha fazla araştırma ve geliştirmeye ihtiyaç duyulacaktır.