Sketch2mesh Alogirtması ve Bilgisayar Destekli Dizayn Teknolojisindeki Geleceği
Herkese selamlar, bugün benim için fazlasıyla özel ve heyecan verici bir konuda karşınızdayım. Bu yazı gelecekteki potansiyeline çok fazla inandığım ve gelişimine destek sağlamak istediğim Sketch2mesh algoritmasının tanıtımını içermektedir.
1- Temel Kavramlar
Öncelikle Sketch2mesh algoritmasını anlayabilmek için bilmemiz gereken birkaç temel terim var.
CAD(Computer Aided Design): Tasarımcılar, endüstri mühendisleri ve sanatçıların 3D modeller oluşturmasını, analiz etmesini ve değiştirmesini sağlar.
Eskiz: Bir nesnenin 2 boyutlu tasviridir. Genellikle en basit gösterimi olarak kullanılır. 3D şekil Rekonstrüksiyonu için önemli bir gerekliliktir.
3D mesh: Bir nesnenin veya şeklin üç boyutlu bir temsilidir. 3D meshler, bir dizi üçgenden oluşur. 3D meshler, 3D modelleme, bilgisayarlı grafikler ve 3D baskı gibi çeşitli uygulamalarda kullanılır.
3D Şekil Rekonstrüksiyonunu: 3 boyutlu nesnelerin 2 boyutlu görüntülerinden veya çizimlerinden yeniden oluşturulması işlemidir.
SVR (Tek Görünümlü Yeniden Yapılandırma): Bir nesnenin veya şeklin, tek bir görünümden yeniden oluşturulması işlemidir. SVR, 3D şekil rekonstrüksiyonunun bir alt alanıdır.
2- 3D Şekil Rekonstrüksiyonunun Önemi
3D şekil rekonstrüksiyonu, tasarımcılar, endüstri mühendisleri ve sanatçıların Bilgisayar Destekli Tasarım (CAD) sistemleriyle etkileşim kurma şeklini devrimleştirme potansiyeline sahip bir teknolojidir. Tasarımcıların, 3 Boyutlu model üretimi için öğrenmesi gereken tonlarca karmaşık uygulamadan ve üretmek için gerekli olan tonla zaman ve enerjiden sıyrılmalarına ve uygulayıcılar için doğal olan 2D’de çizim yaparak şekillerle etkileşim kurma olanağı sağlar. Mevcut derin öğrenme yaklaşımları, 2D eskizlerden 3D nokta bulutları ve hacimsel ızgaraları geri çekme konusunda umut verici olmuştur. Ancak, bu yaklaşımlar genellikle kabaca 3D yüzey temsilleri üretir ve düzenlemeleri zordur.
3D Şekil Rekonstrüksiyonunun zorluklarına değindinmek gerekirse;
Mevcut Derin Öğrenme Yaklaşımlarının Eksiklikleri: Mevcut derin öğrenme yaklaşımları sentetik veri üzerinde eğitilmiş olsa da, genellikle kaba 3B yüzey temsilleri sağlarlar yani eskizde belli olmayan alanların tahmininde verim oranı düşük olur. Bu yöntemler, birden fazla eskiz perspektifine ihtiyaç duyarlar ya da sınırlı görünümlerle çalışırlar.
Tek Görünümlü Yeniden Yapılandırma (SVR) Sorunları: Sanatçıların özgü çizim yöntemlerindeki çeşitlilik yerel özellik havuzlarının ürünü algılamasını zorlaştırır. Bu zorluk, farklı insanların farklı şekillerde çizim yapmasıyla eğitim sürecinde büyük bir değişkenlik getirir ve genelleme sorunlu hale gelir. Ayrıca, bu mimariler 3D şekillerin kompakt bir temsilini öğrenmez, bu da öğrenilen modellerin düzenlenmesini zorlaştırır.
Genelleme Sorunu: Farklı çizim stilleri, eğitim sürecinde büyük bir değişkenlik yaratır, bu da genelleme kapasitesini zorlaştırır.
Kompakt 3B Temsil Eksikliği: Mevcut mimarilr, 3D şekillerin kompakt bir temsilini sağlamaz, bu da öğrenilen modellerin, şekil düzenleme gibi uygulamalarda kullanımını zorlaştırır.
3D şekil rekonstrüksiyonu, hala gelişmekte olan bir alandır. Bu gelişime en büyük faydayı Sketch2mesh algorithması aşağıda bahsettiğim çözüm yöntemleriyle sağlamaktadır.
3- Sketch2mesh Related Works
İlk olarak sketch2mesh bu zorluklar için 2 temel yaklaşım uygulamaktadır. Bu yaklaşımlar Sketch2Mesh/Render ve Sketch2Mesh/Chamfer olarak adlandırılır.
Sketch2Mesh/Render; Eskizlerden ön plan/arka plan görüntülerini sentezlemek ve daha sonra elde edilen görüntüleri farklılaştırılabilir rasterleştirme için hedefler olarak kullanmak üzere eğitilmiş son teknoloji ürünü bir görüntü dönüştürme tekniğinidir.
Sketch2Mesh/Chamfer; Chamfer gerçek dünyada keskin yüzeylerin yumuşatılması anlamına gelir. Sketch2mesh algoritması Giriş çizimindeki konturlarla uyuşması için 3B şeklin konturlarının yerini ayarlar. Bunu, 2B Pah mesafesini en az hale getirerek gerçekleştirir.
Dikkat çekici bir şekilde, Sketch2Mesh/Chamfer, daha basit olmasına rağmen Sketch2Mesh/Render’ın performansından neredeyse aynı veya daha iyidir. İlki, iyileştirme için yalnızca dış nesne dış hatlarını kullanır; çoğu grafik tasarımcısı bu dış dış hatları benzer şekilde çizer, bu da genellemeye yardımcı olur. Eskizleri arka plan veya ön plan görüntülerine dönüştürmek için bir yardımcı ağa da ihtiyaç duymazsınız.
Sketch2Mesh/Chamfer, tam rasterleştirilmiş bir görüntüden yalnızca seyrek konturlardan geri yayılım gerektirir. Sonuç olarak, kamerayla kalibre edilmiş küçük bir çizim verildiğinde, doğal olarak yerel iyileştirme için uygundur. Ve gizli vektöre güvenerek güçlü bir şekil önceden hesaba katmamıza olanak tanır, bu da yerel kalem vuruşlarından şekil düzenlemeye ilişkin daha önceki araştırmaların aksine, şekillerin seyrek 2D kalem vuruşlarıyla sağlam bir şekilde düzenlenebilmesini sağlar.
Şimdi son yıllarda 3 boyutlu modelleme teknolojilerindeki hızlı patlamaları konuşalım. Görüntülerden ve çizimlerden 3 boyutlu modeller oluşturma konusunda birçok şey değişti. Öncelikle, 3D yüzeyleri nasıl temsil ettiğimize bakalım. Eskiden yüzeyleri oluşturmak için belirli bir şablon kullandık ve bu şablondan hareketle şekiller oluşturduk. Ancak bu yöntem biraz sınırlıydı. Sonrasında, yüzeyleri bir fonksiyonla tanımlamaya başladık, bu da bize daha fazla özgürlük sağladı. Ancak bu yeni yöntem biraz daha karmaşıktı. Neyse ki, son zamanlarda bu karmaşık yöntemi daha basit ve etkili bir şekilde kullanabilen yeni bir yaklaşım geliştirildi.
Sonra, çizimlerden 3D modeller nasıl oluşturulur ona bakalım. Bu konu aslında yıllardır araştırılan bir konu. Eskiden, bir çizimi 3D bir modele dönüştürmek için ya bazı varsayımlarda bulunuyorduk ya da sınırlı şablonlarla çalışıyorduk. Ancak derin öğrenme sayesinde, bu işlemi çok daha iyi hale getirebildik. Örneğin, bir çizimi alıp, onu 12 farklı bakış açısından 3D bir model haline getirebiliyoruz.
Ve son olarak, bir fotoğraftan 3D model oluşturma konusu üzerine birkaç şey söyleyelim. Aslında bu, yeni geliştirilen yöntemler sayesinde daha da gelişti. Ancak bu yöntemlerin bazıları, sonuçta elde edilen modeli değiştirmek için ekstra bilgilere ihtiyaç duyuyor. Yani, bazen bir fotoğraftan elde edilen modeli mükemmelleştirmek için başka bir fotoğraf ya da bilgi gerekiyor.
Son olarak, 3D modelleri fotoğrafla daha iyi hale getirme konusunda da bazı yenilikler var. Özellikle siluetler (bir nesnenin dış hatları) kullanılarak yapılan iyileştirmeler oldukça umut verici.
4- Avantaj ve Dezavantajları
Sketch2Mesh’in Avantajları:
Farklı Çizim Tarzlarına Uygunluk: Sketch2Mesh, ne tarzda çizildiğine bakmaksızın çizimleri iyi bir şekilde değerlendiriyor. Pix2Vox, MeshRCNN veya DISN gibi diğer yöntemlerin aksine, farklı çizim stillerine karşı harika sonuçlar veriyor. Öyle ki el çizimiyle bile muhteşem 3D modeller elde edebiliyorsunuz!
Ek Bir Ağa Gerek Yok: Bildiğimiz üzere, bazı yöntemler özel bir ağ eğitimi gerektiriyor. Ancak Sketch2Mesh böyle bir şeye ihtiyaç duymuyor, bu da onu kullanması ve kurması çok daha kolay hale getiriyor.
Çizimlerle Etkileşim: Özellikle tasarım dünyasında, bir çizimle doğrudan etkileşim kurabilmek harika bir özellik. Sketch2Mesh sayesinde, tasarımcılar ve sanatçılar sadece 2D çizimlerle oynamakla kalmıyor, aynı zamanda bu çizimleri 3D modellere dönüştürebiliyorlar.
Üstün Performans: Eğer teknik detaylara ilgi duyuyorsan, bu kısım senin için önemli olabilir. El çizimi ve sentezlenmiş çizimlerle yapılan testlerde, Sketch2Mesh diğer en son teknoloji yöntemlere göre daha iyi sonuçlar veriyor.
Sketch2Mesh’in Dezavantajları:
Veri Seti Uyumsuzluğu: Sketch2Mesh, bazı veri setleriyle iyi çalışmıyor. Özellikle Prosketch gibi veri setlerini kullanmakta zorlanıyor.
Çizimlerin Seyrek ve Belirsiz Bilgi Sorunu: Çizimlerin bazen az ve belirsiz bilgi sağlaması, Sketch2Mesh’in işini zorlaştırıyor. Farklı insanlar farklı şekillerde çizim yapabiliyor, bu da eğitim sürecinde bazı sorunlara yol açıyor ve genelleme konusunda zorluk yaşanıyor.
5- Conclusion
Bugün CAD uygulamalarının hatta sanal gerçeklik teknolojisinin geleceğini oluşturacağına inandığım, Sketch2Mash algoritmasının ne olduğu, nasıl kullanılabileceği ve sağladığı kolaylıklardan bahsettik.
Bu yazının devamını okumak için tıklayabilirsiniz.
