Artırılmış gerçeklik ticaret fuarı: Panasonic bunu AR ile uzaktan nasıl başardı?

Artırılmış gerçeklik kurtarmaya. NAB 2020'nin (opens in new tab) COVID-19 salgını nedeniyle iptal edilmesi,   yayın endüstrisinde şok dalgaları yarattı. Her yıl Las Vegas'ta düzenlenen NAB Show, 160'tan fazla ülkeden 90.000'in üzerinde katılımcının yer aldığı en büyük yayın ticaret fuarıdır. 1.600 katılımcının çoğunluğu yeni ürün ve teknolojileri piyasaya sürüyor ve birçok büyük şirket için altı aya kadar planlama yapılıyor. Çok kısa bir süre içinde Panasonic Pro Video ekibi, evden uzaktan çalışırken mesajını iletmek için alternatifler bulmak zorunda kaldı.

NAB Show'un iptal edilmesinden önceki günlerde Panasonic ekibi, müşterilerin çevrimiçi olarak ziyaret edebileceği fiziksel bir stant inşa etme fikri de dahil olmak üzere, ikame bir etkinlik yapma seçeneklerini araştırmaya başladı. Panasonic Pro Video ekibi , sanal prodüksiyonlar oluşturma konusunda uzman New England merkezli DisruptAR'ın CEO'su Paul Lacombe ile de görüşüyordu  . Üniversiteden sonra kariyerine General Motors'ta başlayan Lacombe, 80'lerin sonlarında Silicon Graphics'te başlayarak 30 yıl boyunca yapım endüstrisinde çalıştı ve ardından sanal prodüksiyonlar peşinde koşmak için kendi başına yola çıktı. DisruptAR, daha geniş pazar için AR ve VR üretim maliyetlerini düşürmeye odaklanmıştır.

• Espor Eğitim Fabrikası akış altyapısı
• Citizen Cope, Covid-safe konser alanını kullanıma açtı
• Uzaktan Öğrenme: Uzak bir orkestranın çalışması nasıl sağlanır?
• Canlı akış için en iyi PTZ kameralar

16 Mart'ta Panasonic'in ABD genel merkezinin bulunduğu New Jersey resmi olarak karantinaya girdi; 18 Mart'ta Lacombe, Panasonic ekibi için ilk demoyu planladı. NAB Show 2020, 20 Mart'ta iptal edildi.

İki seçenek arasında çok hızlı bir şekilde karar vermemiz gerekiyordu,” diye açıklıyor Panasonic mühendislik müdürü Harry Patel. "İlk seçenek, fiziksel olarak bir stant inşa etmeyi, ürünü sosyal mesafe gereksinimlerine uyarak (bir seferde 10 kişiden az) getirmeyi ve bir film ekibi getirmeyi gerektiriyordu. Pratik değildi ve evlerimizden çıkamasak da daha kaliteli bir şeyler yapmak istedik. Sonunda, bu sanal etkinlik fikri daha fazla tartışıldı ve Mart ayı sonunda onaylandı.”

Artırılmış Gerçeklik ve Uzaktan Üretim

Uzaktan üretim yeni bir kavram değil. Yönetmen Francis Ford Coppola, 1982 yapımı  One From the Heart'tan ünlü birçok sahneyi setin yakınındaki bir karavandan yönetti ve kurguladı. Ancak küresel bir salgın sırasında evden uzaktan bir prodüksiyon yaratmak başka bir hikaye. Bu ancak en son kamera teknolojisi, VR oyun motorları ve bulut tabanlı uygulamalar kullanılarak mümkün oldu.

Panasonic için ilk hedef, sözlü ve yazılı iletişimin daha görsel bir video formatına çevrildiği net bir mesaj oluşturmaktı. NAB'de satış görevlileri, genellikle gösteri alanında müşterilerle iletişim kurarak her bir kişinin sorunlarının çözümlerini tartışırdı. Pazarlama Grup Müdürü Jim Wickizer ve PR ajansı Racepoint Global, tutarlı bir mesaj bulabildiler ve doğru konuşma noktalarını sunmak için bireysel ürün yöneticileriyle çalıştılar.

Patel ve Wickizer, ürün yöneticileri ile stüdyo sunucusu Zoe Laiz arasında yeni ürünleri ve teknolojiyi tartışacak olan video röportajları oluşturmak için Lacombe ile ev stüdyosundan uzaktan çalışmaya da başladılar. Lacombe, "Hepimizin zorlu prodüksiyon ortamları oldu, ancak bunu bu programla uzaktan yapmak kesinlikle bir inanç sıçramasıydı," diye açıklıyor. "İçimde bunun işe yarayacağını biliyordum ama daha önce hiç yapmamış olmak endişe vericiydi."

Uzaktan kayıt için her ürün yöneticisine bir dizüstü bilgisayar, bir Blue Yeti USB mikrofon ve bir Panasonic  AW-HE42 (yeni sekmede açılır)  Full-HD Profesyonel PTZ Kamera verildi. HE42, Ethernet ve PTZ Sanal USB Sürücüsü aracılığıyla bağlandı ve video, kayıt için OBS ve uzaktan kontrol için TeamViewer kullanılarak dizüstü bilgisayara getirildi.

Artırılmış Gerçeklik ve MS Ekipleri

İletişim, dosyaların paylaşılması, demoların görüntülenmesi ve uzaktan prodüksiyon çekimlerinin izlenmesi için Panasonic, bir iletişim ve işbirliği platformu olan Microsoft Teams'i kullandı. Teams, Zoom, Ring Central ve diğer pek çok platform, bir gecede insanların ve işletmelerin dış dünyayla evlerinden güvenli bir şekilde iletişim kurmasına olanak sağladı.

Lacombe'un yapım sırasında sette ne yakaladığını görmek için Patel, SDI'dan USB'ye dönüştürücü kutusuna bir AV-UHS500 anahtarlayıcı çıkışı kullanarak dörtlü bir bölme oluşturarak Teams Screen paylaşımını kullandı. USB beslemesi, Windows'ta Teams aracılığıyla paylaştıkları bir kamera beslemesi olarak sunuldu.

Patel ve Wickizer, Profesyonel Görüntüleme ve Görsel Sistemler Kıdemli Başkan Yardımcısı John Baisley'nin açılış konuşmasının kaydını denetlerken Teams aracılığıyla Baisley'nin oturma odasını canlı olarak görüntüleyebildiler ve satır okuma hatası mı, arka plan değişikliği mi yoksa teknik bir arıza mı olduğu konusunda yön verebildiler. ses sorunu Patel, Teams aracılığıyla hem yeşil ekran hem de sanal set görünümlerini gözlemleyerek ekran yönlendirmesi de sağlayabildi. Patel, "Zoey bir kapının hemen arkasında durup içeri girerse, çekimin iyi olup olmadığını gerçekten görebilirdik," diye açıklıyor Patel. “Paul'e Teams aracılığıyla 'Biraz sağa hareket ederse daha iyi olabilir' derdim. Uzaktan işbirliği açısından, Teams kullanılmadan bunun mümkün olacağını düşünmüyorum.”

Wickizer, "Bunu uzaktan yapmak çok güzeldi" diye ekliyor. "Boston'da bir kişi vardı, Harry ve ben New Jersey'deki evlerimizdeydik ve West Coast'ta bir kişi daha vardı. Kızım bir kere bodrumumuza geldi ve ne yaptığımı sordu. "Uzaktan bir prodüksiyon yapıyoruz," dedim ona. Gerçekten inanamadı.”

Free-D ve Unreal Engine

Gerçekçi VR stüdyo setlerini canlı bir prodüksiyona dahil etmek için doğru kamera konumlandırma verilerinin yakalanması çok önemlidir. DisruptAR, Panasonic için ilk demosunu sunmadan önce,  AW-UE150 (yeni sekmede açılır) 4K Pro PTZ kameranın doğrudan Unreal Engine'e (yeni sekmede açılır)  takılmasına  olanak tanıyan bir Free-D sürücüsü geliştirdi. Pan/Tilt/Zoom/Iris bilgilerini IP (UDP) aracılığıyla doğrudan kameradan ek sensörlere veya kodlayıcılara ihtiyaç duymadan canlı olarak Unreal'ın izleme sistemine verme yeteneği.

Lacombe, "Free-D, 90'ların başında BBC'den kamera izleme sistemlerinden biri için bir izleme protokolü olarak geldi" diye açıklıyor. “Altı serbestlik derecesini tanımlar - kaydırma, eğme, döndürme, X, Y, Z ve ayrıca görüş alanı, yakınlaştırma ve odaklama. Bu değerler sanal işleme motoruna gönderilir ve bir sanal kameraya bağlanır, böylece arka planınız buna göre gerçek zamanlı olarak saniyede 60 kare hızında yanıt verir.

Lacombe'a göre Unreal Engine, The Lion King'den The Mandalorian'a  kadar  çok sayıda yapımda kullanıldı  . Lacombe, "Şu anda Hollywood'un çoğu tarafından kullanılan temel teknoloji bu" diyor. "Çoğunlukla proxy olarak kullanıyorlar ama amaç 'son piksel', yani gerçek zamanlı olarak ekranda ne görüyorsanız o oluyor."

Lacombe, "Unreal Engine, mimari, CAD görselleştirme ve bu durumda yayın ve film dahil olmak üzere diğer pazarlarda uygulanan bir oyun motorudur" diyor. "Makya, 3D Studio Max, Blender gibi geleneksel DCC araçlarından varlıklar alarak, saniyede 60 kare hızında NVIDIA grafik kartlarını kullanarak, izleyicilere aslına uygun lens özellikleri vererek fotogerçekçiliğin en üst düzeyine ulaşmak için kullanıyoruz. çiçeklenme, işaret fişekleri ve odaklanmama. Saniyede 60 kare hızında fotogerçekçilik ve işleme için ihtiyacınız olan kalite, esas olarak Unreal Engine'in yaptığı şeydir."

Garajda Sanal Bir Dünya Yaratmak

Lacombe'un stüdyosu, yalnızca 20 x 24 ölçülerindeki dönüştürülmüş garajında ​​ve ekibi yalnızca bir asistandan oluşuyor. Yeşil ekran için Pro Cyc Portable arka planı kullandı. Alan sınırlamaları nedeniyle Laiz yalnızca birkaç adım yürüyebiliyordu, bu nedenle kameralar sınırlıydı ve bu da AW-UE150'yi bu iş için mükemmel bir araç haline getiriyordu. Lacombe, yeşil ekranını aydınlatırken 14” LED paneller kullandı. Lacombe, "Fikir şu ki, gerçekten yeşilin tek bir tonuna sahip olmak ve tüm sivilcelerden kurtulmak istiyorsunuz, böylece anahtar yöneticiniz bu gölgeleri koruyabilir," diye açıklıyor Lacombe. "Anahtarlamak istediğiniz bir yeşili seçersiniz ve daha koyu yeşiller, sanal kümenizin üzerine bindirilmiş gölgelerdir."

Garajının küçük sınırları içinde çalışmasına rağmen, yeteneğini büyük bir stüdyonun motive edici ışığıyla aydınlatmak zorundaydı. Laiz'i aydınlatmak için Lacombe, hem anahtarı hem de dolgusu için iki LED panel kullandı. Ayrıca pencerelerden gelen kırmızımsı bir ışığı simüle etmek için yukarıdan birkaç spot ışığı kullandı. Lacombe, "Temel olarak, yeşil ekranı etkilemeden bu yönü ve renk sıcaklığını eşleştirmeye çalışıyoruz" diyor. “Bu bir meydan okuma çünkü siz yeteneği yeşil ekrandan ayrı aydınlatmaya çalışıyorsunuz. O LED'lerdeki ahır kapıları bize daha fazla yer veriyordu ama yeşilden uzaklaşmak ve yeşilin onun giysilerine ve cildine minimum düzeyde yansımasını sağlamak için mücadele ediyorduk."

Lacombe sette iki UE150 kamera kullandı: 1. kamera sol tarafta ve 2. kamera sağ taraftaydı. Zoe, dikey bir monitörde görüntülenen bir ürün yöneticisiyle yüzleşmek için sırasını yaptığında, simüle edilmiş bir ürün yöneticisi bakış açısı elde etmek için Laiz'in göz hizasında ikinci kameraya geçiyordu. Göz çizgilerini eşleştirmek zorlu bir iş ama Lacombe, kendi ana konumunun nerede olduğunu bilerek biraz hile yapabileceğini söylüyor. “İki kameranız varsa, biri diğerine 90 derece 8 fit, diğeri 1,2 metre uzaklıktaysa, bir mezura ile ölçebilir ve sanal dünyaya aynı konumda koyabilirsiniz. Birbirlerine fizik kanunları ile bağlı kalacaklar ve böylece tam olarak bu konumdaymış gibi görünecekler. Ve sonra bu yönergeler dahilinde biraz hile yapabilirsiniz.

Bir Düğmeye Tıklayarak Üretim Tasarımı

Sanal setin tasarımı için Lacombe, geçen yıl başka bir müşteriyle çalıştığı değiştirilmiş bir tasarım kullandı. Tasarım Maya'da yapıldı ve Unreal'a aktarıldı. Sanal set gece geçtiği için ilk başta daha karanlık bir görünümleri vardı ama sonra biraz daha parlak hale getirmeye karar verdiler. Panasonic logosunu ekledi ve Panasonic seti için gerekli olmayan unsurları çıkardı. Ayrıca Laiz'in arkasından çıktığı yerden çıkan bir monitör de ekledi.

Lacombe'a göre, kendi sanal setinizi oluştururken, çevrimiçi mimari görselleştirme gerçekten çok popüler olduğundan, kullanılabilecek daha fazla 3B varlık var. Bir 3B kitaplığa gidebilir ve 3B varlıkları veya modelleri bulabilir ve özelleştirme gereksinimlerinizin ne olduğuna bağlı olarak oluşturabilirsiniz. Lacombe, "Müşteri ile gerçekten bir ileri bir geri gidiyor," diye açıklıyor. “Pazarlama bileşenlerinizi, markanızı, tüm renkleri ve malzemeleri eklersiniz. Varlığı oraya yerleştirdikten sonra, bir düğmeyle duvarları yıkabilir, nesneleri tıklayabilir veya hareket ettirebilir, monitörleri gerçek zamanlı olarak ayarlayabilirsiniz. "Fiziksel dünyada" bu, önemli miktarda zaman ve para gerektirecektir. Bir kez inşa ettikten sonra, ayarlamak ve geri dönmek kolaydır.”

Güvenli Mesafeyi Korumak

Sanal üretim, onlarca yıl boyunca deneyim ve iyileştirme yoluyla gelişti. Fiziksel bir prodüksiyon ile sanal bir prodüksiyonun rolleri özünde aynı olsa da en büyük fark, herkesin aynı fiziksel alanda çalışıyor olmasıdır. Evde kalma yönetmeliği kaldırıldıktan sonra, gerçek uzaktan üretimin norm haline gelip gelmeyeceği hala belirleniyor.

Lacombe, “Anahtara, senaryoya, kamera açılarına ve gardıroba bakan birinin olmasının bir nedeni var” diyor. Tüm bu rollerin hala yerine getirilmesi gerekiyor ve biz sadece bunu uzaktan yapmanın en iyi yolunu bulmaya çalışıyoruz. Şimdiye kadar inanılmaz derecede iyi çalıştı ve bunun nasıl bu kadar hızlı bir şekilde bir araya gelip doğal bir şekilde geliştiğine hepimiz şaşırdık. Bu prodüksiyon için istediğimizden daha fazla şapka takmamız gerekmesine rağmen, bir sonraki mantıklı adım, süreci iyileştirmek ve iyileştirmek için başkalarını dahil etmek için bunu daha da dağıtmaktır. Ancak kapıdan ilk kez çıktığımda, sonuçlardan çok memnunum ve bir sonraki adıma geçmek için sabırsızlanıyorum.”

Panasonic'in sanal etkinliği  The Future of Video Production'ı izlemek için buraya tıklayın  .

DisruptAR hakkında daha fazla bilgi için  www.disruptar.com adresini ziyaret edin (yeni sekmede açılır) .