Il jazz è incentrato sull'improvvisazione e NVIDIA rende omaggio al genere con la ricerca sull'intelligenza artificiale che potrebbe un giorno consentire ai creatori di grafica di improvvisare con oggetti 3D creati nel tempo necessario per tenere una jam session.Il metodo, NVIDIA 3D MoMa, potrebbe consentire ad architetti, designer, concept artist e sviluppatori di giochi di importare rapidamente un oggetto in un motore grafico per iniziare a lavorarci, modificare la scala, cambiare il materiale o sperimentare diversi effetti di luce.NVIDIA Research ha presentato questa tecnologia in un video che celebra il jazz e il suo luogo di nascita, New Orleans, dove il documento alla base del 3D MoMa sarà presentato questa settimana alla Conferenza sulla visione artificiale e sul riconoscimento dei modelli.Il rendering inverso, una tecnica per ricostruire una serie di foto fisse in un modello 3D di un oggetto o di una scena, "è stato a lungo un Santo Graal che unifica la computer vision e la computer grafica", ha affermato David Luebke, vicepresidente della ricerca grafica presso NVIDIA.“Formulando ogni parte del problema del rendering inverso come un componente differenziabile accelerato dalla GPU, la pipeline di rendering NVIDIA 3D MoMa utilizza i macchinari dell'IA moderna e la potenza di calcolo grezza delle GPU NVIDIA per produrre rapidamente oggetti 3D che i creatori possono importare, modificare e estendersi senza limitazioni agli strumenti esistenti”, ha affermato.Per essere più utile per un artista o un ingegnere, un oggetto 3D dovrebbe essere in una forma che possa essere inserita in strumenti ampiamente utilizzati come motori di gioco, modellatori 3D e renderizzatori di film.Quella forma è una rete triangolare con materiali strutturati, il linguaggio comune utilizzato da tali strumenti 3D.Gli studi di gioco e altri creatori creano tradizionalmente oggetti 3D come questi con complesse tecniche di fotogrammetria che richiedono tempo e impegno manuale significativi.Il lavoro recente sui campi di radianza neurale può generare rapidamente una rappresentazione 3D di un oggetto o di una scena, ma non in un formato mesh triangolare che può essere facilmente modificato.NVIDIA 3D MoMa genera modelli mesh triangolari entro un'ora su una singola GPU NVIDIA Tensor Core.L'output della pipeline è direttamente compatibile con i motori grafici 3D e gli strumenti di modellazione già utilizzati dai creatori.La ricostruzione del gasdotto include tre caratteristiche: un modello mesh 3D, materiali e illuminazione.La maglia è come un modello in cartapesta di una forma 3D costruita da triangoli.Con esso, gli sviluppatori possono modificare un oggetto per adattarlo alla loro visione creativa.I materiali sono trame 2D sovrapposte alle mesh 3D come una pelle.E la stima di NVIDIA 3D MoMa su come viene illuminata la scena consente ai creatori di modificare in seguito l'illuminazione degli oggetti.Per mostrare le capacità di NVIDIA 3D MoMa, i team creativi e di ricerca di NVIDIA hanno iniziato raccogliendo circa 100 immagini ciascuno di cinque strumenti per jazz band (tromba, trombone, sassofono, batteria e clarinetto) da diverse angolazioni.NVIDIA 3D MoMa ha ricostruito queste immagini 2D in rappresentazioni 3D di ogni strumento, rappresentato come mesh.Il team NVIDIA ha quindi rimosso gli strumenti dalle scene originali e li ha importati nella piattaforma di simulazione 3D NVIDIA Omniverse per l'editing.In qualsiasi motore grafico tradizionale, i creatori possono facilmente sostituire il materiale di una forma generata da NVIDIA 3D MoMa, come se vestissero la rete con abiti diversi.Il team lo ha fatto con il modello a tromba, ad esempio, convertendo istantaneamente la sua plastica originale in oro, marmo, legno o sughero.I creatori possono quindi posizionare gli oggetti appena modificati in qualsiasi scena virtuale.Il team NVIDIA ha inserito gli strumenti in una scatola Cornell, un classico test grafico per la qualità del rendering.Hanno dimostrato che gli strumenti virtuali reagiscono alla luce proprio come farebbero nel mondo fisico, con gli ottoni lucidi che riflettono brillantemente e le pelli opache dei tamburi che assorbono la luce.Questi nuovi oggetti, generati attraverso il rendering inverso, possono essere utilizzati come elementi costitutivi per una scena animata complessa, mostrata nel finale del video come una jazz band virtuale.Il documento alla base di NVIDIA 3D MoMa sarà presentato in una sessione al CVPR il 22 giugno alle 13:30 ora centrale.È uno dei 38 articoli con autori NVIDIA alla conferenza.Scopri di più su NVIDIA Research su CVPR.Entra in contatto con i nuovi controlli di gioco mobile su GeForce NOWCome Tarteel utilizza l'IA per aiutare gli studenti di arabo a perfezionare la loro pronunciaNVIDIA, CEO di Oracle in Fireside Chat Light Pathways to Enterprise AIGrand Teton di Meta porta NVIDIA Hopper nei suoi data centerAdobe MAX prende il via con gli aggiornamenti delle app creative e l'artista 3D Anna Natter impressiona questa settimana "nello studio NVIDIA"I siti Web NVIDIA utilizzano i cookie per fornire e migliorare l'esperienza del sito Web.Consulta la nostra politica sui cookie per ulteriori dettagli su come utilizziamo i cookie e su come modificare le impostazioni dei cookie.