Nvidia пусна нов инструмент – „Nvidia AI Blueprint for 3D-guided generative AI“, с който разработчиците могат да генерират 2D AI изображения от 3D визии. Той вече е достъпен за изтегляне за компютри, оборудвани с Nvidia RTX 4080 GPU или по-нови. Инструментът работи, като свързва 3D моделиращия софтуер Blender с генератора на изображения FLUX.1 на Black Forest Lab.
Каква е идеята?
Към момента, за генерирането на AI изображение, трябва да въведем текстов промпт, с който много добре да опишем сцената. Но е трудно да сме максимално конкретни.
Много по-лесно би било – да направим груб 3D макетна желаната сцена, в който да подредим желаните обекти без прецизност и да зададем ъгъл на гледане, а AI от този 3D груб модел – да създаде 2D прецизно избражения с прецизни детайли.
Вижте как във видеото по-долу:
Както се вижда във видеото, потребителите могат да създадат сцена в Blender, като използват 3D обекти като сгради, растения, животни и превозни средства, която след това служи като референция за създаване на 2D изображение.
Възможността да се направи ръчно настройване на позицията на гледане или къде трябва да бъдат поставени определени обекти предоставя по-голям контрол върху фините детайли при генерирането на 2D изображения в сравнение с използването само на текстови описания.
Например, ако имате много специфична представа за град — формата и височината на сградите, колко дървета или коли са показани и дори ъгъла, от който го гледате — можете да използвате работния процес на Nvidia, за да създадете груба версия на това в Blender.
Генераторът на изображения FLUX.1 след това ще използва това като основа за създаване на изображения, което може да бъде по-малко разочароващо от многократното коригиране на текстови описания, докато получите нещо приблизително на това, което искате. 3D обектите, създадени в Blender, дори не е необходимо да бъдат силно детайлизирани, тъй като инструментът ги използва само като насока за оформление.
Nvidia описва своите „blueprints“ като „предварително дефинирани, персонализируеми AI работни процеси“, предназначени да помогнат на разработчиците да изградят приложения за генеративен AI.
Според Nvidia, AI Blueprint for 3D-guided generative AI предоставя детайлна документация, примерни ресурси и предварително конфигурирана среда, за да насочи потребителите при използването на инструмента.
Този работен процес не е напълно уникален — Adobe представи подобен инструмент по време на своето събитие MAX през октомври, наречен „Project Concept“, който също позволява на потребителите да картографират 3D сцени, които могат да бъдат използвани за насочване на генерирането на изображения. Вариантът на Adobe обаче все още е в експериментален стадий и може никога да не бъде пуснат за масова употреба.
