Прямое текстурированное размытие в 4K» команда учёных из Apple и Гонконгского университета предлагает новую архитектуру, получившую название LGTM. Исследователи поясняют, что с ростом разрешения существующие методы прямого гауссовского размытия для 3D быстро становятся чрезмерно ресурсоёмкими, что делает работу со сценами высокого разрешения практически неосуществимой. Если кратко, прямое гауссовское размытие для 3D — способ, с помощью которого ИИ-модель быстро преобразует одно или несколько изображений в 3D-сцену, которую можно рассматривать под новыми углами. Кстати, мы недавно рассказывали о SPLAT — открытом... Прямое гауссовское размытие для 3D отличается от подходов с оптимизацией под конкретную сцену, где каждая сцена строится индивидуально, шаг за шагом. Хотя последние обычно обрабатываются дольше, они, как правило, дают более стабильные результаты. Таким образом, если традиционные подходы могут потратить больше времени на «подгонку» под конкретную сцену, то прямые методы гораздо быстрее, хотя существующие их версии сложно масштабировать на более высокие разрешения. Чтобы решить эту проблему, исследователи предлагают архитектуру LGTM, которая «отделяет геометрическую сложность от разрешения рендеринга». Другими словами, она разделяет структуру сцены и её визуальную детализацию. Это позволяет системе сохранять простую геометрию, одновременно добавляя детали высокого разрешения с помощью текстур. Важно отметить, что LGTM — не самостоятельная модель. Она скорее надстраивается над существующими прямыми методами, улучшая передачу деталей за счёт добавления слоя текстурных предсказаний поверх их геометрии. Это было достигнуто за счёт двух ключевых аспектов. В результате получилась архитектура, которая может модернизировать существующие системы, позволяя им генерировать детализированные 4K-сцены без квадратичного взрыва вычислительных потребностей — именно этот недостаток делал ранние прямые методы непрактичными для высоких разрешений.