La nueva tecnología aporta niveles de control sin precedentes a la difusión estable
https://arxiv.org/abs/2302.05543
ControlNet es revolucionario. Con un nuevo artículo presentado la semana pasada, los límites de la creación de imágenes y vídeos con IA se han ampliado aún más: ahora es posible utilizar bocetos, contornos, mapas de profundidad o poses humanas para controlar los modelos de difusión de formas que antes no eran posibles. . Así es como esto está cambiando el juego y acercándonos al control ilimitado de las imágenes de IA y al diseño totalmente personalizado:
Lo revolucionario de ControlNET es su solución al problema de consistencia espacial. Mientras que anteriormente simplemente no había una manera eficiente de decirle a un modelo de IA qué partes de una imagen de entrada conservar, ControlNet cambia esto al introducir un método que permite que los modelos de Difusión Estable utilicen condiciones de entrada adicionales. ¡Eso le dice al modelo exactamente qué hacer! El usuario de Reddit IWearSkin con un resumen adecuado:
IWearSkin en Reddit.com
Ejemplos de ControlNet
Para demostrar las capacidades de ControlNet, se ha lanzado un conjunto de modelos previamente entrenados que muestran el control sobre la generación de imagen a imagen en función de diferentes condiciones, por ejemplo, detección de bordes, análisis de información de profundidad, procesamiento de bocetos o pose humana, etc.
Por ejemplo, ControlNet Modelo de borde astuto utiliza un algoritmo de detección de bordes para derivar una imagen de borde Canny a partir de una imagen de entrada determinada (“Predeterminada”) y luego usa ambos para una mayor generación de imágenes basada en difusión:
https://arxiv.org/abs/2302.05543
De la misma manera, ControlNet modelo HED muestra el control sobre una imagen de entrada mediante la detección de límites HED:
https://arxiv.org/abs/2302.05543