Utilice la segmentación de imágenes para personalizar las ilustraciones de los usuarios a su gusto.
Introducción
Midjourney es una plataforma impulsada por inteligencia artificial que permite a los usuarios crear obras de arte digitales enviando un mensaje rápido. Tras el envío, Midjourney Bot regresa con cuatro imágenes. Para personalizar aún más la experiencia, Midjourney ofrece dos funcionalidades. “U” significa “exclusivo” y genera una versión más grande de la imagen seleccionada. “V” significa “variaciones” y genera cuatro imágenes nuevas con ligeras variaciones pero un estilo general similar a la imagen elegida.
Sin embargo, mientras experimentaba con la función Variaciones, descubrí una limitación inherente. A pesar de generar múltiples versiones de la obra de arte, descubrí que ninguna de las variaciones coincidía con el resultado deseado. Esto ocurrió porque la IA no podía predecir con precisión qué objetos de la obra de arte seleccionada quería conservar y cuáles descartar.
En este artículo, mi objetivo es diseñar una solución que ayudará a actualizar la función de variaciones de Midjourney.
Un ejemplo de cómo se ve la función Variaciones en Midjourney
Mejora de las variaciones de imágenes con el modelo Segment Anything
Para garantizar que las imágenes recién generadas se alineen con el resultado previsto por el usuario, mi solución propuesta se centra en permitir a los usuarios proporcionar comentarios directos a la IA antes de crear nuevas imágenes. Para lograr esto, los usuarios primero deben identificar los objetos que desean conservar en la imagen elegida y marcarlos en consecuencia para informar a la IA.
Mientras investigaba este artículo, descubrí la última versión de Meta: Segment Anything Model (SAM). Como lo demuestra la siguiente ilustración, este modelo de IA puede identificar y segmentar con precisión objetos en imágenes y videos. SAM proporciona una solución prometedora para mi método propuesto al permitir a los usuarios etiquetar objetos individuales en una imagen para fines de edición.
Al integrar las capacidades de segmentación y reconocimiento de objetos de SAM con la solución que propongo, los usuarios pueden controlar más el proceso de variación de la imagen. Pueden proporcionar información precisa sobre qué objetos retener, alterar o eliminar, lo que da como resultado un resultado más personalizado y preciso. Además, este enfoque puede ahorrar tiempo y recursos al eliminar la necesidad de que los usuarios editen manualmente cada imagen o creen repetidamente nuevos mensajes para lograr el efecto creativo deseado. En general, integrar la tecnología avanzada de SAM con los comentarios de los usuarios puede mejorar significativamente la eficiencia y efectividad de la variación de imágenes.
Cómo SAM Model segmenta diferentes objetos en una imagen. Créditos de imagen: Meta
Así es como diseñé la función de variaciones actualizada:
El usuario selecciona una de las cuatro imágenes mostradas y hace clic en el botón “V”. Cuando la imagen seleccionada aparece en una ventana emergente, varios objetos están segmentados por diferentes colores. El usuario selecciona los elementos deseados haciendo clic en sus casillas de verificación correspondientes. Finalmente , el robot a mitad del viaje devuelve cuatro nuevas imágenes variadas basadas en los elementos seleccionados anteriormente.
La nueva interfaz de usuario está diseñada de la siguiente manera:
Cuatro pasos que muestran cómo funciona la solución propuesta para actualizar la función Variaciones
En contraste con la función de variaciones existente, el nuevo diseño incorpora dos pasos adicionales que permiten a los usuarios proporcionar instrucciones más precisas a la IA sobre qué elementos retener o descartar, lo que lleva a un resultado más inteligente.
Característica de variaciones actuales
Conclusión
La función Variaciones de Midjourney me permite experimentar con diferentes versiones de diseño artístico manteniendo intacto el concepto central. Esta característica ha mejorado enormemente mi proceso creativo al permitirme modificar y mejorar la comprensión inicial en lugar de empezar desde cero cada vez. Además, el nuevo diseño ofrecerá más opciones de control, lo que permitirá a los usuarios proporcionar una guía aún más precisa a la salida de IA. En general, la función Variaciones es una herramienta esencial que mejora nuestra experiencia creativa y produce resultados superiores en Midjourney.