Photoshop está recibiendo una incorporación de IA generativa con la adición de varias características basadas en Firefly que permitirán a los usuarios ampliar imágenes más allá de sus límites con fondos generados por Firefly, utilizar IA generativa para añadir objetos a las imágenes y utilizar una nueva función de relleno generativo para eliminar objetos con mucha más precisión que la función de relleno consciente del contenido disponible anteriormente.
Por ahora, estas características solo estarán disponibles en la versión beta de Photoshop. Adobe también está haciendo algunas de estas capacidades disponibles para los usuarios beta de Firefly en la web (por cierto, los usuarios de Firefly ya han creado más de 100 millones de imágenes en el servicio).
Lo interesante es que esta integración permite a los usuarios de Photoshop utilizar descripciones en texto en lenguaje natural para indicar el tipo de imagen u objeto que desean que Firefly cree. Como ocurre con todas las herramientas de IA generativa, los resultados pueden ser ocasionalmente impredecibles. Por defecto, Adobe proporcionará a los usuarios tres variaciones para cada descripción, aunque a diferencia de la aplicación web de Firefly, actualmente no hay opción para reiterar en una de ellas y ver variaciones similares en un mismo resultado.
Para hacer todo esto, Photoshop envía partes de una imagen determinada a Firefly, no la imagen completa, aunque la empresa también está experimentando con eso, y crea una nueva capa para los resultados.
María Yap, vicepresidenta de Digital Imaging en Adobe, le mostró a Tech Crunch una demostración de estas nuevas características antes del anuncio de la función. Como ocurre con la mayoría de las cosas de IA generativa, a menudo es difícil predecir lo que devolverá el modelo, pero algunos de los resultados fueron sorprendentemente buenos. Por ejemplo, cuando se le pidió que generara un charco debajo de un corgi corriendo, Firefly pareció tener en cuenta la iluminación general de la imagen, generando incluso un reflejo realista. No todos los resultados funcionaron tan bien, como la opción de un charco de color púrpura brillante, pero el modelo parece hacer un trabajo bastante bueno al añadir objetos y, especialmente, al ampliar imágenes existentes más allá de su marco.
Dado que Firefly fue entrenado con las fotos disponibles en Adobe Stock (así como con otras imágenes comercialmente seguras), tal vez no sea sorprendente que se desempeñe especialmente bien con paisajes. Al igual que la mayoría de los generadores de imágenes generativas, Firefly tiene dificultades con el texto.
Adobe también se aseguró de que el modelo devolviera resultados seguros. Esto se debe en parte al conjunto de entrenamiento utilizado, pero Adobe también ha implementado salvaguardias adicionales. El mecanismo implementado fue basado en indicaciones de ingeniería específicas que, incluso, lanzan una alerta si detectan que la imágen tendrá “mucha piel”.
Al igual que con todas las imágenes de Firefly, Adobe aplicará automáticamente sus Credenciales de Contenido a todas las imágenes que utilicen estas características basadas en IA.
Sin dudas, estamos en una etapa de la modernidad en la que cada vez más seguido vemos cómo la IA se va integrando con nuestras herramientas cotidianas y siendo partícipe de nuestras vidas.
Fuente: https://techcrunch.com/2023/05/23/adobe-brings-fireflys-generative-ai-to-photoshop/