Spaces:
Sleeping
Sleeping
LiquidoNoNewtoniano
commited on
Commit
•
687ec91
1
Parent(s):
fa48b3b
Update app.py
Browse files
app.py
CHANGED
@@ -39,16 +39,29 @@ def text_to_video(image_paths):
|
|
39 |
video_path = export_to_video(video_frames)
|
40 |
return video_path
|
41 |
|
|
|
|
|
42 |
|
43 |
-
|
44 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
45 |
|
46 |
interface = gr.Interface(
|
47 |
fn=text_to_video,
|
48 |
inputs=gr.Image(type="pil"),
|
49 |
outputs=gr.Video(),
|
50 |
title=title,
|
51 |
-
description=description
|
|
|
52 |
|
53 |
)
|
54 |
|
|
|
39 |
video_path = export_to_video(video_frames)
|
40 |
return video_path
|
41 |
|
42 |
+
article = """
|
43 |
+
## Descripción del proyecto
|
44 |
|
45 |
+
##### Queremos obtener un vídeo a partir de una imagen que tengamos. Por lo tanto, lo solucionaremos utilizando primero, un modelo de "image captioning" que nos genera un texto a partir de una imagen, y segundo utilizaremos un modelo que genera un video a partir de un texto. De esta manera el cliente en la interfaz deberá de subir como input un archivo de tipo imagen y recibirá como output un archivo de vídeo de unos pocos segundos.
|
46 |
+
|
47 |
+
### El primer modelo es el siguiente: https://huggingface.co/nlpconnect/vit-gpt2-image-captioning. Este modelo será el que reciba nuestro input, el cual deberá ser un archivo de tipo imagen. Como output nos da un texto, que será el input del segundo modelo.
|
48 |
+
|
49 |
+
### El segundo modelo es el siguiente: https://huggingface.co/damo-vilab/text-to-video-ms-1.7b. Este modelo debe recibir como input un texto, por ello, cuando este modelo reciba el texto del primer modelo generará el vídeo como output que será el output final que se mostrará en la interfaz al cliente que lo esté utilizando. Este modelo sólo puede recibir los inputs en inglés, pero no hay problema ya que el priemr modelo da el outpiut en inglés.
|
50 |
+
|
51 |
+
### Un problerma de la aplicación es que necesita bastantes recursos, y debido a los recursos tan limitados que nos ofrece Hugging Face gratuito deberemos esperar bastante tiempo desde que le damos el input hasta que nos de el output, unos 2000 segundos más o menos. Obviando ese detalle esta aplicación es muy útil para obtener un vídeo no muy largo de una imagen.
|
52 |
+
|
53 |
+
""""
|
54 |
+
|
55 |
+
title = "Proyecto 1: Aplicación de imagen a vídeo utilizando dos modelos de IA"
|
56 |
+
description = "En este proyecto, utilizando la siguiente interfaz, puedes obtener un vídeo corto a partir de una imagen"
|
57 |
|
58 |
interface = gr.Interface(
|
59 |
fn=text_to_video,
|
60 |
inputs=gr.Image(type="pil"),
|
61 |
outputs=gr.Video(),
|
62 |
title=title,
|
63 |
+
description=description
|
64 |
+
article=article,
|
65 |
|
66 |
)
|
67 |
|