LiquidoNoNewtoniano commited on
Commit
687ec91
1 Parent(s): fa48b3b

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +16 -3
app.py CHANGED
@@ -39,16 +39,29 @@ def text_to_video(image_paths):
39
  video_path = export_to_video(video_frames)
40
  return video_path
41
 
 
 
42
 
43
- title = ""
44
- description = ""
 
 
 
 
 
 
 
 
 
 
45
 
46
  interface = gr.Interface(
47
  fn=text_to_video,
48
  inputs=gr.Image(type="pil"),
49
  outputs=gr.Video(),
50
  title=title,
51
- description=description,
 
52
 
53
  )
54
 
 
39
  video_path = export_to_video(video_frames)
40
  return video_path
41
 
42
+ article = """
43
+ ## Descripción del proyecto
44
 
45
+ ##### Queremos obtener un vídeo a partir de una imagen que tengamos. Por lo tanto, lo solucionaremos utilizando primero, un modelo de "image captioning" que nos genera un texto a partir de una imagen, y segundo utilizaremos un modelo que genera un video a partir de un texto. De esta manera el cliente en la interfaz deberá de subir como input un archivo de tipo imagen y recibirá como output un archivo de vídeo de unos pocos segundos.
46
+
47
+ ### El primer modelo es el siguiente: https://huggingface.co/nlpconnect/vit-gpt2-image-captioning. Este modelo será el que reciba nuestro input, el cual deberá ser un archivo de tipo imagen. Como output nos da un texto, que será el input del segundo modelo.
48
+
49
+ ### El segundo modelo es el siguiente: https://huggingface.co/damo-vilab/text-to-video-ms-1.7b. Este modelo debe recibir como input un texto, por ello, cuando este modelo reciba el texto del primer modelo generará el vídeo como output que será el output final que se mostrará en la interfaz al cliente que lo esté utilizando. Este modelo sólo puede recibir los inputs en inglés, pero no hay problema ya que el priemr modelo da el outpiut en inglés.
50
+
51
+ ### Un problerma de la aplicación es que necesita bastantes recursos, y debido a los recursos tan limitados que nos ofrece Hugging Face gratuito deberemos esperar bastante tiempo desde que le damos el input hasta que nos de el output, unos 2000 segundos más o menos. Obviando ese detalle esta aplicación es muy útil para obtener un vídeo no muy largo de una imagen.
52
+
53
+ """"
54
+
55
+ title = "Proyecto 1: Aplicación de imagen a vídeo utilizando dos modelos de IA"
56
+ description = "En este proyecto, utilizando la siguiente interfaz, puedes obtener un vídeo corto a partir de una imagen"
57
 
58
  interface = gr.Interface(
59
  fn=text_to_video,
60
  inputs=gr.Image(type="pil"),
61
  outputs=gr.Video(),
62
  title=title,
63
+ description=description
64
+ article=article,
65
 
66
  )
67