¿Qué es esta nueva actualización?

Por lo tanto, esta nueva actualización está relacionada con el /tmp o el sistema de archivos temporales que se utiliza para almacenar archivos para la función Lambda.

AWS también llama a esto almacenamiento efímero.

Medios efímeros:

Antes de repasar esta nueva actualización, demos un paso atrás para comprender dónde se usa este sistema de archivos temporales y cómo juega un papel importante en ETL y otras tareas de gran cantidad de datos.

¿Qué y dónde se utiliza el sistema de archivos temporales?

Mientras la función Lambda se ejecuta en el backend, crea un entorno de ejecución y, dentro de ese entorno de ejecución, hay un sistema de almacenamiento de archivos temporales. Crea una carpeta temporal /tmp, que se utiliza para almacenar datos y archivos necesarios durante esa ejecución.

Por ejemplo, su función de Lambda puede usar el almacenamiento de archivos temporales para cargar un archivo de otra fuente y leerlo o procesarlo más.

Pero el problema es que permite un tamaño máximo de 512 MB de almacenamiento de datos. Y, en general, para procesos ETL (Extracción, Transformación y Carga) o tareas de cómputo de datos pesados, ese sistema de almacenamiento de archivos temporales no resuelve el propósito.

Entonces, ¿cuál es la solución aquí?

¡Bien! tenemos 2 soluciones para ello:

1. Para almacenar el archivo de datos en S3 y leerlo desde allí
2. Para adjuntar EFS (Elastic File System) a la función Lambda

Pero la implementación de las soluciones mencionadas anteriormente a veces también aumenta la complejidad porque no podemos almacenar datos en caché de más de 512 MB en el almacenamiento de archivos temporal local; por lo tanto, cada invocación de función lambda tenía que leer datos en paralelo, lo que dificultaba el escalado horizontal para los usuarios.

Además, otro inconveniente de la lectura de datos de latencia desde el almacenamiento de archivos temporales, que se encuentra dentro del entorno de ejecución de Lambda, siempre es rápido en comparación con la lectura de datos de S3 o EFS.

Ahora, aquí viene la nueva actualización realizada a AWS Lambda:

AWS Lambda ahora admite hasta 10 GB de almacenamiento efímero

Ahora, no hay más límite de 512 MB.

En términos de precios, hasta 512 MB sería gratis, cualquier almacenamiento superior a 512 MB tendría cargos de AWS.

Según los documentos de AWS:

Ahora puede controlar la cantidad de almacenamiento efímero que obtiene una función para leer o escribir datos, lo que le permite usar AWS Lambda para trabajos de ETL, inferencia de ML u otras cargas de trabajo de uso intensivo de datos.

*Además, reduce el tiempo de ejecución ya que ahora lambda no necesita depender de S3 o EFS para cargar y procesar fragmentos de datos.

Así que ahora hemos aumentado el almacenamiento de archivos temporales, pero todavía hay algunos puntos a tener en cuenta:

1. Tiempo de espera: AWS Lambda todavía tiene 15 minutos de tiempo de espera, por lo que aún así, si tiene algún componente de una tarea de alto procesamiento de datos que lleva más de 15 minutos, es posible que Lambda no sea el mejor caso de uso aquí.
2. Temporal: este almacenamiento de datos es temporal, por lo que si desea almacenar algunos fragmentos de subdatos en sus procesos ETL, entonces el almacenamiento efímero no sería el mejor caso de uso.

AWS Lambda ahora admite la función 10–10–10:

10 GB de imagen de contenedor, 10 GB de memoria Lambda y ahora 10 GB de almacenamiento temporal de archivos

¡Por fin!

Puede configurar este almacenamiento de archivos efímeros desde la consola de AWS, la plantilla de formación en la nube o el comando de la CLI de AWS.