Dropbox comenzó a desviar las cargas de trabajo de AWS a sus propios centros de datos hace varios años porque necesitaba más control sobre cómo se almacenaban y accedían los archivos. Desarrolló un arquitectura de almacenamiento llamada Magic Pocket para ayudar, pero con el tiempo reconoció que la mayoría de las personas movían archivos a Dropbox para realizar copias de seguridad y rara vez accedían a ellos.
Los ingenieros se dieron cuenta de que no tenía mucho sentido tener todo almacenado de la misma manera cuando no se accedía a muchos archivos después del primer día de su puesta en servicio. La compañía decidió crear dos niveles de almacenamiento: almacenamiento en caliente (anteriormente Magic Pocket) y un nuevo nivel de almacenamiento a largo plazo llamado almacenamiento en frío, que permite a Dropbox almacenar estos archivos de forma menos costosa y aún así entregarlos de manera oportuna si el cliente lo necesita.
Los clientes de Dropbox obviamente no se preocupan por los desafíos de ingeniería que enfrenta la compañía con este enfoque. Solo saben que cuando hacen clic en un archivo, esperan que se abra sin una latencia significativa, independientemente de su antigüedad, pero Dropbox vio la oportunidad de almacenar estos archivos en una capa separada.
“Cuando se habla de almacenamiento en frío, estamos pensando en archivos a los que se accede con menos frecuencia. Para estos archivos podemos hacer algunas concesiones entre el almacenamiento, el rendimiento y el ancho de banda de la red”, dijo Preslav Le, un ingeniero de software a cargo del proyecto de almacenamiento en frío.
Por lo tanto, dependía de los ingenieros diseñar un sistema con un nivel aceptable de latencia para recuperar los archivos almacenados en la copa fría sin tanta demora que los clientes se darían cuenta. Implicaba caminar sobre una cuerda floja de diseño ajustado y considerar todas las compensaciones que se requerirían con tal enfoque.
“Nuestro nivel frío se ejecuta en el mismo hardware y red, pero ahorra costos al reducir de manera innovadora el uso del disco en un 25 por ciento, sin comprometer la durabilidad ni la disponibilidad. La experiencia final para los usuarios es casi indistinguible entre los dos niveles”, escribió la compañía en una publicación anunciando la nueva característica.
Dropbox necesitaba garantizar la durabilidad y confiabilidad al crear una nueva capa de almacenamiento para reducir sus costos generales y aunque el proyecto no fue fácil, esperan que el sistema de doble nivel les ahorre entre un 10% y 15 % en costos a lo largo del tiempo.