Hay algunas cosas que debe tener en cuenta cuando intente trabajar con grandes bases de datos. Centrarse en la escalabilidad horizontal. Necesita escalabilidad de lectura y escalabilidad de escritura. Para leer la escalabilidad, prepare esclavos. Para la escalabilidad de escritura, prepare más maestros. Si tiene alguna idea de cómo crecerán los datos, puede planificar el fragmentación de sus tablas.
Su código debe ser capaz de manejar estos escenarios. Para cada consulta en su código, debe poder especificar la base de datos / servidor en el que debe ejecutarse la consulta. Usa conexiones flojas. Crear una fábrica de bases de datos.
Y optimizar las consultas. Use índices juiciosamente. Reduce las consultas que llegan a la base de datos. Por ejemplo, si está disparando múltiples consultas dentro de un bucle. Considere usar el bucle para crear una sola consulta y disparar solo una vez.
- Soy competente con Python y Java, y tengo conocimiento práctico de Django. Estoy tratando de tener una idea para mi primer gran proyecto (algo que será útil para las personas y se verá bien en mi currículum). ¿Hay alguna idea?
- Quiero configurar un sitio web de redes sociales, entonces, ¿qué marco web, SDK, herramientas de desarrollo front-end y back-end necesitaré?
- Si tengo un sitio que hace que la RAM se incremente gradualmente más y más, sin ninguna pérdida de memoria clara, ¿cómo puedo encontrar la fuente del problema?
- Lancé un nuevo sitio y los 'diseñadores web' me siguen contactando a través de los datos de WHOIS. ¿Cómo están descubriendo esto tan rápido?
- Cómo convertirme en un desarrollador web completo si no disfruto de las matemáticas, pero me encanta resolver problemas
Para resumir, no hay una solución única para esto. Tendrá que improvisar a medida que aumenten los datos. Si tiene un sistema de monitoreo decente, debería poder predecir y planificar cómo manejar los datos crecientes.