¿Cuál es la mejor manera de recopilar, rastrear y ver métricas arbitrarias en una aplicación web?

Esta pregunta es muy amplia, ya que en el negocio web se trata de métricas, no puede ejecutar negocios web de otra manera.

Es común dividir el tipo de información en función de sus clientes.
El tiempo de actividad, el tiempo de respuesta, el SLA y demás se consideran datos operativos (Ops) y deben ser monitoreados constantemente por la calidad del servicio. Nagios, OpenNMS, TSDB y otros son adecuados para el trabajo.

El monitoreo comercial está diseñado para respaldar las decisiones comerciales basadas en los objetivos comerciales que se necesitan alcanzar. En este espacio puede encontrar herramientas en varias categorías: automatización de marketing que controla y administra clientes potenciales, herramientas de análisis web y un conjunto más moderno de herramientas (Totango, entre otras) diseñadas para soportar todo el ciclo de vida del cliente, desde la prueba hasta las renovaciones.

Le recomiendo que seleccione una solución que recopile, almacene y muestre la información en lugar de presentar la suya propia, ya que puede comenzar de manera simple pero se vuelve muy complicada muy rápido.

Actualmente estamos en una versión beta privada de nuestra propia aplicación web de tablero / estado – http://geckoboard.com – que parece que podría abordar la mayoría de los puntos en la pregunta original. Toma datos de una variedad de servicios en línea (análisis web, CRM, servicio de asistencia, monitores de tiempo de actividad, redes sociales, etc.) y también le permite enviar datos personalizados a través de una API.

Los datos se muestran a través de una interfaz atractiva y se actualizan automáticamente durante todo el día. Algunos probadores lo muestran en televisores grandes en su oficina, otros en un segundo monitor o ejecutándose en segundo plano para controlarlo cuando lo deseen.

Munin es excelente para esto, le dará buenos gráficos para sus métricas de rendimiento a lo largo del tiempo. Hay complementos para muchas de las cosas que necesita, y escribir nuevos en forma muy simple.