Ohne Telemetrie arbeitet das Team blind. Wir bauen eine Plattform, auf der jedes Signal einen klaren Weg hat: der Host-Agent oder der Cluster-Collector sendet OpenTelemetry, das zentrale Gateway nimmt es an, und Grafana beantwortet, was ausgefallen ist, wen es betrifft und was als Nächstes zu tun ist.
Stack & Praktiken
OpenTelemetry ist der Ingest-Vertrag. Metriken liegen in VictoriaMetrics, mit Aufbewahrung über Monate. Logs liegen in Victoria Logs. Prometheus über kube-prometheus-stack zieht innerhalb des Kubernetes-Clusters und ist nicht der Langzeitspeicher. Grafana 12 bündelt Dashboards as Code, Unified Alerting und die Zustellung an den Kanal des Teams, mit Runbook in der Benachrichtigung. Das Chart wird mit Helm und Argo CD ausgerollt.
SLO-getrieben
Wir definieren SLIs und Error Budgets mit Stakeholdern, damit Zuverlässigkeit eine gemeinsame Sprache wird.
Wie Telemetrie ankommt
Jedes Remote-Cluster betreibt zwei Collectors: einen pro Node für Kubelet, Host-Metriken und Container-Logs, und einen pro Cluster für den Kubernetes-Zustand. Hosts außerhalb von Kubernetes erhalten den Collector per Ansible als Systemdienst, mit Host-Metriken, journald und syslog. Switches und Verfügbarkeitsproben nutzen denselben OTLP-Endpunkt über HTTPS, mit Gateway API davor. Absender brauchen weder die Adresse von VictoriaMetrics noch von Victoria Logs: sie sprechen nur mit dem Gateway.
Leistungsübersicht
- Zentrale Plattform auf Kubernetes, ein Chart, GitOps
- OpenTelemetry Collector auf Remote-Clustern und auf Linux-Hosts
- VictoriaMetrics im Cluster-Modus für Langzeitmetriken
- Victoria Logs im Cluster-Modus für Logs
- Grafana 12: versionierte Dashboards, Alerting und eine Organisation pro Team, mit dem Identity Provider des Kunden
- HTTPS- und Zertifikatsproben sowie SNMP-Netzwerkmetriken über dasselbe Gateway
- Gemeinsame Labels über Cluster hinweg: cluster, environment, team und service
- Sicherungen von Metriken, Logs und der Grafana-Datenbank auf S3-kompatiblen Object Storage
- KPI-Archiv je Projekt in einem eigenen VictoriaMetrics, mit eigener Aufbewahrung
Ideal für
Plattform- und SRE-Teams mit mehreren Kubernetes-Clustern, Linux-Hosts und Netzwerk, die Metriken und Logs an einem Ort wollen und Alerts, die beim zuständigen Team ankommen.