Serverprobleme App Center

  • Antworten:27
  • Geschlossen
Sven Woltmann 34
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

07.02.2012, 22:57:16 via Website

Liebe Community,

seit einigen Tagen haben wir Probleme mit unseren App Center-Servern. Aus bisher ungeklärter Ursache steigt alle paar Stunden plötzlich die CPU-Last aller Kerne auf 99% an. Die Server sind dann quasi nicht mehr erreichbar und es hilft nur ein Neustart, der etwa 10 Minuten dauert.

Wir konnten folgende Ursachen bisher ausschließen:
- Hardwareprobleme (das Problem besteht, egal auf welchen Server wir die App Center Aufrufe leiten)
- Swapping / IO (keinerlei erhöhte Aktivität feststellbar)
- Störung durch andere Prozesse (die CPU-Last kommt ausschließlich vom Tomcat/JAVA-Prozess)
- Garbage Collector (dieser benötigt -- während der regulären Laufzeit ebenso wie im Problemfall -- etwa 5%-10% der Java-CPU-Zeit)

Momentan läuft auf den Servern ein Profiler in Bereitschaft. Sobald die Last wieder auf 99% steigt, werden wir diesen aktivieren und damit hoffentlich Daten sammeln können, die uns bei der Analyse des Problem helfen.

Bis dahin kann ich euch leider nur um Geduld bitten.

Ich halte euch hier auf dem Laufenden.

Liebe Grüße,
Sven

— geändert am 07.02.2012, 22:58:04

Svens Java-Entwickler-Blog: https://www.happycoders.eu

©h®is 68
©h®is
  • Forum-Beiträge: 24.262

07.02.2012, 23:03:02 via App

vielen dank für die ausführliche Information

und viel Glück bei der Fehlersuche!

StayDirty ツ


Pixel 3a XL [10]

Samsung Tab A 10.5 2018 [9]

⇨Dirty⇦nexus5x [8.1.0]

⇨Dirty⇦ nexus4 [5.0.2] RIP

⇨Dirty⇦ nexus7 (Flo) [6.0.1] RIP

⇨CodefireX⇦desire hd [4.2.2] RIP

28
Gelöschter Account
  • Forum-Beiträge: 1.830

07.02.2012, 23:05:53 via App

Na, endlich tut sich mal was. :wink:
Dann mal viel Glück bei der Ursachensuche. :)

— geändert am 07.02.2012, 23:06:48

3po3 43
3po3
  • Forum-Beiträge: 7.233

07.02.2012, 23:12:56 via Website

Ich drück euch alle Daumen!

...man vergisst nicht..., man lebt nur weiter...

Sven Woltmann 34
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

09.02.2012, 17:44:22 via Website

Hallo zusammen,

soeben haben unsere App Center Server wieder die 99% CPU-Last-Marke überschritten.

Ich konnte mit Hilfe des Profilers eine CPU-Statistik erstellen, die ich nun auswerten werde.

Die Server sind neugestartet und laufen wieder.

Ich melde mich, sobald ich Ergebnisse der Analyse habe.

Viele Grüße,
Sven

Svens Java-Entwickler-Blog: https://www.happycoders.eu

28
Gelöschter Account
  • Forum-Beiträge: 1.830

09.02.2012, 17:49:05 via Website

Yeehaw! :grin:

Tim F. 31
Tim F.
  • Forum-Beiträge: 2.492

09.02.2012, 18:06:53 via Website

Hallo,
kann es sein, dass manchmal die gesamte Hompage auch nicht läuft? Oder ist das nur bei mir so?

Gruß Tim

Unsere Regeln || Richtlinien für Hardware-Verkauf ||

Sven Woltmann 34
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

09.02.2012, 18:26:21 via Website

So...

Ergebnis der Analyse:
In 116 Sekunden wurde 1614x die App-Suche aus dem App Center aufgerufen.
Das ist dann anscheinend zu viel für unsere Server.

Ich werde hier mal prüfen, ob die evtl. alle von ein und derselben IP kommen und hier irgendjemand unsere App Center API quasi für andere Zwecke missbraucht.

Bzgl. der gesamten Webseite:
Wenn die App Center Server überlastet sind, dürfte das Laden von Bildern auf der Webseite verzögert sein, da die Bilder zufällig von einem unserer 4 Server geladen werden.

Viele Grüße,
Sven

Svens Java-Entwickler-Blog: https://www.happycoders.eu

©h®is 68
©h®is
  • Forum-Beiträge: 24.262

09.02.2012, 18:33:23 via App

na, da bin ich ja gespannt was da rauskomnt..

StayDirty ツ


Pixel 3a XL [10]

Samsung Tab A 10.5 2018 [9]

⇨Dirty⇦nexus5x [8.1.0]

⇨Dirty⇦ nexus4 [5.0.2] RIP

⇨Dirty⇦ nexus7 (Flo) [6.0.1] RIP

⇨CodefireX⇦desire hd [4.2.2] RIP

Tim F. 31
Tim F.
  • Forum-Beiträge: 2.492

09.02.2012, 19:09:58 via Website

ja, bin auch gespannt, ob da jemand den Server sabotieren will. Ist es vielleicht auch möglich, dass der Server ,,angepingt" wird?
Gruß Tim

Unsere Regeln || Richtlinien für Hardware-Verkauf ||

Andreas V. 53
Andreas V.
  • Admin
  • Forum-Beiträge: 7.352

09.02.2012, 19:29:58 via Website

Sven Woltmann
In 116 Sekunden wurde 1614x die App-Suche aus dem App Center aufgerufen.
Das ist dann anscheinend zu viel für unsere Server.

Ich werde hier mal prüfen, ob die evtl. alle von ein und derselben IP kommen und hier irgendjemand unsere App Center API quasi für andere Zwecke missbraucht.

Da hat aber einer ganz schnelle Finger... und 100-faches LTE :lol:

Viele Grüße von Andreas
Unsere Regeln * Aussagekräftige Titel * Community Guide

Susie 15
Susie
  • Forum-Beiträge: 243

10.02.2012, 08:15:49 via App

Spannende Fehlersuche. auch wenn es lästig ist für euch, seht es positiv: lieber jetzt den Fehler entdecken und beheben!! Daumen drück!!

Beginne den Tag mit einem Lächeln, dann hast Du es hinter Dir!

Sven Woltmann 34
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

10.02.2012, 10:49:21 via Website

Guten Morgen,

ich habe gestern abend noch eine Drosselung eingebaut, so dass jeder unserer Server maximal 4 Suchanfragen gleichzeitig bearbeiten kann. Sobald mehr Suchanfragen gleichzeitig kommen, liefert der Server eine Fehlermeldung für diese eine Suchanfrage. Alle anderen Requests werden jedoch weiterhin bearbeitet. So kann es nicht mehr zu einer Überlastung der Suche und dadurch zu einer Überlastung des gesamten Servers kommen.

Interessant ist die Verteilung der Anfrage-Abweisungen:

- 32 Abweisungen innerhalb von 21 Sekunden zwischen 02:04:23 und 02:04:44
- 2 Abweisungen innerhalb von 2 Sekunden zwischen 09:15:31 und 09:15:32
- 1 Abweisungen um 09:59:32
- 1 Abweisungen um 10:28:13

Die vereinzelten Abweisungen heute vormittag sind normal. Es kommt halt mal vor, dass mehr als 4 User pro Server gleichzeitig im App Center auf "Suche" drücken. Hier werde ich die Grenze erstmal auf 6 heraufsetzen, so dass etwas mehr Abfragen gleichzeitig bearbeitet werden können.

Aber die 32 Abweisungen innerhalb von 21 Sekunden heute Nacht machen mir Sorgen. Die werde ich noch weiter analysieren.

Viele Grüße,
Sven

— geändert am 10.02.2012, 10:49:52

Svens Java-Entwickler-Blog: https://www.happycoders.eu

Matze S.

52
Gelöschter Account
  • Forum-Beiträge: 8.246

10.02.2012, 12:18:26 via Website

Ich würde mal vorsichtig behaupten, das die nicht normalen Ursprungs sind.
Zumindest nicht ausgerechnet um diese Uhrzeit.
Ich bin mal gespannt, was du rausfindest...

Tim F. 31
Tim F.
  • Forum-Beiträge: 2.492

10.02.2012, 17:34:11 via App

ich finde so eine suche nach dem Problem immer sehr spannend. bin in der Schule in einer ag, die Computer repariert, da muss ich auch inner Fehler suchen. mit Netzwerken mache ich auch gerne was...
Tim

Unsere Regeln || Richtlinien für Hardware-Verkauf ||

©h®is 68
©h®is
  • Forum-Beiträge: 24.262

14.02.2012, 13:10:28 via Website

app macht wieder probleme...

StayDirty ツ


Pixel 3a XL [10]

Samsung Tab A 10.5 2018 [9]

⇨Dirty⇦nexus5x [8.1.0]

⇨Dirty⇦ nexus4 [5.0.2] RIP

⇨Dirty⇦ nexus7 (Flo) [6.0.1] RIP

⇨CodefireX⇦desire hd [4.2.2] RIP

Carsten M. 80
Carsten M.
  • Forum-Beiträge: 33.204

14.02.2012, 13:35:46 via App

©h®is
app macht wieder probleme...
Vorhin war auch die Website kurzzeitig tot.

Herzliche Grüße

Carsten

Ich komm' mir langsam vor wie jemand, der ich bin // #cäthe

Sven Woltmann 34
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

14.02.2012, 13:48:20 via Website

Carsten Müller
©h®is
app macht wieder probleme...
Vorhin war auch die Website kurzzeitig tot.

Hallo zusammen,

das war eine kurzzeitige Störung im Hetzner Netzwerk (s. http://hetzner-status.de/).

Die Probleme auf den App Center Servern scheinen wir mit der Begrenzung auf 6 gleichzeitige Suchen in den Griff bekommen zu haben.

Viele Grüße,
Sven

Svens Java-Entwickler-Blog: https://www.happycoders.eu

Sven Woltmann 34
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

14.02.2012, 14:56:09 via Website

Tim F.
habt ihr denn schon rausgefunden, wer da so oft was sucht?

Wir tracken die IP-Adressen der Suchen, doch auch bei Überlast kamen die alle von unterschiedlichen IP-Adressen. Scheinen tatsächlich zufällige Last-Peaks zu sein.

Wir haben jetzt zwei neue Server bestellt und werden damit die Leistung der App Center Server um den Faktor 2,3876 erhöhen (die neuen Server sind laut Benchmark 38,76% schneller).

Viele Grüße,
Sven

Svens Java-Entwickler-Blog: https://www.happycoders.eu

18
Gelöschter Account
  • Forum-Beiträge: 734

14.02.2012, 15:38:31 via App

ihr armen, sieht aus wie im Knast :)

Sven Woltmann 34
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

14.02.2012, 15:52:47 via Website

Käpt'n Andreas V.
Bald sieht es bei AndroidPIT so aus:

Ja, das ist unser Ziel für's nächste Jahr ;)

Momentan stehen wir noch hier:

Svens Java-Entwickler-Blog: https://www.happycoders.eu

Carsten M. 80
Carsten M.
  • Forum-Beiträge: 33.204

14.02.2012, 15:53:03 via App

Hey Sven,

Bau mal img Tag Unterstützung in der Blog Kommentarfunktion ein bitte...

Herzliche Grüße

Carsten

Ich komm' mir langsam vor wie jemand, der ich bin // #cäthe

2
Tina Heuhaufen
  • Forum-Beiträge: 11

15.02.2012, 15:40:11 via Website

hey das hört sich ja vielversprechend an :) freue mich :)