Man muss noch dazu sagen, dass es auf der Beta bereits eine massive Verbesserung darstellt, dass mittlerweile Changelogs für die zu testenden Updates zur Verfügung stehen. Vorher merkte man nur am Auftreten neuer Fehler, dass ein Update aufgespielt worden war, und musste, da die Updates zumeist am Freitag aufgespielt werden, bis Montag warten, bevor jemand das Changelog nachreichte oder auf wirklich schwerwiegende Fehler reagierte.
Das Aufspielen am Freitag halte ich immer noch für reichlich unglücklich, btw.
Tatsächlich kann man Änderungen (und damit verbundene neue Fehler) nur rein zufällig entdecken, wenn sie nicht im Changelog aufgeführt sind. Dazu kommen oft kryptische und/oder unpräzise Formulierungen, auch bei den Bugfixings, die in dieser Form für ernsthaftes Testen nicht ausreichen.
Auch beim aktuellen Beta-Update auf 2.53 bin ich wieder über Fixings gestolpert, die im Changelog gar nicht aufgeführt waren und auch nicht nachgetragen wurden, obwohl ich es im dortigen Feedback-Thread erwähnt und sogar auf die betroffenen Bug-Meldungen verlinkt hatte.
Auch Adler hatte hier im Forum ja schon einmal zugeben müssen, dass es Änderungen gab, die undokumentiert sind. Das wundert mich nicht, denn anscheinend wird an den Beta-Updates bis in die letzte Minute vor dem Aufspielen herumgewuselt, und dann kommt das Wochenende... und dann gibt es auf den Betas öfter auch mal Änderungen/Fixings zwischen den Updates, die dann auch nicht nachgetragen werden, und zu allem Überfluss einen nicht ganz sauber geführten Bugtracker (Statusmeldungen!).
Wir lästern zwar ab und an darüber, warum die Fehler nicht schon in der geschlossenen Team-Testwelt gefunden werden, aber auch den "internen" Testern müsste erst einmal ein gesicherter, kommentierter und kompletter Changelog-Stand vorliegen, was ich nach allem, was ich beobachtet habe, doch stark bezweifeln möchte. Und unklar ist in dem Zusammenhang auch, wann, an welcher Stelle und in welcher Form unter diesen Umständen die QA-Abteilung tätig werden soll und kann.
---
Das neue Update 2.53 soll übrigens schon kommende Woche, am 21. (SE, SK, NL) bzw. 22.01. auf die Live-Welten kommen. Und ich kann dazu bis jetzt noch nicht viel sagen, denn ich komme mit dem IE 8 ja nicht einmal rein in die Spielwelten, was die übliche Testerei in der Mittags- oder Kaffeepause doch etwas erschwert...^^