Beitrag von hempelr (1976 Beiträge) am Mittwoch, 22.Juni.2005, 15:45.
@Perler - Speicherverbrauch bei "vielen grossen" Hashs
Wie verhält es sich denn mit dem Speicherverbrauch, wenn man jede Menge grosser Hashs in nem Script verwendet?
Ich muss eine ziemlich grosse Datenbank (es werden u.U. mal ca. 30.000 DS drin stehen) nach versch. Dingen Gruppieren, nach Rechenwerten sortieren und dann alles in ne Reihenfolge bringen.
Dazu hatte ich gedacht, dass es vielleicht sinnvoll ist, die Datenbank komplett zu durchlaufen, die entsprechenden Werte zu berechnen und diese dann in Hashs zu speichern, so dass man auf diese immer zugreifen kann. Da es für diese Auswertung der DB-Werte auch eine variable Zahl Krieterien, nach denen nochmal gruppiert werden muss, werden dann halt die berechneten Werte in dynamisch benannte Hashs mit den Ergebinissen der Berechnung für die Kriterien geschrieben.
Es wird also im Endeffekt u.U. folgendes "gehashe" vorzufinden sein:
- Hash mit Anzahl Elementen der Datensätze (Kleine Key- und Value-Werte Strings mit ca. maximal jeweils 50 Zeichen)
- für jedes Kriterium ein Hash mit Anzahl DS Keys und Values best. Summenwerte (sind im Moment 7 Kriterien), so dass das dann nochmal 7 Hashs mit der Anzahl der DS wären.
Hierbei ist anzumerken, dass nur imm allerungünstigsten Falle für jeden DS ein Wert in diesen Hash geschrieben wird - ich geh mal davon aus, dass im Mittel 30% der DS-Anzahl da reinkommt.
Meine Frage stellt sich in Ermangelung des Vorliegens entsprechender Daten, die DB, die als Basis dient hat im Moment mal nur 100 Datensätze, da schüttelts das teil mal noch nicht...
Von der Laufzeit her könnte das natürlich auch noch ein Problem werden, ich hab mal die while_get_next-Schleife (die also ca. 100x durchlaufen wird) in ne for-Schleife mit 100 Aufrufen gepackt, da braucht er schon 1,4 Sekunden.
Meine Fragen also, ist es sinnvoll das so mit Hashs zu machen und könnte es zu Speichersperren bei Providern kommen?
Ist es effektiver, bspw. in ner foreach-Schleife der vorgenannten Kriterien jeweils nur die DS, die den Kriterien entsprechen, zu holen, entsprechend die Werte zu berechnen und dann diese in einem Hash mit Values als Referenzen auf Listen abzuspeichern?
Danke für Tipps (hoffentlich begreift jemand, was ich meine :|)
