Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich ein - baseportal Forum - Web-Anwendungen einfach, schnell, leistungsfähig!
baseportal
English - Deutsch "Es gibt keine dummen Fragen - jeder hat einmal angefangen"

 baseportal-ForumDie aktuellsten 10, 30, 50, 100 Einträge anzeigen.  

 
 Ausgewählter Eintrag: Zur Liste 
    Beitrag von Friesecke (245 Beiträge) am Samstag, 25.Juli.2009, 07:06.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich ein

      Hallo Claus,

      zu Deinem Unverstaendnis, warum csv-Dateien hochgeladen werden:

      wir reden hier von grossen Datenmengen, da gibt es reichlich solcher Anwendungen. Ohne jetzt auf meine Kunden einzugehen, nimm als Beispiel mal das ZDF. Die machen ihre Programmplanung sicher nicht im Internet, sondern im eigenen Rechnerverbund. Aber sie liefern in Zeitabschnitten (woechentlich, monatlich) das festgelegte Programm der naechsten Monate. Dies wird im Internet bereitgestellt und soll Auswertungen nach Datum, Uhrzeit, Programmtitel, Art des Programms, etc. erlauben. Eine Aenderung der Daten ist nicht vorgesehen.

      Die woechentlich hochzuladende csv-Datei wird vom ZDF generiert und einer externen Firma bereitgestellt.

      Fuer die Anwendung im Internet bedeutet dies: grosse Datenmengen, verschiedene Auswertungen.

      Und schon hast Du ein Beispiel, das die hier besprochenen Probleme zeigt.

      Als externe Firma nimmt man dann u.a. mich, weil ich mit meinem Halbwissen vorab verbindlich zusagen kann, ob ich das hinkriege oder nicht. Auf das Vollwissen der bp-Leute und die Sprueche in der Doku nach dem Motto "mit bp geht alles wie von selbst" verlassen sich solche Auftraggeber nicht so gern.

      Und ich kann Dir versichern: wenn Du eine solche Anwendung nur 3 Monate begleitest, dann weisst Du exakt, welche Aussagen von bp richtig sind und welche nicht.

      Spruch in der Doku und Behauptung hier im Forum ist zwar ganz gut und schoen. Aber eine Anwendung liest das nicht und haelt sich nicht dran. Und der Anwendung kannst Du hundert mal sagen: Aber Sander hat gesagt...
      Die hoert Dir gar nicht zu.

      Schoenen Tag noch.
      Friesecke


    Antworten

 Alle Einträge zum Thema: Zur Liste 
    Beitrag von Impuls (11 Beiträge) am Freitag, 17.Juli.2009, 14:55.
    Datenbankeintrag verdoppeln sich einfach

      Nun ich habe baseportal angeschrieben und bisher ist noch nichts passiert, ist das hier normal?

     Antworten

    Beitrag von markus (1013 Beiträge) am Freitag, 17.Juli.2009, 16:56.
    Re: Datenbankeintrag verdoppeln sich einfach

      ist ja kein 7/24 support! bekommst aber sicher antwort.
      ist das nur bei einer db oder hast du es auch schon bei anderen festgestellt?
      mach mal einen eintrag über einen anderen browser, evtl. liegts daran?
      markus

     Antworten

    Beitrag von Sander (8133 Beiträge) am Freitag, 17.Juli.2009, 22:50.
    Re: Datenbankeintrag verdoppeln sich einfach

      nichts passiert ist so auch nicht richtig. hab nur noch nicht geschafft, die Daten vollständig zu bereinigen. So einfach ist das in dem Fall nämlich nicht. Das was passiert ist, sieht man an der kopierten db.

     Antworten

    Beitrag von Impuls (11 Beiträge) am Freitag, 17.Juli.2009, 23:43.
    Re: Re: Datenbankeintrag verdoppeln sich einfach

      Ok ich nehme das zurück sehe jetzt auch das sich etwas tut.Habe darüber nur keine Nachricht bekommen das schon jemand am Werke ist...aber sehen was die Ursache des Fehlers war kann ich aber trotzdem nicht an der Kopie.Vielleicht kannst es ja mal verständlich erklären falls da mal jemand den gleichen Fehler hat.

      Vielen Dank schonmal im Vorraus...

     Antworten

    Beitrag von U.Möbius (4 Beiträge) am Donnerstag, 23.Juli.2009, 00:50.
    Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      Hallo,

      noch einen kleinen Hinweis für die Supporter von baseportal.
      Die ganze Sache ist passiert beim Hochladen von Datensätzen. Ich hatte angenommen das sich die Aktion "Aufgehangen" hatte und das Hochladen nochmals ausgeführt. Baseportal wollte wohl an diesem Tage nicht so wie ich es gewohnt war.
      Sorry, aber vielleicht ist da noch was zu retten.

      M.f.G.
      Ulla

     Antworten

    Beitrag von richard (1187 Beiträge) am Donnerstag, 23.Juli.2009, 08:11. WWW: posaunenchor-rhoden.de
    Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      Wenn der Sander dafür eine Rechnung schreibt wird das aber teuer.

     Antworten

    Beitrag von Impuls (11 Beiträge) am Donnerstag, 23.Juli.2009, 18:42.
    Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      Das heisst jetzt kann weiter gearbeitet werden und du hast es in den Griff bekommen?Wenn ja einen ganz Herzlichen Dank von unseren Team und den ganzen Usern die sich ebenfalls erfreuen.

      Sollte ich jetzt oder kann ich jetzt ne Sicherung machen?

      Lieben Gruß

      Peter.

     Antworten

    Beitrag von Sander (8133 Beiträge) am Donnerstag, 23.Juli.2009, 19:44.
    Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      ja die db ist jetzt in Ordnung

     Antworten

    Beitrag von Claus (4645 Beiträge) am Donnerstag, 23.Juli.2009, 08:34. WWW: jobmarder.de
    Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      Hallo Ulla,

      wenn die Daten nur angehängt wurden, kann man das mit einem kleinen Perl-Script schnell und einfach bereinigen.

      Auf die Weise werden alle Datensätze ab einer bestimmten Id-Nr. gelöscht.

      bei xxx die Id schreiben, ab der die DS gelöscht werden sollen. Vorsichtshalber vorher eine Sicherungskopie der Datenbank erstellen!!

      <perl>
      del "Id >=xxx", "datenbankname";
      </perl>
      

      hth

      Gruesse

      Claus

      PS: beim nächsten mal vor dem Aufspielen von neuen Daten eine Sicherungskopie der Original-DB erstellen, die man dann bei Fehlern ohne Probleme wieder als Original nehmen kann oder vorher ein Archiv erstellen.

     Antworten

    Beitrag von Sander (8133 Beiträge) am Donnerstag, 23.Juli.2009, 10:11.
    Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      eiei, kannst du mir mal die hochgeladene Datei an support@baseportal.de schicken? Das geht dann wohl am schnellsten, diese Daten neu einzupflegen, als die alten zu rekonstruieren.

     Antworten

    Beitrag von Sander (8133 Beiträge) am Donnerstag, 23.Juli.2009, 11:25.
    Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      brauchst nicht mehr, ich habs anders lösen können. Beim nächsten importieren bitte aufpassen, das die ids danach nicht verdoppelt werden, wenn doch - dann das "inhalt überschreiben" angehakt ist. man kann auch "Erste Spalte als Ids" anhaken, dann sind zwar die ds doppelt, aber die db nicht zerstört.

     Antworten

    Beitrag von Friesecke (245 Beiträge) am Donnerstag, 23.Juli.2009, 16:08.
    Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      Hallo Sander,

      wie sieht denn "bitte aufpassen" aus?

      Inhalt ueberschreiben anhaken ??? Dann sind alle alten DS weg, wohl kein so guter Hinweis

      Erste Spalte als Id : ja und? Datensaetze sind doch trotzdem doppelt. Ist doch genau dasselbe.

      Wenn Ihr das Thema schon nicht in den Griff kriegt, dann gebt doch wenigstens Anleitung.

      Friesecke

     Antworten

    Beitrag von Sander (8133 Beiträge) am Donnerstag, 23.Juli.2009, 18:31.
    Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      bitte lies genau:

      >> Die ganze Sache ist passiert beim Hochladen von Datensätzen. Ich hatte angenommen das sich die Aktion "Aufgehangen" hatte und das Hochladen nochmals ausgeführt.
       -> ergo: doppelte DS!!! Da die Id mit importiert wurde, nun auch doppelte Ids -> ergibt ne fast nutzlose db. In dem Falle wäre Inhalte überschreiben der richtige Weg, da die DB leer war.
      
      Bei erste Spalte als Ids kann man dann die doppelten wie von Claus beschrieben schön löschen. Der Schaden ist nicht so groß. Und ich weiß nicht, was daran nicht verständlich wäre. Außerdem stehts in der Anleitung:
      http://doku.baseportal.de/15.html
      Was heißt hier überhaupt "Thema schon nicht in den Griff kriegt" - gabs bisher Probleme bzw eine Meldung, das man hätte in den Griff kriegen sollen?
      (das einzige Problem, was wir hier nicht in den Griff bekommen, sind solche Kommentare)

     Antworten

    Beitrag von Friesecke (245 Beiträge) am Donnerstag, 23.Juli.2009, 19:00.
    Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      Hallo Sander,

      der Link in der Doku endet mit dem Satz: Stimmt alles ueberein, wird die Datei problemlos gelesen.

      Das stimmt nur, wenn die Datenmenge klein ist. Ansonsten kann von problemlos wohl keine Rede sein.

      Es gab schon immer Probleme, und die sind seit Jahren bekannt. Ihr habt eine Teil-Hilfe geschaffen, indem man den Reorg fortsetzen kann. (Und der ist ja das eigentliche Problem). Seit Jahren spricht keiner mehr darueber. Wer grosse Datenmengen hat, weiss das inzwischen zu handeln. Neue User mit so grossen Datenmengen kommen so schnell ja nicht vor.

      Aber nun so zu tun als sei das Problem unbekannt ist schon etwas heftig.

      Wie Claus beschrieben ( ich dachte immer, der schreibt nur bloedes Zeug ???), kann man mit einer kleinen Routine die letzten Saetze loeschen. Du hast doch die db bereinigt. Dann weisst Du doch, dass die ersten Saetze doppelt waren und danach einige Tausend eingegeben wurden, die nicht doppelt waren und dass die Verdoppelung erst nach einiger Zeit festgestellt wurde. Die urspruengliche csv-Datei duerfte es also nicht mehr geben. Dabei handelte es sich um rund 14.000 doppelte Saetze - musst Du doch wissen. Natuerlich kann man die Daten auch anders retten, aber fuer einen Nicht-Programmierer nur schwer moeglich.

      Solche Kommentare koenntet ihr in den Griff bekommen, wenn ihr auf Kritik sachlich reagieren wuerdet und wenn die Doku i.O. waere.
      Das eigentlich Schlimme ist, dass ihr die Probleme ganz genau kennt, aber die Loesung in der Beschimpfung der Kritiker seht, die nach Deiner Ansicht das eigentliche Problem sind.

      Ihr habt in all den Jahren immer noch nichts kapiert. Deswegen hat sich bp ja (leider, denn das Produkt ist ja viel besser als die Betreiber) am Markt nicht durchgesetzt.

      Friesecke

     Antworten

    Beitrag von Sander (8133 Beiträge) am Donnerstag, 23.Juli.2009, 20:55.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      >> Das stimmt nur, wenn die Datenmenge klein ist. Ansonsten kann von problemlos wohl keine Rede sein.
      

      Ansonsten greift eine Speicherbegrenzung, um den Server zu schützen. It's not a bug, it's a feature!!!

      >> Es gab schon immer Probleme, und die sind seit Jahren bekannt. Ihr habt eine Teil-Hilfe geschaffen, indem man den Reorg fortsetzen kann. (Und der ist ja das eigentliche Problem). Seit Jahren spricht keiner mehr darueber. Wer grosse Datenmengen hat, weiss das inzwischen zu handeln. Neue User mit so grossen Datenmengen kommen so schnell ja nicht vor.
      

      Nein, das Reorg ist beim Import kein Problem (dort wird nur ein put - d.h. ein Reorg - gemacht.)

      Vorallem ist das auch kein Problem, sondern gewollt. Die wahren Probleme hatten wir davor, als es keine Speicherbegrenzungen gab.

      >> Wie Claus beschrieben ( ich dachte immer, der schreibt nur bloedes Zeug ???), kann man mit einer kleinen Routine die letzten Saetze loeschen
      

      nein, Claus schreibt nicht _nur_ Mist. Ab und zu ist auch was brauchbares dabei ;). Scheinbar verstehst auch du nicht, warum hier viele Leute (vorallem ich) immer wieder mit ihm anecken. naja...

      >> Dann weisst Du doch, dass die ersten Saetze doppelt waren und danach einige Tausend eingegeben wurden, die nicht doppelt waren und dass die Verdoppelung erst nach einiger Zeit festgestellt wurde
      

      dann weißt du mehr als ich. Ich weiß das nicht.
      Ich habe ca 15000 DS gesehen, die _alle_ doppelt waren (somit ca 30000) - bis auf ein paar am schluß. Nach der Meldung vom Import kam mir dann auch die Idee, wie das passierte. Es gab keine gelöschten DS da drin - es sieht aus wie ein Import in eine leere db.

      >> Natuerlich kann man die Daten auch anders retten, aber fuer einen Nicht-Programmierer nur schwer moeglich
      

      Diesmal war es sogar richtig problematisch. Es ging schlicht nicht, mit einem Perlscript die doppelten zu eliminieren. Nur durch direkten Zugriff auf das db-file konnte ich es retten.


      >> Solche Kommentare koenntet ihr in den Griff bekommen, wenn ihr auf Kritik sachlich reagieren wuerdet und wenn die Doku i.O. waere.
      

      Wenn die "Kritik" mal sachlich und fundiert wäre. Aber mit platten, leicht daher gesagten Sprüchen wie "Wenn Ihr das Thema schon nicht in den Griff kriegt, dann gebt doch wenigstens Anleitung." kann man nur so reagieren, weil sie schlicht falsch sind. Es gibt keine Importprobleme, es gibt ein Sicherheitsfeature, was bei einigen Leuten zu Irritationen führt, aber schnell geklärt ist. Und ja, auch die Doku wird immer mal wieder erweitert, wenn es Probleme gibt, die dort besser erklärt werden sollten.

      >> Das eigentlich Schlimme ist, dass ihr die Probleme ganz genau kennt,
      

      Das ist schon wieder so ein Spruch: Wir kennen kein Problem mit dem Import - zeig mir bitte im Forum Meldungen darüber, die nichts mit der Größe der Datei zu tun haben.

      >> aber die Loesung in der Beschimpfung der Kritiker seht, die nach Deiner Ansicht das eigentliche Problem sind.
      

      Beschimpfung - aja, fühltest du dich jetzt oder vorhin beschimpft?

     Antworten

    Beitrag von Friesecke (245 Beiträge) am Donnerstag, 23.Juli.2009, 21:44.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      Hallo Sander,

      habe das Problem per mail an cb am 20.10.2006 umfassend geschildert.

      Die Antwort von cb hat dazu gefuehrt, dass mein Kunde einen eigenen Server verwendet. Dort sind die Probleme zwar kleiner, weil Speicherbedarf und Rechenzeitlimit nicht begrenzt sind, aber grundsaetzlich noch da.

      Ich habe die mail nur noch als Ausdruck, musst mal bei cb nachfragen.

      Beim Hochladen von Daten wird kein Reorg. gemacht? Wie kriegst Du denn eine sortierte Datenbank? Das Reorg. ist Deiner Meinung nach beim Import kein Problem? Dann weiss ich jetzt auch, weshalb da nichts in der Doku steht. Was man nicht kennt, kann man auch nicht beschreiben...

      Es ging nicht, mit einem perl-script die doppelten zu eliminieren?

      Das hast Du immerhin gemerkt. Nein, das geht bei diesen Fehlern nicht. Aber so hatte Claus das auch nicht gemeint. Der wollte nicht die doppelten eliminieren, sondern alle ab einer Anfangs-Id loeschen.

      Man muss per perl-script eine neue csv-Datei erzeugen, in die man die doppelten nicht mit hineinschreibt. So rum geht's.

      Zu mehr hab ich jetzt keine Lust. In meiner sehr umfangreichen mail an cb kannst Du alles nachlesen. Und was ihr nicht wahr haben wollt, streitet ihr sowieso ab, was soll's.

      Schlaf gut
      Friesecke

     Antworten

    Beitrag von Sander (8133 Beiträge) am Donnerstag, 23.Juli.2009, 23:58.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      sag mal, liest denn keiner mehr????

      >> Beim Hochladen von Daten wird kein Reorg. gemacht? Wie kriegst Du denn eine sortierte Datenbank?
      

      was hab ich geschrieben?`

      >> Nein, das Reorg ist beim Import kein Problem (dort wird nur ein put - d.h. ein Reorg - gemacht.) <--- NUR EIN REORG !!!!
      wenn du mehrere puts hintereinander ausführst, gibts bei jedem put ein reorg - dort sind dann beim rumkopieren Probleme möglich. Aber beim Import funktioniert das anders.
      

      >> Es ging nicht, mit einem perl-script die doppelten zu eliminieren?
      >> Das hast Du immerhin gemerkt. Nein, das geht bei diesen Fehlern nicht.
      

      Kannst mir glauben, ganz blöd bin ich auch nicht.
      Mein Weg ist ähnlich deinem neuen CSV bauen. Ich pack sie gleich in eine DB-Kopie. Nur das dies bei meinen letzten Tests nicht funktionierte.
      Dazu sagte ich auch nirgends, das Claus sein Weg der richtige in der schon kaputten DB war. Er wäre es, wenn die Ids nicht doppelt drin gestanden hätten, sondern "erste Spalte Ids" beim import angehakt wäre.

      Eigentlich hast du auf nichts von meinem Beitrag klar geantwortet (vielleicht auch nicht verstanden?).

      Und was, verdammt nochmal, streite denn hier ab? Das es eine Speicherbegrenzung gibt?

     Antworten

    Beitrag von Friesecke (245 Beiträge) am Freitag, 24.Juli.2009, 06:29.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich

      Hallo Sander,

      ja, Du hast geschrieben: das Reorg ist beim Import kein Problem, da wird nur ein Reorg. gemacht

      Ich nahm an, Du haettest ein k (kein Reorg) vergessen. Hatte Dir den verbalen Kreislaeufer nicht zugetraut.
      das Reorg ist kein Problem, da wird nur ein Reorg gemacht. JA, UND DER IST DAS PROBLEM!!!!!
      fehlende Antwort auf Fragen: lies meine mail aus 2006, steht alles drin.

      Ansonsten beantworte Du doch mal erst die Fragen.
      Du hast dem Anwender ins Stammbuch geschrieben: besser aufpassen.
      Und ich hab gefragt, was das denn nun heisst.

      Der Anwender kann nach dem Abschicken nur noch warten, bis die Fehlermeldung kommt. Wie geht denn besser aufpassen? Das ist bis jetzt nur eine oberlehrerhafte Schlaumeierei ohne jeden praktischen Naehrwert.

      Also erklaer, wie er aufpassen kann und wo die Grenzen von bp sind. Die Aussage in der Doku, es gaebe keine Begrenzung, ist schlichtweg wissentlich FALSCH.


      Friesecke

     Antworten

    Beitrag von Sander (8133 Beiträge) am Freitag, 24.Juli.2009, 09:48.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich

      besser aufpassen:
      >> Beim nächsten importieren bitte aufpassen, das die ids danach nicht verdoppelt werden,
      

      ich schaue mir die db an und die csv - sind dort nochmal die gleichen ids zum importieren dabei? nein? alles gut - ja? ich muß bei den einstellungen was dagegen tun.
      Ich meinte hier schlicht, vorher die Einstellungen zu überprüfen. ist vielleicht etwas unglücklich ausgedrückt.

     Antworten

    Beitrag von Claus (4645 Beiträge) am Freitag, 24.Juli.2009, 13:13.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      Nur mal zur Sache:

      Da nicht ersichtlich war, wie die Daten gehandelt/aufgespielt wurden, ging ich in meinem Beispiel-Script davon aus, das die angehängt wurden.

      Ich selbst benutze bei mir keine csv-Geschichten, sondern bearbeite diese online bzw. werden die DS online hinzugefügt. Ich verstehe ohnehin nicht, warum mann ständig sämtliche Daten per csv rauf- und runterschieben muß. Die Zeiten, wo die Online-Kosten minütlich abgerechnet wurden, sind doch nur noch ein Relikt der Vergangenheit im Zeitalter von Flatrates...;)

      Aber auch, wenn man DS zweimal (dann mit der selben Id!) aufgespielt hat, kann man diese imho über ein perl-Script bereinigen.

      Ist, da ich so einen Fall noch nicht hatte, nur mal ein ungetestet Beispiel.

      <perl>
      get "Id==*", "DB", "erg";
      while(get_next("erg"))
      {
      if ($_loop % 2 == 0)
      {
      put ["Feld1", "$Feld1", "Feld2", "$Feld2" usw.....], "neue_DB";
      }
      }
      </perl>
      

      Auf diese Weise sollte jeder 2. DS dann in eine neue,Leere DB geschrieben werden.

      Wie gesagt, ungetestet und nur mal so als Gedankenansatz...

      Ansonsten sollte man, entweder die Datenbanken/Templates als Archiv sichern oder entsprechend Kopien erstellen, bevor man etwas ändert...

      Zur Kritikfähigkeit von baseportal schreibe ich jetzt nix, habe ich schon oft genug gemacht...;)

      Gruesse

      Claus

     Antworten

    Beitrag von Sander (8133 Beiträge) am Freitag, 24.Juli.2009, 13:46.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      genau das war der Weg von Friesecke:

      >> Man muss per perl-script eine neue csv-Datei erzeugen, in die man die doppelten nicht mit hineinschreibt. So rum geht's.
      

      oder mir:

      >> Mein Weg ist ähnlich deinem neuen CSV bauen. Ich pack sie gleich in eine DB-Kopie. Nur das dies bei meinen letzten Tests nicht funktionierte.
      

      Nur das ich da immer Aufhänger ab einem bestimmten DS hatte. Es ging einfach nicht weiter, auch bei einem range von 0,5 - Es blieb nur noch per Hand übrig.

      >> Zur Kritikfähigkeit von baseportal schreibe ich jetzt nix, habe ich schon oft genug gemacht...;)
      

      Danke - die Meinung kennen alle zu genügend ;)

     Antworten

    Beitrag von Claus (4645 Beiträge) am Freitag, 24.Juli.2009, 15:27.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich einfach

      War ja nur mal so ein spontaner, allgemeiner Lösungsansatz...

      Im Gegensatz zu den "Ich hätte gerne ein Hochhaus, habe keine Ahnung von Architektur, wer baut mir das umsonst-Fragen", bin ich ja nach wie vor bereit, mit Denkanstößen behilflich zu sein...;)

      Wünsche allen usern ein schönes Wochenende

      Gruesse

      Claus

     Antworten

    Beitrag von Friesecke (245 Beiträge) am Samstag, 25.Juli.2009, 07:06.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich ein

      Hallo Claus,

      zu Deinem Unverstaendnis, warum csv-Dateien hochgeladen werden:

      wir reden hier von grossen Datenmengen, da gibt es reichlich solcher Anwendungen. Ohne jetzt auf meine Kunden einzugehen, nimm als Beispiel mal das ZDF. Die machen ihre Programmplanung sicher nicht im Internet, sondern im eigenen Rechnerverbund. Aber sie liefern in Zeitabschnitten (woechentlich, monatlich) das festgelegte Programm der naechsten Monate. Dies wird im Internet bereitgestellt und soll Auswertungen nach Datum, Uhrzeit, Programmtitel, Art des Programms, etc. erlauben. Eine Aenderung der Daten ist nicht vorgesehen.

      Die woechentlich hochzuladende csv-Datei wird vom ZDF generiert und einer externen Firma bereitgestellt.

      Fuer die Anwendung im Internet bedeutet dies: grosse Datenmengen, verschiedene Auswertungen.

      Und schon hast Du ein Beispiel, das die hier besprochenen Probleme zeigt.

      Als externe Firma nimmt man dann u.a. mich, weil ich mit meinem Halbwissen vorab verbindlich zusagen kann, ob ich das hinkriege oder nicht. Auf das Vollwissen der bp-Leute und die Sprueche in der Doku nach dem Motto "mit bp geht alles wie von selbst" verlassen sich solche Auftraggeber nicht so gern.

      Und ich kann Dir versichern: wenn Du eine solche Anwendung nur 3 Monate begleitest, dann weisst Du exakt, welche Aussagen von bp richtig sind und welche nicht.

      Spruch in der Doku und Behauptung hier im Forum ist zwar ganz gut und schoen. Aber eine Anwendung liest das nicht und haelt sich nicht dran. Und der Anwendung kannst Du hundert mal sagen: Aber Sander hat gesagt...
      Die hoert Dir gar nicht zu.

      Schoenen Tag noch.
      Friesecke

     Antworten

    Beitrag von Sander (8133 Beiträge) am Samstag, 25.Juli.2009, 12:27.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich ein

      >> Als externe Firma nimmt man dann u.a. mich, weil ich mit meinem Halbwissen vorab verbindlich zusagen kann
      

      aha, du weißt also Bescheid, wie bp intern die Daten behandelt, die binärische Suche oder der Spamfilter funktioniert, ein reorg oder auch ein Datenimport im Detail abläuft. Ich bin beeindruckt....

      Ansonsten lies diesen Satz nochmal genau:
      >> Sie denken, sie wüßten, wie baseportal intern funktioniert. Nur ist das alles gefährliches Halbwissen.
      

      Im übrigen: wenn du auf einem hosted webspace oder virtual server solche Dinge versucht, auch unter php und mysql, dann kommst du auch ganz schnell an Ressourcengrenzen. php stellt standardmässig 16 MB Ram zur Verfügung, 30 sekunden CPU-Zeit. Auch Dateiuploade sind begrenzt. Beim phpmyadmin hab ich noch nie gelesen: Sorry, dein Upload wird zu groß. Man merkt es erst, wenn die Seite weiß bleibt.
      Freie Zeit und deinen geamten RAM kannst du halt nur auf deinem eigenen Server haben - und das ist gut so, wie schon x Ausfälle wegen Ressourcenverschwendung bei bp gezeigt haben.
      Wenn ich zum Surfurlaub in die Karibik will, nehm ich auch nicht mein Moped um dort hinzukommen.

     Antworten

    Beitrag von Friesecke (245 Beiträge) am Sonntag, 26.Juli.2009, 06:21.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln

      Hallo Sander,

      dass solche Anwendungen auf einem eigenen Server ohne eingestellte Beschraenkungen ablaufen versteht sich von selbst.

      Ich weiss nicht, wie euer reorg im Detail ablaeuft, aber ich merke schon, wann er aussteigt und wie lange er fuer den Aufbau von x Datensaetzen braucht und kann mir die Struktur der Datensaetze auch anschauen.
      Ich weiss auch, wie ein reorg grundsaetzlich durchgefuehrt wird.
      Ich weiss auch, welche umfangreichen Untersuchungen in den Anfangszeiten gerade zu der Frage, wie baue ich am schnellsten Indices auf, gemacht wurden.
      Das war zu Zeiten, als es diese Rechnerkapazitaeten gar nicht gab.
      Ich weiss z.B., wie lange bei einem komplexen System unter DOS mit Arbeitsspeicher 640 kB und Festplattenspeicher von 100 MB die reorg gedauert hat.
      Ich weiss auch, dass eine Anwendung mit gleichem Funktionsumfang heute gigantisch mehr Speicherbedarf benoetigt, auch, weil es kein Programmierer mehr noetig hat, auf Effizienz zu achten.
      Bei den Alt-Systemen konnte eine reorg schon 2 Stunden dauern, aber sie lief durch.
      Ich weiss auch, dass ihr die einfachste Form des Index-Aufbaus macht. Man kann ja jedes Feld nur auf Sortieren stellen. Bei anderen Systemen kannst Du den Aufbau des Index selbst definieren, z.B.:
      Index1 = Feld1 + substr(Feld2,5,5) + int(Feld3)

      Damit braucht man oft weniger Indices.

      Ich weiss auch, dass diese Moeglichkeiten bei den aller-aller-meisten Anwendungen im Internet nicht benoetigt werden. Ich weiss auch, dass ein kleines Unternehmen sich riesige Forschungsarbeiten zwecks Optimierung nicht leisten kann.

      Und deshalb habe ich noch nie das Produkt kritisiert, sondern immer nur die Erweckung falscher Erwartungen bei den Anwendern durch sachlich falsche Aussagen.

      Lies die Doku im Hinblick auf Grenzen von bp. Dort steht schlichtweg, dass es keine gibt. Und Du weisst doch, wie Dein Beitrag zeigt, dass es nicht stimmt.

      Also werdet serioes, dann kommt von mir auch keine Kritik.

      Keinem Hersteller faellt ein Stein aus der Krone, wenn er Systemgrenzen angibt.

      Das war's jetzt, mehr kommt nicht von mir.

      Friesecke
      PS: Du faehrst nicht mit einem Moped in die Karibik, aber Du verkaufst auch kein Moped mit dem Versprechen, dass man damit in alle Welt unbeschraenkt in Urlaub fahren und dabei noch Gepaeck (Surfbrett) in beliebigem Umfang mitnehmen kann.

     Antworten

    Beitrag von Sander (8133 Beiträge) am Sonntag, 26.Juli.2009, 12:18.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln

      hrrrr.... das Programm selbst hat keine Grenzen, die haben die Server!!!!!!!!
      Dir geht es hier also nur darum, das irgendwo steht, das Laufzeitbeschränkungen und Speicherbeschränkungen das Ausführen der Programme beschränkt? Ja, warum nicht - aber das heißt doch noch lange nicht, das bp diese Grenzen hat - was ja durch den eigenen Server bewiesen wäre. Es sind keine falschen Aussagen, maximal fehlt ein Hinweis zum Server/Provider.
      Übrigends hab ich den Teil schon vor einigen Tagen in der Doku beim Import aufgenommen. Soviel zu Ignoranz...

      >> Du faehrst nicht mit einem Moped in die Karibik, aber Du verkaufst auch kein Moped mit dem Versprechen, dass man damit in alle Welt unbeschraenkt in Urlaub fahren und dabei noch Gepaeck (Surfbrett) in beliebigem Umfang mitnehmen kann.
      

      ne, dort siehst du die Zusammenhänge falsch: das Moped ist der Server oder Provider, das Surfbrett und ich sind baseportal und die Karibik das Ziel.

      Zu deinen "Ich weiß..." - du weißt wie sowas in groben Zügen abläuft, aber nicht konkret, was bp dort macht - also ist das gefährliches Halbwissen, da Behauptungen aufgestellt werden, ohne konkretes Wissen dahin.

     Antworten

    Beitrag von Claus (4645 Beiträge) am Sonntag, 26.Juli.2009, 08:57.
    Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Re: Datenbankeintrag verdoppeln sich ein

      Hallo Friesecke,

      Du hast natürlich recht, es gibt durchaus Dinge, wo es Sinn macht. Ich hatte mich wohl etwas knapp ausgedrückt mit "...warum mann ständig sämtliche Daten per csv rauf- und runterschieben muß"...

      Damit meinte ich, daß es imho unproduktiv ist, jedesmal überwiegend statische Datenmengen mit 15.000 DS und mehr rauf- und runterzuladen. Da ist es sinnvoller, diese entweder direkt einzugeben oder bei den wenigen Änderungen diese ebenfalls direkt vorzunehmen.

      Auch das Erstellen neuer Datensätze (offline) um diese dann als csv-Paket anzuhängen ergibt noch Sinn, aber um 10 neue DS aufzuspielen, muß ich nicht vorher 15.000 DS runterladen, umd dann hinterher 10.510 DS wieder hochzuladen...;)

      Allen noch einen schönen Sonntag

      Gruesse

      Claus

     Antworten


     
 Liste der Einträge von 8100 bis 8250:Einklappen Zur Eingabe 
Neueste Einträge << 10 | 9 | 8 | 7 | 6 | 5 | 4 | 3 | 2 | Neuere Einträge < Zur Eingabe  > Ältere Einträge | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 >> Älteste Einträge


Zurück zur Homepage

© baseportal.de. Alle Rechte vorbehalten. Nutzungsbedingungen



powered in 0.10s by baseportal.de
Erstellen Sie Ihre eigene Web-Datenbank - kostenlos!