Daos

  • Published on
    22-Nov-2014

  • View
    40.788

  • Download
    6

DESCRIPTION

Slides from my presentation on DAOS held at AdminCamp 2009, 28.09.2009, Gelsenkirchen, Germany. Presentation is in German language.

Transcript

  • 1. DAOS Ulrich Krause AdminCamp 2009,Maritim Hotel, Gelsenkirchen

2. ber mich

  • Ulrich Krause
  • Lotus Notes / Domino seit 1993
  • Initiator, Manager,Entwickler OpenNTF Projekt !!HELP!!
  • Entwickler
  • Administrator
  • Moderator atnotes.de Forum
  • Bloghttp://www.eknori.de

3. Ein Hinweis vorweg In dieser Prsentation wird teilweise auf eine noch nicht verffentlichte Version von Notes /Domino verwiesen. Fr diese Teile der Prsentation gilt Folgendes: IBM Lotus Notes/Domino and Lotus Notes Traveler 8.5.1 is prerelease software and there are no guarantees from IBM that the functionality presented will be in the final shipping product. 4. Ausgangssituation

  • Es wird immer mehr (teurer) Speicherplatz bentigt
  • Die durchschnittliche Datenbankgre steigt immer weiter an
  • Anhnge sind n- fach vorhanden / Redundanzen
  • Standard Tasks dauern immer lnger
  • Backup ist nicht mehr in einem vernnftigen Zeitrahmen durchzufhren
  • Netzwerklast steigt an.
  • I/O beeintrchtigt Performance

5. Das Ziel

  • Effektivere Nutzung des vorhandenen Speicherplatzes
  • Reduzierung der Datenbankgre
  • Vermeiden von Redundanzen
  • Beschleunigung von Standard Tasks
  • Backupzeiten wieder im vertretbaren Rahmen
  • Reduzierung der im Netzwerk bertagenen Datenmenge
  • Reduzierung von Festplatten I/O

6. Aufbau einer Datenbank ( vereinfacht )

  • Design
  • Dokumente
    • Textbestandteil
    • Anhnge
    • EingebetteteObjekte

Design Text Anhnge 7. Design Note Compression 8. Design Note Compression

  • Neu in Domino 8
  • Bentigt ODS 48 oder grsser
    • Create_R8_Databases=1in notes.ini
    • bzw. Create_R85_Databases=1
    • compact -c
    • compact-cn
  • Reduzierung des Designs um 30 50 %
    • lt. IBM55 60 %
  • Reduzierung von I/O

9. Design Note Compression DEMO 10. Design Note Compression load compact c n db 11. Design Note CompressionDesign Text Anhnge Design Text Anhnge 12. Document Body Compression 13. Document Body Compression

  • Ab Notes / Domino 8.0.1
  • Reduziert Rich Text um bis zu 60%
  • Bentigt ODS 48 oder grsser
    • compact-cv
  • Check Compress document data

14. Document Body Compression DEMO 15. Document Body Compression load compact c v db 16. Document Body CompressionDesign Text Anhnge Design Text Anhnge 17. LZ1 Attachment Compression 18. LZ1 Attachment Compression 19. LZ1 Attachment Compression DEMO 20. LZ1 Attachment Compression load compact c ZU db 21. LZ1 Attachment Compression Design Text Anhnge Design Text Anhnge 22. DAOS Estimator 23. DAOS Estimator

  • Tool zur Planung des DAOS Rollouts
  • Erkennt identische Attachments auch in mehreren Datenbanken
  • Download:http://www-01.ibm.com/support/docview.wss?rs=463&uid=swg24021920

24. LZ1 != HUFFMAN

  • Db1 LZ1 enabled
  • Db2 LZ1 disabled
  • DAOS erzeugt 2 .NLO Files !!

25. DAOS 26. DAOS

  • D ominoA ttachmentO bjectS ervice
  • Anhnge werden aus einer Datenbank ausgelagert
  • Anhnge werden im Dateisystem als NLO ( N otesL argeO bject )gespeichert
  • Dokument enthlt nur noch einen Verweis (Ticket) auf den Anhang
  • Trennung von statischen und dynamischen Daten
  • Nur eine Kopie von bit-identischen Anhngen
  • Transparent fr Anwender und 3rd-Party Produkte

27. Voraussetzungen

  • Domino 8.5 ( ODS 51)
  • SHARED MAIL abschalten
  • Transaktionsprotokollierung aktivieren
  • DAOS Repository erstellen
  • DAOS auf dem Server aktivieren
  • DAOS in Datenbankeigenschaften aktivieren

28. Shared Mail abschalten

  • Serverdokument Shared Mail
  • Feld Shared Mail = None
  • Load object unlink shared.nsf

29. Transaktionsprotokollierung aktivieren

  • Serverdokument Transactional Logging
  • Fr DAOS zwingend erforderlich
  • Separates Laufwerk empfohlen
  • Verzeichnis erstellen
  • Methode whlen
    • Circular
      • 4GB Begrenzung
    • Archive
      • Keine Grenbeschrnkung, Lschenwird von Backup-Software bernommen
    • Linear
      • Wie Circular, keine Grenbeschrnkung
  • Server neu starten

30. DAOS Repository erstellen

  • Separates Laufwerk verwenden
  • SAN, NAS
  • Jeder Server hat sein eigenes Repository
    • .NLO werden mit ServerID verschlsselt
      • DAOS_ENCRYPT_NLO=0
    • Max. 1.000 Verzeichnisse
    • Max 40.000 .NLO / Verzeichnis
    • = 40.000.000 .NLOs
    • Daos.cfg ( in Domino Data Directory)
    • Daoscat.nsf
  • Backup des Repository einplanen!

31. DAOS auf Server aktivieren

  • Serverdokument DAOS
  • Minimale Grsse entragen
    • DEFAULT 4kB, empfohlen 64kB (= DEFAULT in8.5.1)
    • Besten Wert mit DAOS Estimator emitteln
  • Pfad zu DAOS Repository eintragen
  • Wann sollen Objekte im Repository gelscht werden?
    • Abhngig vom Backup
    • 0 Days= sofort lschen, wenn letzte Referenz auf Objekt gelscht wird
    • Manuell:TELL DAOSMGR PRUNE 0
  • Server neu starten
    • sh ow server

32. DAOS auf Datenbanken aktivieren

  • Datenbankeigenschaften Propeller hat
  • Admin Client fr mehrere Datenbanken
  • Gilt ab Zeitpunkt der Aktivierung!
  • Server Konsole
    • Load compactc DAOS ON

33. DAOS DEMO 34. Das Ergebnis Design Text Tickets DAOS - Repository Design Text Anhnge 35. Die Transaktions-Protokoll Falle

  • compact c daos on
  • Kein Attachment im DAOS Repository
  • tell daosmgr dbsummarycount = 0

36. DAOS und (lokale) Repliken

  • DAOS ist ein Serverfeature!
  • Bei einer neuen lokalen Replik werden auch die Anhnge lokal gespeichert.
  • Auch bei Repliken auf Nicht-DAOS Servern werden die Anhnge in der Replik gespeichert
  • In einem Cluster hat jeder Server sein eigenes DAOS Repository.

37. DAOS und mail.box

  • RM_NO_LOG_OBJECTS_IN_MAILBOX aus notes.ini entfernen.
  • ALLE Mailfiles auf dem Server sollten DAOS untersttzen
  • Performancegewinn, da DAOS nicht n-fach ttig werden muss

38. DAOS und Verschlsselung

  • Anzahl der NLO Files steigt!
  • User A schreibt eine verschlsselte Mail mit Anhang an User B
  • User B schickt ebenfalls eine Mail mit dem gleichen Anhang an User A
  • insgesamt landen 4 NLO Files im Repository

39. DAOS und DDM

  • Wie kann man Ein RESYNC des DAOS Katalogs automatisieren?
  • Zeitgesteuert ber Programmdokument
  • Sobald Status !=SYCHRONIZED
  • Ausfhrliche Beschreibung hier
    • http://www-10.lotus.com/ldd/dominowiki.nsf/dx/daos-how-to-set-up-an-automatic-resynchronization-ddm-event

40. DAOS OFF

  • Was passiert, wenn DAOS deaktiviert wird?
  • 1. in den Datenbankeigenschaften
    • Keine Dokumente mit Anhngen in der Datenbank
    • Es befinden sich Dokumente mit Anhngen in der Datenbank
      • Statuswechsel nach Schreibgeschtzt
      • DAOS funktioniert fr bestehende Eintrge weiter; neue Attachments werden in der Datenbank gespeichert.
  • 2. im Serverdokument
    • Wie bei 1.

41. DAOS und fehlende .NLO

  • NLO wurde auf OS Ebene gelscht
  • TELL DAOSMGR LISTNLO MISSINGdbdb1.nsf
    • Output per Default in

42. DAOS und fehlende Datenbanken

  • NSF wurde gelscht ( auf OS Ebene )
  • Meldung beim Start des Servers
    • Informational - The DAOS catalog is not synchronized. Deletions will be postponed. Please run 'tell daosmgr resync' at the next convenient opportunity to re-synchronize.
  • Wurde die Datenbank bewusst gelscht?
    • Ja
      • TELL DAOSMGR RESYNC oder RESYNC FORCE
    • Nein
      • Datenbank aus Datensicherung wieder herstellen
      • Neue Replik von Clusterserver erzeugen
  • Gleiches gilt beim Verschieben von Datenbanken ( auf OS Ebene )

43. Noch einmal 50% ??

  • Knnen sich die Server eines Clusters ein DAOS - Repository teilen?
    • offiziell (IBM): NEIN
      • Es wird zwar darber nachgedacht, aber ob es umgesetzt wird
    • Inoffiziell (experimentell): JA
      • Bitte NICHT in produktiven Umgebungen einsetzen!!!!!!!!!!!!!!

44. DAOS und Nagios

  • Catalog.Status
  • Repository.Size
  • Plugin

Christoph Stoettner: Monitoring - Netzwerkberwachung mit Nagios, AC 2009 45. Statistik

  • Macromedia Fusion Charts
  • DOS / Linux
  • Lotus Script

46. Statistik (cont.) Windows: @echo offsetlocal for /f "tokens=*" %%a in ('dir/w/s %1 ^|findstr "Datei(en)"') do ( set info=%%a ) echo %info% Linux: find /DAOS -type f | wc l( Anzahl Dateien) du -bcs --si `find /test/DAOS-type f ` | grep 'in (Gesamtgrsse der Dateien) 47. DAOS und daos.cfg

  • Enhlt Anzahl und Grsse der NLO im DAOS Repository
  • Wird beim Serverstart neu erstellt, wenn gelscht
  • Wird bei Herunterfahren des Servers aktualisiert
  • NICHT sichern oder zurcksichern!

48. DAOS und daoscat.nsf

  • Enhlt Index und Anzahl der NLO
  • Enthlt Index aller Datenbanken, die DAOS verwenden
  • KEINE Ansichten
  • Wird bei RESYNC neu erstellt
  • Wird beim Serverstart neu erstellt, wenn gelscht
  • NICHT sichern oder zurcksichern!

49. DAOS und Admin Client

  • Neue Spalten fr DAOS
    • Logische Gre
    • Physische Gre
    • DAOS Status
    • DAOS Anzahl
    • DAOS Gre
  • Neue Spalten fr Komprimierung

50. Backup & Restore

  • Keine nderung der bestehenden Backup Lsung fr NSF Files.
  • Ergnzung der Backup Prozedur fr NLO Files
  • NLOs bentigen keine spezielle API fr das Backup, da readonly
  • WICHTIG : Die Reihenfolge
    • Server luft whrend des Backup
      • NSFvorNLO
    • Server ist whrend des Backup down
      • NSF und NLO in beliebiger Reihenfolge
  • IBM Technote # 1358548 - DAOS Backup and Restore { Link }

51. DAOS Was kommt noch?

  • Einbeziehung des Replikators
    • ClientServer (8.5.1)
      • bekannte Attachments werden nicht repliziert (Smart Replication )
        • Maildatei, mail.box, autosave.nsf ODS51
      • Weiterleiten von Mails
      • Antwort mit Historie
      • Show stat DAOS
    • ServerServer (8.5.1)
      • bekannte Attachments werden nicht repliziert
  • Bercksichtigung des Alters des Anhangs / der NLO Datei
    • < = 5 Tage auf schnellen lokalen Medien
    • > Verlagerung auf langsamere Medien
  • Feature Request : ein Repository pro Domain / Cluster

52. DAOS und Replikation

  • Domino8.5
  • Domino8.5.1
  • Achtung : ADMINP_ACCELERATED_REPLICA_OVERRIDE=4!!

53. DAOS und Replikation (cont.) 54. Lesenswertes DAOS Wiki http://www-10.lotus.com/ldd/dominowiki.nsf/archive?openview&title=DAOS&type=cat&cat=null&tag=DAOS DAOS Backup and Restore http://www-10.lotus.com/ldd/dominowiki.nsf/dx/daosbackup-and-restore DAOS Estimator http://www.ibm.com/support/docview.wss?rs=463&uid=swg24021920 DAOS Technical Overview http://www.nelotus.org/A55CBA/nelotus.nsf/87fde291d7608ada852564c9006eeba5/b6523e7f4b15585b862575b5004d3488/$FILE/DAOSTechnicalOverview_NELotus.pdf 55. Fragen?? 56. Vielen Dank!! fr Ihre Aufmerksamkeit fr das Ausfllen des Bewertungsbogens