Daos

  • Published on
    22-Nov-2014

  • View
    40.789

  • Download
    6

DESCRIPTION

Slides from my presentation on DAOS held at AdminCamp 2009, 28.09.2009, Gelsenkirchen, Germany. Presentation is in German language.

Transcript

<ul><li> 1. DAOS Ulrich Krause AdminCamp 2009,Maritim Hotel, Gelsenkirchen</li></ul> <p> 2. ber mich </p> <ul><li>Ulrich Krause </li></ul> <ul><li>Lotus Notes / Domino seit 1993 </li></ul> <ul><li>Initiator, Manager,Entwickler OpenNTF Projekt !!HELP!!</li></ul> <ul><li>Entwickler</li></ul> <ul><li>Administrator </li></ul> <ul><li>Moderator atnotes.de Forum </li></ul> <ul><li>Bloghttp://www.eknori.de </li></ul> <p> 3. Ein Hinweis vorweg In dieser Prsentation wird teilweise auf eine noch nicht verffentlichte Version von Notes /Domino verwiesen. Fr diese Teile der Prsentation gilt Folgendes: IBM Lotus Notes/Domino and Lotus Notes Traveler 8.5.1 is prerelease software and there are no guarantees from IBM that the functionality presented will be in the final shipping product. 4. Ausgangssituation </p> <ul><li>Es wird immer mehr (teurer) Speicherplatz bentigt </li></ul> <ul><li>Die durchschnittliche Datenbankgre steigt immer weiter an </li></ul> <ul><li>Anhnge sind n- fach vorhanden / Redundanzen </li></ul> <ul><li>Standard Tasks dauern immer lnger </li></ul> <ul><li>Backup ist nicht mehr in einem vernnftigen Zeitrahmen durchzufhren </li></ul> <ul><li>Netzwerklast steigt an. </li></ul> <ul><li>I/O beeintrchtigt Performance </li></ul> <p> 5. Das Ziel </p> <ul><li>Effektivere Nutzung des vorhandenen Speicherplatzes </li></ul> <ul><li>Reduzierung der Datenbankgre </li></ul> <ul><li>Vermeiden von Redundanzen </li></ul> <ul><li>Beschleunigung von Standard Tasks </li></ul> <ul><li>Backupzeiten wieder im vertretbaren Rahmen </li></ul> <ul><li>Reduzierung der im Netzwerk bertagenen Datenmenge </li></ul> <ul><li>Reduzierung von Festplatten I/O </li></ul> <p> 6. Aufbau einer Datenbank ( vereinfacht ) </p> <ul><li>Design </li></ul> <ul><li>Dokumente </li></ul> <ul><li><ul><li>Textbestandteil </li></ul></li></ul> <ul><li><ul><li>Anhnge</li></ul></li></ul> <ul><li><ul><li>EingebetteteObjekte </li></ul></li></ul> <p>Design Text Anhnge 7. Design Note Compression 8. Design Note Compression </p> <ul><li>Neu in Domino 8 </li></ul> <ul><li>Bentigt ODS 48 oder grsser </li></ul> <ul><li><ul><li>Create_R8_Databases=1in notes.ini </li></ul></li></ul> <ul><li><ul><li>bzw. Create_R85_Databases=1 </li></ul></li></ul> <ul><li><ul><li>compact -c</li></ul></li></ul> <ul><li><ul><li>compact-cn </li></ul></li></ul> <ul><li>Reduzierung des Designs um 30 50 % </li></ul> <ul><li><ul><li>lt. IBM55 60 %</li></ul></li></ul> <ul><li>Reduzierung von I/O</li></ul> <p> 9. Design Note Compression DEMO 10. Design Note Compression load compact c n db 11. Design Note CompressionDesign Text Anhnge Design Text Anhnge 12. Document Body Compression 13. Document Body Compression </p> <ul><li>Ab Notes / Domino 8.0.1 </li></ul> <ul><li>Reduziert Rich Text um bis zu 60% </li></ul> <ul><li>Bentigt ODS 48 oder grsser </li></ul> <ul><li><ul><li>compact-cv </li></ul></li></ul> <ul><li>Check Compress document data </li></ul> <p> 14. Document Body Compression DEMO 15. Document Body Compression load compact c v db 16. Document Body CompressionDesign Text Anhnge Design Text Anhnge 17. LZ1 Attachment Compression 18. LZ1 Attachment Compression 19. LZ1 Attachment Compression DEMO 20. LZ1 Attachment Compression load compact c ZU db 21. LZ1 Attachment Compression Design Text Anhnge Design Text Anhnge 22. DAOS Estimator 23. DAOS Estimator </p> <ul><li>Tool zur Planung des DAOS Rollouts </li></ul> <ul><li>Erkennt identische Attachments auch in mehreren Datenbanken </li></ul> <ul><li>Download:http://www-01.ibm.com/support/docview.wss?rs=463&amp;uid=swg24021920 </li></ul> <p> 24. LZ1 != HUFFMAN </p> <ul><li>Db1 LZ1 enabled </li></ul> <ul><li>Db2 LZ1 disabled </li></ul> <ul><li>DAOS erzeugt 2 .NLO Files !! </li></ul> <p> 25. DAOS 26. DAOS </p> <ul><li>D ominoA ttachmentO bjectS ervice </li></ul> <ul><li>Anhnge werden aus einer Datenbank ausgelagert </li></ul> <ul><li>Anhnge werden im Dateisystem als NLO ( N otesL argeO bject )gespeichert </li></ul> <ul><li>Dokument enthlt nur noch einen Verweis (Ticket) auf den Anhang </li></ul> <ul><li>Trennung von statischen und dynamischen Daten </li></ul> <ul><li>Nur eine Kopie von bit-identischen Anhngen </li></ul> <ul><li>Transparent fr Anwender und 3rd-Party Produkte </li></ul> <p> 27. Voraussetzungen </p> <ul><li>Domino 8.5 ( ODS 51) </li></ul> <ul><li>SHARED MAIL abschalten </li></ul> <ul><li>Transaktionsprotokollierung aktivieren </li></ul> <ul><li>DAOS Repository erstellen </li></ul> <ul><li>DAOS auf dem Server aktivieren </li></ul> <ul><li>DAOS in Datenbankeigenschaften aktivieren </li></ul> <p> 28. Shared Mail abschalten </p> <ul><li>Serverdokument Shared Mail </li></ul> <ul><li>Feld Shared Mail = None </li></ul> <ul><li> Load object unlink shared.nsf </li></ul> <p> 29. Transaktionsprotokollierung aktivieren </p> <ul><li>Serverdokument Transactional Logging </li></ul> <ul><li>Fr DAOS zwingend erforderlich </li></ul> <ul><li>Separates Laufwerk empfohlen </li></ul> <ul><li>Verzeichnis erstellen </li></ul> <ul><li>Methode whlen </li></ul> <ul><li><ul><li>Circular </li></ul></li></ul> <ul><li><ul><li><ul><li>4GB Begrenzung </li></ul></li></ul></li></ul> <ul><li><ul><li>Archive </li></ul></li></ul> <ul><li><ul><li><ul><li>Keine Grenbeschrnkung, Lschenwird von Backup-Software bernommen </li></ul></li></ul></li></ul> <ul><li><ul><li>Linear </li></ul></li></ul> <ul><li><ul><li><ul><li>Wie Circular, keine Grenbeschrnkung </li></ul></li></ul></li></ul> <ul><li>Server neu starten </li></ul> <p> 30. DAOS Repository erstellen </p> <ul><li>Separates Laufwerk verwenden </li></ul> <ul><li>SAN, NAS </li></ul> <ul><li>Jeder Server hat sein eigenes Repository </li></ul> <ul><li><ul><li>.NLO werden mit ServerID verschlsselt </li></ul></li></ul> <ul><li><ul><li><ul><li>DAOS_ENCRYPT_NLO=0 </li></ul></li></ul></li></ul> <ul><li><ul><li>Max. 1.000 Verzeichnisse </li></ul></li></ul> <ul><li><ul><li>Max 40.000 .NLO / Verzeichnis </li></ul></li></ul> <ul><li><ul><li>= 40.000.000 .NLOs </li></ul></li></ul> <ul><li><ul><li>Daos.cfg ( in Domino Data Directory) </li></ul></li></ul> <ul><li><ul><li>Daoscat.nsf </li></ul></li></ul> <ul><li>Backup des Repository einplanen! </li></ul> <p> 31. DAOS auf Server aktivieren </p> <ul><li>Serverdokument DAOS </li></ul> <ul><li>Minimale Grsse entragen </li></ul> <ul><li><ul><li>DEFAULT 4kB, empfohlen 64kB (= DEFAULT in8.5.1) </li></ul></li></ul> <ul><li><ul><li>Besten Wert mit DAOS Estimator emitteln </li></ul></li></ul> <ul><li>Pfad zu DAOS Repository eintragen </li></ul> <ul><li>Wann sollen Objekte im Repository gelscht werden? </li></ul> <ul><li><ul><li>Abhngig vom Backup </li></ul></li></ul> <ul><li><ul><li>0 Days= sofort lschen, wenn letzte Referenz auf Objekt gelscht wird </li></ul></li></ul> <ul><li><ul><li>Manuell:TELL DAOSMGR PRUNE 0 </li></ul></li></ul> <ul><li>Server neu starten </li></ul> <ul><li><ul><li>sh ow server </li></ul></li></ul> <p> 32. DAOS auf Datenbanken aktivieren </p> <ul><li>Datenbankeigenschaften Propeller hat </li></ul> <ul><li>Admin Client fr mehrere Datenbanken </li></ul> <ul><li>Gilt ab Zeitpunkt der Aktivierung! </li></ul> <ul><li>Server Konsole</li></ul> <ul><li><ul><li>Load compactc DAOS ON</li></ul></li></ul> <p> 33. DAOS DEMO 34. Das Ergebnis Design Text Tickets DAOS - Repository Design Text Anhnge 35. Die Transaktions-Protokoll Falle </p> <ul><li>compact c daos on</li></ul> <ul><li>Kein Attachment im DAOS Repository </li></ul> <ul><li>tell daosmgr dbsummarycount = 0 </li></ul> <p> 36. DAOS und (lokale) Repliken </p> <ul><li>DAOS ist ein Serverfeature! </li></ul> <ul><li>Bei einer neuen lokalen Replik werden auch die Anhnge lokal gespeichert. </li></ul> <ul><li>Auch bei Repliken auf Nicht-DAOS Servern werden die Anhnge in der Replik gespeichert </li></ul> <ul><li>In einem Cluster hat jeder Server sein eigenes DAOS Repository. </li></ul> <p> 37. DAOS und mail.box </p> <ul><li>RM_NO_LOG_OBJECTS_IN_MAILBOX aus notes.ini entfernen. </li></ul> <ul><li>ALLE Mailfiles auf dem Server sollten DAOS untersttzen </li></ul> <ul><li>Performancegewinn, da DAOS nicht n-fach ttig werden muss </li></ul> <p> 38. DAOS und Verschlsselung </p> <ul><li>Anzahl der NLO Files steigt! </li></ul> <ul><li>User A schreibt eine verschlsselte Mail mit Anhang an User B </li></ul> <ul><li>User B schickt ebenfalls eine Mail mit dem gleichen Anhang an User A </li></ul> <ul><li> insgesamt landen 4 NLO Files im Repository </li></ul> <p> 39. DAOS und DDM </p> <ul><li>Wie kann man Ein RESYNC des DAOS Katalogs automatisieren? </li></ul> <ul><li>Zeitgesteuert ber Programmdokument </li></ul> <ul><li>Sobald Status !=SYCHRONIZED </li></ul> <ul><li>Ausfhrliche Beschreibung hier </li></ul> <ul><li><ul><li>http://www-10.lotus.com/ldd/dominowiki.nsf/dx/daos-how-to-set-up-an-automatic-resynchronization-ddm-event </li></ul></li></ul> <p> 40. DAOS OFF </p> <ul><li>Was passiert, wenn DAOS deaktiviert wird? </li></ul> <ul><li>1. in den Datenbankeigenschaften </li></ul> <ul><li><ul><li>Keine Dokumente mit Anhngen in der Datenbank </li></ul></li></ul> <ul><li><ul><li>Es befinden sich Dokumente mit Anhngen in der Datenbank </li></ul></li></ul> <ul><li><ul><li><ul><li>Statuswechsel nach Schreibgeschtzt </li></ul></li></ul></li></ul> <ul><li><ul><li><ul><li>DAOS funktioniert fr bestehende Eintrge weiter; neue Attachments werden in der Datenbank gespeichert. </li></ul></li></ul></li></ul> <ul><li>2. im Serverdokument </li></ul> <ul><li><ul><li>Wie bei 1. </li></ul></li></ul> <p> 41. DAOS und fehlende .NLO </p> <ul><li>NLO wurde auf OS Ebene gelscht </li></ul> <ul><li>TELL DAOSMGR LISTNLO MISSINGdbdb1.nsf </li></ul> <ul><li><ul><li>Output per Default in </li></ul></li></ul> <p> 42. DAOS und fehlende Datenbanken </p> <ul><li>NSF wurde gelscht ( auf OS Ebene ) </li></ul> <ul><li>Meldung beim Start des Servers </li></ul> <ul><li><ul><li>Informational - The DAOS catalog is not synchronized. Deletions will be postponed. Please run 'tell daosmgr resync' at the next convenient opportunity to re-synchronize. </li></ul></li></ul> <ul><li>Wurde die Datenbank bewusst gelscht? </li></ul> <ul><li><ul><li>Ja </li></ul></li></ul> <ul><li><ul><li><ul><li>TELL DAOSMGR RESYNC oder RESYNC FORCE </li></ul></li></ul></li></ul> <ul><li><ul><li>Nein </li></ul></li></ul> <ul><li><ul><li><ul><li>Datenbank aus Datensicherung wieder herstellen </li></ul></li></ul></li></ul> <ul><li><ul><li><ul><li>Neue Replik von Clusterserver erzeugen </li></ul></li></ul></li></ul> <ul><li>Gleiches gilt beim Verschieben von Datenbanken ( auf OS Ebene ) </li></ul> <p> 43. Noch einmal 50% ?? </p> <ul><li>Knnen sich die Server eines Clusters ein DAOS - Repository teilen? </li></ul> <ul><li><ul><li>offiziell (IBM): NEIN </li></ul></li></ul> <ul><li><ul><li><ul><li>Es wird zwar darber nachgedacht, aber ob es umgesetzt wird </li></ul></li></ul></li></ul> <ul><li><ul><li>Inoffiziell (experimentell): JA </li></ul></li></ul> <ul><li><ul><li><ul><li>Bitte NICHT in produktiven Umgebungen einsetzen!!!!!!!!!!!!!! </li></ul></li></ul></li></ul> <p> 44. DAOS und Nagios </p> <ul><li>Catalog.Status </li></ul> <ul><li>Repository.Size </li></ul> <ul><li>Plugin </li></ul> <p>Christoph Stoettner: Monitoring - Netzwerkberwachung mit Nagios, AC 2009 45. Statistik </p> <ul><li>Macromedia Fusion Charts </li></ul> <ul><li>DOS / Linux </li></ul> <ul><li>Lotus Script </li></ul> <p> 46. Statistik (cont.) Windows: @echo offsetlocal for /f "tokens=*" %%a in ('dir/w/s %1 ^|findstr "Datei(en)"') do ( set info=%%a ) echo %info% Linux: find /DAOS -type f | wc l( Anzahl Dateien) du -bcs --si `find /test/DAOS-type f ` | grep 'in (Gesamtgrsse der Dateien) 47. DAOS und daos.cfg </p> <ul><li>Enhlt Anzahl und Grsse der NLO im DAOS Repository </li></ul> <ul><li>Wird beim Serverstart neu erstellt, wenn gelscht </li></ul> <ul><li>Wird bei Herunterfahren des Servers aktualisiert </li></ul> <ul><li>NICHT sichern oder zurcksichern! </li></ul> <p> 48. DAOS und daoscat.nsf </p> <ul><li>Enhlt Index und Anzahl der NLO </li></ul> <ul><li>Enthlt Index aller Datenbanken, die DAOS verwenden </li></ul> <ul><li>KEINE Ansichten </li></ul> <ul><li>Wird bei RESYNC neu erstellt </li></ul> <ul><li>Wird beim Serverstart neu erstellt, wenn gelscht </li></ul> <ul><li>NICHT sichern oder zurcksichern! </li></ul> <p> 49. DAOS und Admin Client </p> <ul><li>Neue Spalten fr DAOS </li></ul> <ul><li><ul><li>Logische Gre </li></ul></li></ul> <ul><li><ul><li>Physische Gre </li></ul></li></ul> <ul><li><ul><li>DAOS Status </li></ul></li></ul> <ul><li><ul><li>DAOS Anzahl </li></ul></li></ul> <ul><li><ul><li>DAOS Gre </li></ul></li></ul> <ul><li>Neue Spalten fr Komprimierung </li></ul> <p> 50. Backup &amp; Restore </p> <ul><li>Keine nderung der bestehenden Backup Lsung fr NSF Files. </li></ul> <ul><li>Ergnzung der Backup Prozedur fr NLO Files </li></ul> <ul><li>NLOs bentigen keine spezielle API fr das Backup, da readonly </li></ul> <ul><li>WICHTIG : Die Reihenfolge </li></ul> <ul><li><ul><li>Server luft whrend des Backup </li></ul></li></ul> <ul><li><ul><li><ul><li>NSFvorNLO </li></ul></li></ul></li></ul> <ul><li><ul><li>Server ist whrend des Backup down </li></ul></li></ul> <ul><li><ul><li><ul><li>NSF und NLO in beliebiger Reihenfolge </li></ul></li></ul></li></ul> <ul><li>IBM Technote # 1358548 - DAOS Backup and Restore { Link } </li></ul> <p> 51. DAOS Was kommt noch? </p> <ul><li>Einbeziehung des Replikators </li></ul> <ul><li><ul><li>ClientServer (8.5.1) </li></ul></li></ul> <ul><li><ul><li><ul><li> bekannte Attachments werden nicht repliziert (Smart Replication ) </li></ul></li></ul></li></ul> <ul><li><ul><li><ul><li><ul><li>Maildatei, mail.box, autosave.nsf ODS51</li></ul></li></ul></li></ul></li></ul> <ul><li><ul><li><ul><li>Weiterleiten von Mails </li></ul></li></ul></li></ul> <ul><li><ul><li><ul><li>Antwort mit Historie </li></ul></li></ul></li></ul> <ul><li><ul><li><ul><li>Show stat DAOS</li></ul></li></ul></li></ul> <ul><li><ul><li>ServerServer (8.5.1) </li></ul></li></ul> <ul><li><ul><li><ul><li> bekannte Attachments werden nicht repliziert </li></ul></li></ul></li></ul> <ul><li>Bercksichtigung des Alters des Anhangs / der NLO Datei</li></ul> <ul><li><ul><li>&lt; = 5 Tage auf schnellen lokalen Medien </li></ul></li></ul> <ul><li><ul><li>&gt; Verlagerung auf langsamere Medien </li></ul></li></ul> <ul><li>Feature Request : ein Repository pro Domain / Cluster </li></ul> <p> 52. DAOS und Replikation </p> <ul><li>Domino8.5 </li></ul> <ul><li>Domino8.5.1 </li></ul> <ul><li>Achtung : ADMINP_ACCELERATED_REPLICA_OVERRIDE=4!! </li></ul> <p> 53. DAOS und Replikation (cont.) 54. Lesenswertes DAOS Wiki http://www-10.lotus.com/ldd/dominowiki.nsf/archive?openview&amp;title=DAOS&amp;type=cat&amp;cat=null&amp;tag=DAOS DAOS Backup and Restore http://www-10.lotus.com/ldd/dominowiki.nsf/dx/daosbackup-and-restore DAOS Estimator http://www.ibm.com/support/docview.wss?rs=463&amp;uid=swg24021920 DAOS Technical Overview http://www.nelotus.org/A55CBA/nelotus.nsf/87fde291d7608ada852564c9006eeba5/b6523e7f4b15585b862575b5004d3488/$FILE/DAOSTechnicalOverview_NELotus.pdf 55. Fragen?? 56. Vielen Dank!! fr Ihre Aufmerksamkeit fr das Ausfllen des Bewertungsbogens </p>