Webinar Big Data - Enterprise Readiness mit Hadoop

  • Published on
    26-Jun-2015

  • View
    200

  • Download
    3

DESCRIPTION

Im Webinar Enterprise Readiness mit Hadoop - Infrastrukturen fr Big Data wird unter anderem Hadoop als etablierte Basis-Technologie fr Industrie 4.0 und Big Data-Anforderungen beleuchtet. Erfahren Sie, wie Ihre Infrastruktur fr die Verarbeitung und Analyse groer und polystrukturierter Datenmengen aus unterschiedlichen Quellsystemen aufgebaut sein muss.

Transcript

  • 1. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!Aus unserer Webinarreihe Exzellenz in Big Data:Aus unserer WebinarreiheExzellenz in Big Data:Wie kann ich Hadoop in meinem Unternehmen einsetzen und sicher betreiben?Uwe Neumann, Senior Sales ManagerEnterprise Readiness mit Hadoop

2. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deUwe NeumannSenior Sales Manageruwe.neumann@fun.de+49 721 96448-165Michael WeiProkurist, Vertriebsleitermichael.weiss@fun.de+49 721 96448-145Ihre Ansprechpartner 3. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deUnsere Ziele heuteVerstehen: Was ist Hadoop ?Erkennen: Hadoop bringt mir Mehrwerte in meinem BusinessVerstehen: Welche Plattformen sind fr Hadoop geeignetErkennen: Hadoop ist im professionellen Umgang eine Chance 4. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.de34Data Exploration Toolbox fr die Automotive IndustryBig Data im Industrie 4.0 Kontext2Enterprise Readiness mit Hadoop Infrastrukturen fr Big DataHeute:27.11.14Exzellenz in Big DataUnsere Big Data Webinarreihe16.01.15 5. www.fuwnw.wdwwew ..ffuunn.d.de e Machen Sie mehr aus Ihren Daten Machen Sie mehr aus Ihren Daten!1Log Management2Analyse-Lsungen frMaschinen DatenUnser Know-howUnabhngigesBeratungs- undLsungshaus fr3Industrie 4.0 & Big DataAnwendungen 6. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deSolides FundamentDie solide Basis fr IT-InfrastrukturEnterprise readyOffene Standards fr InteroperabilittHohe PerformanceMandantenfhigSecurity & ComplianceBetrieb & AnalyseNeue Anwendungen Vertrauenswrdige Informationen Wertvolle ErkenntnisseSLAsKostengnstigDie Basis fr den Erfolg Ihres Unternehmens 7. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deHadoop speichert jede Art von Daten, analysiert und transformiertWas ist Hadoop? 8. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.de Datenin kleinere Teile aufbricht und diese in einem Server-Cluster zur Parallel-Verarbeitung verteiltnamenodesdatanodeshdfs clientNode MetadataAnwendungWas ist Hadoop ? Ein Open Source Framework welches Daten datenintensive Anwendungen untersttzt groe, strukturierte wie unstrukturierte Daten auf einer Vielzahl von Knoten bearbeitet. 9. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deTeilt Dateien in kleinere Blcke Standardeinstellung ist 64MB Blockgre Reduzierte SuchzeitenHDFS repliziert automatisch die Datenblcke auf unterschiedliche Server AusfallsicherheitBasiert auf einem typischen Liunx Filesystem InvestitionssicherheitDie Kernelemente von Hadoop HDFS Hadoop Distributed File System 10. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deSpeichert Blcke von Dateien auf dem nativen FilesystemBedient direkt die Schreib-/Lesezugriffe des ClientsFhrt die Block Erzeugung, Lschung und Duplizierung aus und speichert den gleichen Block mehrfach RedundanzFhrt die Berechnung auf den einzelnen Blcken aus Parallele BearbeitungDie Kernelemente von Hadoop HDFS Datenknoten - datanode 11. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deKoordiniert die Daten SpeicherungVerwaltet die Dateitabelle (namespace)Speichert alle Metadaten im RAMWeist den Datenknoten die Blcke zuKoordiniert die Replikation der DatenblckeDie Kernelemente von Hadoop HDFS namenode 12. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deBringt die Anwendung zu den Daten Verteilt die Bearbeitungsaufgaben (Tasks) auf die datanodes.Steuert die Auslastung der RechenkapazittenBringt bei Ausfall eines datanodes seine Tasks automatisch auf einen anderen KnotenErmglichst somit die parallele Datenverarbeitung im ClusterDie Kernelemente von Hadoop Hadoop job tracker 13. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deEin Einblick in eine auf Hadoop basierte Data Management PlattformQuelleDATEN ZUGRIFFData Workflow, Lifecycle & GovernanceFalconSqoopFlumeNFSWebHDFSGOVERNANCE & INTEGRATIONSICHERHEITAuthenticationAuthorizationAccountingData ProtectionStorage: HDFSResources: YARNAccess: Hive, Pipeline: FalconCluster: KnoxProvision, Manage & MonitorAmbariZookeeperSchedulingOozieBETRIEBScriptPigSearchSolrSQLHive/Tez, HCatalogNoSQLHBaseAccumuloStreamStormOthersSpark, In- Memory,ISV enginesDATA MANAGEMENT1NHDFS (Hadoop Distributed File System)BatchMap ReduceYARN: Data Operating System 14. www.fuwnw.wdwwew ..ffuunn.d.de e Machen Sie mehr aus Ihren Daten Machen Sie mehr aus Ihren Daten!Viele Mitarbeiter greifenauf unterschiedlicheSysteme zuHistorisch gewachseneSystemlandschaftund SpezialsystemeSilos mit vielfltigstrukturierten undunstrukturiertenDatenEDWs Marts Servers Documents Storage SearchERP, CRM, RDBMS, Machines Bilder, Videos, Streams Externe DatenArchivesProduktionManagement Controlling Vertrieb Produktion Logistik AnalyseQuelle:Die Big Data Herausforderungin herkmmlichen Systemen 15. www.fuwnw.wdwwew ..ffuunn.d.de e Machen Sie mehr aus Ihren Daten Machen Sie mehr aus Ihren Daten!EDWs Marts Documents Storage SearchERP, CRM, RDBMS, Machines Bilder, Videos, Streams Externe DatenArchivesProduktionManagement Controlling Vertrieb Produktion Logistik AnalyseAktives, einheitliches Archiv Vollstndige Originaldaten Unbegrenzte Zeit, jede QuelleNiedrige SpeicherkostenPersistente Datenhaltung Eine Datenquelle fr jedwedeAnalyse Schneller und kostengnstigerSelf-Service BI Einfache Such- und BI-Tools Reduziert Anfragen an die interneITVielfltige Analyse Plattform Bringt die Anwendung zu denDaten Echtzeit AnalytikQuelle:Der neue Weg:Die Anwendung zu den Daten bringen 16. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deHadoop ist eine der kostengnstigsten Big Data PlattformenHadoop ist fr alle Arten von Daten geeignet4ValueHadoop verarbeitet beliebig groe Datenmengen3Volume!2Variety?Hadoop skaliert linear mit der Anzahl der DatenknotenVelocity1Warum Hadoop? Untersttzt die vier Kernaspekte von Big Data 17. www.fuwnw.wdwwew ..ffuunn.d.de e Machen Sie mehr aus Ihren Daten Machen Sie mehr aus Ihren Daten!23 bieten professionelle Wartungspakete undSupport1 liefern validierte, Enterprise-fhigeDistributionen und sind international vertreten entwickeln zusammen mit der OpenSourceCommunity Hadoop stndig weiterWelches Hadoop?cloudera und Hortonworks 18. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.dePreisgnstige Plattform in Hinsicht TCO (Total Cost of Ownership)AnschaffungskostenKosten fr Installation und ValidierungKosten fr Betrieb und WartungWelche Hardware fr Hadoop? GrundanforderungenAuf aktuelle Hardware setzenHochverfgbarkeitRedundanz aller Komponenten (Netzteile, Switches etc)Namenodes immer redundant auslegenMit der Anzahl der Datenknoten steigt die Fehlertoleranz 19. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deGrundanforderungen an die HardwareGrundanforderungenTypische Enterprise class ServerAusgelegt fr Hochverfgbarkeit und BetriebssicherheitDie Mehrkosten hierfr sind gerechtfertigt, da nur wenige Rechner dieser Klasse bentigt werdenMasterz.B namenodeSlavesz.B. datanodesGrundanforderungenStandardserver von namhaften HerstellernKein Auslegung auf HochverfgbarkeitJedoch: Mglichst hohe I/O pro SekundeAusfallsicherheit wird durch Software abgebildet 20. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deBeispiel fr konkrete Hardware fr Hadoop einzelne Rechenknoten mit lokalem StorageCisco Rackserver2 CPU sandy bridge, 128 GB RAM, 8 * HDD 2,5 1TB SATA, 2 * 10 Gbit NICSpeicherkapazitt [DAS] pro Server8 TB brutto, RAID 0, n=3 2,66 TB netto100 I/Os pro HDD, n=3 266 I/Os pro ServerSpeicherkapazitt gesamt2,66 TB * 4 == 10,64 TB266 I/Os * 4 == 1064 I/Os1 Namenode [Management Server]4 Datanodes mit Festplatten [DAS]Quelle 21. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deCisco Rackserver2 CPU sandy bridge, 128 GB RAM, 1 * HDD 2,5 1TB SATA, 2 * 10 Gbit NICSpeicherkapazitt [NetApp E5560] gesamt max Ausbau 60 HDD30 * 2 TB 60 TB brutto, n=2, 24 TB netto300 I/Os *4 == 1200 I/Os gesamtSpeicherkapazitt [LUN] pro Server15 TB brutto, RAID 5, n=2 6 TB netto300 I/Os pro ServerBeispiel fr konkrete Hardware fr Hadoop einzelne Rechenknoten mit Storageeinheiten1 Namenode [Management Server]4 Datanodes mit zentr. StorageQuelle 22. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deHadoop storage mit E-seriesHohe Speicherdichte u. Kapazitt180TB in 4 HheneinheitenGeringe StandflcheReplikationsfaktor von 2 statt 3Geringere Netzwerk-LastBesserer DurchsatzHochverfgbarkeit fr HadoopZuverlssiger NameNodeSchnellere cluster recoveryEine konkrete Hardware fr Hadoop NetApp Solutions for HadoopQuelle 23. www.fuwnw.wdwwew ..ffuunn.d.de e Machen Sie mehr aus Ihren Daten Machen Sie mehr aus Ihren Daten!Wchst mit IhrenAnforderungenMaximale Flexibilitt: Die Unified Architektur stellt sicher, dass der FlexPodauch in bestehende IT-Umgebungen eingebunden werden kann.RZ konforme BigDataAnalytics PlattformSkalierbare undhochverfgbareArchitekturSchnelle, risikoloseImplementierungOptimierter undstandardisierter Betrieb24x7 Hotline frGesamtinfrastrukturAlle Komponenten sind perfekt aufeinanderabgestimmtSchneller beschafftSchneller implementiertGeringererManagementaufwandEine Hotline fr allesModulareReferenzarchitektur Building Blocks passenimmer optimal zusammenFlexPod Select =Speziell optimiert frBig Data WorkloadsMehr Betriebssicherheit mitweniger AufwandPlug and Play fr Ihre Hadoop InstallationNetApp Flexpod Select 24. www.fuwnw.wdwwew ..ffuunn.d.de e Machen Sie mehr aus Ihren Daten Machen Sie mehr aus Ihren Daten!http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_cluster-planning-guide/content/ch_hardware-recommendations.htmlhttp://www.netapp.com/us/media/ar-esg-netapp-open-solution.pdfhttp://www.cloudera.com/content/cloudera/en/resources/library/whitepaper/evaluating-hardware-platforms-for-cloudera.htmlMehr zum Thema Hardware fr Hadoop 25. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deUnd was mache ich damit ? Analytics Tools eine Auswahl3rd Party ToolsPentahoTalendRKNIMEInformaticaSASHunkRapidminerHadoop ToolsHive, PIG, Mahout Quelle 26. www.fuwnw.wdwwew ..ffuunn.d.de e Machen Sie mehr aus Ihren Daten Machen Sie mehr aus Ihren Daten!23Industrie 4.01Leistungsfhige Big Data Infrastruktur undInnovative SpeichertechnologieEnterprise fhige Hadoop-DistributionenUnsere Partner fr Ihren ErfolgInfrastruktur, Big Data Technologie und Know HowFraunhofer IOSB-INAAnwendungszentrum Industrial AutomationLemgo 27. www.fuwnw.wdwwew ..ffuunn.d.de e Machen Sie mehr aus Ihren Daten Machen Sie mehr aus Ihren Daten!Weg frei fr Ihre Big Data InfrastrukturKonkreten UsecasewhlenPrsentations-terminder geplantenVorgehensweiseMit allen BeteiligtenAbteilungenWorkshop undgemeinsameDurchfhrungProof of ConceptBusinesscase/DurchfhrbarkeitUmsetzung /Produktiv1 2 3 4 5 28. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deExzellenz in Big Data coming next33. Data Exploration Toolbox fr die Automotive IndustryUnsere Big Data Webinarreihe4Big Data im Industrie 4.0 Kontext22. Enterprise Readiness mit Hadoop Infrastrukturen fr Big DataHeute:27.11.1416.01.15 29. www.fun.deMachen Sie mehr aus Ihren Datenwww.fun.deMachen Sie mehr aus Ihren Daten!www.fun.deUwe NeumannSenior Sales Manageruwe.neumann@fun.de+49 721 96448-165www.fun.deMichael WeiProkurist, Vertriebsleitermichael.weiss@fun.de+49 721 96448-145www.fun.de

Recommended

View more >