Apache Hadoop voor Windows

Apache Hadoop is een open source-oplossing voor gedistribueerd computergebruik op big data

Big data is een marketingterm die het hele idee omvat van datamined uit bronnen zoals zoekmachines, kooppatronen van supermarkten die worden bijgehouden via puntenkaarten enz. In de moderne wereld heeft internet zoveel gegevensbronnen, die door de schaal vaker wel dan niet onbruikbaar worden zonder verwerking en verwerking zou ongelooflijk veel tijd vergen voor een server. Voer Apache Hadoop in

Minder tijd voor gegevensverwerking

Door gebruik te maken van Hadoop-architectuur om verwerkingstaken over meerdere machines op een netwerk te verdelen, worden verwerkingstijden astronomisch verkort en kunnen antwoorden in redelijke hoeveelheden worden bepaald van tijd. Apache Hadoop is opgesplitst in twee verschillende componenten: een opslagcomponent en een verwerkingscomponent. In de eenvoudigste bewoordingen maakt Hapoed één virtuele server van meerdere fysieke machines. In werkelijkheid beheert Hadoop de communicatie tussen meerdere machines zodanig dat ze zo nauw samenwerken dat het lijkt alsof er maar één machine aan de berekeningen werkt.De gegevens worden verdeeld over meerdere machines om te worden opgeslagen en verwerkingstaken worden toegewezen en gecoördineerd door de Hadoop-architectuur. Dit type systeem is een vereiste om ruwe data om te zetten in bruikbare informatie op de schaal van Big Data-invoer. Houd rekening met de hoeveelheid gegevens die Google elke seconde ontvangt van gebruikers die zoekopdrachten invoeren. Als een totale hoeveelheid gegevens zou je niet weten waar je moet beginnen, maar Hadoop zal de gegevensset automatisch verkleinen tot kleinere, georganiseerde subsets van gegevens en deze beheersbare subset toewijzen aan specifieke bronnen. Alle resultaten worden vervolgens gerapporteerd en geassembleerd tot bruikbare informatie.

Een eenvoudig in te stellen server

Hoewel het systeem ingewikkeld klinkt, zijn de meeste bewegende delen verborgen achter abstractie. Het instellen van de Hadoop-server is vrij eenvoudig, installeer gewoon de servercomponenten op hardware die voldoet aan de systeemvereisten. Het moeilijkere deel is het plannen van het netwerk van computers dat de Hadoop-server zal gebruiken om de opslag- en verwerkingsrollen te verdelen. Dit kan inhouden het opzetten van een lokaal netwerk of het verbinden van meerdere netwerken via internet. U kunt ook gebruikmaken van bestaande cloudservices en betalen voor een Hadoop-cluster op populaire cloudplatforms zoals Microsoft Azure en Amazon EC2. Deze zijn nog eenvoudiger te configureren, omdat u ze ad hoc kunt laten draaien en de clusters vervolgens kunt ontmantelen wanneer u ze niet meer nodig hebt. Dit soort clusters zijn ideaal om te testen, omdat je alleen betaalt voor de tijd dat het Hadoop-cluster actief is.

Verwerk uw gegevens om de informatie te krijgen die u nodig heeft

Big data is een uiterst krachtige hulpbron, maar gegevens zijn nutteloos tenzij ze correct kunnen worden gecategoriseerd en omgezet in informatie. Op dit moment bieden Hadoop clusters een uiterst kosteneffectieve methode om deze verzamelingen gegevens te verwerken tot informatie.