Database Reference
In-Depth Information
2. Definieren Sie Ihre
put
_
many
-Funktion, indem Sie sie in die HBase-Shell
einfügen und wie folgt aufrufen:
hbase>
put
_
many 'wiki', 'Some title', {
hbase
*
"text:" => "Some article text",
hbase
*
"revision:author" => "jschmoe",
hbase
*
"revision:comment" => "no comment" }
4.3 Tag 2: Mit großen Datenmengen arbeiten
Nachdem wir am ersten Tag gelernt haben, wie man Tabellen anlegt und ma-
nipuliert, ist es an der Zeit, ein paar ernsthafte Daten in unsere Wiki-Tabelle
einzufügen. Heute wollen wir die HBase-APIs nutzen und Wikipedia-Inhalte
direkt in unser Wiki einfügen! Ganz nebenbei werden wir einige Performance-
Tricks kennenlernen, die für einen schnelleren Import sorgen. Abschließend
wollen wir uns die HBase-Interna anschauen, um zu sehen, wie Daten in
Regionen partitioniert werden, was sowohl der Performance als auch der Di-
saster-Recovery dient.
Daten importieren, Skripten ausführen
Ein typisches Problem, vor dem die Leute stehen, wenn sie ein neues Da-
tenbanksystem ausprobieren wollen, ist die Migration der Daten. Von Hand
durchgeführte
Put
-Operationen mit statischen Strings (wie am ersten Tag)
sind schön und gut, aber wir können das besser.
Glücklicherweise ist das Einfügen von Befehlen in die Shell nicht die einzige
Möglichkeit, sie auszuführen. Wenn Sie die HBase-Shell über die Kommando-
zeile starten, können Sie auch den Namen eines auszuführenden JRuby-
Skripts angeben. HBase führt das Skript dann aus, als hätten Sie es direkt
in die Shell eingetippt. Die Syntax sieht wie folgt aus:
${HBASE
_
HOME}/bin/hbase shell <Ihr
_
Skript> [<optionale
_
argumente> ...]
Da wir besonders an „Big Data“ interessiert sind, wollen wir ein Skript entwi-
ckeln, das Wikipedia-Artikel in unsere Wiki-Tabelle importiert. Die WikiMedia
Foundation - die über Wikipedia, Wictionary und andere Projekte wacht -,
veröffentlicht regelmäßig Daten-Dumps, die wir nutzen können. Diese Dumps
liegen in Form riesiger XML-Dateien vor. Hier ein beispielhafter Datensatz
aus der englischen Wikipedia:
