python操作hbase如何快速录入100万数据_python操作hbase数据的方法

配置 thrift

python使用的包 thrift

个人使用的python 编译器是pycharm community edition. 在工程中设置中&＃xff0c;找到project interpreter&＃xff0c; 在相应的工程下&＃xff0c;找到package&＃xff0c;然后选择 “&＃43;” 添加&＃xff0c; 搜索 hbase-thrift (Python client for HBase Thrift interface),然后安装包。

安装服务器端thrift。

参考官网&＃xff0c;同时也可以在本机上安装以终端使用。

thrift Getting Started

首先&＃xff0c;安装thrift

下载thrift&＃xff0c;这里&＃xff0c;我用的是thrift-0.7.0-dev.tar.gz 这个版本

tar xzf thrift-0.7.0-dev.tar.gz

cd thrift-0.7.0-dev

sudo ./configure –with-cpp&＃61;no –with-ruby&＃61;no

sudo make

sudo make install

然后&＃xff0c;到HBase的源码包里&＃xff0c;找到

src/main/resources/org/apache/hadoop/hbase/thrift/

执行

thrift –gen py Hbase.thrift

mv gen-py/hbase/ /usr/lib/python2.4/site-packages/ (根据python版本可能有不同)

获取数据示例 1

# coding:utf-8

from thrift import Thrift

from thrift.transport import TSocket

from thrift.transport import TTransport

from thrift.protocol import TBinaryProtocol

from hbase import Hbase

# from hbase.ttypes import ColumnDescriptor, Mutation, BatchMutation

from hbase.ttypes import *

import csv

def client_conn():

# Make socket

transport &＃61; TSocket.TSocket(&＃39;hostname,like:localhost&＃39;, port)

# Buffering is critical. Raw sockets are very slow

transport &＃61; TTransport.TBufferedTransport(transport)

# Wrap in a protocol

protocol &＃61; TBinaryProtocol.TBinaryProtocol(transport)

# Create a client to use the protocol encoder

client &＃61; Hbase.Client(protocol)

# Connect!

transport.open()

return client

if __name__ &＃61;&＃61; "__main__":

client &＃61; client_conn()

# r &＃61; client.getRowWithColumns(&＃39;table name&＃39;, &＃39;row name&＃39;, [&＃39;column name&＃39;])

# print(r[0].columns.get(&＃39;column name&＃39;)), type((r[0].columns.get(&＃39;column name&＃39;)))

result &＃61; client.getRow("table name","row name")

data_simple &＃61;[]

# print result[0].columns.items()

for k, v in result[0].columns.items(): #.keys()

#data.append((k,v))

# print type(k),type(v),v.value,,v.timestamp

data_simple.append((v.timestamp, v.value))

writer.writerows(data)

csvfile.close()

csvfile_simple &＃61; open("data_xy_simple.csv", "wb")

writer_simple &＃61; csv.writer(csvfile_simple)

writer_simple.writerow(["timestamp", "value"])

writer_simple.writerows(data_simple)

csvfile_simple.close()

print "finished"

会基础的python应该知道result是个list&＃xff0c;result[0].columns.items()是一个dict 的键值对。可以查询相关资料。或者通过输出变量&＃xff0c;观察变量的值与类型。

说明&＃xff1a;上面程序中 transport.open()进行链接&＃xff0c;在执行完后&＃xff0c;还需要断开transport.close()

目前只涉及到读数据&＃xff0c;之后还会继续更新其他dbase操作。

以上这篇python操作 hbase 数据的方法就是小编分享给大家的全部内容了&＃xff0c;希望能给大家一个参考&＃xff0c;也希望大家多多支持萬仟网。

希望与广大网友互动&＃xff1f;&＃xff1f;

点此进行留言吧&＃xff01;