IDEA远程连接HBase及其Java API实战详解
作者:唔仄lo咚锵 发布时间:2023-11-27 21:54:46
标签:idea,HBase,API
开放端口
安全组没开放端口是原罪!!!导致好多BUG费时费力。Hbase悄悄 * 的用了好多端口,比如被我抓到的42239,直接搜索报错药不对症。
Hbase安装
下载压缩包
可以去官网下载http://hbase.apache.org/downloads.html
也可以去镜像下载历史版本http://archive.apache.org/dist/hbase/
以1.3.2版本为例:
直接下载或者下载到本地再上传都行,看你哪个快。
wget http://archive.apache.org/dist/hbase/1.3.2/hbase-1.3.2-bin.tar.gz
tar -zxvf hbase-1.3.2-bin.tar.gz #解压
mv hbase-1.3.2-bin /urs/local/hbase
配置hbase-site.xml
cd /usr/local/hbase/conf
vi hbase-site.xml
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>/hbase-data</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master:2181</value>
</property>
配置hbase-env.sh
cd /usr/local/hbase/conf
echo $JAVA_HOME #若没有安装jdk可百度(偷懒)
vi hbase-env.sh #添加要一致
export JAVA_HOME=/usr/local/java
运行测试
cd /usr/local/hbase/bin
./start-hbase.sh
ip:16010访问
域名配置
服务器 vi /etc/hosts
私网ip master
本地 C:\Windows\System32\drivers\etc\hosts
公网ip master
IDEA源码
目录结构:
创建一个maven项目并在pom.xml添加依赖:
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>1.3.2</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.3.2</version>
</dependency>
版本是1.3.2,注意和你自己的一致,可以登录hbase shell时查看。
(插播反爬信息 )博主CSDN地址:https://wzlodq.blog.csdn.net/
log4j.properties配置
log4j.rootLogger=debug, stdout, R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=firestorm.log
log4j.appender.R.MaxFileSize=100KB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
log4j.logger.com.codefutures=DEBUG
hbase-site.xml配置
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" rel="external nofollow" ?>
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>/hbase-data</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master:2181</value>
</property>
</configuration>
HBaseCRUD.java
package ex3;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import java.io.IOException;
public class HbaseCRUD {
private static Configuration configuration;
private static Connection connection;
private static Admin admin;
/**
* 建立连接
*/
public static void init(){
configuration=HBaseConfiguration.create();
configuration.set("hbase.zookeeper.quorum","121.36.240.205"); // 换成你自己的IP
configuration.set("hbase.zookeeper.property.clientPort","2181");
try{
connection=ConnectionFactory.createConnection(configuration);
admin=connection.getAdmin();
}catch (IOException e){
e.printStackTrace();
}
}
/**
* 关闭连接
*/
public static void close(){
try{
if(admin!=null)
admin.close();
}catch (IOException e){
e.printStackTrace();
}
}
/**
* 创建表
* @param myTableName 表名
* @param colFamily 列族数组
* @throws IOException
*/
public static void createTable(String myTableName,String[]colFamily)throws IOException{
TableName tablename = TableName.valueOf(myTableName);
if(admin.tableExists(tablename)){
System.out.println("表名已存在!");
}
else{
HTableDescriptor hTableDescriptor = new HTableDescriptor(tablename);
for(String str:colFamily){ //增加一列
HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(str);
hTableDescriptor.addFamily(hColumnDescriptor);
}
admin.createTable(hTableDescriptor); //建表
}
}
/**
* 添加数据
* @param tablename 表名
* @param rowKey 行键
* @param colFamily 列族
* @param col 列限定符
* @param val 数据
* @throws IOException
*/
public static void insertData(String tablename,String rowKey,String colFamily,String col,String val)throws IOException{
Table table = connection.getTable(TableName.valueOf(tablename));//获取表名
Put put = new Put(rowKey.getBytes());
put.addColumn(colFamily.getBytes(),col.getBytes(),val.getBytes());
table.put(put);
table.close();
}
/**
* 获取数据
* @param tablename 表名
* @param rowKey 行键
* @param colFamily 列族
* @param col 列限定符
* @throws IOException
*/
public static void getData(String tablename,String rowKey,String colFamily,String col)throws IOException{
Table table = connection.getTable(TableName.valueOf(tablename));
Get get = new Get(rowKey.getBytes());
get.addColumn(colFamily.getBytes(),col.getBytes());
Result result = table.get(get);
String val = new String(result.getValue(colFamily.getBytes(),col==null?null:col.getBytes()));
System.out.println("值为:"+val);
table.close();
}
}
Client.java
package ex3;
import org.apache.log4j.BasicConfigurator;
import java.io.IOException;
public class Client {
public static void main(String[] args) throws IOException {
HbaseCRUD.init();
//建表
HbaseCRUD.createTable("student",new String[]{"score"});
//插入数据
HbaseCRUD.insertData("student","lisa","score","Java","85");
HbaseCRUD.insertData("student","lisa","score","C/C++","80");
HbaseCRUD.insertData("student","lisa","score","MySQL","82");
HbaseCRUD.insertData("student","jerry","score","Java","65");
//查询数据
HbaseCRUD.getData("student","lisa","score","Java");
HbaseCRUD.getData("student","lisa","score","MySQL");
HbaseCRUD.getData("student","jerry","score","Java");
HbaseCRUD.close();
System.out.println("记得一键三连~");
}
}
点击运行后需要点耐心等待,灰色INFO、DEBUG信息都可不用管,报错的话会是红色字体(评论区交流),有tomcat内味了。
原创不易,请勿转载(本不富裕的访问量雪上加霜 )
博主首页:https://wzlodq.blog.csdn.net/
来源:https://blog.csdn.net/qq_45034708/article/details/115678645


猜你喜欢
- 本文实例讲述了C#静态static的用法,分享给大家供大家参考。具体用法分析如下:一、静态类静态类与非静态类的重要区别在于静态类不能实例化,
- 目录1、前提知识2、实现思路:1、前提知识需要知道简单的IO流操作,以及简单的UDP发送数据包的原理。需要用到的类:DatagramSock
- 前言在开发 Flutter 应用程序时,我们需要有一个组件来管理全局设置,包括主题、导航和路由。这就是 MaterialApp 的用途。作为
- 前言OpenCVSharp是OpenCV的.NET wrapper,是一名日本工程师开发的,项目地址为:https://github.com
- 在项目的开发过程中,难免会遇见后需要后台处理的任务,例如定时发送邮件通知、后台处理耗时的数据处理等,这个时候你就需要Quartz.Net了。
- 谨记:Url表只储存受保护的资源,不在表里的资源说明不受保护,任何人都可以访问1、MyFilterInvocationSecurityMet
- 1. 前言今天开始我们来一步步窥探它是如何工作的。我们又该如何驾驭它。本篇将通过 Spring Boot 2.x 来讲解 Spring Se
- 思路如下:给定一个含有n个元素的整型数组a,求a中所有元素的和。问题的难点在于如何使用递归上。如果使用递归,则需要考虑如何进行递归执行的开始
- 本文实例讲述了Android使用SharedPreferences存储数据的实现方法。分享给大家供大家参考,具体如下:编辑短信的时候,突然接
- C#的多态性:我的理解是:同一个操作,作用于不同的对象时,会有不同的结果,即同一个方法根据需要,作用于不同的对象时,会有不同的实现。C#的多
- 背景最近再做一个需求,就是对站点的一些事件进行埋点,说白了就是记录用户的访问行为。那么这些数据怎么保存呢,人家点一下保存一下?显然不合适,肯
- 1. java.lang.nullpointerexception 这个异常大家肯定都经常遇到,异常的解释是"程序遇上
- 使用到的类:net.sf.json.JSONObject 使用JSON时,除了要导入JSON网站上面下载的json-lib-2.2
- RestAPI中, 经常需要操作json字符串, 需要把json字符串"反序列化"成一个对象, 也需要把一个
- 背景公司开发框架增加了web系统license授权证书校验模块,实行一台机器一个授权证书,初步方案是增加 * 针对全局请求进行拦截校验,评估
- 这篇文章是博主在通过学习Android Studio的同时,实现service项目中用于背景音乐的实现,邮件的发送用于随堂小测的发送邮件功能
- 这两天遇到一个服务假死的问题,具体现象就是服务不再接收任何请求,客户端会抛出Broken Pipe。检查系统状态执行top,发现CPU和内存
- 最近项目需要在浏览器中通过URL预览图片。但发现浏览器始终默认下载,而不是预览。研究了一下,发现了问题:// 设置response的Head
- mybatis-plus实现in嵌套sql今天使用jeegboot看源码时发现用户权限部分的代码条件查询的inSql方法的用法:即sql中的
- 前言通常在工作中比较常用到的Microsoft Word是属于国外的文档内容编辑软件,其编译技术均属国外。而OFD是一种我国的自主文档格式,