技术标签: hadoop HBase HDFS kerberos 黑斑羚
我们正在开发与HDFS,HBASE和Impala等Hadoop组件进行交互的Web应用程序。群集已开始,我们正在使用JAAS配置进行认证。我们在VM参数中配置JAAS如下
-Djava.security.auth.login.config=/user/gss-jaas.conf
-Djava.security.krb5.conf=/user/krb5.ini
-Djavax.security.auth.useSubjectCredsOnly=false
我们的JAAS配置如下
com.sun.security.jgss.initiate {
com.sun.security.auth.module.Krb5LoginModule required
useTicketCache=false
doNotPrompt=true
useKeyTab=true
keyTab="file:C:/blah/blah/dummy.keytab"
principal="[email protected]"
debug=false;
};
连接到HBASE和HDFS时,它可以正常工作。但是,在与Impala建立联系时,我们面临问题。当我们更改时,我们可以与Impala联系 com.sun.security.jgss.initiate 至 Client 但是我们不想更改或在JAAS配置之间进行切换。
有什么方法可以使用相同的JAAS配置文件作为所有服务?我们不想使用system.setproperties来做到这一点。而且,当JAAS配置之间切换时,我们会得到异常。因此,使用相同的配置文件会更好。
有帮助吗?
你不必 转变。只要两者都使用!
你想知道为什么有两个强制性 ; - 最后一个参数之后,一个后面的撑杆?那是因为你可以 多种机制 在部分内定义(从第一个到最后一次尝试),并且 多个部分 (带有不同名称)在同一配置文件中。
例如,查看KAFKA文档,例如,他们如何在同一文件中设置经纪人和客户端应用程序的JAAS配置: http://docs.confluent.io/current/kafka/sasl.html
如果您对多种机制感到好奇,请查看Java文档 (但是要小心,这些东西是一场噩梦,可以调整和调试...) https://docs.oracle.com/javase/8/docs/jre/api/security/jaas/jaas/spec/spec/sun/security/auth/auth/module/krb5loginmodule.html
异常症状: 命令: MLSD 响应: 150 File status okay; about to open data connection. 响应: 226 Closing data connection. 错误: 收到服务器的 TLS 警告: User canceled (90) 错误: Could not read from transfer socket: ECONNABORTED - 连...
今天下午浪费了不少时间在搞本地hbase server测试,测试代码如下: 一直报一些莫名其妙的错误: 后来发现原来是java client的版本和server的版本不对,修改正确的依赖版本,问题解决: ...
问题一 impala-state-store: unrecognized service 原因 当前节点未成功安装impala-server impala-state-store impala-catalog 解决方案 yum install -y impala impala-server impala-state-store impala-catalog impala-shell 问...
1.前置 用户可以通过ThriftServer来访问HBase服务,它的特点如下: ThriftServer代理用户访问HBase服务返回操作结果,用户客户端不需要直接跟HBase进行通信 用户可以使用java/python/php/c++等语言的Thrift客户端代码访问HBase服务(HBase本身客户端只支持java语言) 2. Kerberos下的ThriftServer使用 如果HBas...
Impala是基于Hive的大数据实时分析查询引擎,直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析,实现了Hive的SQL语义的子集,功能还在不断的完善中。 与Hive的关系 Impala 与Hive都是构建在Hadoop之上的数据查询工...
Hive 和 Impala的异同 Hive是一个建立在APACHE HADOOP之上的数据仓库软件项目,由Jeff在Facebook的团队开发,目前已经发布了2.3.0的稳定版本。它被用于总结大数据,使查询和分析变得容易。Apache Hive是SQL-in Hadoop的有效标准。Impala是一个运行在Apache Hadoop上的并行处理SQL查询引擎,用于处理存储在HBase (Hadoo...
Impala可以通过Hive外部表方式和HBase进行整合,步骤如下: • 步骤1:创建hbase 表,向表中添加数据 • 步骤2:创建hive表 • 步骤3:刷新Impala表 本文转自大数据躺过的坑博客园博客,原文链接:http:/...
现象 该程序已在多个环境上部署,上线成功,今天在一个新环境中部署,发现出现了kerberos认证不通过的现象,java.io.IOException: Login failure for [email protected] from keytab ./user.keytab,已经验证了该认证凭证正常,能正常认证 方案 参考stackoverflow 需要将krb5.conf文件中的参数进行调整...
目录 一、概述 1.1简介 1.2优势 1.3主要特点 二、Impala架构 2.1Impala Daemon 2.2Impala Statestore 2.3Impala Catalog Service 三、Impala查询的执行过程 3.1Impala查询过程图 3.2Impala执行查询的具体过程 四、Impala与Hive的比较 4.1Impala与Hive对比图 4.2Hive与Impa...
摄像头的8种颜色:橙、黄、绿、紫、灰、蓝、棕、白 分别对应双绞线的8种颜色:橙白、橙、绿白、蓝、蓝白、绿、棕白、棕 简化一点用网线的568B顺序分别对接就是:橙白(接橙色)、橙(接黄色)、绿白(接绿色)、蓝(接紫色)、蓝白(接灰色)、绿(接蓝色)、棕白(接棕色)、棕(接白色) 568A标准:绿白,绿,橙白,蓝,蓝白,橙,棕白,棕 橙绿蓝棕 排列好,先4-6交叉,再1-3、2-6 RJ-4...
I'm trying to suppress IE's default handling of Ctrl+O. I've got a onKeyDown handler which get's called, but even though I call event.cancelBubble and return false, the default File|Open command still...
Recently i've picked up Oracle SQL, Right now i'm trying to write a function that later will be used in a view to generate a list. but for now im stuck on the function itself... The function makes use...
I have a problem regarding of creating table. I want to do this: But I got this: I have tried everything and I'm realize that I have problem with the looping. I've tried to put @endforeach before <...
I have a WPF 3D application (C# .NET 4.0) that has a lot of 3D geometries. Now I need to color these geometries by applying a texture. The source for the texture is one large .PNG file like the follow...
after filling the inputs in the view and clicking the submit button, the records gets saved just fine if I use Firefox. The same goes for IE if I'm quick enough. But when I wait 10 seconds, the POST d...