无法启动Spark ThriftServer（Hive-site.xml for spark未覆盖默认值）

backgroud：

CentOS7.
Hadoop-2.7.3.
Spark-2.0.1-bin-hadoop2.7
apache-hive-2.1.0-bin（仅用于通过Hive -Service Metastore启动Metastore Service）
已配置hadoop_home，spark_home和hive_home等。配置
mysql 5.7.16
将MySQL-Connector-Java-5.1.40-Bin.jar放入Hive / Lib /和Spark / Jars /

hive-site.xml：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://www.test.com:3306/metastore</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>password</value>
    </property>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://www.test.com:9083</value>
    </property>
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>true</value>
    </property>
</configuration>

我将Hive-site.xml放入hive / conf /和spark / conf /

但是运行start-thriftserver.sh，我收到错误日志（在spark_home / logs / spark--HivethriftServer2.。出去）：

......
INFO HiveUtils: Initializing HiveMetastoreConnection version 1.2.1 using Spark classes.
INFO metastore: Trying to connect to metastore with URI thrift://www.test.com:9083
INFO metastore: Connected to metastore.
......
DEBUG ObjectStore: Overriding javax.jdo.option.ConnectionURL value null from  jpox.properties with jdbc:derby:memory:;databaseName=/tmp/spark-37dcab7f-655a-4506-abd7-492a8620a33e/metastore;create=true
......
INFO MetaStoreDirectSql: Using direct SQL, underlying DB is DERBY
......
org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

在日志中，我们可以看到“hive.metaStore.URIS”的属性。

但似乎其他MySQL的相对属性不起作用，Metastore仍然使用默认数据库德比。

任何帮助感激！谢谢。

解决：

我删除了hive.metaStore.uris，因为我刚刚在本地使用。

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://www.test.com:9083</value>
</property>

设置hive.metasotre.schema.verification to false。感谢Nirmal的帮助。

看答案

发现此错误日志

Caused by: MetaException(message:Version information not found in metastore

设定，价值 hive.metastore.schema.verification 在Hive-site.xml中为shive-site.xml in shive-site.xml并重新启动服务并重新尝试

智能推荐

spark-shell启动spark报错

spark-shell启动spark报错前言　　离线安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等应用，过程很是波折，此处就不抱怨了，直接进入主题。描述　　在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴天霹雳，...

Ambari上spark2.1.1的Spark History ServerUI无法显示appliation信息（未解决）

配置spark-default.conf如下...

spark运行原理和启动

#集群启动spark-shell（指定了集群的参数）–集群主机url --核心数 --使用内存 --运行程序 --路径 /opt/spark/bin/spark-shell --master spark://master1:7077 --executor-memory 512m Spark集群中运行.py文件命令： /opt/spark/bin/spark-submit --maste...

Spark Client启动原理探索

Spark Client启动原理探索经过几天闲暇时间的学习，终于又理解的深入了一些，关于Spark Client如何提交作业也更清晰了点。在整体的流程图上是这样的：大体的思路就是应用程序通过SparkSubmit提交程序后，自动在当前的JVM中启动Driver，然后与Master通信创建Excutor执行相应的任务。自己整理了下流程图以及的组件图：可以看到大概是下面的步骤：新建Spa...

网线接法

摄像头的8种颜色：橙、黄、绿、紫、灰、蓝、棕、白分别对应双绞线的8种颜色：橙白、橙、绿白、蓝、蓝白、绿、棕白、棕简化一点用网线的568B顺序分别对接就是：橙白（接橙色）、橙（接黄色）、绿白（接绿色）、蓝（接紫色）、蓝白（接灰色）、绿（接蓝色）、棕白（接棕色）、棕（接白色） 568A标准：绿白，绿，橙白，蓝，蓝白，橙，棕白，棕橙绿蓝棕排列好，先4-6交叉，再1-3、2-6 RJ-4...

猜你喜欢

SpringBoot打包成war包，部署到Tomcat并添加项目路径后，导致静态资源路径失效

静态资源访问失效，是应为其地址无法自动添加项目路径以下model.html 以下index.html 以下index_1.html 以下controller.java 结果...

Hive配置日志文件并测试

配置日志并测试进入到hive目录修改日志文件名称在hive目录下创建logs目录修改hive-log4j.properties配置文件hive.log.dir 把hive.log.dir=${java.io.tmpdir}/${user.name} 修改为 /opt/modules/hive-0.13.1/logs 退出hive 进入hive进行测试进入日志文件产生在hive控制台打印...

cdh beeline配置hive-site.xml不生效解决记录

最近用beeline替代hive cli，发现之前在hive-site.xml 的 Hive 客户端高级配置代码段（安全阀）的配置项，beeline居然不生效，如下图所示，而hive cli是生效的查看了执行机器上/etc/hive/conf/hive-site.xml文件，发现配置确实是修改了，一直以为是环境变量的原因，找了几个小时，网上也没相关解释，最后在hive-site.xml 的 Hi...

动画图解 Git 命令

在座的各位应该都知道，Git 作为居家必备、团队协作之利器，打从 Linus Torvalds 发布这款工具时起，便一直受到各路开发者的喜爱。不过，尽管如此， Git 里面太多干巴巴，看起来非常枯燥无味的命令行，一旦几天没用，就很容易就忘得一干二净，希望能出一些与 Git 相关的辅助教程，或者比较有趣、对小白比较友好的学习方式。 emmm.. 尽可能满足大家的一切要求啦。几天前，偶然在 Tw...

2.Webpack打包样式资源（入门）

写这篇入门文也算是给自己巩固一下知识，现目前自己也在自学webpack，很多地方还有不懂得地方感谢各位提出意见。目的：了解webpack五大核心概念中的loader属性（让webpack能够去处理那些非javaScript文件）。注：webpack能处理js、json资源。（可自行测试）。开始搭建webpack项目：一、我们先创建一个项目文件夹webpack-two-css，然后在项目文件...