You are viewing a plain text version of this content. The canonical link for it is here.
Posted to users@griffin.apache.org by LAP0335180314 <ma...@126.com> on 2019/03/13 09:59:42 UTC
Griffin for spark submit Error
Hi everyone,
Asking a question, I created a job on the griffin front page, and then I saw an error in the livy log.
what is the cause of this error? How to solve it?
TEXT FILE
java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: {
"measure.type" :%20%22griffin%22,%0A%20%20%22id%22%20:%20249,%0A%20%20%22name%22%20:%20%22job3%22,%0A%20%20%22owner%22%20:%20%22test%22,%0A%20%20%22description%22%20:%20%22test_desc%22,%0A%20%20%22deleted%22%20:%20false,%0A%20%20%22timestamp%22%20:%201552384680000,%0A%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%22sinks%22%20:%20%5B%20%22ELASTICSEARCH%22,%20%22HDFS%22%20%5D,%0A%20%20%22process.type%22%20:%20%22BATCH%22,%0A%20%20%22rule.description%22%20:%20%7B%0A%20%20%20%20%22details%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22name%22%20:%20%22mobile%22,%0A%20%20%20%20%20%20%22infos%22%20:%20%22Distinct%20Count,Null%20Count,Empty%20Count,Total%20Count%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22data.sources%22%20:%20%5B%20%7B%0A%20%20%20%20%22id%22%20:%20254,%0A%20%20%20%20%22name%22%20:%20%22source%22,%0A%20%20%20%20%22connectors%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20255,%0A%20%20%20%20%20%20%22name%22%20:%20%22source1552455921063%22,%0A%20%20%20%20%20%20%22type%22%20:%20%22HIVE%22,%0A%20%20%20%20%20%20%22version%22%20:%20%221.2%22,%0A%20%20%20%20%20%20%22predicates%22%20:%20%5B%20%5D,%0A%20%20%20%20%20%20%22data.unit%22%20:%20%221day%22,%0A%20%20%20%20%20%20%22data.time.zone%22%20:%20%22GMT%22,%0A%20%20%20%20%20%20%22config%22%20:%20%7B%0A%20%20%20%20%20%20%20%20%22database%22%20:%20%22stg%22,%0A%20%20%20%20%20%20%20%20%22table.name%22%20:%20%22yrd_users%22,%0A%20%20%20%20%20%20%20%20%22where%22%20:%20%22dt=%5C%222019-03-12%5C%22%22%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%20%5D,%0A%20%20%20%20%22baseline%22%20:%20false%0A%20%20%7D%20%5D,%0A%20%20%22evaluate.rule%22%20:%20%7B%0A%20%20%20%20%22id%22%20:%20250,%0A%20%20%20%20%22rules%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20251,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_nullcount%5C%60%20WHERE%20source.mobile%20IS%20NULL%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_nullcount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20252,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_emptycount%5C%60%20WHERE%20source.mobile%20=%20''%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_emptycount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20253,%0A%20%20%20%20%20%20%22rule%22%20:%20%22approx_count_distinct(source.mobile)%20AS%20%5C%60mobile_distcount%5C%60,count(source.mobile)%20AS%20%5C%60mobile_count%5C%60%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22measure.type%22%20:%20%22griffin%22%0A%7D
at org.apache.hadoop.fs.Path.initialize(Path.java:206)
at org.apache.hadoop.fs.Path.<init>(Path.java:172)
at org.apache.griffin.measure.utils.HdfsUtil$.openFile(HdfsUtil.scala:59)
at org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader$$anonfun$readConfig$1.apply(ParamFileReader.scala:40)
at org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader$$anonfun$readConfig$1.apply(ParamFileReader.scala:39)
at scala.util.Try$.apply(Try.scala:192)
at org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader.readConfig(ParamFileReader.scala:39)
at org.apache.griffin.measure.Application$.readParamFile(Application.scala:123)
at org.apache.griffin.measure.Application$.main(Application.scala:57)
at org.apache.griffin.measure.Application.main(Application.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:755)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.net.URISyntaxException: Relative path in absolute URI: {
"measure.type" :%20%22griffin%22,%0A%20%20%22id%22%20:%20249,%0A%20%20%22name%22%20:%20%22job3%22,%0A%20%20%22owner%22%20:%20%22test%22,%0A%20%20%22description%22%20:%20%22test_desc%22,%0A%20%20%22deleted%22%20:%20false,%0A%20%20%22timestamp%22%20:%201552384680000,%0A%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%22sinks%22%20:%20%5B%20%22ELASTICSEARCH%22,%20%22HDFS%22%20%5D,%0A%20%20%22process.type%22%20:%20%22BATCH%22,%0A%20%20%22rule.description%22%20:%20%7B%0A%20%20%20%20%22details%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22name%22%20:%20%22mobile%22,%0A%20%20%20%20%20%20%22infos%22%20:%20%22Distinct%20Count,Null%20Count,Empty%20Count,Total%20Count%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22data.sources%22%20:%20%5B%20%7B%0A%20%20%20%20%22id%22%20:%20254,%0A%20%20%20%20%22name%22%20:%20%22source%22,%0A%20%20%20%20%22connectors%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20255,%0A%20%20%20%20%20%20%22name%22%20:%20%22source1552455921063%22,%0A%20%20%20%20%20%20%22type%22%20:%20%22HIVE%22,%0A%20%20%20%20%20%20%22version%22%20:%20%221.2%22,%0A%20%20%20%20%20%20%22predicates%22%20:%20%5B%20%5D,%0A%20%20%20%20%20%20%22data.unit%22%20:%20%221day%22,%0A%20%20%20%20%20%20%22data.time.zone%22%20:%20%22GMT%22,%0A%20%20%20%20%20%20%22config%22%20:%20%7B%0A%20%20%20%20%20%20%20%20%22database%22%20:%20%22stg%22,%0A%20%20%20%20%20%20%20%20%22table.name%22%20:%20%22yrd_users%22,%0A%20%20%20%20%20%20%20%20%22where%22%20:%20%22dt=%5C%222019-03-12%5C%22%22%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%20%5D,%0A%20%20%20%20%22baseline%22%20:%20false%0A%20%20%7D%20%5D,%0A%20%20%22evaluate.rule%22%20:%20%7B%0A%20%20%20%20%22id%22%20:%20250,%0A%20%20%20%20%22rules%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20251,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_nullcount%5C%60%20WHERE%20source.mobile%20IS%20NULL%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_nullcount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20252,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_emptycount%5C%60%20WHERE%20source.mobile%20=%20''%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_emptycount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20253,%0A%20%20%20%20%20%20%22rule%22%20:%20%22approx_count_distinct(source.mobile)%20AS%20%5C%60mobile_distcount%5C%60,count(source.mobile)%20AS%20%5C%60mobile_count%5C%60%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22measure.type%22%20:%20%22griffin%22%0A%7D
at java.net.URI.checkPath(URI.java:1823)
at java.net.URI.<init>(URI.java:745)
at org.apache.hadoop.fs.Path.initialize(Path.java:203)
... 18 more
Re: Griffin for spark submit Error
Posted by LAP0335180314 <ma...@126.com>.
THANK YOU !
Look at your suggestion and find the root cause of the problem, which is to add a single quotation mark. (TO DO: dt= "# YYYY-MM-dd#" to dt=#YYYY-MM-dd#)
> 在 2019年3月13日，19:06，Lionel, Liu <bh...@163.com> 写道：
>
> Hi,
>
> Seems like the job configuration should be submitted as raw json string, but maybe the format is not correct, it was recognized as a file path.
> https://github.com/apache/griffin/blob/master/measure/src/main/scala/org/apache/griffin/measure/configuration/dqdefinition/reader/ParamReaderFactory.scala <https://github.com/apache/griffin/blob/master/measure/src/main/scala/org/apache/griffin/measure/configuration/dqdefinition/reader/ParamReaderFactory.scala>
>
> I think the encoded json string is the root cause.
>
> Thanks
> Lionel, Liu
>
> From: LAP0335180314 <ma...@126.com>
> Sent: 2019年3月13日 18:02
> To: users@griffin.apache.org <ma...@griffin.apache.org>
> Subject: Griffin for spark submit Error
>
>
> Hi everyone,
> Asking a question, I created a job on the griffin front page, and then I saw an error in the livy log.
> what is the cause of this error? How to solve it?
>
>
> <47D026B34C834FD6973920C90A577AA8.png>
>
>
>
>
>
>
> TEXT FILE
> java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: { "measure.type" :%20%22griffin%22,%0A%20%20%22id%22%20:%20249,%0A%20%20%22name%22%20:%20%22job3%22,%0A%20%20%22owner%22%20:%20%22test%22,%0A%20%20%22description%22%20:%20%22test_desc%22,%0A%20%20%22deleted%22%20:%20false,%0A%20%20%22timestamp%22%20:%201552384680000,%0A%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%22sinks%22%20:%20%5B%20%22ELASTICSEARCH%22,%20%22HDFS%22%20%5D,%0A%20%20%22process.type%22%20:%20%22BATCH%22,%0A%20%20%22rule.description%22%20:%20%7B%0A%20%20%20%20%22details%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22name%22%20:%20%22mobile%22,%0A%20%20%20%20%20%20%22infos%22%20:%20%22Distinct%20Count,Null%20Count,Empty%20Count,Total%20Count%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22data.sources%22%20:%20%5B%20%7B%0A%20%20%20%20%22id%22%20:%20254,%0A%20%20%20%20%22name%22%20:%20%22source%22,%0A%20%20%20%20%22connectors%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20255,%0A%20%20%20%20%20%20%22name%22%20:%20%22source1552455921063%22,%0A%20%20%20%20%20%20%22type%22%20:%20%22HIVE%22,%0A%20%20%20%20%20%20%22version%22%20:%20%221.2%22,%0A%20%20%20%20%20%20%22predicates%22%20:%20%5B%20%5D,%0A%20%20%20%20%20%20%22data.unit%22%20:%20%221day%22,%0A%20%20%20%20%20%20%22data.time.zone%22%20:%20%22GMT%22,%0A%20%20%20%20%20%20%22config%22%20:%20%7B%0A%20%20%20%20%20%20%20%20%22database%22%20:%20%22stg%22,%0A%20%20%20%20%20%20%20%20%22table.name%22%20:%20%22yrd_users%22,%0A%20%20%20%20%20%20%20%20%22where%22%20:%20%22dt=%5C%222019-03-12%5C%22%22%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%20%5D,%0A%20%20%20%20%22baseline%22%20:%20false%0A%20%20%7D%20%5D,%0A%20%20%22evaluate.rule%22%20:%20%7B%0A%20%20%20%20%22id%22%20:%20250,%0A%20%20%20%20%22rules%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20251,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_nullcount%5C%60%20WHERE%20source.mobile%20IS%20NULL%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_nullcount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20252,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_emptycount%5C%60%20WHERE%20source.mobile%20=%20''%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_emptycount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20253,%0A%20%20%20%20%20%20%22rule%22%20:%20%22approx_count_distinct(source.mobile)%20AS%20%5C%60mobile_distcount%5C%60,count(source.mobile)%20AS%20%5C%60mobile_count%5C%60%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22measure.type%22%20:%20%22griffin%22%0A%7D at org.apache.hadoop.fs.Path.initialize(Path.java:206) at org.apache.hadoop.fs.Path.<init>(Path.java:172) at org.apache.griffin.measure.utils.HdfsUtil$.openFile(HdfsUtil.scala:59) at org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader$$anonfun$readConfig$1.apply(ParamFileReader.scala:40) at org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader$$anonfun$readConfig$1.apply(ParamFileReader.scala:39) at scala.util.Try$.apply(Try.scala:192) at org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader.readConfig(ParamFileReader.scala:39) at org.apache.griffin.measure.Application$.readParamFile(Application.scala:123) at org.apache.griffin.measure.Application$.main(Application.scala:57) at org.apache.griffin.measure.Application.main(Application.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:755) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) Caused by: java.net.URISyntaxException: Relative path in absolute URI: { "measure.type" :%20%22griffin%22,%0A%20%20%22id%22%20:%20249,%0A%20%20%22name%22%20:%20%22job3%22,%0A%20%20%22owner%22%20:%20%22test%22,%0A%20%20%22description%22%20:%20%22test_desc%22,%0A%20%20%22deleted%22%20:%20false,%0A%20%20%22timestamp%22%20:%201552384680000,%0A%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%22sinks%22%20:%20%5B%20%22ELASTICSEARCH%22,%20%22HDFS%22%20%5D,%0A%20%20%22process.type%22%20:%20%22BATCH%22,%0A%20%20%22rule.description%22%20:%20%7B%0A%20%20%20%20%22details%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22name%22%20:%20%22mobile%22,%0A%20%20%20%20%20%20%22infos%22%20:%20%22Distinct%20Count,Null%20Count,Empty%20Count,Total%20Count%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22data.sources%22%20:%20%5B%20%7B%0A%20%20%20%20%22id%22%20:%20254,%0A%20%20%20%20%22name%22%20:%20%22source%22,%0A%20%20%20%20%22connectors%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20255,%0A%20%20%20%20%20%20%22name%22%20:%20%22source1552455921063%22,%0A%20%20%20%20%20%20%22type%22%20:%20%22HIVE%22,%0A%20%20%20%20%20%20%22version%22%20:%20%221.2%22,%0A%20%20%20%20%20%20%22predicates%22%20:%20%5B%20%5D,%0A%20%20%20%20%20%20%22data.unit%22%20:%20%221day%22,%0A%20%20%20%20%20%20%22data.time.zone%22%20:%20%22GMT%22,%0A%20%20%20%20%20%20%22config%22%20:%20%7B%0A%20%20%20%20%20%20%20%20%22database%22%20:%20%22stg%22,%0A%20%20%20%20%20%20%20%20%22table.name%22%20:%20%22yrd_users%22,%0A%20%20%20%20%20%20%20%20%22where%22%20:%20%22dt=%5C%222019-03-12%5C%22%22%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%20%5D,%0A%20%20%20%20%22baseline%22%20:%20false%0A%20%20%7D%20%5D,%0A%20%20%22evaluate.rule%22%20:%20%7B%0A%20%20%20%20%22id%22%20:%20250,%0A%20%20%20%20%22rules%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20251,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_nullcount%5C%60%20WHERE%20source.mobile%20IS%20NULL%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_nullcount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20252,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_emptycount%5C%60%20WHERE%20source.mobile%20=%20''%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_emptycount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20253,%0A%20%20%20%20%20%20%22rule%22%20:%20%22approx_count_distinct(source.mobile)%20AS%20%5C%60mobile_distcount%5C%60,count(source.mobile)%20AS%20%5C%60mobile_count%5C%60%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22measure.type%22%20:%20%22griffin%22%0A%7D at java.net.URI.checkPath(URI.java:1823) at java.net.URI.<init>(URI.java:745) at org.apache.hadoop.fs.Path.initialize(Path.java:203) ... 18 more
>
> <47D026B34C834FD6973920C90A577AA8.png>
RE: Griffin for spark submit Error
Posted by "Lionel, Liu" <bh...@163.com>.
Hi,
Seems like the job configuration should be submitted as raw json string, but maybe the format is not correct, it was recognized as a file path.
https://github.com/apache/griffin/blob/master/measure/src/main/scala/org/apache/griffin/measure/configuration/dqdefinition/reader/ParamReaderFactory.scala
I think the encoded json string is the root cause.
Thanks
Lionel, Liu
From: LAP0335180314
Sent: 2019年3月13日 18:02
To: users@griffin.apache.org
Subject: Griffin for spark submit Error
Hi everyone,
Asking a question, I created a job on the griffin front page, and then I saw an error in the livy log.
what is the cause of this error? How to solve it?
TEXT FILE
java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: { "measure.type" :%20%22griffin%22,%0A%20%20%22id%22%20:%20249,%0A%20%20%22name%22%20:%20%22job3%22,%0A%20%20%22owner%22%20:%20%22test%22,%0A%20%20%22description%22%20:%20%22test_desc%22,%0A%20%20%22deleted%22%20:%20false,%0A%20%20%22timestamp%22%20:%201552384680000,%0A%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%22sinks%22%20:%20%5B%20%22ELASTICSEARCH%22,%20%22HDFS%22%20%5D,%0A%20%20%22process.type%22%20:%20%22BATCH%22,%0A%20%20%22rule.description%22%20:%20%7B%0A%20%20%20%20%22details%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22name%22%20:%20%22mobile%22,%0A%20%20%20%20%20%20%22infos%22%20:%20%22Distinct%20Count,Null%20Count,Empty%20Count,Total%20Count%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22data.sources%22%20:%20%5B%20%7B%0A%20%20%20%20%22id%22%20:%20254,%0A%20%20%20%20%22name%22%20:%20%22source%22,%0A%20%20%20%20%22connectors%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20255,%0A%20%20%20%20%20%20%22name%22%20:%20%22source1552455921063%22,%0A%20%20%20%20%20%20%22type%22%20:%20%22HIVE%22,%0A%20%20%20%20%20%20%22version%22%20:%20%221.2%22,%0A%20%20%20%20%20%20%22predicates%22%20:%20%5B%20%5D,%0A%20%20%20%20%20%20%22data.unit%22%20:%20%221day%22,%0A%20%20%20%20%20%20%22data.time.zone%22%20:%20%22GMT%22,%0A%20%20%20%20%20%20%22config%22%20:%20%7B%0A%20%20%20%20%20%20%20%20%22database%22%20:%20%22stg%22,%0A%20%20%20%20%20%20%20%20%22table.name%22%20:%20%22yrd_users%22,%0A%20%20%20%20%20%20%20%20%22where%22%20:%20%22dt=%5C%222019-03-12%5C%22%22%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%20%5D,%0A%20%20%20%20%22baseline%22%20:%20false%0A%20%20%7D%20%5D,%0A%20%20%22evaluate.rule%22%20:%20%7B%0A%20%20%20%20%22id%22%20:%20250,%0A%20%20%20%20%22rules%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20251,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_nullcount%5C%60%20WHERE%20source.mobile%20IS%20NULL%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_nullcount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20252,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_emptycount%5C%60%20WHERE%20source.mobile%20=%20''%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_emptycount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20253,%0A%20%20%20%20%20%20%22rule%22%20:%20%22approx_count_distinct(source.mobile)%20AS%20%5C%60mobile_distcount%5C%60,count(source.mobile)%20AS%20%5C%60mobile_count%5C%60%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22measure.type%22%20:%20%22griffin%22%0A%7D at org.apache.hadoop.fs.Path.initialize(Path.java:206) at org.apache.hadoop.fs.Path.<init>(Path.java:172) at org.apache.griffin.measure.utils.HdfsUtil$.openFile(HdfsUtil.scala:59) at org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader$$anonfun$readConfig$1.apply(ParamFileReader.scala:40) at org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader$$anonfun$readConfig$1.apply(ParamFileReader.scala:39) at scala.util.Try$.apply(Try.scala:192) at org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader.readConfig(ParamFileReader.scala:39) at org.apache.griffin.measure.Application$.readParamFile(Application.scala:123) at org.apache.griffin.measure.Application$.main(Application.scala:57) at org.apache.griffin.measure.Application.main(Application.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:755) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) Caused by: java.net.URISyntaxException: Relative path in absolute URI: { "measure.type" :%20%22griffin%22,%0A%20%20%22id%22%20:%20249,%0A%20%20%22name%22%20:%20%22job3%22,%0A%20%20%22owner%22%20:%20%22test%22,%0A%20%20%22description%22%20:%20%22test_desc%22,%0A%20%20%22deleted%22%20:%20false,%0A%20%20%22timestamp%22%20:%201552384680000,%0A%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%22sinks%22%20:%20%5B%20%22ELASTICSEARCH%22,%20%22HDFS%22%20%5D,%0A%20%20%22process.type%22%20:%20%22BATCH%22,%0A%20%20%22rule.description%22%20:%20%7B%0A%20%20%20%20%22details%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22name%22%20:%20%22mobile%22,%0A%20%20%20%20%20%20%22infos%22%20:%20%22Distinct%20Count,Null%20Count,Empty%20Count,Total%20Count%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22data.sources%22%20:%20%5B%20%7B%0A%20%20%20%20%22id%22%20:%20254,%0A%20%20%20%20%22name%22%20:%20%22source%22,%0A%20%20%20%20%22connectors%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20255,%0A%20%20%20%20%20%20%22name%22%20:%20%22source1552455921063%22,%0A%20%20%20%20%20%20%22type%22%20:%20%22HIVE%22,%0A%20%20%20%20%20%20%22version%22%20:%20%221.2%22,%0A%20%20%20%20%20%20%22predicates%22%20:%20%5B%20%5D,%0A%20%20%20%20%20%20%22data.unit%22%20:%20%221day%22,%0A%20%20%20%20%20%20%22data.time.zone%22%20:%20%22GMT%22,%0A%20%20%20%20%20%20%22config%22%20:%20%7B%0A%20%20%20%20%20%20%20%20%22database%22%20:%20%22stg%22,%0A%20%20%20%20%20%20%20%20%22table.name%22%20:%20%22yrd_users%22,%0A%20%20%20%20%20%20%20%20%22where%22%20:%20%22dt=%5C%222019-03-12%5C%22%22%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%20%5D,%0A%20%20%20%20%22baseline%22%20:%20false%0A%20%20%7D%20%5D,%0A%20%20%22evaluate.rule%22%20:%20%7B%0A%20%20%20%20%22id%22%20:%20250,%0A%20%20%20%20%22rules%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20251,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_nullcount%5C%60%20WHERE%20source.mobile%20IS%20NULL%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_nullcount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20252,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_emptycount%5C%60%20WHERE%20source.mobile%20=%20''%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_emptycount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20253,%0A%20%20%20%20%20%20%22rule%22%20:%20%22approx_count_distinct(source.mobile)%20AS%20%5C%60mobile_distcount%5C%60,count(source.mobile)%20AS%20%5C%60mobile_count%5C%60%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22measure.type%22%20:%20%22griffin%22%0A%7D at java.net.URI.checkPath(URI.java:1823) at java.net.URI.<init>(URI.java:745) at org.apache.hadoop.fs.Path.initialize(Path.java:203) ... 18 more