You are viewing a plain text version of this content. The canonical link for it is here.
Posted to dev@kylin.apache.org by Math <wh...@foxmail.com> on 2022/03/15 01:52:08 UTC
回复：spark-3.1.2 以及 kylin4.0.0问题请教
that not a problem, you just download kylin's shell, website is *********************
------------------ 原始邮件 ------------------
发件人: "dev" <zhouzhiheng@bxtdata.com>;
发送时间: 2022年3月14日(星期一) 晚上7:33
收件人: "dev"<dev@kylin.apache.org>;
主题: spark-3.1.2 以及 kylin4.0.0问题请教
您好，
我们公司在使用spark-3.1.2 以及 kylin4.0.0版本时，再kylin4创建model页面，setting选项卡中，添加了filter条件。但是构建cube失败，提示不能解析 filter 条件的属性。详细问题如下
filter如下图
报错提示如下：
2022-03-14 18:59:05,037 ERROR [Thread-1] application.SparkApplication : The spark job execute failed!
org.apache.spark.sql.AnalysisException: cannot resolve '`first_level_category`' given input columns:
以下是 columns 内容：其中与first_level_category相关的就是 RZP_INDUSTRY_0_DOT_0_FIRST_LEVEL_CATEGORY ！
[DATE_DIMENSION_TABLE_0_DOT_0_DT_DATE, DATE_DIMENSION_TABLE_0_DOT_0_DT_DAY, DATE_DIMENSION_TABLE_0_DOT_0_DT_MONTH, DATE_DIMENSION_TABLE_0_DOT_0_DT_SEASON, DATE_DIMENSION_TABLE_0_DOT_0_DT_YEAR, RZP_INDUSTRY_0_DOT_0_BOX_QUANTITY, RZP_INDUSTRY_0_DOT_0_BRAND, RZP_INDUSTRY_0_DOT_0_COLLECTION_NUM, RZP_INDUSTRY_0_DOT_0_DATA_MONTH, RZP_INDUSTRY_0_DOT_0_FEATURE_CALCIUM, RZP_INDUSTRY_0_DOT_0_FEATURE_CUSTOMER_GROUP, RZP_INDUSTRY_0_DOT_0_FEATURE_FAT, RZP_INDUSTRY_0_DOT_0_FEATURE_IMPORTED, RZP_INDUSTRY_0_DOT_0_FEATURE_IRON_ZINC, RZP_INDUSTRY_0_DOT_0_FEATURE_ORGANIC, RZP_INDUSTRY_0_DOT_0_FEATURE_PLACE_OF_PRODUCTION, RZP_INDUSTRY_0_DOT_0_FEATURE_PREBIOTICS, RZP_INDUSTRY_0_DOT_0_FEATURE_PROTEIN, RZP_INDUSTRY_0_DOT_0_FEATURE_SUGAR, RZP_INDUSTRY_0_DOT_0_FIRST_LEVEL_CATEGORY, RZP_INDUSTRY_0_DOT_0_INNER_PACKAGE, RZP_INDUSTRY_0_DOT_0_ONLINE_CHANEL, RZP_INDUSTRY_0_DOT_0_OUTER_PACKAGE, RZP_INDUSTRY_0_DOT_0_PACKING_QUANTITY, RZP_INDUSTRY_0_DOT_0_PRICE_SEGMENT, RZP_INDUSTRY_0_DOT_0_PRODUCT_FIRST_PICTURE, RZP_INDUSTRY_0_DOT_0_PRODUCT_LINK, RZP_INDUSTRY_0_DOT_0_PRODUCT_TITLE, RZP_INDUSTRY_0_DOT_0_SALES_VALUE, RZP_INDUSTRY_0_DOT_0_SALES_VOLUME, RZP_INDUSTRY_0_DOT_0_SALES_VOLUME_PRODUCT, RZP_INDUSTRY_0_DOT_0_SECOND_LEVEL_CATEGORY, RZP_INDUSTRY_0_DOT_0_SERIES, RZP_INDUSTRY_0_DOT_0_SHOP_FANS_NUM, RZP_INDUSTRY_0_DOT_0_SHOP_LINK, RZP_INDUSTRY_0_DOT_0_SHOP_NAME, RZP_INDUSTRY_0_DOT_0_SHOP_TYPE, RZP_INDUSTRY_0_DOT_0_SINGLE_PACKAGE_CAPACITY, RZP_INDUSTRY_0_DOT_0_SINGLE_PACKAGE_PRICE, RZP_INDUSTRY_0_DOT_0_SKU, RZP_INDUSTRY_0_DOT_0_SKU_CURRENT_PRICE, RZP_INDUSTRY_0_DOT_0_SKU_ORIGINAL_PRICE, RZP_INDUSTRY_0_DOT_0_SPECIFICATION_UNIT_PRICE, RZP_INDUSTRY_0_DOT_0_SPEC_FLAVOUR]; line 1 pos 0;
'Filter ('first_level_category = 奶粉)
如果从以上数组中确实是找不到first_level_category字段。
期待kylin团队，帮助我们解决该问题。感谢！
zhouzhiheng@bxtdata.com
回复： spark-3.1.2 以及 kylin4.0.0问题请教
Posted by "周志恒@" <zh...@163.com>.
你好：
原表是hive表是有这个字段的，并且是在立方体的维度上的（再model，cube的创建中“first_level_category”字段都是维度）。问题中的这个组数是再cube构建过程中报错了，然后我所截取的内容。
错误提示：org.apache.spark.sql.AnalysisException: cannot resolve '`first_level_category`' given input columns:
再截图中 找不到准确的“first_level_category”字段。但是找到了一个“RZP_INDUSTRY_0_DOT_0_FIRST_LEVEL_CATEGORY”这样的字段。
我怀疑是否 由 spark 对 sql语句中相关字段进行了特殊处理加了一些字符。
| |
zhzhouq9
|
|
zhzhouq9@163.com
|
签名由网易邮箱大师定制
在2022年3月15日 15:06，Yaqian Zhang<Ya...@126.com> 写道：
Hi：
Is there actually a column named “first_level_category” in your source table?Have you added this column to the dimension of cube? Where does the "array" mentioned in the question come from?
在 2022年3月15日，上午9:52，Math <wh...@foxmail.com> 写道：
that not a problem, you just download kylin's shell, website is *********************
------------------ 原始邮件 ------------------
发件人: "dev" <zhouzhiheng@bxtdata.com>;
发送时间: 2022年3月14日(星期一) 晚上7:33
收件人: "dev"<dev@kylin.apache.org>;
主题: spark-3.1.2 以及 kylin4.0.0问题请教
您好，
我们公司在使用spark-3.1.2 以及 kylin4.0.0版本时，再kylin4创建model页面，setting选项卡中，添加了filter条件。但是构建cube失败，提示不能解析 filter 条件的属性。详细问题如下
filter如下图
报错提示如下：
2022-03-14 18:59:05,037 ERROR [Thread-1] application.SparkApplication : The spark job execute failed!
org.apache.spark.sql.AnalysisException: cannot resolve '`first_level_category`' given input columns:
以下是 columns 内容：其中与first_level_category相关的就是 RZP_INDUSTRY_0_DOT_0_FIRST_LEVEL_CATEGORY ！
[DATE_DIMENSION_TABLE_0_DOT_0_DT_DATE, DATE_DIMENSION_TABLE_0_DOT_0_DT_DAY, DATE_DIMENSION_TABLE_0_DOT_0_DT_MONTH, DATE_DIMENSION_TABLE_0_DOT_0_DT_SEASON, DATE_DIMENSION_TABLE_0_DOT_0_DT_YEAR, RZP_INDUSTRY_0_DOT_0_BOX_QUANTITY, RZP_INDUSTRY_0_DOT_0_BRAND, RZP_INDUSTRY_0_DOT_0_COLLECTION_NUM, RZP_INDUSTRY_0_DOT_0_DATA_MONTH, RZP_INDUSTRY_0_DOT_0_FEATURE_CALCIUM, RZP_INDUSTRY_0_DOT_0_FEATURE_CUSTOMER_GROUP, RZP_INDUSTRY_0_DOT_0_FEATURE_FAT, RZP_INDUSTRY_0_DOT_0_FEATURE_IMPORTED, RZP_INDUSTRY_0_DOT_0_FEATURE_IRON_ZINC, RZP_INDUSTRY_0_DOT_0_FEATURE_ORGANIC, RZP_INDUSTRY_0_DOT_0_FEATURE_PLACE_OF_PRODUCTION, RZP_INDUSTRY_0_DOT_0_FEATURE_PREBIOTICS, RZP_INDUSTRY_0_DOT_0_FEATURE_PROTEIN, RZP_INDUSTRY_0_DOT_0_FEATURE_SUGAR, RZP_INDUSTRY_0_DOT_0_FIRST_LEVEL_CATEGORY, RZP_INDUSTRY_0_DOT_0_INNER_PACKAGE, RZP_INDUSTRY_0_DOT_0_ONLINE_CHANEL, RZP_INDUSTRY_0_DOT_0_OUTER_PACKAGE, RZP_INDUSTRY_0_DOT_0_PACKING_QUANTITY, RZP_INDUSTRY_0_DOT_0_PRICE_SEGMENT, RZP_INDUSTRY_0_DOT_0_PRODUCT_FIRST_PICTURE, RZP_INDUSTRY_0_DOT_0_PRODUCT_LINK, RZP_INDUSTRY_0_DOT_0_PRODUCT_TITLE, RZP_INDUSTRY_0_DOT_0_SALES_VALUE, RZP_INDUSTRY_0_DOT_0_SALES_VOLUME, RZP_INDUSTRY_0_DOT_0_SALES_VOLUME_PRODUCT, RZP_INDUSTRY_0_DOT_0_SECOND_LEVEL_CATEGORY, RZP_INDUSTRY_0_DOT_0_SERIES, RZP_INDUSTRY_0_DOT_0_SHOP_FANS_NUM, RZP_INDUSTRY_0_DOT_0_SHOP_LINK, RZP_INDUSTRY_0_DOT_0_SHOP_NAME, RZP_INDUSTRY_0_DOT_0_SHOP_TYPE, RZP_INDUSTRY_0_DOT_0_SINGLE_PACKAGE_CAPACITY, RZP_INDUSTRY_0_DOT_0_SINGLE_PACKAGE_PRICE, RZP_INDUSTRY_0_DOT_0_SKU, RZP_INDUSTRY_0_DOT_0_SKU_CURRENT_PRICE, RZP_INDUSTRY_0_DOT_0_SKU_ORIGINAL_PRICE, RZP_INDUSTRY_0_DOT_0_SPECIFICATION_UNIT_PRICE, RZP_INDUSTRY_0_DOT_0_SPEC_FLAVOUR]; line 1 pos 0;
'Filter ('first_level_category = 奶粉)
如果从以上数组中确实是找不到first_level_category字段。
期待kylin团队，帮助我们解决该问题。感谢！
zhouzhiheng@bxtdata.com
Re: spark-3.1.2 以及 kylin4.0.0问题请教
Posted by Yaqian Zhang <Ya...@126.com>.
Hi：
Is there actually a column named “first_level_category” in your source table?Have you added this column to the dimension of cube? Where does the "array" mentioned in the question come from?
> 在 2022年3月15日，上午9:52，Math <wh...@foxmail.com> 写道：
>
> that not a problem, you just download kylin's shell, website is *********************
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "dev" <zhouzhiheng@bxtdata.com>;
> 发送时间: 2022年3月14日(星期一) 晚上7:33
> 收件人: "dev"<dev@kylin.apache.org>;
>
> 主题: spark-3.1.2 以及 kylin4.0.0问题请教
>
>
>
> 您好，
> 我们公司在使用spark-3.1.2 以及 kylin4.0.0版本时，再kylin4创建model页面，setting选项卡中，添加了filter条件。但是构建cube失败，提示不能解析 filter 条件的属性。详细问题如下
>
> filter如下图
>
>
>
> 报错提示如下：
>
> 2022-03-14 18:59:05,037 ERROR [Thread-1] application.SparkApplication : The spark job execute failed!
>
> org.apache.spark.sql.AnalysisException: cannot resolve '`first_level_category`' given input columns:
>
> 以下是 columns 内容：其中与first_level_category相关的就是 RZP_INDUSTRY_0_DOT_0_FIRST_LEVEL_CATEGORY ！
>
>
> [DATE_DIMENSION_TABLE_0_DOT_0_DT_DATE, DATE_DIMENSION_TABLE_0_DOT_0_DT_DAY, DATE_DIMENSION_TABLE_0_DOT_0_DT_MONTH, DATE_DIMENSION_TABLE_0_DOT_0_DT_SEASON, DATE_DIMENSION_TABLE_0_DOT_0_DT_YEAR, RZP_INDUSTRY_0_DOT_0_BOX_QUANTITY, RZP_INDUSTRY_0_DOT_0_BRAND, RZP_INDUSTRY_0_DOT_0_COLLECTION_NUM, RZP_INDUSTRY_0_DOT_0_DATA_MONTH, RZP_INDUSTRY_0_DOT_0_FEATURE_CALCIUM, RZP_INDUSTRY_0_DOT_0_FEATURE_CUSTOMER_GROUP, RZP_INDUSTRY_0_DOT_0_FEATURE_FAT, RZP_INDUSTRY_0_DOT_0_FEATURE_IMPORTED, RZP_INDUSTRY_0_DOT_0_FEATURE_IRON_ZINC, RZP_INDUSTRY_0_DOT_0_FEATURE_ORGANIC, RZP_INDUSTRY_0_DOT_0_FEATURE_PLACE_OF_PRODUCTION, RZP_INDUSTRY_0_DOT_0_FEATURE_PREBIOTICS, RZP_INDUSTRY_0_DOT_0_FEATURE_PROTEIN, RZP_INDUSTRY_0_DOT_0_FEATURE_SUGAR, RZP_INDUSTRY_0_DOT_0_FIRST_LEVEL_CATEGORY, RZP_INDUSTRY_0_DOT_0_INNER_PACKAGE, RZP_INDUSTRY_0_DOT_0_ONLINE_CHANEL, RZP_INDUSTRY_0_DOT_0_OUTER_PACKAGE, RZP_INDUSTRY_0_DOT_0_PACKING_QUANTITY, RZP_INDUSTRY_0_DOT_0_PRICE_SEGMENT, RZP_INDUSTRY_0_DOT_0_PRODUCT_FIRST_PICTURE, RZP_INDUSTRY_0_DOT_0_PRODUCT_LINK, RZP_INDUSTRY_0_DOT_0_PRODUCT_TITLE, RZP_INDUSTRY_0_DOT_0_SALES_VALUE, RZP_INDUSTRY_0_DOT_0_SALES_VOLUME, RZP_INDUSTRY_0_DOT_0_SALES_VOLUME_PRODUCT, RZP_INDUSTRY_0_DOT_0_SECOND_LEVEL_CATEGORY, RZP_INDUSTRY_0_DOT_0_SERIES, RZP_INDUSTRY_0_DOT_0_SHOP_FANS_NUM, RZP_INDUSTRY_0_DOT_0_SHOP_LINK, RZP_INDUSTRY_0_DOT_0_SHOP_NAME, RZP_INDUSTRY_0_DOT_0_SHOP_TYPE, RZP_INDUSTRY_0_DOT_0_SINGLE_PACKAGE_CAPACITY, RZP_INDUSTRY_0_DOT_0_SINGLE_PACKAGE_PRICE, RZP_INDUSTRY_0_DOT_0_SKU, RZP_INDUSTRY_0_DOT_0_SKU_CURRENT_PRICE, RZP_INDUSTRY_0_DOT_0_SKU_ORIGINAL_PRICE, RZP_INDUSTRY_0_DOT_0_SPECIFICATION_UNIT_PRICE, RZP_INDUSTRY_0_DOT_0_SPEC_FLAVOUR]; line 1 pos 0;
> 'Filter ('first_level_category = 奶粉)
> 如果从以上数组中确实是找不到first_level_category字段。
>
> 期待kylin团队，帮助我们解决该问题。感谢！
>
> zhouzhiheng@bxtdata.com