You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Weihua Hu <hu...@gmail.com> on 2022/07/11 11:50:17 UTC
Re: sql-client java.lang.ClassNotFoundException: org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat
Hi,
看起来 lib 目录下的文件权限不一样，flink-sql-parquet-1.15.0.jar 是 root 用户的，flink
进程是通过什么用户启动的呢？
Best,
Weihua
On Mon, Jul 11, 2022 at 7:36 PM jiangjiguang719 <ji...@163.com>
wrote:
> hi,
> 我使用 sql-client 读取parquet文件，报错：
> [ERROR] Could not execute SQL statement. Reason:
> java.lang.ClassNotFoundException:
> org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat
>
>
> Flink版本：1.15.0/1.15.1
>
>
> SQL语句：
> Flink SQL> CREATE TABLE orders_parquet (
> > int32_field INT,
> > int32_field1 INT,
> > int32_field2 INT
> > ) WITH (
> > 'connector' = 'filesystem',
> > 'path' = '/data/testdata/PARQUET-10000_4',
> > 'format' = 'parquet'
> > );
> [INFO] Execute statement succeed.
>
>
> Flink SQL> select * from orders_parquet where int32_field > 100;
>
>
> Lib包如下：
>
>
> [root@icx20 flink-1.15.1]# ll lib/
> total 212528
> -rw-r--r--. 1 root root 62050 Jul 11 19:27 commons-logging-1.1.3.jar
> -rw-r--r--. 1 sae sae 194416 Jun 22 02:51 flink-cep-1.15.1.jar
> -rw-r--r--. 1 sae sae 484728 Jun 22 02:54
> flink-connector-files-1.15.1.jar
> -rw-r--r--. 1 sae sae 95184 Jun 22 03:03 flink-csv-1.15.1.jar
> -rw-r--r--. 1 sae sae 115818049 Jun 22 03:13 flink-dist-1.15.1.jar
> -rw-r--r--. 1 sae sae 175487 Jun 22 03:05 flink-json-1.15.1.jar
> -rw-r--r--. 1 sae sae 21041716 Jun 22 03:10 flink-scala_2.12-1.15.1.jar
> -rw-rw-r--. 1 sae sae 10737871 May 12 22:45
> flink-shaded-zookeeper-3.5.9.jar
> -rw-r--r--. 1 root root 5381644 Jul 11 19:25 flink-sql-parquet-1.15.0.jar
> -rw-r--r--. 1 sae sae 15262738 Jun 22 03:10
> flink-table-api-java-uber-1.15.1.jar
> -rw-r--r--. 1 sae sae 36236261 Jun 22 03:10
> flink-table-planner-loader-1.15.1.jar
> -rw-r--r--. 1 sae sae 2996565 Jun 22 02:51
> flink-table-runtime-1.15.1.jar
> -rw-r--r--. 1 root root 2792264 Jul 11 19:28 guava-29.0-jre.jar
> -rw-r--r--. 1 root root 3990042 Jul 11 19:26 hadoop-common-2.8.5.jar
> -rw-rw-r--. 1 sae sae 208006 May 12 22:15 log4j-1.2-api-2.17.1.jar
> -rw-rw-r--. 1 sae sae 301872 May 12 22:15 log4j-api-2.17.1.jar
> -rw-rw-r--. 1 sae sae 1790452 May 12 22:15 log4j-core-2.17.1.jar
> -rw-rw-r--. 1 sae sae 24279 May 12 22:15 log4j-slf4j-impl-2.17.1.jar
Re: sql-client java.lang.ClassNotFoundException: org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat
Posted by Geng Biao <bi...@gmail.com>.
看起来你是在集群里运行的Flink；是通过Flink on YARN启动的session cluster吗？在启动session cluster时使用的flink/lib是不是没有添加flink-sql-parquet jar包？如果是的话，重启一下你的session cluster再试试。之所以这样怀疑，是因为你的DDL里用了parquet但没报错，这一般表示你client端的依赖是没问题的。但select语句报错了，而select是会被翻译成flink作业在集群上执行的，如果是用session cluster的话，session cluster里的依赖有可能不全，进而导致报错。
Best,
Biao Geng
On 7/11/22, 8:17 PM, "jiangjiguang719" <ji...@163.com> wrote:
hi,
flink sql client 是root启动的，我已经把 flink-sql-parquet-1.15.0.jar 改成了 777，并且反编译了该jar包，确认org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat 类是存在的
但是还是一样的问题
在 2022-07-11 19:50:17，"Weihua Hu" <hu...@gmail.com> 写道：
>Hi,
>
>看起来 lib 目录下的文件权限不一样，flink-sql-parquet-1.15.0.jar 是 root 用户的，flink
>进程是通过什么用户启动的呢？
>
>Best,
>Weihua
>
>
>On Mon, Jul 11, 2022 at 7:36 PM jiangjiguang719 <ji...@163.com>
>wrote:
>
>> hi,
>> 我使用 sql-client 读取parquet文件，报错：
>> [ERROR] Could not execute SQL statement. Reason:
>> java.lang.ClassNotFoundException:
>> org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat
>>
>>
>> Flink版本：1.15.0/1.15.1
>>
>>
>> SQL语句：
>> Flink SQL> CREATE TABLE orders_parquet (
>> > int32_field INT,
>> > int32_field1 INT,
>> > int32_field2 INT
>> > ) WITH (
>> > 'connector' = 'filesystem',
>> > 'path' = '/data/testdata/PARQUET-10000_4',
>> > 'format' = 'parquet'
>> > );
>> [INFO] Execute statement succeed.
>>
>>
>> Flink SQL> select * from orders_parquet where int32_field > 100;
>>
>>
>> Lib包如下：
>>
>>
>> [root@icx20 flink-1.15.1]# ll lib/
>> total 212528
>> -rw-r--r--. 1 root root 62050 Jul 11 19:27 commons-logging-1.1.3.jar
>> -rw-r--r--. 1 sae sae 194416 Jun 22 02:51 flink-cep-1.15.1.jar
>> -rw-r--r--. 1 sae sae 484728 Jun 22 02:54
>> flink-connector-files-1.15.1.jar
>> -rw-r--r--. 1 sae sae 95184 Jun 22 03:03 flink-csv-1.15.1.jar
>> -rw-r--r--. 1 sae sae 115818049 Jun 22 03:13 flink-dist-1.15.1.jar
>> -rw-r--r--. 1 sae sae 175487 Jun 22 03:05 flink-json-1.15.1.jar
>> -rw-r--r--. 1 sae sae 21041716 Jun 22 03:10 flink-scala_2.12-1.15.1.jar
>> -rw-rw-r--. 1 sae sae 10737871 May 12 22:45
>> flink-shaded-zookeeper-3.5.9.jar
>> -rw-r--r--. 1 root root 5381644 Jul 11 19:25 flink-sql-parquet-1.15.0.jar
>> -rw-r--r--. 1 sae sae 15262738 Jun 22 03:10
>> flink-table-api-java-uber-1.15.1.jar
>> -rw-r--r--. 1 sae sae 36236261 Jun 22 03:10
>> flink-table-planner-loader-1.15.1.jar
>> -rw-r--r--. 1 sae sae 2996565 Jun 22 02:51
>> flink-table-runtime-1.15.1.jar
>> -rw-r--r--. 1 root root 2792264 Jul 11 19:28 guava-29.0-jre.jar
>> -rw-r--r--. 1 root root 3990042 Jul 11 19:26 hadoop-common-2.8.5.jar
>> -rw-rw-r--. 1 sae sae 208006 May 12 22:15 log4j-1.2-api-2.17.1.jar
>> -rw-rw-r--. 1 sae sae 301872 May 12 22:15 log4j-api-2.17.1.jar
>> -rw-rw-r--. 1 sae sae 1790452 May 12 22:15 log4j-core-2.17.1.jar
>> -rw-rw-r--. 1 sae sae 24279 May 12 22:15 log4j-slf4j-impl-2.17.1.jar
Re:Re: sql-client java.lang.ClassNotFoundException: org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat
Posted by jiangjiguang719 <ji...@163.com>.
hi,
flink sql client 是root启动的，我已经把 flink-sql-parquet-1.15.0.jar 改成了 777，并且反编译了该jar包，确认org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat 类是存在的
但是还是一样的问题
在 2022-07-11 19:50:17，"Weihua Hu" <hu...@gmail.com> 写道：
>Hi,
>
>看起来 lib 目录下的文件权限不一样，flink-sql-parquet-1.15.0.jar 是 root 用户的，flink
>进程是通过什么用户启动的呢？
>
>Best,
>Weihua
>
>
>On Mon, Jul 11, 2022 at 7:36 PM jiangjiguang719 <ji...@163.com>
>wrote:
>
>> hi,
>> 我使用 sql-client 读取parquet文件，报错：
>> [ERROR] Could not execute SQL statement. Reason:
>> java.lang.ClassNotFoundException:
>> org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat
>>
>>
>> Flink版本：1.15.0/1.15.1
>>
>>
>> SQL语句：
>> Flink SQL> CREATE TABLE orders_parquet (
>> > int32_field INT,
>> > int32_field1 INT,
>> > int32_field2 INT
>> > ) WITH (
>> > 'connector' = 'filesystem',
>> > 'path' = '/data/testdata/PARQUET-10000_4',
>> > 'format' = 'parquet'
>> > );
>> [INFO] Execute statement succeed.
>>
>>
>> Flink SQL> select * from orders_parquet where int32_field > 100;
>>
>>
>> Lib包如下：
>>
>>
>> [root@icx20 flink-1.15.1]# ll lib/
>> total 212528
>> -rw-r--r--. 1 root root 62050 Jul 11 19:27 commons-logging-1.1.3.jar
>> -rw-r--r--. 1 sae sae 194416 Jun 22 02:51 flink-cep-1.15.1.jar
>> -rw-r--r--. 1 sae sae 484728 Jun 22 02:54
>> flink-connector-files-1.15.1.jar
>> -rw-r--r--. 1 sae sae 95184 Jun 22 03:03 flink-csv-1.15.1.jar
>> -rw-r--r--. 1 sae sae 115818049 Jun 22 03:13 flink-dist-1.15.1.jar
>> -rw-r--r--. 1 sae sae 175487 Jun 22 03:05 flink-json-1.15.1.jar
>> -rw-r--r--. 1 sae sae 21041716 Jun 22 03:10 flink-scala_2.12-1.15.1.jar
>> -rw-rw-r--. 1 sae sae 10737871 May 12 22:45
>> flink-shaded-zookeeper-3.5.9.jar
>> -rw-r--r--. 1 root root 5381644 Jul 11 19:25 flink-sql-parquet-1.15.0.jar
>> -rw-r--r--. 1 sae sae 15262738 Jun 22 03:10
>> flink-table-api-java-uber-1.15.1.jar
>> -rw-r--r--. 1 sae sae 36236261 Jun 22 03:10
>> flink-table-planner-loader-1.15.1.jar
>> -rw-r--r--. 1 sae sae 2996565 Jun 22 02:51
>> flink-table-runtime-1.15.1.jar
>> -rw-r--r--. 1 root root 2792264 Jul 11 19:28 guava-29.0-jre.jar
>> -rw-r--r--. 1 root root 3990042 Jul 11 19:26 hadoop-common-2.8.5.jar
>> -rw-rw-r--. 1 sae sae 208006 May 12 22:15 log4j-1.2-api-2.17.1.jar
>> -rw-rw-r--. 1 sae sae 301872 May 12 22:15 log4j-api-2.17.1.jar
>> -rw-rw-r--. 1 sae sae 1790452 May 12 22:15 log4j-core-2.17.1.jar
>> -rw-rw-r--. 1 sae sae 24279 May 12 22:15 log4j-slf4j-impl-2.17.1.jar