You are viewing a plain text version of this content. The canonical link for it is here.
Posted to dev@doris.apache.org by 胡晨光 <13...@126.com> on 2021/12/20 07:24:35 UTC

mysql 8.0 客户端连不上FE

专家，您好：
FE 和 BE编译成功， FE也已启动完成. 8030网页可以正常显示
但是用mysql客户端连FE 9030端口却失败。此端口也正常监听
如下提示错误(fe.warn.log)
使用telnet 连接 9030 直接退出
FE用 docker的 jdk1.8编译
mysql客户端是8.0.27版本
系统版本 ubuntu20.04

十分期待您的解答。谢谢













--

Best Wishes
Chenguang Hu
tel: 0551-65391037

Re:mysql 8.0 客户端连不上FE

Posted by 陈明雨 <mo...@163.com>.
Please refer to Q19 : http://doris.incubator.apache.org/master/zh-CN/faq/faq.html







--

此致！Best Regards
陈明雨 Mingyu Chen

Email:
chenmingyu@apache.org





在 2021-12-20 15:26:59，"胡晨光" <13...@126.com> 写道：
>
>
>
>
>
>
>
>
>
>专家，您好：
>FE 和 BE编译成功， FE也已启动完成. 8030网页可以正常显示
>但是用mysql客户端连FE 9030端口却失败。此端口也正常监听
>如下提示错误(fe.warn.log)
>2021-12-20 14:19:02,662 ERROR (doris-mysql-nio-pool-0|139) [AcceptListener.lambda$handleEvent$1():87] connect processor exception because 
>java.lang.NoSuchMethodError: java.nio.ByteBuffer.limit(I)Ljava/nio/ByteBuffer;
>	at org.apache.doris.mysql.MysqlChannel.sendOnePacket(MysqlChannel.java:259) ~[palo-fe.jar:3.4.0]
>	at org.apache.doris.mysql.MysqlChannel.sendAndFlush(MysqlChannel.java:265) ~[palo-fe.jar:3.4.0]
>	at org.apache.doris.mysql.MysqlProto.negotiate(MysqlProto.java:169) ~[palo-fe.jar:3.4.0]
>	at org.apache.doris.mysql.nio.AcceptListener.lambda$handleEvent$1(AcceptListener.java:64) ~[palo-fe.jar:3.4.0]
>	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [?:1.8.0_261]
>	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [?:1.8.0_261]
>	at java.lang.Thread.run(Thread.java:748) [?:1.8.0_261]
>使用telnet 连接 9030 直接退出
>Trying XXXX...
>Connected to XXXX.
>Escape character is '^]'.
>Connection closed by foreign host.
>环境：
>FE用 docker的 jdk1.8编译
>mysql客户端是8.0.27版本
>系统版本 ubuntu20.04
>
>十分期待您的解答。谢谢
>
>
>
>
>
>
>
>
>
>
>
>
>
>--
>
>Best Wishes
>Chenguang Hu
>tel: 0551-65391037
>
>
>
>
>
>
>
>

mysql 8.0 客户端连不上FE

Posted by 胡晨光 <13...@126.com>.








专家，您好：
FE 和 BE编译成功， FE也已启动完成. 8030网页可以正常显示
但是用mysql客户端连FE 9030端口却失败。此端口也正常监听
如下提示错误(fe.warn.log)
2021-12-20 14:19:02,662 ERROR (doris-mysql-nio-pool-0|139) [AcceptListener.lambda$handleEvent$1():87] connect processor exception because 
java.lang.NoSuchMethodError: java.nio.ByteBuffer.limit(I)Ljava/nio/ByteBuffer;
	at org.apache.doris.mysql.MysqlChannel.sendOnePacket(MysqlChannel.java:259) ~[palo-fe.jar:3.4.0]
	at org.apache.doris.mysql.MysqlChannel.sendAndFlush(MysqlChannel.java:265) ~[palo-fe.jar:3.4.0]
	at org.apache.doris.mysql.MysqlProto.negotiate(MysqlProto.java:169) ~[palo-fe.jar:3.4.0]
	at org.apache.doris.mysql.nio.AcceptListener.lambda$handleEvent$1(AcceptListener.java:64) ~[palo-fe.jar:3.4.0]
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [?:1.8.0_261]
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [?:1.8.0_261]
	at java.lang.Thread.run(Thread.java:748) [?:1.8.0_261]
使用telnet 连接 9030 直接退出
Trying XXXX...
Connected to XXXX.
Escape character is '^]'.
Connection closed by foreign host.
环境：
FE用 docker的 jdk1.8编译
mysql客户端是8.0.27版本
系统版本 ubuntu20.04

十分期待您的解答。谢谢













--

Best Wishes
Chenguang Hu
tel: 0551-65391037

Re: 用jdbc 批量 写入doris 问题

Posted by 赵珩 <im...@qq.com.INVALID>.
Please refer to 
http://doris.incubator.apache.org/master/zh-CN/faq/faq.html  Q7

You may try using  "Flink Doris Connector" to  write data into Doris.

http://doris.incubator.apache.org/master/zh-CN/extending-doris/flink-doris-connector.html


在 2021/12/23 15:58, 胡晨光 写道:
> 专家好：
> 感谢前面问题的即时回复，让我在存储选型上有些信心。现在我还没入门，不吝赐教。
> 目前在测试doris写入效率，只配了一个fe 和 一个 be 。在同一个服务器上
> 我用jdbc的PreparedStatement 批量写入数据，比如2w一批。然后进入mysql-client 查看表中的条数，发现增长缓慢。
> 不知道是我配置问题还是使用问题。
> "replication_num" = "1"
> 在fe.log 出现大量的 错误 ，如下：
> 15:48:42.038 [pool-1-thread-5] WARN com.example.demo.DemoApplication - error : java.sql.BatchUpdateException: errCode = 2, detailMessage = close wait failed coz rpc error. NodeChannel[22036-11001], load_id=b68cc0041cbd4e50-a6b52d06b73d8f2f, txn_id=164897, node=11001:8060, add batch req success but status isn't ok, err: tablet writer write failed, tablet_id=22069, txn_id=164897, err=-235
> 还有
> Caused by: java.sql.SQLException: errCode = 2, detailMessage = Failed to commit txn 139081. Tablet [22067] success replica num 0 is less than quorum replica num 1 while error backends 11001
>
>
>
>
>
>
>
>
>
>
>
>
>
> --
>
> Best Wishes
> Chenguang Hu
> tel: 0551-65391037
>
>
>
>
>
>
>
> 在 2021-12-23 12:14:40，"陈明雨" <mo...@163.com> 写道：
>> Doris currently not support binary type. If you want to save some object like image file,
>> you may need to convert it to base64 and save as a string(in utf8).
>>
>>
>>
>>
>>
>>
>>
>> --
>>
>> 此致！Best Regards
>> 陈明雨 Mingyu Chen
>>
>> Email:
>> chenmingyu@apache.org
>>
>>
>>
>>
>>
>> 在 2021-12-22 11:09:41，"赵珩" <im...@qq.com.INVALID> 写道：
>>> 不是很清楚你在doris中存储二进制数据的用途, 是维度还是度量?
>>>
>>> 如果是度量,  可以考虑的一种方法是使用base64编码后做为字符串存入
>>>
>>> 也许还有更好的方法
>>>
>>> 在 2021/12/22 10:56, 胡晨光 写道:
>>>> 是不是说，目前储存二进制数据只能转换成字符串，再存储？
>>>>
>>>>
>>>> ---- 回复的原邮件 ----
>>>> | 发件人 | 胡晨光<13...@126.com> |
>>>> | 发送日期 | 2021年12月22日 10:26 |
>>>> | 收件人 | dev<de...@doris.apache.org> |
>>>> | 主题 | doris支持二进制数组存储吗？ |
>>>> 专家，您好:
>>>>
>>>> doris支持二进制数组存储吗？我需要存储1K左右的二进制数据，用什么类型好呢？
>>>>
>>>> 感谢
>>>
>>> ---------------------------------------------------------------------
>>> To unsubscribe, e-mail: dev-unsubscribe@doris.apache.org
>>> For additional commands, e-mail: dev-help@doris.apache.org


---------------------------------------------------------------------
To unsubscribe, e-mail: dev-unsubscribe@doris.apache.org
For additional commands, e-mail: dev-help@doris.apache.org

用jdbc 批量 写入doris 问题

Posted by 胡晨光 <13...@126.com>.
专家好：
感谢前面问题的即时回复，让我在存储选型上有些信心。现在我还没入门，不吝赐教。
目前在测试doris写入效率，只配了一个fe 和 一个 be 。在同一个服务器上
我用jdbc的PreparedStatement 批量写入数据，比如2w一批。然后进入mysql-client 查看表中的条数，发现增长缓慢。
不知道是我配置问题还是使用问题。
"replication_num" = "1"
在fe.log 出现大量的 错误 ，如下：
15:48:42.038 [pool-1-thread-5] WARN com.example.demo.DemoApplication - error : java.sql.BatchUpdateException: errCode = 2, detailMessage = close wait failed coz rpc error. NodeChannel[22036-11001], load_id=b68cc0041cbd4e50-a6b52d06b73d8f2f, txn_id=164897, node=11001:8060, add batch req success but status isn't ok, err: tablet writer write failed, tablet_id=22069, txn_id=164897, err=-235
还有
Caused by: java.sql.SQLException: errCode = 2, detailMessage = Failed to commit txn 139081. Tablet [22067] success replica num 0 is less than quorum replica num 1 while error backends 11001













--

Best Wishes
Chenguang Hu
tel: 0551-65391037







在 2021-12-23 12:14:40，"陈明雨" <mo...@163.com> 写道：
>Doris currently not support binary type. If you want to save some object like image file,
>you may need to convert it to base64 and save as a string(in utf8).
>
>
>
>
>
>
>
>--
>
>此致！Best Regards
>陈明雨 Mingyu Chen
>
>Email:
>chenmingyu@apache.org
>
>
>
>
>
>在 2021-12-22 11:09:41，"赵珩" <im...@qq.com.INVALID> 写道：
>>不是很清楚你在doris中存储二进制数据的用途, 是维度还是度量?
>>
>>如果是度量,  可以考虑的一种方法是使用base64编码后做为字符串存入
>>
>>也许还有更好的方法
>>
>>在 2021/12/22 10:56, 胡晨光 写道:
>>> 是不是说，目前储存二进制数据只能转换成字符串，再存储？
>>>
>>>
>>> ---- 回复的原邮件 ----
>>> | 发件人 | 胡晨光<13...@126.com> |
>>> | 发送日期 | 2021年12月22日 10:26 |
>>> | 收件人 | dev<de...@doris.apache.org> |
>>> | 主题 | doris支持二进制数组存储吗？ |
>>> 专家，您好:
>>>
>>> doris支持二进制数组存储吗？我需要存储1K左右的二进制数据，用什么类型好呢？
>>>
>>> 感谢
>>
>>
>>---------------------------------------------------------------------
>>To unsubscribe, e-mail: dev-unsubscribe@doris.apache.org
>>For additional commands, e-mail: dev-help@doris.apache.org

Re:Re: 回复：doris支持二进制数组存储吗？

Posted by 陈明雨 <mo...@163.com>.
Doris currently not support binary type. If you want to save some object like image file,
you may need to convert it to base64 and save as a string(in utf8).







--

此致！Best Regards
陈明雨 Mingyu Chen

Email:
chenmingyu@apache.org





在 2021-12-22 11:09:41，"赵珩" <im...@qq.com.INVALID> 写道：
>不是很清楚你在doris中存储二进制数据的用途, 是维度还是度量?
>
>如果是度量,  可以考虑的一种方法是使用base64编码后做为字符串存入
>
>也许还有更好的方法
>
>在 2021/12/22 10:56, 胡晨光 写道:
>> 是不是说，目前储存二进制数据只能转换成字符串，再存储？
>>
>>
>> ---- 回复的原邮件 ----
>> | 发件人 | 胡晨光<13...@126.com> |
>> | 发送日期 | 2021年12月22日 10:26 |
>> | 收件人 | dev<de...@doris.apache.org> |
>> | 主题 | doris支持二进制数组存储吗？ |
>> 专家，您好:
>>
>> doris支持二进制数组存储吗？我需要存储1K左右的二进制数据，用什么类型好呢？
>>
>> 感谢
>
>
>---------------------------------------------------------------------
>To unsubscribe, e-mail: dev-unsubscribe@doris.apache.org
>For additional commands, e-mail: dev-help@doris.apache.org

Re: 回复：doris支持二进制数组存储吗？

Posted by 赵珩 <im...@qq.com.INVALID>.
不是很清楚你在doris中存储二进制数据的用途, 是维度还是度量?

如果是度量,  可以考虑的一种方法是使用base64编码后做为字符串存入

也许还有更好的方法

在 2021/12/22 10:56, 胡晨光 写道:
> 是不是说，目前储存二进制数据只能转换成字符串，再存储？
>
>
> ---- 回复的原邮件 ----
> | 发件人 | 胡晨光<13...@126.com> |
> | 发送日期 | 2021年12月22日 10:26 |
> | 收件人 | dev<de...@doris.apache.org> |
> | 主题 | doris支持二进制数组存储吗？ |
> 专家，您好:
>
> doris支持二进制数组存储吗？我需要存储1K左右的二进制数据，用什么类型好呢？
>
> 感谢


---------------------------------------------------------------------
To unsubscribe, e-mail: dev-unsubscribe@doris.apache.org
For additional commands, e-mail: dev-help@doris.apache.org

回复：doris支持二进制数组存储吗？

Posted by 胡晨光 <13...@126.com>.
是不是说，目前储存二进制数据只能转换成字符串，再存储？


---- 回复的原邮件 ----
| 发件人 | 胡晨光<13...@126.com> |
| 发送日期 | 2021年12月22日 10:26 |
| 收件人 | dev<de...@doris.apache.org> |
| 主题 | doris支持二进制数组存储吗？ |
专家，您好:

doris支持二进制数组存储吗？我需要存储1K左右的二进制数据，用什么类型好呢？

感谢

Re: doris支持二进制数组存储吗？

Posted by zhaoheng <im...@qq.com.INVALID>.
可以试试base64编码

在 2021/12/22 10:26, 胡晨光 写道:
> 专家，您好:
>
>   doris支持二进制数组存储吗？我需要存储1K左右的二进制数据，用什么类型好呢？
>
> 感谢


---------------------------------------------------------------------
To unsubscribe, e-mail: dev-unsubscribe@doris.apache.org
For additional commands, e-mail: dev-help@doris.apache.org

doris支持二进制数组存储吗？

Posted by 胡晨光 <13...@126.com>.
专家，您好:

 doris支持二进制数组存储吗？我需要存储1K左右的二进制数据，用什么类型好呢？

感谢