You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@kylin.apache.org by Iñigo Martínez <im...@telecoming.com> on 2019/05/14 09:57:47 UTC
Cleanup job not deleting hive intermediate table if created from view
Just for your information, we have detected a problem that hurts
performance in the long term due to a bug in a maintenance job.
In our case, temporary intermediate tables in hive created from a hive view
are not deleted by Kylin StorageCleanupJob. We realized about it because
our backup process was stuck for hours when performing a differential copy
from HDFS to S3. This was due to more than 1M additional files where
present.
I've opened a bug at Jira.
https://jira.apache.org/jira/browse/KYLIN-4002
--
Iñigo Martínez
Systems Manager
imartinez@telecoming.com
[image: Telecoming - Make it digital]
[image: 5000_empresas]
[image: 1000_empresas]
Paseo de la Castellana, 95. Torre Europa, pl 16. 28046 Madrid, Spain |
telecoming.com <http://www.telecoming.com/>
Este correo electrónico y sus archivos adjuntos están dirigidos
únicamente a la(s) dirección(es) indicada(s) anteriormente. El carácter
confidencial, personal e intransferible del mismo está protegido
legalmente. Cualquier publicación, reproducción, distribución o
retransmisión no autorizada, ya sea completa o en parte, se encuentra
prohibida. Si ha recibido este mensaje por equivocación, notifíquelo
inmediatamente a la persona que lo ha enviado y borre el mensaje original
junto con sus ficheros anexos sin leerlo ni grabarlo en modo alguno.
Re: Cleanup job not deleting hive intermediate table if created from view
Posted by Iñigo Martínez <im...@telecoming.com>.
Hi Na.
Got it. The problem is this script is not locating beeline and so it cannot
be launched.
Since it's launched from cron, it does not heritage environment and so does
not know where beeline is located. Fixed.
I'm gonna close the Jira issue.
El jue., 16 may. 2019 a las 10:17, Iñigo Martínez (<im...@telecoming.com>)
escribió:
> Hi Na.
>
> Yes, I've read it. It's a bit strange. I will check it in order to find it
> the problem is not the cleanup task itself but the script that launches it
> or something else.
>
> El mié., 15 may. 2019 a las 15:20, Na Zhai (<na...@kyligence.io>)
> escribió:
>
>> Hi, Iñigo Martínez <im...@telecoming.com>.
>>
>>
>>
>> I can not reproduce your situation. And I have answered in
>> https://jira.apache.org/jira/browse/KYLIN-4002.
>>
>>
>>
>> 发送自 Windows 10 版邮件 <https://go.microsoft.com/fwlink/?LinkId=550986>应用
>>
>>
>> ------------------------------
>> *发件人:* Iñigo Martínez <im...@telecoming.com>
>> *发送时间:* Tuesday, May 14, 2019 5:57:47 PM
>> *收件人:* user@kylin.apache.org
>> *主题:* Cleanup job not deleting hive intermediate table if created from
>> view
>>
>> Just for your information, we have detected a problem that hurts
>> performance in the long term due to a bug in a maintenance job.
>>
>> In our case, temporary intermediate tables in hive created from a hive
>> view are not deleted by Kylin StorageCleanupJob. We realized about it
>> because our backup process was stuck for hours when performing a
>> differential copy from HDFS to S3. This was due to more than 1M additional
>> files where present.
>>
>> I've opened a bug at Jira.
>> https://jira.apache.org/jira/browse/KYLIN-4002
>>
>>
>> --
>>
>>
>>
>>
>> Iñigo Martínez
>> Systems Manager
>> imartinez@telecoming.com
>>
>>
>>
>>
>>
>>
>> [image: Telecoming - Make it digital]
>> [image: 5000_empresas]
>> [image: 1000_empresas]
>>
>> Paseo de la Castellana, 95. Torre Europa, pl 16. 28046 Madrid, Spain |
>> telecoming.com <http://www.telecoming.com/>
>>
>>
>>
>> Este correo electrónico y sus archivos adjuntos están dirigidos
>> únicamente a la(s) dirección(es) indicada(s) anteriormente. El carácter
>> confidencial, personal e intransferible del mismo está protegido
>> legalmente. Cualquier publicación, reproducción, distribución o
>> retransmisión no autorizada, ya sea completa o en parte, se encuentra
>> prohibida. Si ha recibido este mensaje por equivocación, notifíquelo
>> inmediatamente a la persona que lo ha enviado y borre el mensaje original
>> junto con sus ficheros anexos sin leerlo ni grabarlo en modo alguno.
>>
>>
>
> --
>
>
>
>
> Iñigo Martínez
> Systems Manager
> imartinez@telecoming.com
>
>
>
>
>
>
> [image: Telecoming - Make it digital]
> [image: 5000_empresas]
> [image: 1000_empresas]
>
> Paseo de la Castellana, 95. Torre Europa, pl 16. 28046 Madrid, Spain |
> telecoming.com <http://www.telecoming.com/>
>
>
>
> Este correo electrónico y sus archivos adjuntos están dirigidos
> únicamente a la(s) dirección(es) indicada(s) anteriormente. El carácter
> confidencial, personal e intransferible del mismo está protegido
> legalmente. Cualquier publicación, reproducción, distribución o
> retransmisión no autorizada, ya sea completa o en parte, se encuentra
> prohibida. Si ha recibido este mensaje por equivocación, notifíquelo
> inmediatamente a la persona que lo ha enviado y borre el mensaje original
> junto con sus ficheros anexos sin leerlo ni grabarlo en modo alguno.
>
>
--
Iñigo Martínez
Systems Manager
imartinez@telecoming.com
[image: Telecoming - Make it digital]
[image: 5000_empresas]
[image: 1000_empresas]
Paseo de la Castellana, 95. Torre Europa, pl 16. 28046 Madrid, Spain |
telecoming.com <http://www.telecoming.com/>
Este correo electrónico y sus archivos adjuntos están dirigidos
únicamente a la(s) dirección(es) indicada(s) anteriormente. El carácter
confidencial, personal e intransferible del mismo está protegido
legalmente. Cualquier publicación, reproducción, distribución o
retransmisión no autorizada, ya sea completa o en parte, se encuentra
prohibida. Si ha recibido este mensaje por equivocación, notifíquelo
inmediatamente a la persona que lo ha enviado y borre el mensaje original
junto con sus ficheros anexos sin leerlo ni grabarlo en modo alguno.
Re: Cleanup job not deleting hive intermediate table if created from view
Posted by Iñigo Martínez <im...@telecoming.com>.
Hi Na.
Yes, I've read it. It's a bit strange. I will check it in order to find it
the problem is not the cleanup task itself but the script that launches it
or something else.
El mié., 15 may. 2019 a las 15:20, Na Zhai (<na...@kyligence.io>)
escribió:
> Hi, Iñigo Martínez <im...@telecoming.com>.
>
>
>
> I can not reproduce your situation. And I have answered in
> https://jira.apache.org/jira/browse/KYLIN-4002.
>
>
>
> 发送自 Windows 10 版邮件 <https://go.microsoft.com/fwlink/?LinkId=550986>应用
>
>
> ------------------------------
> *发件人:* Iñigo Martínez <im...@telecoming.com>
> *发送时间:* Tuesday, May 14, 2019 5:57:47 PM
> *收件人:* user@kylin.apache.org
> *主题:* Cleanup job not deleting hive intermediate table if created from
> view
>
> Just for your information, we have detected a problem that hurts
> performance in the long term due to a bug in a maintenance job.
>
> In our case, temporary intermediate tables in hive created from a hive
> view are not deleted by Kylin StorageCleanupJob. We realized about it
> because our backup process was stuck for hours when performing a
> differential copy from HDFS to S3. This was due to more than 1M additional
> files where present.
>
> I've opened a bug at Jira.
> https://jira.apache.org/jira/browse/KYLIN-4002
>
>
> --
>
>
>
>
> Iñigo Martínez
> Systems Manager
> imartinez@telecoming.com
>
>
>
>
>
>
> [image: Telecoming - Make it digital]
> [image: 5000_empresas]
> [image: 1000_empresas]
>
> Paseo de la Castellana, 95. Torre Europa, pl 16. 28046 Madrid, Spain |
> telecoming.com <http://www.telecoming.com/>
>
>
>
> Este correo electrónico y sus archivos adjuntos están dirigidos
> únicamente a la(s) dirección(es) indicada(s) anteriormente. El carácter
> confidencial, personal e intransferible del mismo está protegido
> legalmente. Cualquier publicación, reproducción, distribución o
> retransmisión no autorizada, ya sea completa o en parte, se encuentra
> prohibida. Si ha recibido este mensaje por equivocación, notifíquelo
> inmediatamente a la persona que lo ha enviado y borre el mensaje original
> junto con sus ficheros anexos sin leerlo ni grabarlo en modo alguno.
>
>
--
Iñigo Martínez
Systems Manager
imartinez@telecoming.com
[image: Telecoming - Make it digital]
[image: 5000_empresas]
[image: 1000_empresas]
Paseo de la Castellana, 95. Torre Europa, pl 16. 28046 Madrid, Spain |
telecoming.com <http://www.telecoming.com/>
Este correo electrónico y sus archivos adjuntos están dirigidos
únicamente a la(s) dirección(es) indicada(s) anteriormente. El carácter
confidencial, personal e intransferible del mismo está protegido
legalmente. Cualquier publicación, reproducción, distribución o
retransmisión no autorizada, ya sea completa o en parte, se encuentra
prohibida. Si ha recibido este mensaje por equivocación, notifíquelo
inmediatamente a la persona que lo ha enviado y borre el mensaje original
junto con sus ficheros anexos sin leerlo ni grabarlo en modo alguno.
答复: Cleanup job not deleting hive intermediate table if created from view
Posted by Na Zhai <na...@kyligence.io>.
Hi, Iñigo Martínez<ma...@telecoming.com>.
I can not reproduce your situation. And I have answered in https://jira.apache.org/jira/browse/KYLIN-4002.
发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
________________________________
发件人: Iñigo Martínez <im...@telecoming.com>
发送时间: Tuesday, May 14, 2019 5:57:47 PM
收件人: user@kylin.apache.org
主题: Cleanup job not deleting hive intermediate table if created from view
Just for your information, we have detected a problem that hurts performance in the long term due to a bug in a maintenance job.
In our case, temporary intermediate tables in hive created from a hive view are not deleted by Kylin StorageCleanupJob. We realized about it because our backup process was stuck for hours when performing a differential copy from HDFS to S3. This was due to more than 1M additional files where present.
I've opened a bug at Jira.
https://jira.apache.org/jira/browse/KYLIN-4002
--
Iñigo Martínez
Systems Manager
imartinez@telecoming.com<ma...@telecoming.com>
[Telecoming - Make it digital]
[5000_empresas]
[1000_empresas]
Paseo de la Castellana, 95. Torre Europa, pl 16. 28046 Madrid, Spain | telecoming.com<http://www.telecoming.com/>
Este correo electrónico y sus archivos adjuntos están dirigidos únicamente a la(s) dirección(es) indicada(s) anteriormente. El carácter confidencial, personal e intransferible del mismo está protegido legalmente. Cualquier publicación, reproducción, distribución o retransmisión no autorizada, ya sea completa o en parte, se encuentra prohibida. Si ha recibido este mensaje por equivocación, notifíquelo inmediatamente a la persona que lo ha enviado y borre el mensaje original junto con sus ficheros anexos sin leerlo ni grabarlo en modo alguno.