You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@flink.apache.org by se...@likyateknoloji.com on 2016/01/19 12:10:33 UTC
integration with a scheduler
Hi,
I am planning to integrate flink with our job scheduler product to execute
jobs - especially bathc like - on flink which may be the part of some
other DAG style job chain.
I need some control ablities like start, stop, suspend, get status...
Where shold i go through ?
--
Serkan Tas
Likya Bilgi Teknolojileri
ve Iletiþim Hiz. Ltd.
www.likyateknoloji.com
Tel : 0 216 471 81 55
Gsm : 0 542 242 00 92
Faks: 0 216 661 14 92
--------------------------------------
Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece
yukarýda isimleri belirtilen kiþiler arasýnda özel haberleþme amacýný
taþýmaktadýr. Size yanlýþlýkla ulaþmýþsa bu elektonik postanýn içeriðini
açýklamanýz, kopyalamanýz, yönlendirmeniz ve kullanmanýz kesinlikle
yasaktýr. Lütfen mesajý geri gönderiniz ve sisteminizden siliniz. Likya
Bilgi Teknolojileri ve Ýletiþim Hiz. Ltd. Þti. bu mesajýn içeriði ile
ilgili olarak hiç bir hukuksal sorumluluðu kabul etmez.
This electonic mail and any files transmitted with it are intended for the
private use of the persons named above. If you received this message in
error, forwarding, copying or use of any of the information is strictly
prohibited. Please immediately notify the sender and delete it from your
system. Likya Bilgi Teknolojileri ve Ýletiþim Hiz. Ltd. Þti. does not
accept legal responsibility for the contents of this message.
--------------------------------------

Bu e-postayý yazdýrmadan önce, çevreye olan sorumluluðunuzu tekrar düþünün.
Please consider your environmental responsibility before printing this
e-mail.
Fwd: integration with a scheduler
Posted by Serkan Taş <se...@likyateknoloji.com>.
>
> Hi,
>
> I am planning to integrate flink with our job scheduler product to execute
> jobs - especially bathc like - on flink which may be the part of some
> other DAG style job chain.
>
> I need some control ablities like start, stop, suspend, get status...
>
> Where shold i go through ?
>
> --
> Serkan Tas
> Likya Bilgi Teknolojileri
> ve Iletişim Hiz. Ltd.
> www.likyateknoloji.com
> Tel : 0 216 471 81 55
> Gsm : 0 542 242 00 92
> Faks: 0 216 661 14 92
>
> --------------------------------------
> Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece
> yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını
> taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini
> açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle
> yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya
> Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile
> ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.
>
> This electonic mail and any files transmitted with it are intended for the
> private use of the persons named above. If you received this message in
> error, forwarding, copying or use of any of the information is strictly
> prohibited. Please immediately notify the sender and delete it from your
> system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not
> accept legal responsibility for the contents of this message.
> --------------------------------------
>
> 
> Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
> Please consider your environmental responsibility before printing this
> e-mail.
>
>
>
Serkan Taş
Mobil : +90 532 250 07 71
Likya Bilgi Teknolojileri
ve İletişim Hiz. Ltd. Şti.
www.likyateknoloji.com <http://www.likyateknoloji.com/>
--------------------------------------
Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.
This electronic mail and any files transmitted with it are intended for the private use of the persons named above. If you received this message in error, forwarding, copying or use of any of the information is strictly prohibited. Please immediately notify the sender and delete it from your system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not accept legal responsibility for the contents of this message.
--------------------------------------
P
Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
Please consider your environmental responsibility before printing this e-mail.
Re: integration with a scheduler
Posted by Serkan Taş <se...@likyateknoloji.com>.
Thank you very much Stephan and Robert.
As Robert offers, the most common way is to execute a batch script, but i want to go beyond.
i am going to work on both alternatives.
Best regards,
> 20 Oca 2016 tarihinde 22:53 saatinde, Stephan Ewen <se...@apache.org> şunları yazdı:
>
> If you want to programmatically start / stop / cancel jobs, have a look at the class
>
> "Client" (https://github.com/apache/flink/blob/master/flink-clients/src/main/java/org/apache/flink/client/program/Client.java <https://github.com/apache/flink/blob/master/flink-clients/src/main/java/org/apache/flink/client/program/Client.java>)
>
> From the classes RemoteEnvironment or the RemoteExecutor, you can see how to use it to send jobs and commands to a Flink cluster.
>
>
>
>
> On Wed, Jan 20, 2016 at 3:03 PM, Robert Metzger <rmetzger@apache.org <ma...@apache.org>> wrote:
> Hi Serkan,
>
> I would suggest to have a look at the "./bin/flink" tool. It allows you to start ("run") and stop ("cancel") batch and streaming jobs.
> Flink doesn't support suspending jobs.
>
> You can also use the JobManager web interface (default port: 8081) to get the status of the job and also to cancel it.
>
> If you need programmatic access to the job status, have a look at the CliFrontend class. Its the class called by the "./bin/flink" tool. There, you can see how jobs are submitted and cancelled.
>
> Regards,
> Robert
>
>
> 2016-01-19 12:10 GMT+01:00 <serkan.tas@likyateknoloji.com <ma...@likyateknoloji.com>>:
> Hi,
>
> I am planning to integrate flink with our job scheduler product to execute
> jobs - especially bathc like - on flink which may be the part of some
> other DAG style job chain.
>
> I need some control ablities like start, stop, suspend, get status...
>
> Where shold i go through ?
>
> --
> Serkan Tas
> Likya Bilgi Teknolojileri
> ve Iletişim Hiz. Ltd.
> www.likyateknoloji.com <http://www.likyateknoloji.com/>
> Tel : 0 216 471 81 55 <tel:0%20216%20471%2081%2055>
> Gsm : 0 542 242 00 92 <tel:0%20542%20242%2000%2092>
> Faks: 0 216 661 14 92 <tel:0%20216%20661%2014%2092>
>
> --------------------------------------
> Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece
> yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını
> taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini
> açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle
> yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya
> Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile
> ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.
>
> This electonic mail and any files transmitted with it are intended for the
> private use of the persons named above. If you received this message in
> error, forwarding, copying or use of any of the information is strictly
> prohibited. Please immediately notify the sender and delete it from your
> system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not
> accept legal responsibility for the contents of this message.
> --------------------------------------
>
> 
> Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
> Please consider your environmental responsibility before printing this
> e-mail.
>
>
>
>
>
Serkan Taş
Mobil : +90 532 250 07 71
Likya Bilgi Teknolojileri
ve İletişim Hiz. Ltd. Şti.
www.likyateknoloji.com <http://www.likyateknoloji.com/>
--------------------------------------
Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.
This electronic mail and any files transmitted with it are intended for the private use of the persons named above. If you received this message in error, forwarding, copying or use of any of the information is strictly prohibited. Please immediately notify the sender and delete it from your system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not accept legal responsibility for the contents of this message.
--------------------------------------
P
Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
Please consider your environmental responsibility before printing this e-mail.
Re: integration with a scheduler
Posted by Stephan Ewen <se...@apache.org>.
If you want to programmatically start / stop / cancel jobs, have a look at
the class
"Client" (
https://github.com/apache/flink/blob/master/flink-clients/src/main/java/org/apache/flink/client/program/Client.java
)
>From the classes RemoteEnvironment or the RemoteExecutor, you can see how
to use it to send jobs and commands to a Flink cluster.
On Wed, Jan 20, 2016 at 3:03 PM, Robert Metzger <rm...@apache.org> wrote:
> Hi Serkan,
>
> I would suggest to have a look at the "./bin/flink" tool. It allows you to
> start ("run") and stop ("cancel") batch and streaming jobs.
> Flink doesn't support suspending jobs.
>
> You can also use the JobManager web interface (default port: 8081) to get
> the status of the job and also to cancel it.
>
> If you need programmatic access to the job status, have a look at the
> CliFrontend class. Its the class called by the "./bin/flink" tool. There,
> you can see how jobs are submitted and cancelled.
>
> Regards,
> Robert
>
>
> 2016-01-19 12:10 GMT+01:00 <se...@likyateknoloji.com>:
>
>> Hi,
>>
>> I am planning to integrate flink with our job scheduler product to execute
>> jobs - especially bathc like - on flink which may be the part of some
>> other DAG style job chain.
>>
>> I need some control ablities like start, stop, suspend, get status...
>>
>> Where shold i go through ?
>>
>> --
>> Serkan Tas
>> Likya Bilgi Teknolojileri
>> ve Iletişim Hiz. Ltd.
>> www.likyateknoloji.com
>> Tel : 0 216 471 81 55
>> Gsm : 0 542 242 00 92
>> Faks: 0 216 661 14 92
>>
>> --------------------------------------
>> Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece
>> yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını
>> taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini
>> açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle
>> yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya
>> Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile
>> ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.
>>
>> This electonic mail and any files transmitted with it are intended for the
>> private use of the persons named above. If you received this message in
>> error, forwarding, copying or use of any of the information is strictly
>> prohibited. Please immediately notify the sender and delete it from your
>> system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not
>> accept legal responsibility for the contents of this message.
>> --------------------------------------
>>
>> 
>> Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar
>> düşünün.
>> Please consider your environmental responsibility before printing this
>> e-mail.
>>
>>
>>
>>
>
Re: integration with a scheduler
Posted by Robert Metzger <rm...@apache.org>.
Hi Serkan,
I would suggest to have a look at the "./bin/flink" tool. It allows you to
start ("run") and stop ("cancel") batch and streaming jobs.
Flink doesn't support suspending jobs.
You can also use the JobManager web interface (default port: 8081) to get
the status of the job and also to cancel it.
If you need programmatic access to the job status, have a look at the
CliFrontend class. Its the class called by the "./bin/flink" tool. There,
you can see how jobs are submitted and cancelled.
Regards,
Robert
2016-01-19 12:10 GMT+01:00 <se...@likyateknoloji.com>:
> Hi,
>
> I am planning to integrate flink with our job scheduler product to execute
> jobs - especially bathc like - on flink which may be the part of some
> other DAG style job chain.
>
> I need some control ablities like start, stop, suspend, get status...
>
> Where shold i go through ?
>
> --
> Serkan Tas
> Likya Bilgi Teknolojileri
> ve Iletişim Hiz. Ltd.
> www.likyateknoloji.com
> Tel : 0 216 471 81 55
> Gsm : 0 542 242 00 92
> Faks: 0 216 661 14 92
>
> --------------------------------------
> Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece
> yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını
> taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini
> açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle
> yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya
> Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile
> ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.
>
> This electonic mail and any files transmitted with it are intended for the
> private use of the persons named above. If you received this message in
> error, forwarding, copying or use of any of the information is strictly
> prohibited. Please immediately notify the sender and delete it from your
> system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not
> accept legal responsibility for the contents of this message.
> --------------------------------------
>
> 
> Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
> Please consider your environmental responsibility before printing this
> e-mail.
>
>
>
>