You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@flink.apache.org by Serkan Taş <se...@likyateknoloji.com> on 2016/01/20 12:53:10 UTC
parallelism parameter and output relation
I am working on this example http://www.itshared.org/2015/03/naive-bayes-on-apache-flink.html to learn get some more experience on platform.
Question is ;
By default, the output of process is double file (named 1 and 2) located in created folder. If i set parallelism to 1, FileNotFound exception is thrown.
I was expecting to get a single file instead, am i right ?
Serkan Taş
Mobil : +90 532 250 07 71
Likya Bilgi Teknolojileri
ve İletişim Hiz. Ltd. Şti.
www.likyateknoloji.com <http://www.likyateknoloji.com/>
--------------------------------------
Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.
This electronic mail and any files transmitted with it are intended for the private use of the persons named above. If you received this message in error, forwarding, copying or use of any of the information is strictly prohibited. Please immediately notify the sender and delete it from your system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not accept legal responsibility for the contents of this message.
--------------------------------------
P
Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
Please consider your environmental responsibility before printing this e-mail.
Re: parallelism parameter and output relation
Posted by Serkan Taş <se...@likyateknoloji.com>.
Hi Robert,
I found the the real reason for the case. Sorry but missed that the example project was using 0.8.1.
It is resolved after replacing with 0.10.1.
> 20 Oca 2016 tarihinde 16:40 saatinde, Robert Metzger <rm...@apache.org> şunları yazdı:
>
> Hi Serkan,
>
> yes, with parallelism=1, you'll get one file, with everything higher, Flink is creating a directory with a file for each parallel instance.
> In your case, Flink can not create (or write to) the file because there is already a directory with the same name. Can you delete the directory and see if writing to the file works afterwards?
>
> Regards,
> Robert
>
>
> 2016-01-20 12:53 GMT+01:00 Serkan Taş <serkan.tas@likyateknoloji.com <ma...@likyateknoloji.com>>:
> I am working on this example http://www.itshared.org/2015/03/naive-bayes-on-apache-flink.html <http://www.itshared.org/2015/03/naive-bayes-on-apache-flink.html> to learn get some more experience on platform.
>
> Question is ;
>
> By default, the output of process is double file (named 1 and 2) located in created folder. If i set parallelism to 1, FileNotFound exception is thrown.
>
> I was expecting to get a single file instead, am i right ?
>
>
> Serkan Taş
> Mobil : +90 532 250 07 71 <tel:%2B90%20532%20250%2007%2071>
> Likya Bilgi Teknolojileri
> ve İletişim Hiz. Ltd. Şti.
> www.likyateknoloji.com <http://www.likyateknoloji.com/>
>
> --------------------------------------
> Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.
>
> This electronic mail and any files transmitted with it are intended for the private use of the persons named above. If you received this message in error, forwarding, copying or use of any of the information is strictly prohibited. Please immediately notify the sender and delete it from your system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not accept legal responsibility for the contents of this message.
> --------------------------------------
>
> <image001.jpg>
>
>
>
>
>
>
> P
> Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
> Please consider your environmental responsibility before printing this e-mail.
>
>
>
Serkan Taş
Mobil : +90 532 250 07 71
Likya Bilgi Teknolojileri
ve İletişim Hiz. Ltd. Şti.
www.likyateknoloji.com <http://www.likyateknoloji.com/>
--------------------------------------
Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.
This electronic mail and any files transmitted with it are intended for the private use of the persons named above. If you received this message in error, forwarding, copying or use of any of the information is strictly prohibited. Please immediately notify the sender and delete it from your system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not accept legal responsibility for the contents of this message.
--------------------------------------
P
Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
Please consider your environmental responsibility before printing this e-mail.
Re: parallelism parameter and output relation
Posted by Robert Metzger <rm...@apache.org>.
Hi Serkan,
yes, with parallelism=1, you'll get one file, with everything higher, Flink
is creating a directory with a file for each parallel instance.
In your case, Flink can not create (or write to) the file because there is
already a directory with the same name. Can you delete the directory and
see if writing to the file works afterwards?
Regards,
Robert
2016-01-20 12:53 GMT+01:00 Serkan Taş <se...@likyateknoloji.com>:
> I am working on this example
> http://www.itshared.org/2015/03/naive-bayes-on-apache-flink.html to learn
> get some more experience on platform.
>
> Question is ;
>
> By default, the output of process is double file (named 1 and 2) located
> in created folder. If i set parallelism to 1, FileNotFound exception is
> thrown.
>
> I was expecting to get a single file instead, am i right ?
>
>
> *Serkan Taş*
> Mobil : +90 532 250 07 71
> Likya Bilgi Teknolojileri
> ve İletişim Hiz. Ltd. Şti.
> www.likyateknoloji.com
>
> --------------------------------------
> Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece
> yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını
> taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini
> açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle
> yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya
> Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile
> ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.
>
> This electronic mail and any files transmitted with it are intended for
> the private use of the persons named above. If you received this message
> in error, forwarding, copying or use of any of the information is strictly
> prohibited. Please immediately notify the sender and delete it from your
> system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not
> accept legal responsibility for the contents of this message.
> --------------------------------------
>
>
>
>
>
>
>
> P
> Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
> Please consider your environmental responsibility before printing this
> e-mail.
>
>
>