You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@spark.apache.org by Eduardo Costa Alfaia <e....@studenti.unibs.it> on 2014/01/20 11:02:27 UTC
Print in JavaNetworkWordCount
Hi guys,
Somebody help me, Where do I get change the print() function to print more than 10 lines in screen? Is there a manner to print the count total of all words in a batch?
Best Regards
--
---
INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
I dati utilizzati per l'invio del presente messaggio sono trattati
dall'Università degli Studi di Brescia esclusivamente per finalità
istituzionali. Informazioni più dettagliate anche in ordine ai diritti
dell'interessato sono riposte nell'informativa generale e nelle notizie
pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
Il contenuto di questo messaggio è rivolto unicamente alle persona cui
è indirizzato e può contenere informazioni la cui riservatezza è
tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
in mancanza di autorizzazione del destinatario. Qualora il messaggio
fosse pervenuto per errore, preghiamo di eliminarlo.
Re: Print in JavaNetworkWordCount
Posted by Eduardo Costa Alfaia <e....@studenti.unibs.it>.
Thanks again Tathagata for your help
Best Regards
On Jan 20, 2014, at 19:11, Tathagata Das <ta...@gmail.com> wrote:
> Hi Eduardo,
>
> You can do arbitrary stuff with the data in a DStream using the operation
> foreachRDD.
>
> yourDStream.foreachRDD(rdd => {
>
> // Get and print first n elements
> val firstN = rdd.take(n)
> println("First N elements = " + firstN)
>
> // Count the number of elements in each batch
> println("RDD has " + rdd.count() + " elements")
>
> })
>
>
> Alternatively, just for printing the counts, you can also do
>
> yourDStream.count.print()
>
> Hope this helps!
>
> TD
>
>
>
> 2014/1/20 Eduardo Costa Alfaia <e....@studenti.unibs.it>
>
>> Hi guys,
>>
>> Somebody help me, Where do I get change the print() function to print more
>> than 10 lines in screen? Is there a manner to print the count total of all
>> words in a batch?
>>
>> Best Regards
>> --
>> ---
>> INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
>>
>> I dati utilizzati per l'invio del presente messaggio sono trattati
>> dall'Università degli Studi di Brescia esclusivamente per finalità
>> istituzionali. Informazioni più dettagliate anche in ordine ai diritti
>> dell'interessato sono riposte nell'informativa generale e nelle notizie
>> pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
>>
>> Il contenuto di questo messaggio è rivolto unicamente alle persona cui
>> è indirizzato e può contenere informazioni la cui riservatezza è
>> tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
>> in mancanza di autorizzazione del destinatario. Qualora il messaggio
>> fosse pervenuto per errore, preghiamo di eliminarlo.
>>
--
---
INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
I dati utilizzati per l'invio del presente messaggio sono trattati
dall'Università degli Studi di Brescia esclusivamente per finalità
istituzionali. Informazioni più dettagliate anche in ordine ai diritti
dell'interessato sono riposte nell'informativa generale e nelle notizie
pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
Il contenuto di questo messaggio è rivolto unicamente alle persona cui
è indirizzato e può contenere informazioni la cui riservatezza è
tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
in mancanza di autorizzazione del destinatario. Qualora il messaggio
fosse pervenuto per errore, preghiamo di eliminarlo.
Re: Print in JavaNetworkWordCount
Posted by Tathagata Das <ta...@gmail.com>.
Something like maybe. From this example -
https://github.com/tdas/incubator-spark/blob/recoverable-example-fix/examples/src/main/java/org/apache/spark/streaming/examples/JavaRecoverableWordCount.java
wordCounts.foreachRDD(new Function2<JavaPairRDD<String,
Integer>, Time, Void>() {
@Override public Void call(JavaPairRDD<String, Integer>
pairRDD, Time time) throws Exception {
String counts = "Counts at time " + time + " [" +
Joiner.on(", ").join(pairRDD.collect()) + "]";
System.out.println(counts);
System.out.println("Appending to " + outputFile.getAbsolutePath());
Files.append(counts + "\n", outputFile, Charset.defaultCharset());
return null;
}
});
Note that Joiner is a class from Google Commons library. Not integral
to what you want to do.
TD
2014/1/28 Eduardo Costa Alfaia <e....@unibs.it>
> Hi Tathagata, doesn't worry I am looking for a manner in the source code of
> JavaNetworkWordcount print me in console the sum of the total of words in a
> file, not one word by line.
>
> Thanks
>
>
> Il giorno 28 gennaio 2014 22:36, Tathagata Das
> <ta...@gmail.com>ha scritto:
>
> > Yes, it was my intention to write scala code. But I may have failed to
> > write a correct one that compiles. Apologies.
> >
> > Also, something to keep in mind. This is the dev mailing for Spark
> > developers. Questions related to using Spark should be sent to
> > user@spark.incubator.apache.org
> >
> > TD
> >
> >
> >
> > 2014/1/28 Eduardo Costa Alfaia <e....@unibs.it>
> >
> > > Hi Tathagata,
> > >
> > > This code that you have sent me is it a scala code?
> > >
> > > yourDStream.foreachRDD(rdd => {
> > >
> > > // Get and print first n elements
> > > val firstN = rdd.take(n)
> > > println("First N elements = " + firstN)
> > >
> > > // Count the number of elements in each batch
> > > println("RDD has " + rdd.count() + " elements")
> > >
> > > })
> > >
> > > Thanks
> > >
> > >
> > >
> > > Il giorno 20 gennaio 2014 19:11, Tathagata Das
> > > <ta...@gmail.com>ha scritto:
> > >
> > > > Hi Eduardo,
> > > >
> > > > You can do arbitrary stuff with the data in a DStream using the
> > operation
> > > > foreachRDD.
> > > >
> > > > yourDStream.foreachRDD(rdd => {
> > > >
> > > > // Get and print first n elements
> > > > val firstN = rdd.take(n)
> > > > println("First N elements = " + firstN)
> > > >
> > > > // Count the number of elements in each batch
> > > > println("RDD has " + rdd.count() + " elements")
> > > >
> > > > })
> > > >
> > > >
> > > > Alternatively, just for printing the counts, you can also do
> > > >
> > > > yourDStream.count.print()
> > > >
> > > > Hope this helps!
> > > >
> > > > TD
> > > >
> > > >
> > > >
> > > > 2014/1/20 Eduardo Costa Alfaia <e....@studenti.unibs.it>
> > > >
> > > > > Hi guys,
> > > > >
> > > > > Somebody help me, Where do I get change the print() function to
> print
> > > > more
> > > > > than 10 lines in screen? Is there a manner to print the count total
> > of
> > > > all
> > > > > words in a batch?
> > > > >
> > > > > Best Regards
> > > > > --
> > > > > ---
> > > > > INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
> > > > >
> > > > > I dati utilizzati per l'invio del presente messaggio sono trattati
> > > > > dall'Università degli Studi di Brescia esclusivamente per finalità
> > > > > istituzionali. Informazioni più dettagliate anche in ordine ai
> > diritti
> > > > > dell'interessato sono riposte nell'informativa generale e nelle
> > notizie
> > > > > pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
> > > > >
> > > > > Il contenuto di questo messaggio è rivolto unicamente alle persona
> > cui
> > > > > è indirizzato e può contenere informazioni la cui riservatezza è
> > > > > tutelata legalmente. Ne sono vietati la riproduzione, la
> diffusione e
> > > > l'uso
> > > > > in mancanza di autorizzazione del destinatario. Qualora il
> messaggio
> > > > > fosse pervenuto per errore, preghiamo di eliminarlo.
> > > > >
> > > >
> > >
> > > --
> > > ---
> > > INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
> > >
> > > I dati utilizzati per l'invio del presente messaggio sono trattati
> > > dall'Università degli Studi di Brescia esclusivamente per finalità
> > > istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> > > dell'interessato sono riposte nell'informativa generale e nelle notizie
> > > pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
> > >
> > > Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> > > è indirizzato e può contenere informazioni la cui riservatezza è
> > > tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e
> > l'uso
> > > in mancanza di autorizzazione del destinatario. Qualora il messaggio
> > > fosse pervenuto per errore, preghiamo di eliminarlo.
> > >
> >
>
> --
> ---
> INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
>
> I dati utilizzati per l'invio del presente messaggio sono trattati
> dall'Università degli Studi di Brescia esclusivamente per finalità
> istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> dell'interessato sono riposte nell'informativa generale e nelle notizie
> pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
>
> Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> è indirizzato e può contenere informazioni la cui riservatezza è
> tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
> in mancanza di autorizzazione del destinatario. Qualora il messaggio
> fosse pervenuto per errore, preghiamo di eliminarlo.
>
Re: Print in JavaNetworkWordCount
Posted by Eduardo Costa Alfaia <e....@unibs.it>.
Hi Tathagata, doesn't worry I am looking for a manner in the source code of
JavaNetworkWordcount print me in console the sum of the total of words in a
file, not one word by line.
Thanks
Il giorno 28 gennaio 2014 22:36, Tathagata Das
<ta...@gmail.com>ha scritto:
> Yes, it was my intention to write scala code. But I may have failed to
> write a correct one that compiles. Apologies.
>
> Also, something to keep in mind. This is the dev mailing for Spark
> developers. Questions related to using Spark should be sent to
> user@spark.incubator.apache.org
>
> TD
>
>
>
> 2014/1/28 Eduardo Costa Alfaia <e....@unibs.it>
>
> > Hi Tathagata,
> >
> > This code that you have sent me is it a scala code?
> >
> > yourDStream.foreachRDD(rdd => {
> >
> > // Get and print first n elements
> > val firstN = rdd.take(n)
> > println("First N elements = " + firstN)
> >
> > // Count the number of elements in each batch
> > println("RDD has " + rdd.count() + " elements")
> >
> > })
> >
> > Thanks
> >
> >
> >
> > Il giorno 20 gennaio 2014 19:11, Tathagata Das
> > <ta...@gmail.com>ha scritto:
> >
> > > Hi Eduardo,
> > >
> > > You can do arbitrary stuff with the data in a DStream using the
> operation
> > > foreachRDD.
> > >
> > > yourDStream.foreachRDD(rdd => {
> > >
> > > // Get and print first n elements
> > > val firstN = rdd.take(n)
> > > println("First N elements = " + firstN)
> > >
> > > // Count the number of elements in each batch
> > > println("RDD has " + rdd.count() + " elements")
> > >
> > > })
> > >
> > >
> > > Alternatively, just for printing the counts, you can also do
> > >
> > > yourDStream.count.print()
> > >
> > > Hope this helps!
> > >
> > > TD
> > >
> > >
> > >
> > > 2014/1/20 Eduardo Costa Alfaia <e....@studenti.unibs.it>
> > >
> > > > Hi guys,
> > > >
> > > > Somebody help me, Where do I get change the print() function to print
> > > more
> > > > than 10 lines in screen? Is there a manner to print the count total
> of
> > > all
> > > > words in a batch?
> > > >
> > > > Best Regards
> > > > --
> > > > ---
> > > > INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
> > > >
> > > > I dati utilizzati per l'invio del presente messaggio sono trattati
> > > > dall'Università degli Studi di Brescia esclusivamente per finalità
> > > > istituzionali. Informazioni più dettagliate anche in ordine ai
> diritti
> > > > dell'interessato sono riposte nell'informativa generale e nelle
> notizie
> > > > pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
> > > >
> > > > Il contenuto di questo messaggio è rivolto unicamente alle persona
> cui
> > > > è indirizzato e può contenere informazioni la cui riservatezza è
> > > > tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e
> > > l'uso
> > > > in mancanza di autorizzazione del destinatario. Qualora il messaggio
> > > > fosse pervenuto per errore, preghiamo di eliminarlo.
> > > >
> > >
> >
> > --
> > ---
> > INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
> >
> > I dati utilizzati per l'invio del presente messaggio sono trattati
> > dall'Università degli Studi di Brescia esclusivamente per finalità
> > istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> > dell'interessato sono riposte nell'informativa generale e nelle notizie
> > pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
> >
> > Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> > è indirizzato e può contenere informazioni la cui riservatezza è
> > tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e
> l'uso
> > in mancanza di autorizzazione del destinatario. Qualora il messaggio
> > fosse pervenuto per errore, preghiamo di eliminarlo.
> >
>
--
---
INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
I dati utilizzati per l'invio del presente messaggio sono trattati
dall'Università degli Studi di Brescia esclusivamente per finalità
istituzionali. Informazioni più dettagliate anche in ordine ai diritti
dell'interessato sono riposte nell'informativa generale e nelle notizie
pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
Il contenuto di questo messaggio è rivolto unicamente alle persona cui
è indirizzato e può contenere informazioni la cui riservatezza è
tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
in mancanza di autorizzazione del destinatario. Qualora il messaggio
fosse pervenuto per errore, preghiamo di eliminarlo.
Re: Print in JavaNetworkWordCount
Posted by Tathagata Das <ta...@gmail.com>.
Yes, it was my intention to write scala code. But I may have failed to
write a correct one that compiles. Apologies.
Also, something to keep in mind. This is the dev mailing for Spark
developers. Questions related to using Spark should be sent to
user@spark.incubator.apache.org
TD
2014/1/28 Eduardo Costa Alfaia <e....@unibs.it>
> Hi Tathagata,
>
> This code that you have sent me is it a scala code?
>
> yourDStream.foreachRDD(rdd => {
>
> // Get and print first n elements
> val firstN = rdd.take(n)
> println("First N elements = " + firstN)
>
> // Count the number of elements in each batch
> println("RDD has " + rdd.count() + " elements")
>
> })
>
> Thanks
>
>
>
> Il giorno 20 gennaio 2014 19:11, Tathagata Das
> <ta...@gmail.com>ha scritto:
>
> > Hi Eduardo,
> >
> > You can do arbitrary stuff with the data in a DStream using the operation
> > foreachRDD.
> >
> > yourDStream.foreachRDD(rdd => {
> >
> > // Get and print first n elements
> > val firstN = rdd.take(n)
> > println("First N elements = " + firstN)
> >
> > // Count the number of elements in each batch
> > println("RDD has " + rdd.count() + " elements")
> >
> > })
> >
> >
> > Alternatively, just for printing the counts, you can also do
> >
> > yourDStream.count.print()
> >
> > Hope this helps!
> >
> > TD
> >
> >
> >
> > 2014/1/20 Eduardo Costa Alfaia <e....@studenti.unibs.it>
> >
> > > Hi guys,
> > >
> > > Somebody help me, Where do I get change the print() function to print
> > more
> > > than 10 lines in screen? Is there a manner to print the count total of
> > all
> > > words in a batch?
> > >
> > > Best Regards
> > > --
> > > ---
> > > INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
> > >
> > > I dati utilizzati per l'invio del presente messaggio sono trattati
> > > dall'Università degli Studi di Brescia esclusivamente per finalità
> > > istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> > > dell'interessato sono riposte nell'informativa generale e nelle notizie
> > > pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
> > >
> > > Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> > > è indirizzato e può contenere informazioni la cui riservatezza è
> > > tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e
> > l'uso
> > > in mancanza di autorizzazione del destinatario. Qualora il messaggio
> > > fosse pervenuto per errore, preghiamo di eliminarlo.
> > >
> >
>
> --
> ---
> INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
>
> I dati utilizzati per l'invio del presente messaggio sono trattati
> dall'Università degli Studi di Brescia esclusivamente per finalità
> istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> dell'interessato sono riposte nell'informativa generale e nelle notizie
> pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
>
> Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> è indirizzato e può contenere informazioni la cui riservatezza è
> tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
> in mancanza di autorizzazione del destinatario. Qualora il messaggio
> fosse pervenuto per errore, preghiamo di eliminarlo.
>
Re: Print in JavaNetworkWordCount
Posted by Eduardo Costa Alfaia <e....@unibs.it>.
Hi Tathagata,
This code that you have sent me is it a scala code?
yourDStream.foreachRDD(rdd => {
// Get and print first n elements
val firstN = rdd.take(n)
println("First N elements = " + firstN)
// Count the number of elements in each batch
println("RDD has " + rdd.count() + " elements")
})
Thanks
Il giorno 20 gennaio 2014 19:11, Tathagata Das
<ta...@gmail.com>ha scritto:
> Hi Eduardo,
>
> You can do arbitrary stuff with the data in a DStream using the operation
> foreachRDD.
>
> yourDStream.foreachRDD(rdd => {
>
> // Get and print first n elements
> val firstN = rdd.take(n)
> println("First N elements = " + firstN)
>
> // Count the number of elements in each batch
> println("RDD has " + rdd.count() + " elements")
>
> })
>
>
> Alternatively, just for printing the counts, you can also do
>
> yourDStream.count.print()
>
> Hope this helps!
>
> TD
>
>
>
> 2014/1/20 Eduardo Costa Alfaia <e....@studenti.unibs.it>
>
> > Hi guys,
> >
> > Somebody help me, Where do I get change the print() function to print
> more
> > than 10 lines in screen? Is there a manner to print the count total of
> all
> > words in a batch?
> >
> > Best Regards
> > --
> > ---
> > INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
> >
> > I dati utilizzati per l'invio del presente messaggio sono trattati
> > dall'Università degli Studi di Brescia esclusivamente per finalità
> > istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> > dell'interessato sono riposte nell'informativa generale e nelle notizie
> > pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
> >
> > Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> > è indirizzato e può contenere informazioni la cui riservatezza è
> > tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e
> l'uso
> > in mancanza di autorizzazione del destinatario. Qualora il messaggio
> > fosse pervenuto per errore, preghiamo di eliminarlo.
> >
>
--
---
INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
I dati utilizzati per l'invio del presente messaggio sono trattati
dall'Università degli Studi di Brescia esclusivamente per finalità
istituzionali. Informazioni più dettagliate anche in ordine ai diritti
dell'interessato sono riposte nell'informativa generale e nelle notizie
pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
Il contenuto di questo messaggio è rivolto unicamente alle persona cui
è indirizzato e può contenere informazioni la cui riservatezza è
tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
in mancanza di autorizzazione del destinatario. Qualora il messaggio
fosse pervenuto per errore, preghiamo di eliminarlo.
Re: Print in JavaNetworkWordCount
Posted by Eduardo Costa Alfaia <e....@studenti.unibs.it>.
Thanks again Tathagata for your help
Best Regards
On Jan 20, 2014, at 19:11, Tathagata Das <ta...@gmail.com> wrote:
> Hi Eduardo,
>
> You can do arbitrary stuff with the data in a DStream using the operation
> foreachRDD.
>
> yourDStream.foreachRDD(rdd => {
>
> // Get and print first n elements
> val firstN = rdd.take(n)
> println("First N elements = " + firstN)
>
> // Count the number of elements in each batch
> println("RDD has " + rdd.count() + " elements")
>
> })
>
>
> Alternatively, just for printing the counts, you can also do
>
> yourDStream.count.print()
>
> Hope this helps!
>
> TD
>
>
>
> 2014/1/20 Eduardo Costa Alfaia <e....@studenti.unibs.it>
>
>> Hi guys,
>>
>> Somebody help me, Where do I get change the print() function to print more
>> than 10 lines in screen? Is there a manner to print the count total of all
>> words in a batch?
>>
>> Best Regards
>> --
>> ---
>> INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
>>
>> I dati utilizzati per l'invio del presente messaggio sono trattati
>> dall'Università degli Studi di Brescia esclusivamente per finalità
>> istituzionali. Informazioni più dettagliate anche in ordine ai diritti
>> dell'interessato sono riposte nell'informativa generale e nelle notizie
>> pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
>>
>> Il contenuto di questo messaggio è rivolto unicamente alle persona cui
>> è indirizzato e può contenere informazioni la cui riservatezza è
>> tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
>> in mancanza di autorizzazione del destinatario. Qualora il messaggio
>> fosse pervenuto per errore, preghiamo di eliminarlo.
>>
--
---
INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
I dati utilizzati per l'invio del presente messaggio sono trattati
dall'Università degli Studi di Brescia esclusivamente per finalità
istituzionali. Informazioni più dettagliate anche in ordine ai diritti
dell'interessato sono riposte nell'informativa generale e nelle notizie
pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
Il contenuto di questo messaggio è rivolto unicamente alle persona cui
è indirizzato e può contenere informazioni la cui riservatezza è
tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
in mancanza di autorizzazione del destinatario. Qualora il messaggio
fosse pervenuto per errore, preghiamo di eliminarlo.
Re: Print in JavaNetworkWordCount
Posted by Tathagata Das <ta...@gmail.com>.
Hi Eduardo,
You can do arbitrary stuff with the data in a DStream using the operation
foreachRDD.
yourDStream.foreachRDD(rdd => {
// Get and print first n elements
val firstN = rdd.take(n)
println("First N elements = " + firstN)
// Count the number of elements in each batch
println("RDD has " + rdd.count() + " elements")
})
Alternatively, just for printing the counts, you can also do
yourDStream.count.print()
Hope this helps!
TD
2014/1/20 Eduardo Costa Alfaia <e....@studenti.unibs.it>
> Hi guys,
>
> Somebody help me, Where do I get change the print() function to print more
> than 10 lines in screen? Is there a manner to print the count total of all
> words in a batch?
>
> Best Regards
> --
> ---
> INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
>
> I dati utilizzati per l'invio del presente messaggio sono trattati
> dall'Università degli Studi di Brescia esclusivamente per finalità
> istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> dell'interessato sono riposte nell'informativa generale e nelle notizie
> pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
>
> Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> è indirizzato e può contenere informazioni la cui riservatezza è
> tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
> in mancanza di autorizzazione del destinatario. Qualora il messaggio
> fosse pervenuto per errore, preghiamo di eliminarlo.
>
Re: Print in JavaNetworkWordCount
Posted by Tathagata Das <ta...@gmail.com>.
Hi Eduardo,
You can do arbitrary stuff with the data in a DStream using the operation
foreachRDD.
yourDStream.foreachRDD(rdd => {
// Get and print first n elements
val firstN = rdd.take(n)
println("First N elements = " + firstN)
// Count the number of elements in each batch
println("RDD has " + rdd.count() + " elements")
})
Alternatively, just for printing the counts, you can also do
yourDStream.count.print()
Hope this helps!
TD
2014/1/20 Eduardo Costa Alfaia <e....@studenti.unibs.it>
> Hi guys,
>
> Somebody help me, Where do I get change the print() function to print more
> than 10 lines in screen? Is there a manner to print the count total of all
> words in a batch?
>
> Best Regards
> --
> ---
> INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
>
> I dati utilizzati per l'invio del presente messaggio sono trattati
> dall'Università degli Studi di Brescia esclusivamente per finalità
> istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> dell'interessato sono riposte nell'informativa generale e nelle notizie
> pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
>
> Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> è indirizzato e può contenere informazioni la cui riservatezza è
> tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
> in mancanza di autorizzazione del destinatario. Qualora il messaggio
> fosse pervenuto per errore, preghiamo di eliminarlo.
>