You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user@spark.apache.org by tkrol <pa...@gmail.com> on 2019/06/07 14:21:44 UTC

Getting driver logs in Standalone Cluster

Hey Guys, 

I am wondering what is the best way to get logs for driver in the cluster
mode on standalone cluster? Normally I used to run client mode so I could
capture logs from the console. 

Now I've started running jobs in cluster mode and obviously driver is
running on worker and can't see the logs. 

I would like to store logs (preferably in hdfs), any easy way to do that?

Thanks



--
Sent from: http://apache-spark-user-list.1001560.n3.nabble.com/

---------------------------------------------------------------------
To unsubscribe e-mail: user-unsubscribe@spark.apache.org

Re: Getting driver logs in Standalone Cluster

Posted by Tomasz Krol <pa...@gmail.com>.

Hey Jean-Michel,

Looks like its specific for YARN. As I mentioned, I am running on
standalone cluster.

Thanks

On Tue 11 Jun 2019 at 10:50, Lourier, Jean-Michel (FIX1) <
jean-michel.lourier@porsche.de> wrote:

> Hi Patrick,
>
> I guess the easiest way is to use log aggregation:
> https://spark.apache.org/docs/latest/running-on-yarn.html#debugging-your-application
>
> BR
>
> Jean-Michel
>
>
>
> Dr. Ing. h.c. F.  Porsche Aktiengesellschaft
> Sitz der Gesellschaft: Stuttgart
> Registergericht: Amtsgericht Stuttgart HRB-Nr. 730623
> Vorsitzender des Aufsichtsrats: Dr. Wolfgang Porsche
> Vorstand: Oliver Blume, Vorsitzender
> Lutz Meschke, stv. Vorsitzender
> Andreas Haffner, Detlev von Platen, Albrecht Reimold, Uwe-Karsten Städter,
> Michael Steiner
>
> Informationen zum Umgang mit Ihren Daten finden Sie in unsere
> Datenschutzhinweisen unter
> https://www.porsche.com/germany/porscheag-privacy/
>
> Die vorgenannten Angaben werden jeder E-Mail automatisch hinzugefügt. Dies
> ist kein Anerkenntnis,
> dass es sich beim Inhalt dieser E-Mail um eine rechtsverbindliche
> Erklärung der Porsche AG handelt.
> Erklärungen, die die Porsche AG verpflichten, bedürfen jeweils der
> Unterschrift durch zwei zeichnungs-
> berechtigte Personen der AG.
>
>
>
>
> -----Ursprüngliche Nachricht-----
> Von: tkrol <pa...@gmail.com>
> Gesendet: Freitag, 7. Juni 2019 16:22
> An: user@spark.apache.org
> Betreff: Getting driver logs in Standalone Cluster
>
> Hey Guys,
>
> I am wondering what is the best way to get logs for driver in the cluster
> mode on standalone cluster? Normally I used to run client mode so I could
> capture logs from the console.
>
> Now I've started running jobs in cluster mode and obviously driver is
> running on worker and can't see the logs.
>
> I would like to store logs (preferably in hdfs), any easy way to do that?
>
> Thanks
>
>
>
> --
> Sent from: http://apache-spark-user-list.1001560.n3.nabble.com/
>
> ---------------------------------------------------------------------
> To unsubscribe e-mail: user-unsubscribe@spark.apache.org
>
> --
Tomasz Krol
patrickoq@gmail.com

AW: Getting driver logs in Standalone Cluster

Posted by "Lourier, Jean-Michel (FIX1)" <je...@porsche.de>.

Hi Patrick,

I guess the easiest way is to use log aggregation: https://spark.apache.org/docs/latest/running-on-yarn.html#debugging-your-application

Jean-Michel

Dr. Ing. h.c. F. Porsche Aktiengesellschaft
Sitz der Gesellschaft: Stuttgart
Registergericht: Amtsgericht Stuttgart HRB-Nr. 730623
Vorsitzender des Aufsichtsrats: Dr. Wolfgang Porsche
Vorstand: Oliver Blume, Vorsitzender
Lutz Meschke, stv. Vorsitzender
Andreas Haffner, Detlev von Platen, Albrecht Reimold, Uwe-Karsten Städter, Michael Steiner

Informationen zum Umgang mit Ihren Daten finden Sie in unsere Datenschutzhinweisen unter https://www.porsche.com/germany/porscheag-privacy/

Die vorgenannten Angaben werden jeder E-Mail automatisch hinzugefügt. Dies ist kein Anerkenntnis,
dass es sich beim Inhalt dieser E-Mail um eine rechtsverbindliche Erklärung der Porsche AG handelt.
Erklärungen, die die Porsche AG verpflichten, bedürfen jeweils der Unterschrift durch zwei zeichnungs-
berechtigte Personen der AG.

-----Ursprüngliche Nachricht-----
Von: tkrol <pa...@gmail.com>
Gesendet: Freitag, 7. Juni 2019 16:22
An: user@spark.apache.org
Betreff: Getting driver logs in Standalone Cluster

Hey Guys,

I am wondering what is the best way to get logs for driver in the cluster mode on standalone cluster? Normally I used to run client mode so I could capture logs from the console.

Now I've started running jobs in cluster mode and obviously driver is running on worker and can't see the logs.

I would like to store logs (preferably in hdfs), any easy way to do that?

Thanks

--
Sent from: http://apache-spark-user-list.1001560.n3.nabble.com/

---------------------------------------------------------------------
To unsubscribe e-mail: user-unsubscribe@spark.apache.org