Custom Docker images: need help!

[Айсина Роза Мунеровна <ro...@sbermarket.ru>]

Hola!

I am new user to Apache Zeppelin.
My goal is to dynamically lunch Zeppelin setup with Kubernetes:

- Zeppelin Server
- Spark Kernel == Spark Driver with custom Python environment (run by poetry package manager)
- Spark executors with the same Python env.

My problem is that current Zeppelin image has old Python and there is no way to parametrize Python version
(especially that miniconda is old and does not support 3.11).
Also I need to make sure that Python in driver (== Zeppelin kernel) and Python on Spark executors is the same.

What I want to build is Python environment with Spark cluster run by Zeppelin in k8s.

Is it possible?
I see some Dockerfiles in Zeppeline pack - is it valid to use them?
There is no word about this Dockerfiles in docs :(

Thanks in advance!
--

Роза Айсина

Старший разработчик ПО

СберМаркет | Доставка из любимых магазинов



Email: roza.aysina@sbermarket.ru<ma...@sbermarket.ru>

Mob:

Web: sbermarket.ru<https://sbermarket.ru/>

App: iOS<https://apps.apple.com/ru/app/%D1%81%D0%B1%D0%B5%D1%80%D0%BC%D0%B0%D1%80%D0%BA%D0%B5%D1%82-%D0%B4%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%BA%D0%B0-%D0%BF%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82%D0%BE%D0%B2/id1166642457> и Android<https://play.google.com/store/apps/details?id=ru.instamart&hl=en&gl=ru>


УВЕДОМЛЕНИЕ О КОНФИДЕНЦИАЛЬНОСТИ: это электронное сообщение и любые документы, приложенные к нему, содержат конфиденциальную информацию. Настоящим уведомляем Вас о том, что, если это сообщение не предназначено Вам, использование, копирование, распространение информации, содержащейся в настоящем сообщении, а также осуществление любых действий на основе этой информации, строго запрещено. Если Вы получили это сообщение по ошибке, пожалуйста, сообщите об этом отправителю по электронной почте и удалите это сообщение.
CONFIDENTIALITY NOTICE: This email and any files attached to it are confidential. If you are not the intended recipient you are notified that using, copying, distributing or taking any action in reliance on the contents of this information is strictly prohibited. If you have received this email in error please notify the sender and delete this email.

Re: Custom Docker images: need help!

[Jongyoul Lee <jo...@gmail.com>]

Hello Айсина Роза Мунеровна,

I think you can modify the Dockerfile of
https://github.com/apache/zeppelin/blob/master/Dockerfile

Can you try this one?

Regards,
Jongyoul

2023년 4월 29일 (토) 오전 2:04, Айсина Роза Мунеровна <ro...@sbermarket.ru>님이
작성:

> Hola!
>
> I am new user to Apache Zeppelin.
> My goal is to dynamically lunch Zeppelin setup with Kubernetes:
>
> - Zeppelin Server
> - Spark Kernel == Spark Driver with custom Python environment (run by
> poetry package manager)
> - Spark executors with the same Python env.
>
> My problem is that current Zeppelin image has old Python and there is no
> way to parametrize Python version
> (especially that miniconda is old and does not support 3.11).
> Also I need to make sure that Python in driver (== Zeppelin kernel) and
> Python on Spark executors is the same.
>
> What I want to build is Python environment with Spark cluster run by
> Zeppelin in k8s.
>
> Is it possible?
> I see some Dockerfiles in Zeppeline pack - is it valid to use them?
> There is no word about this Dockerfiles in docs :(
>
> Thanks in advance!
> --
>
> Роза Айсина
>
> Старший разработчик ПО
>
> СберМаркет | Доставка из любимых магазинов
>
>
>
> Email: roza.aysina@sbermarket.ru<ma...@sbermarket.ru>
>
> Mob:
>
> Web: sbermarket.ru<https://sbermarket.ru/>
>
> App: iOS<
> https://apps.apple.com/ru/app/%D1%81%D0%B1%D0%B5%D1%80%D0%BC%D0%B0%D1%80%D0%BA%D0%B5%D1%82-%D0%B4%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%BA%D0%B0-%D0%BF%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82%D0%BE%D0%B2/id1166642457>
> и Android<
> https://play.google.com/store/apps/details?id=ru.instamart&hl=en&gl=ru>
>
>
> УВЕДОМЛЕНИЕ О КОНФИДЕНЦИАЛЬНОСТИ: это электронное сообщение и любые
> документы, приложенные к нему, содержат конфиденциальную информацию.
> Настоящим уведомляем Вас о том, что, если это сообщение не предназначено
> Вам, использование, копирование, распространение информации, содержащейся в
> настоящем сообщении, а также осуществление любых действий на основе этой
> информации, строго запрещено. Если Вы получили это сообщение по ошибке,
> пожалуйста, сообщите об этом отправителю по электронной почте и удалите это
> сообщение.
> CONFIDENTIALITY NOTICE: This email and any files attached to it are
> confidential. If you are not the intended recipient you are notified that
> using, copying, distributing or taking any action in reliance on the
> contents of this information is strictly prohibited. If you have received
> this email in error please notify the sender and delete this email.
>


-- 
이종열, Jongyoul Lee, 李宗烈
http://madeng.net