About Nodes with differents source configuration

[Victor Danney Garcia Plaza <vd...@uao.edu.co>]

Hi,

Currently I have two databases, one Oracle in my datacenter and another
database on Mysql in AWS. Now I want to make joins of both data sources,
through a batch process. Is it possible to do this with apache drill?

I ask this because I have not seen in the configurations that you can have
a node with different configurations and then operate the different data
sets.

I say this last because I would think that it should have a node in the
datacenter with the Oracle database configuration and the other in AWS with
the Mysql configuration.

Thank you very much for your attention

-- 



*Victor D. Garcia Plaza*Arquitecto de TI.
Dirección de Tecnologías de Información.
Universidad Autónoma de Occidente - Cali
PBX: 3188000 ext. 12363
Calle 25 # 115 - 85 Vía Cali – Jamundí
vdgarcia@uao.edu.co <jj...@uao.edu.co>
www.uao.edu.co
<https://uao.us9.list-manage.com/track/click?u=2283585e89431c1ac1a87dad1&id=4bb6face08&e=770cddcb94>
Personería jurídica, Res. No. 0618, de la Gobernación del Valle del Cauca,
del 20 de febrero de 1970. Universidad Autónoma de Occidente, Res. No.
2766, del Ministerio de Educación Nacional, del 13 de noviembre de
2003. Acreditación Institucional de Alta Calidad, Res. No. 16740, del 24 de
agosto de 2017, con vigencia hasta el 2021. Vigilada MinEducación. La
información enviada en este correo (i) no constituye la posición oficial de
la Universidad Autónoma de Occidente, incluido cualquier archivo adjunto,
(ii) está dirigida a la persona a la cual es remitida y (iii) puede
contener información confidencial o privilegiada. Toda revisión,
retransmisión, publicación, reenvío masivo u otra acción realizada sobre
ésta información por personas diferentes al destinatario está prohibida, y
no habrá surgimiento de responsabilidad alguna por dicha razón por parte de
La Universidad Autónoma de Occidente. Si usted recibe por error este
correo, por favor notifique al remitente y borre toda la información
recibida de todos los dispositivos en los cuales ésta repose.

Re: About Nodes with differents source configuration

[Charles Givre <cg...@gmail.com>]

Hi Victor,
Welcome to Drill!  Your use case is actually quite straightforward.  First, you'd have to create connections to both your MySQL and Oracle databases.  This can be done from a single Drill node, but since you are looking to join across data sources, I would recommend having more than one node.  Here's what you have to do:

1.  Simply follow the instructions here (https://drill.apache.org/docs/rdbms-storage-plugin/ <https://drill.apache.org/docs/rdbms-storage-plugin/>) for connecting a database to Drill and do this for both your Oracle and MySQL databases.  Note that you will have to install the JDBC drivers for MySQL and Oracle in a location where Drill can access them. 

2.  I would recommend testing the connections to make sure that you can query both databases from Drill. 

That's it!  The next step would be to write a query with the join.  This is literally as simple as something like 

SELECT <fields>
FROM mysql.<your database> AS ms1
INNER JOIN oracle.<your oracle db> AS o1
ON o1.id = ms1.id 

As long as you can access both databases remotely, it doesn't really matter where Drill is.  Obviously the closer Drill is to the databases, the better the performance will be.  I hope this helps.
-- C


> On Oct 26, 2021, at 12:16 PM, Victor Danney Garcia Plaza <vd...@uao.edu.co> wrote:
> 
> Hi,
> 
> Currently I have two databases, one Oracle in my datacenter and another
> database on Mysql in AWS. Now I want to make joins of both data sources,
> through a batch process. Is it possible to do this with apache drill?
> 
> I ask this because I have not seen in the configurations that you can have
> a node with different configurations and then operate the different data
> sets.
> 
> I say this last because I would think that it should have a node in the
> datacenter with the Oracle database configuration and the other in AWS with
> the Mysql configuration.
> 
> Thank you very much for your attention
> 
> -- 
> 
> 
> 
> *Victor D. Garcia Plaza*Arquitecto de TI.
> Dirección de Tecnologías de Información.
> Universidad Autónoma de Occidente - Cali
> PBX: 3188000 ext. 12363
> Calle 25 # 115 - 85 Vía Cali – Jamundí
> vdgarcia@uao.edu.co <jj...@uao.edu.co>
> www.uao.edu.co
> <https://uao.us9.list-manage.com/track/click?u=2283585e89431c1ac1a87dad1&id=4bb6face08&e=770cddcb94>
> Personería jurídica, Res. No. 0618, de la Gobernación del Valle del Cauca,
> del 20 de febrero de 1970. Universidad Autónoma de Occidente, Res. No.
> 2766, del Ministerio de Educación Nacional, del 13 de noviembre de
> 2003. Acreditación Institucional de Alta Calidad, Res. No. 16740, del 24 de
> agosto de 2017, con vigencia hasta el 2021. Vigilada MinEducación. La
> información enviada en este correo (i) no constituye la posición oficial de
> la Universidad Autónoma de Occidente, incluido cualquier archivo adjunto,
> (ii) está dirigida a la persona a la cual es remitida y (iii) puede
> contener información confidencial o privilegiada. Toda revisión,
> retransmisión, publicación, reenvío masivo u otra acción realizada sobre
> ésta información por personas diferentes al destinatario está prohibida, y
> no habrá surgimiento de responsabilidad alguna por dicha razón por parte de
> La Universidad Autónoma de Occidente. Si usted recibe por error este
> correo, por favor notifique al remitente y borre toda la información
> recibida de todos los dispositivos en los cuales ésta repose.