Joining multiple tables with left join relation

["KURTYKA, M. (MICHA�) via users" <us...@nifi.apache.org>]

Hi,

I'm trying to join one "master" table with multiple enrichment tables by common id with relation that would resemble SQL left join. Is something like that possible in NiFi? Which processors will be most efficient for that? Only column they share is id.

Kind regards
Michał Kurtyka

ING Hubs B.V. z siedzibą w Amsterdamie, Holandia, VAT PL 526-319-58-54, działająca w Polsce w formie oddziału, pod firmą ING Hubs B.V. spółka z ograniczoną odpowiedzialnością Oddział w Polsce z siedzibą w Katowicach, ul. Konduktorska 35, 40-155 Katowice, NIP: 2050005130, wpisana do rejestru przedsiębiorców Krajowego Rejestru Sądowego prowadzonego przez Sąd Rejonowy Katowice-Wschód w Katowicach, VIII Wydział Gospodarczy Krajowego Rejestru Sądowego pod numerem KRS 0000702305.

Re: Joining multiple tables with left join relation

[Matt Burgess <ma...@apache.org>]

Michał,

There are some options in NiFi that should work for you, we have
LookupRecord [1] which does simple enrichment based on a common field
(such as id) that acts like a SQL left join, there are a series of
articles [2] to explain in more detail. For more complex use cases
there are ForkEnrichment [3] and JoinEnrichment [4] processors when a
simple left join is not adequate for the use case. Please let us know
if you are having trouble with any of these or if they don't quite fit
your use case.


Regards,
Matt

[1] https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.19.1/org.apache.nifi.processors.standard.LookupRecord/index.html
[2] https://community.cloudera.com/t5/Community-Articles/Data-flow-enrichment-with-NiFi-part-1-LookupRecord-processor/ta-p/246940
[3] https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.19.1/org.apache.nifi.processors.standard.ForkEnrichment/index.html
[4] https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.19.1/org.apache.nifi.processors.standard.JoinEnrichment/index.html

On Thu, Dec 8, 2022 at 8:56 AM KURTYKA, M. (MICHAŁ) via users
<us...@nifi.apache.org> wrote:
>
> Hi,
>
>
>
> I’m trying to join one “master” table with multiple enrichment tables by common id with relation that would resemble SQL left join. Is something like that possible in NiFi? Which processors will be most efficient for that? Only column they share is id.
>
>
>
> Kind regards
>
> Michał Kurtyka
>
> ING Hubs B.V. z siedzibą w Amsterdamie, Holandia, VAT PL 526-319-58-54, działająca w Polsce w formie oddziału, pod firmą ING Hubs B.V. spółka z ograniczoną odpowiedzialnością Oddział w Polsce z siedzibą w Katowicach, ul. Konduktorska 35, 40-155 Katowice, NIP: 2050005130, wpisana do rejestru przedsiębiorców Krajowego Rejestru Sądowego prowadzonego przez Sąd Rejonowy Katowice-Wschód w Katowicach, VIII Wydział Gospodarczy Krajowego Rejestru Sądowego pod numerem KRS 0000702305.