You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@pig.apache.org by Marcos Pinto <ma...@gmail.com> on 2010/09/10 18:21:21 UTC
Problem to use UFD's
Hi guys, how u doing?
I got a problem with my pig's script and I really appreciate if someone
could give me a tip.
Here's the problem:
if I run this command everything goes ok
result_logs = FOREACH redirv2Mostrav2eResult GENERATE
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::formatoProduto,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::palavra,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCategoria,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idAnuncio,redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCampanha,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro as
idparceiro2, redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
redirv2Result::icpc, redirv2Result::valorResultCliques,
redirv2Result::cliques, mostrav2Result::icpm,
mostrav2Result::valorResultViews,mostrav2Result::views;
But if I try to use my UDF
result_logs = FOREACH redirv2Mostrav2eResult GENERATE
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::formatoProduto,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::palavra,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCategoria,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idAnuncio,redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCampanha,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro as
idparceiro2, redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
redirv2Result::icpc, redirv2Result::valorResultCliques,
redirv2Result::cliques, mostrav2Result::icpm,
mostrav2Result::valorResultViews,mostrav2Result::views,
br.com.hotwords.udf.ADOValidaUrlV2(redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro,0);
It doesnt work I just got null in this column
br.com.hotwords.udf.ADOValidaUrlV2(redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro,0)
someone has any ideia?
thanks in advanced.
Re: Problem to use UFD's
Posted by Dmitriy Ryaboy <dv...@gmail.com>.
Probably a problem with the UDF. Can you share the UDF code?
-D
On Fri, Sep 10, 2010 at 9:21 AM, Marcos Pinto <ma...@gmail.com> wrote:
> Hi guys, how u doing?
> I got a problem with my pig's script and I really appreciate if someone
> could give me a tip.
> Here's the problem:
>
> if I run this command everything goes ok
>
> result_logs = FOREACH redirv2Mostrav2eResult GENERATE
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::formatoProduto,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::palavra,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCategoria,
>
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idAnuncio,redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCampanha,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro as
> idparceiro2, redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
> redirv2Result::icpc, redirv2Result::valorResultCliques,
> redirv2Result::cliques, mostrav2Result::icpm,
> mostrav2Result::valorResultViews,mostrav2Result::views;
>
> But if I try to use my UDF
>
> result_logs = FOREACH redirv2Mostrav2eResult GENERATE
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::formatoProduto,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::palavra,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCategoria,
>
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idAnuncio,redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCampanha,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro as
> idparceiro2, redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
> redirv2Result::icpc, redirv2Result::valorResultCliques,
> redirv2Result::cliques, mostrav2Result::icpm,
> mostrav2Result::valorResultViews,mostrav2Result::views,
>
> br.com.hotwords.udf.ADOValidaUrlV2(redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro,0);
>
> It doesnt work I just got null in this column
>
> br.com.hotwords.udf.ADOValidaUrlV2(redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro,0)
>
> someone has any ideia?
>
> thanks in advanced.
>
RE: Problem to use UFD's
Posted by "Kaluskar, Sanjay" <sk...@informatica.com>.
Based on your description, it seems like your UDF is returning null. I
would debug the UDF: add some tracing or use a debugger & make sure it
really works.
-----Original Message-----
From: Marcos Pinto [mailto:marcoscba@gmail.com]
Sent: Friday, September 10, 2010 9:51 PM
To: pig-user@hadoop.apache.org
Subject: Problem to use UFD's
Hi guys, how u doing?
I got a problem with my pig's script and I really appreciate if someone
could give me a tip.
Here's the problem:
if I run this command everything goes ok
result_logs = FOREACH redirv2Mostrav2eResult GENERATE
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::formatoProduto
,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::palavra,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCategoria,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idAnuncio,redi
rv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCampanha,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro as
idparceiro2,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
redirv2Result::icpc, redirv2Result::valorResultCliques,
redirv2Result::cliques, mostrav2Result::icpm,
mostrav2Result::valorResultViews,mostrav2Result::views;
But if I try to use my UDF
result_logs = FOREACH redirv2Mostrav2eResult GENERATE
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::formatoProduto
,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::palavra,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCategoria,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idAnuncio,redi
rv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCampanha,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro as
idparceiro2,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
redirv2Result::icpc, redirv2Result::valorResultCliques,
redirv2Result::cliques, mostrav2Result::icpm,
mostrav2Result::valorResultViews,mostrav2Result::views,
br.com.hotwords.udf.ADOValidaUrlV2(redirv2Result::group::redirV2ComElimi
nacaoDeIpsRepetidos::url,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro,0);
It doesnt work I just got null in this column
br.com.hotwords.udf.ADOValidaUrlV2(redirv2Result::group::redirV2ComElimi
nacaoDeIpsRepetidos::url,
redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro,0)
someone has any ideia?
thanks in advanced.
Re: Problem to use UFD's
Posted by Jeff Zhang <zj...@gmail.com>.
You can debug your udf in pig's local model in eclipse. And I suggest
you set the NullPointerException as exception breakpoint
On Fri, Sep 10, 2010 at 9:21 AM, Marcos Pinto <ma...@gmail.com> wrote:
> Hi guys, how u doing?
> I got a problem with my pig's script and I really appreciate if someone
> could give me a tip.
> Here's the problem:
>
> if I run this command everything goes ok
>
> result_logs = FOREACH redirv2Mostrav2eResult GENERATE
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::formatoProduto,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::palavra,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCategoria,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idAnuncio,redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCampanha,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro as
> idparceiro2, redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
> redirv2Result::icpc, redirv2Result::valorResultCliques,
> redirv2Result::cliques, mostrav2Result::icpm,
> mostrav2Result::valorResultViews,mostrav2Result::views;
>
> But if I try to use my UDF
>
> result_logs = FOREACH redirv2Mostrav2eResult GENERATE
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::formatoProduto,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::palavra,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCategoria,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idAnuncio,redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idCampanha,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro as
> idparceiro2, redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
> redirv2Result::icpc, redirv2Result::valorResultCliques,
> redirv2Result::cliques, mostrav2Result::icpm,
> mostrav2Result::valorResultViews,mostrav2Result::views,
> br.com.hotwords.udf.ADOValidaUrlV2(redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro,0);
>
> It doesnt work I just got null in this column
> br.com.hotwords.udf.ADOValidaUrlV2(redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::url,
> redirv2Result::group::redirV2ComEliminacaoDeIpsRepetidos::idParceiro,0)
>
> someone has any ideia?
>
> thanks in advanced.
>
--
Best Regards
Jeff Zhang