You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@nutch.apache.org by Megha Bhandari <mb...@sapient.com> on 2016/06/22 07:23:37 UTC
Nutch 1.11 | scoring-opic plugin | influence on solr document score
Hi
Does the scoring-opic plugin insert influence the score of the document Nutch inserts into Solr?
Can we remove this plugin from nutch-site.xml ? We are suspecting that Nutch is introducing a higher score for documents that are freshly inserted to Solr and that is skewing results for us in search.
Thanks in advance for any insight into this plugin as I am unable to access this whitepaper link Abiteboul, Serge and Preda, Mihai and Cobena, Gregory (2003), Adaptive On-Line Page Importance Computation <http://www2003.org/cdrom/papers/refereed/p007/p7-abiteboul.html> given in the java docs.
Regards
Megha
RE: Nutch 1.11 | scoring-opic plugin | influence on solr document
score
Posted by Megha Bhandari <mb...@sapient.com>.
Thanks Markus , we will test with the no store and no index configurations.
-----Original Message-----
From: Markus Jelsma [mailto:markus.jelsma@openindex.io]
Sent: Wednesday, June 22, 2016 5:41 PM
To: user@nutch.apache.org
Subject: RE: Nutch 1.11 | scoring-opic plugin | influence on solr document score
Hello,
With Nutch 1.12 you can write a custom indexing filter that just removed that field from NutchDocument, quite easy. You can also no store and not index that field in Solr, basically ignoring it. Or you can just not query or boost on it.
Markus
-----Original message-----
> From:Megha Bhandari <mb...@sapient.com>
> Sent: Wednesday 22nd June 2016 12:00
> To: user@nutch.apache.org
> Subject: RE: Nutch 1.11 | scoring-opic plugin | influence on solr document score
>
> Update on the issue, we removed the scoring-opic plugin but Nutch is still adding <field name="boost" type="tdoubles"/> to Solr's manage-schema.xml file.
> Improvement is that we are getting a standardized boost of "boost": [ 1 ] in the document indexed now.
>
> How do we prevent Nutch from adding a boost to the solr document?
>
> -----Original Message-----
> From: Megha Bhandari [mailto:mbhandari2@sapient.com]
> Sent: Wednesday, June 22, 2016 1:20 PM
> To: user@nutch.apache.org
> Subject: RE: Nutch 1.11 | scoring-opic plugin | influence on solr document score
>
> Thanks, will try and search the forums but is it necessary to use a scoring plugin as some of the mailing list posts mention alternatives.
> We don’t want Nutch to influence document score at all.
>
> -----Original Message-----
> From: Jigal van Hemert | alterNET internet BV [mailto:jigal@alternet.nl]
> Sent: Wednesday, June 22, 2016 1:09 PM
> To: user
> Subject: Re: Nutch 1.11 | scoring-opic plugin | influence on solr document score
>
> Hi,
>
> On 22 June 2016 at 09:23, Megha Bhandari <mb...@sapient.com> wrote:
>
> >
> > Does the scoring-opic plugin insert influence the score of the document
> > Nutch inserts into Solr?
> >
> > Can we remove this plugin from nutch-site.xml ? We are suspecting that
> > Nutch is introducing a higher score for documents that are freshly inserted
> > to Solr and that is skewing results for us in search.
> >
>
> There are some posts in this list about this plugin. I don't remember that
> actual details, but in the end the advice was to remove it form the
> plugin.includes list as it does more harm than good.
>
>
> >
> > Thanks in advance for any insight into this plugin as I am unable to
> > access this whitepaper link Abiteboul, Serge and Preda, Mihai and Cobena,
> > Gregory (2003), Adaptive On-Line Page Importance Computation <
> > http://www2003.org/cdrom/papers/refereed/p007/p7-abiteboul.html> given
> > in the java docs.
> >
> > Regards
> > Megha
> >
> >
> >
>
>
> --
>
>
> Met vriendelijke groet,
>
>
> Jigal van Hemert | Ontwikkelaar
>
>
>
> Langesteijn 124
> 3342LG Hendrik-Ido-Ambacht
>
> T. +31 (0)78 635 1200
> F. +31 (0)848 34 9697
> KvK. 23 09 28 65
>
> jigal@alternet.nl
> www.alternet.nl
>
>
> Disclaimer:
> Dit bericht (inclusief eventuele bijlagen) kan vertrouwelijke informatie
> bevatten. Als u niet de beoogde ontvanger bent van dit bericht, neem dan
> direct per e-mail of telefoon contact op met de verzender en verwijder dit
> bericht van uw systeem. Het is niet toegestaan de inhoud van dit bericht op
> welke wijze dan ook te delen met derden of anderszins openbaar te maken
> zonder schriftelijke toestemming van alterNET Internet BV. U wordt
> geadviseerd altijd bijlagen te scannen op virussen. AlterNET kan op geen
> enkele wijze verantwoordelijk worden gesteld voor geleden schade als gevolg
> van virussen.
>
> Alle eventueel genoemde prijzen S.E. & O., excl. 21% BTW, excl. reiskosten.
> Op al onze prijsopgaven, offertes, overeenkomsten, en diensten zijn, met
> uitzondering van alle andere voorwaarden, de Algemene Voorwaarden van
> alterNET Internet B.V. van toepassing. Op al onze domeinregistraties en
> hostingactiviteiten zijn tevens onze aanvullende hostingvoorwaarden van
> toepassing. Dit bericht is uitsluitend bedoeld voor de geadresseerde. Aan
> dit bericht kunnen geen rechten worden ontleend.
>
> ! Bedenk voordat je deze email uitprint, of dit werkelijk nodig is !
>
RE: Nutch 1.11 | scoring-opic plugin | influence on solr document
score
Posted by Markus Jelsma <ma...@openindex.io>.
Hello,
With Nutch 1.12 you can write a custom indexing filter that just removed that field from NutchDocument, quite easy. You can also no store and not index that field in Solr, basically ignoring it. Or you can just not query or boost on it.
Markus
-----Original message-----
> From:Megha Bhandari <mb...@sapient.com>
> Sent: Wednesday 22nd June 2016 12:00
> To: user@nutch.apache.org
> Subject: RE: Nutch 1.11 | scoring-opic plugin | influence on solr document score
>
> Update on the issue, we removed the scoring-opic plugin but Nutch is still adding <field name="boost" type="tdoubles"/> to Solr's manage-schema.xml file.
> Improvement is that we are getting a standardized boost of "boost": [ 1 ] in the document indexed now.
>
> How do we prevent Nutch from adding a boost to the solr document?
>
> -----Original Message-----
> From: Megha Bhandari [mailto:mbhandari2@sapient.com]
> Sent: Wednesday, June 22, 2016 1:20 PM
> To: user@nutch.apache.org
> Subject: RE: Nutch 1.11 | scoring-opic plugin | influence on solr document score
>
> Thanks, will try and search the forums but is it necessary to use a scoring plugin as some of the mailing list posts mention alternatives.
> We don’t want Nutch to influence document score at all.
>
> -----Original Message-----
> From: Jigal van Hemert | alterNET internet BV [mailto:jigal@alternet.nl]
> Sent: Wednesday, June 22, 2016 1:09 PM
> To: user
> Subject: Re: Nutch 1.11 | scoring-opic plugin | influence on solr document score
>
> Hi,
>
> On 22 June 2016 at 09:23, Megha Bhandari <mb...@sapient.com> wrote:
>
> >
> > Does the scoring-opic plugin insert influence the score of the document
> > Nutch inserts into Solr?
> >
> > Can we remove this plugin from nutch-site.xml ? We are suspecting that
> > Nutch is introducing a higher score for documents that are freshly inserted
> > to Solr and that is skewing results for us in search.
> >
>
> There are some posts in this list about this plugin. I don't remember that
> actual details, but in the end the advice was to remove it form the
> plugin.includes list as it does more harm than good.
>
>
> >
> > Thanks in advance for any insight into this plugin as I am unable to
> > access this whitepaper link Abiteboul, Serge and Preda, Mihai and Cobena,
> > Gregory (2003), Adaptive On-Line Page Importance Computation <
> > http://www2003.org/cdrom/papers/refereed/p007/p7-abiteboul.html> given
> > in the java docs.
> >
> > Regards
> > Megha
> >
> >
> >
>
>
> --
>
>
> Met vriendelijke groet,
>
>
> Jigal van Hemert | Ontwikkelaar
>
>
>
> Langesteijn 124
> 3342LG Hendrik-Ido-Ambacht
>
> T. +31 (0)78 635 1200
> F. +31 (0)848 34 9697
> KvK. 23 09 28 65
>
> jigal@alternet.nl
> www.alternet.nl
>
>
> Disclaimer:
> Dit bericht (inclusief eventuele bijlagen) kan vertrouwelijke informatie
> bevatten. Als u niet de beoogde ontvanger bent van dit bericht, neem dan
> direct per e-mail of telefoon contact op met de verzender en verwijder dit
> bericht van uw systeem. Het is niet toegestaan de inhoud van dit bericht op
> welke wijze dan ook te delen met derden of anderszins openbaar te maken
> zonder schriftelijke toestemming van alterNET Internet BV. U wordt
> geadviseerd altijd bijlagen te scannen op virussen. AlterNET kan op geen
> enkele wijze verantwoordelijk worden gesteld voor geleden schade als gevolg
> van virussen.
>
> Alle eventueel genoemde prijzen S.E. & O., excl. 21% BTW, excl. reiskosten.
> Op al onze prijsopgaven, offertes, overeenkomsten, en diensten zijn, met
> uitzondering van alle andere voorwaarden, de Algemene Voorwaarden van
> alterNET Internet B.V. van toepassing. Op al onze domeinregistraties en
> hostingactiviteiten zijn tevens onze aanvullende hostingvoorwaarden van
> toepassing. Dit bericht is uitsluitend bedoeld voor de geadresseerde. Aan
> dit bericht kunnen geen rechten worden ontleend.
>
> ! Bedenk voordat je deze email uitprint, of dit werkelijk nodig is !
>
RE: Nutch 1.11 | scoring-opic plugin | influence on solr document
score
Posted by Megha Bhandari <mb...@sapient.com>.
Update on the issue, we removed the scoring-opic plugin but Nutch is still adding <field name="boost" type="tdoubles"/> to Solr's manage-schema.xml file.
Improvement is that we are getting a standardized boost of "boost": [ 1 ] in the document indexed now.
How do we prevent Nutch from adding a boost to the solr document?
-----Original Message-----
From: Megha Bhandari [mailto:mbhandari2@sapient.com]
Sent: Wednesday, June 22, 2016 1:20 PM
To: user@nutch.apache.org
Subject: RE: Nutch 1.11 | scoring-opic plugin | influence on solr document score
Thanks, will try and search the forums but is it necessary to use a scoring plugin as some of the mailing list posts mention alternatives.
We don’t want Nutch to influence document score at all.
-----Original Message-----
From: Jigal van Hemert | alterNET internet BV [mailto:jigal@alternet.nl]
Sent: Wednesday, June 22, 2016 1:09 PM
To: user
Subject: Re: Nutch 1.11 | scoring-opic plugin | influence on solr document score
Hi,
On 22 June 2016 at 09:23, Megha Bhandari <mb...@sapient.com> wrote:
>
> Does the scoring-opic plugin insert influence the score of the document
> Nutch inserts into Solr?
>
> Can we remove this plugin from nutch-site.xml ? We are suspecting that
> Nutch is introducing a higher score for documents that are freshly inserted
> to Solr and that is skewing results for us in search.
>
There are some posts in this list about this plugin. I don't remember that
actual details, but in the end the advice was to remove it form the
plugin.includes list as it does more harm than good.
>
> Thanks in advance for any insight into this plugin as I am unable to
> access this whitepaper link Abiteboul, Serge and Preda, Mihai and Cobena,
> Gregory (2003), Adaptive On-Line Page Importance Computation <
> http://www2003.org/cdrom/papers/refereed/p007/p7-abiteboul.html> given
> in the java docs.
>
> Regards
> Megha
>
>
>
--
Met vriendelijke groet,
Jigal van Hemert | Ontwikkelaar
Langesteijn 124
3342LG Hendrik-Ido-Ambacht
T. +31 (0)78 635 1200
F. +31 (0)848 34 9697
KvK. 23 09 28 65
jigal@alternet.nl
www.alternet.nl
Disclaimer:
Dit bericht (inclusief eventuele bijlagen) kan vertrouwelijke informatie
bevatten. Als u niet de beoogde ontvanger bent van dit bericht, neem dan
direct per e-mail of telefoon contact op met de verzender en verwijder dit
bericht van uw systeem. Het is niet toegestaan de inhoud van dit bericht op
welke wijze dan ook te delen met derden of anderszins openbaar te maken
zonder schriftelijke toestemming van alterNET Internet BV. U wordt
geadviseerd altijd bijlagen te scannen op virussen. AlterNET kan op geen
enkele wijze verantwoordelijk worden gesteld voor geleden schade als gevolg
van virussen.
Alle eventueel genoemde prijzen S.E. & O., excl. 21% BTW, excl. reiskosten.
Op al onze prijsopgaven, offertes, overeenkomsten, en diensten zijn, met
uitzondering van alle andere voorwaarden, de Algemene Voorwaarden van
alterNET Internet B.V. van toepassing. Op al onze domeinregistraties en
hostingactiviteiten zijn tevens onze aanvullende hostingvoorwaarden van
toepassing. Dit bericht is uitsluitend bedoeld voor de geadresseerde. Aan
dit bericht kunnen geen rechten worden ontleend.
! Bedenk voordat je deze email uitprint, of dit werkelijk nodig is !
RE: Nutch 1.11 | scoring-opic plugin | influence on solr document
score
Posted by Megha Bhandari <mb...@sapient.com>.
Thanks, will try and search the forums but is it necessary to use a scoring plugin as some of the mailing list posts mention alternatives.
We don’t want Nutch to influence document score at all.
-----Original Message-----
From: Jigal van Hemert | alterNET internet BV [mailto:jigal@alternet.nl]
Sent: Wednesday, June 22, 2016 1:09 PM
To: user
Subject: Re: Nutch 1.11 | scoring-opic plugin | influence on solr document score
Hi,
On 22 June 2016 at 09:23, Megha Bhandari <mb...@sapient.com> wrote:
>
> Does the scoring-opic plugin insert influence the score of the document
> Nutch inserts into Solr?
>
> Can we remove this plugin from nutch-site.xml ? We are suspecting that
> Nutch is introducing a higher score for documents that are freshly inserted
> to Solr and that is skewing results for us in search.
>
There are some posts in this list about this plugin. I don't remember that
actual details, but in the end the advice was to remove it form the
plugin.includes list as it does more harm than good.
>
> Thanks in advance for any insight into this plugin as I am unable to
> access this whitepaper link Abiteboul, Serge and Preda, Mihai and Cobena,
> Gregory (2003), Adaptive On-Line Page Importance Computation <
> http://www2003.org/cdrom/papers/refereed/p007/p7-abiteboul.html> given
> in the java docs.
>
> Regards
> Megha
>
>
>
--
Met vriendelijke groet,
Jigal van Hemert | Ontwikkelaar
Langesteijn 124
3342LG Hendrik-Ido-Ambacht
T. +31 (0)78 635 1200
F. +31 (0)848 34 9697
KvK. 23 09 28 65
jigal@alternet.nl
www.alternet.nl
Disclaimer:
Dit bericht (inclusief eventuele bijlagen) kan vertrouwelijke informatie
bevatten. Als u niet de beoogde ontvanger bent van dit bericht, neem dan
direct per e-mail of telefoon contact op met de verzender en verwijder dit
bericht van uw systeem. Het is niet toegestaan de inhoud van dit bericht op
welke wijze dan ook te delen met derden of anderszins openbaar te maken
zonder schriftelijke toestemming van alterNET Internet BV. U wordt
geadviseerd altijd bijlagen te scannen op virussen. AlterNET kan op geen
enkele wijze verantwoordelijk worden gesteld voor geleden schade als gevolg
van virussen.
Alle eventueel genoemde prijzen S.E. & O., excl. 21% BTW, excl. reiskosten.
Op al onze prijsopgaven, offertes, overeenkomsten, en diensten zijn, met
uitzondering van alle andere voorwaarden, de Algemene Voorwaarden van
alterNET Internet B.V. van toepassing. Op al onze domeinregistraties en
hostingactiviteiten zijn tevens onze aanvullende hostingvoorwaarden van
toepassing. Dit bericht is uitsluitend bedoeld voor de geadresseerde. Aan
dit bericht kunnen geen rechten worden ontleend.
! Bedenk voordat je deze email uitprint, of dit werkelijk nodig is !
Re: Nutch 1.11 | scoring-opic plugin | influence on solr document score
Posted by Jigal van Hemert | alterNET internet BV <ji...@alternet.nl>.
Hi,
On 22 June 2016 at 09:23, Megha Bhandari <mb...@sapient.com> wrote:
>
> Does the scoring-opic plugin insert influence the score of the document
> Nutch inserts into Solr?
>
> Can we remove this plugin from nutch-site.xml ? We are suspecting that
> Nutch is introducing a higher score for documents that are freshly inserted
> to Solr and that is skewing results for us in search.
>
There are some posts in this list about this plugin. I don't remember that
actual details, but in the end the advice was to remove it form the
plugin.includes list as it does more harm than good.
>
> Thanks in advance for any insight into this plugin as I am unable to
> access this whitepaper link Abiteboul, Serge and Preda, Mihai and Cobena,
> Gregory (2003), Adaptive On-Line Page Importance Computation <
> http://www2003.org/cdrom/papers/refereed/p007/p7-abiteboul.html> given
> in the java docs.
>
> Regards
> Megha
>
>
>
--
Met vriendelijke groet,
Jigal van Hemert | Ontwikkelaar
Langesteijn 124
3342LG Hendrik-Ido-Ambacht
T. +31 (0)78 635 1200
F. +31 (0)848 34 9697
KvK. 23 09 28 65
jigal@alternet.nl
www.alternet.nl
Disclaimer:
Dit bericht (inclusief eventuele bijlagen) kan vertrouwelijke informatie
bevatten. Als u niet de beoogde ontvanger bent van dit bericht, neem dan
direct per e-mail of telefoon contact op met de verzender en verwijder dit
bericht van uw systeem. Het is niet toegestaan de inhoud van dit bericht op
welke wijze dan ook te delen met derden of anderszins openbaar te maken
zonder schriftelijke toestemming van alterNET Internet BV. U wordt
geadviseerd altijd bijlagen te scannen op virussen. AlterNET kan op geen
enkele wijze verantwoordelijk worden gesteld voor geleden schade als gevolg
van virussen.
Alle eventueel genoemde prijzen S.E. & O., excl. 21% BTW, excl. reiskosten.
Op al onze prijsopgaven, offertes, overeenkomsten, en diensten zijn, met
uitzondering van alle andere voorwaarden, de Algemene Voorwaarden van
alterNET Internet B.V. van toepassing. Op al onze domeinregistraties en
hostingactiviteiten zijn tevens onze aanvullende hostingvoorwaarden van
toepassing. Dit bericht is uitsluitend bedoeld voor de geadresseerde. Aan
dit bericht kunnen geen rechten worden ontleend.
! Bedenk voordat je deze email uitprint, of dit werkelijk nodig is !
RE: Nutch 1.11 | scoring-opic plugin | influence on solr document
score
Posted by Markus Jelsma <ma...@openindex.io>.
Yes indeed. Turn if off if you are doing incremental crawls. Turn it on if you are going to perform one single crawl, and need OPIC scoring, for whatever reason i cannot think of.
Markus
-----Original message-----
> From:Jigal van Hemert | alterNET internet BV <ji...@alternet.nl>
> Sent: Wednesday 22nd June 2016 9:39
> To: user <us...@nutch.apache.org>
> Subject: Re: Nutch 1.11 | scoring-opic plugin | influence on solr document score
>
> Hi,
>
> On 22 June 2016 at 09:23, Megha Bhandari <mb...@sapient.com> wrote:
>
> >
> > Does the scoring-opic plugin insert influence the score of the document
> > Nutch inserts into Solr?
> >
> > Can we remove this plugin from nutch-site.xml ? We are suspecting that
> > Nutch is introducing a higher score for documents that are freshly inserted
> > to Solr and that is skewing results for us in search.
> >
>
> There are some posts in this list about this plugin. I don't remember that
> actual details, but in the end the advice was to remove it form the
> plugin.includes list as it does more harm than good.
>
>
> >
> > Thanks in advance for any insight into this plugin as I am unable to
> > access this whitepaper link Abiteboul, Serge and Preda, Mihai and Cobena,
> > Gregory (2003), Adaptive On-Line Page Importance Computation <
> > http://www2003.org/cdrom/papers/refereed/p007/p7-abiteboul.html> given
> > in the java docs.
> >
> > Regards
> > Megha
> >
> >
> >
>
>
> --
>
>
> Met vriendelijke groet,
>
>
> Jigal van Hemert | Ontwikkelaar
>
>
>
> Langesteijn 124
> 3342LG Hendrik-Ido-Ambacht
>
> T. +31 (0)78 635 1200
> F. +31 (0)848 34 9697
> KvK. 23 09 28 65
>
> jigal@alternet.nl
> www.alternet.nl
>
>
> Disclaimer:
> Dit bericht (inclusief eventuele bijlagen) kan vertrouwelijke informatie
> bevatten. Als u niet de beoogde ontvanger bent van dit bericht, neem dan
> direct per e-mail of telefoon contact op met de verzender en verwijder dit
> bericht van uw systeem. Het is niet toegestaan de inhoud van dit bericht op
> welke wijze dan ook te delen met derden of anderszins openbaar te maken
> zonder schriftelijke toestemming van alterNET Internet BV. U wordt
> geadviseerd altijd bijlagen te scannen op virussen. AlterNET kan op geen
> enkele wijze verantwoordelijk worden gesteld voor geleden schade als gevolg
> van virussen.
>
> Alle eventueel genoemde prijzen S.E. & O., excl. 21% BTW, excl. reiskosten.
> Op al onze prijsopgaven, offertes, overeenkomsten, en diensten zijn, met
> uitzondering van alle andere voorwaarden, de Algemene Voorwaarden van
> alterNET Internet B.V. van toepassing. Op al onze domeinregistraties en
> hostingactiviteiten zijn tevens onze aanvullende hostingvoorwaarden van
> toepassing. Dit bericht is uitsluitend bedoeld voor de geadresseerde. Aan
> dit bericht kunnen geen rechten worden ontleend.
>
> ! Bedenk voordat je deze email uitprint, of dit werkelijk nodig is !
>