Re: 404 removal not working and title mysteriously appearing in content

[Jigal van Hemert | alterNET internet BV <ji...@alternet.nl>]

Hi,

2016-09-14 16:27 GMT+02:00 Jigal van Hemert | alterNET internet BV <
> jigal@alternet.nl>:
>
2016-09-13 04:41:36,541 INFO  indexer.CleaningJob - CleaningJob: deleted a
> total of 2 documents
> 2016-09-13 04:41:36,545 WARN  mapred.FileOutputCommitter - Output path is
> null in cleanup
> 2016-09-13 04:41:37,313 INFO  indexer.CleaningJob - CleaningJob: finished
> at 2016-09-13 04:41:37, elapsed: 00:00:06
>
> It claims to have deleted 2 documents, but there are plenty of 404 pages
> still in the index.
>
> I think it's quite an old version of Nutch. There is a
> lib/apache-nutch-1.8.jar file :-)
>
>
As a workaround I now simply remove all documents which are indexed before
today (as all pages are crawled and updated daily) by calling the update
handler with a delete query. This is however not as it should work, or is
it?

-- 


Met vriendelijke groet,


Jigal van Hemert | Ontwikkelaar



Langesteijn 124
3342LG Hendrik-Ido-Ambacht

T. +31 (0)78 635 1200
F. +31 (0)848 34 9697
KvK. 23 09 28 65

jigal@alternet.nl
www.alternet.nl


Disclaimer:
Dit bericht (inclusief eventuele bijlagen) kan vertrouwelijke informatie
bevatten. Als u niet de beoogde ontvanger bent van dit bericht, neem dan
direct per e-mail of telefoon contact op met de verzender en verwijder dit
bericht van uw systeem. Het is niet toegestaan de inhoud van dit bericht op
welke wijze dan ook te delen met derden of anderszins openbaar te maken
zonder schriftelijke toestemming van alterNET Internet BV. U wordt
geadviseerd altijd bijlagen te scannen op virussen. AlterNET kan op geen
enkele wijze verantwoordelijk worden gesteld voor geleden schade als gevolg
van virussen.

Alle eventueel genoemde prijzen S.E. & O., excl. 21% BTW, excl. reiskosten.
Op al onze prijsopgaven, offertes, overeenkomsten, en diensten zijn, met
uitzondering van alle andere voorwaarden, de Algemene Voorwaarden van
alterNET Internet B.V. van toepassing. Op al onze domeinregistraties en
hostingactiviteiten zijn tevens onze aanvullende hostingvoorwaarden van
toepassing. Dit bericht is uitsluitend bedoeld voor de geadresseerde. Aan
dit bericht kunnen geen rechten worden ontleend.

! Bedenk voordat je deze email uitprint, of dit werkelijk nodig is !