You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@cassandra.apache.org by Johann Höchtl <h....@ic-drei.de> on 2011/11/21 11:55:30 UTC
Pending ReadStage is exploding on only one node
Hi all,
I'm experiencing strange behaviour of my 6-node cassandra cluster and I
hope some one can explain, what I'm doing wrong.
The setting:
6-Cassandra Nodes 1.0.3
Random Partitioning
The ColumnFamily in question has a replication factor of 2 and stores
products of different shops with a secondary index on shop_id.
Twice a day, I do an update of the data with the following mechanism:
Get all keys of a shop.
Read the new CSV.
Insert the rows from the csv, which keys are not present and delete the
rows which are not longer present.
Update all prices of the products from the csv and set an update_date.
I'm measuring a high load value on a few nodes during the update process
(which is normal), but one node keeps the high load after the process
for a long time.
I checked the tpstats and found out, that on this node there are over
50k pending ReadStage tasks.
All the other nodes don't have that behaviour.
I already had this problem on cassandra 0.7, but after upgrading to 0.8
it disappeared. Now it is back.
Any suggestions?
Thanks,
Hans
Re: Pending ReadStage is exploding on only one node
Posted by Peter Schuller <pe...@infidyne.com>.
> I'm measuring a high load value on a few nodes during the update process
> (which is normal), but one node keeps the high load after the process for a
> long time.
I would say that either the reading that you to is overloading that
one node and other traffic is getting piled up as a result, or you're
stomping on page cache by reading a lot from that one node (e.g. using
CL.ONE) and you're then seeing readstage backed up until the page
cache or row cache is warm again.
In general, unless you're running at close to full CPU capacity it
sounds like you're completely disk bound, and that'll show up as a
huge amount of pending ReadStage. "iostat -x -k 1" should confirm it.
--
/ Peter Schuller (@scode, http://worldmodscode.wordpress.com)
Re: Pending ReadStage is exploding on only one node
Posted by Shotaro Kamio <ka...@gmail.com>.
Even if your query contains multiple columns which have secondary index on
each, current cassandra uses only one of them as a hash lookup. Other
columns are for filtering out from matched results. If a part of your
secondary index query has a lot of matches in data, cassandra has to
iterate over matched rows for filtering out. That request may take time to
complete and may get piled up.
Regards,
Shotaro
On Thu, Nov 24, 2011 at 4:47 AM, Johann Höchtl <h....@ic-drei.de> wrote:
> Yes I'm using indexslicequeries, but both of the request parameters have
> a secondary index on them. So it's not quite similar to your problem.
>
>
> Am 23.11.2011 13:55, schrieb Roland Gude:
>
> Are you using indexslicequeries?****
>
> ** **
>
> I described a similar problem a couple of months ago (and mechanisms to
> reproduce the behavior) but unfortunately failed to create an issue for it
> (shame on me). ****
>
> The mail thread is in the archives****
>
> http://www.mail-archive.com/user@cassandra.apache.org/msg16157.html****
>
> ** **
>
> ** **
>
> ** **
>
> *Von:* Johann Höchtl [mailto:h.hoechtl@ic-drei.de <h....@ic-drei.de>]
> *Gesendet:* Montag, 21. November 2011 22:17
> *An:* user@cassandra.apache.org
> *Betreff:* Re: Pending ReadStage is exploding on only one node****
>
> ** **
>
> Yes, it's random partioned.
>
> Am 21.11.2011 13:47, schrieb Jahangir Mohammed: ****
>
> Hmm..What's the data distribution like on cluster? R.P.?****
>
> On Mon, Nov 21, 2011 at 7:31 AM, Johann Höchtl <h....@ic-drei.de>
> wrote:****
>
> I'm using hector-0.8.0-2.
> No custom load balancer.
> Hardware is equal on every server.
>
> Am 21.11.2011 13:26, schrieb Jahangir Mohammed: ****
>
> I am not so sure from version to version.
>
> 1. Which client are you using? Any custom load balancer?
> 2. Is the hardware on this node any different from other nodes?
>
> Thanks,
> Jahangir.****
>
> On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl <h....@ic-drei.de>
> wrote:****
>
> Hi all,
>
> I'm experiencing strange behaviour of my 6-node cassandra cluster and I
> hope some one can explain, what I'm doing wrong.
>
> The setting:
> 6-Cassandra Nodes 1.0.3
> Random Partitioning
> The ColumnFamily in question has a replication factor of 2 and stores
> products of different shops with a secondary index on shop_id.
>
> Twice a day, I do an update of the data with the following mechanism:
> Get all keys of a shop.
> Read the new CSV.
> Insert the rows from the csv, which keys are not present and delete the
> rows which are not longer present.
> Update all prices of the products from the csv and set an update_date.
>
> I'm measuring a high load value on a few nodes during the update process
> (which is normal), but one node keeps the high load after the process for a
> long time.
> I checked the tpstats and found out, that on this node there are over 50k
> pending ReadStage tasks.
> All the other nodes don't have that behaviour.
>
> I already had this problem on cassandra 0.7, but after upgrading to 0.8 it
> disappeared. Now it is back.
>
> Any suggestions?
>
> Thanks,
> Hans****
>
> ** **
>
> ** **
>
> -- ****
>
> Mit freundlichen Grüßen,
>
> Johann Höchtl
> stellv. IT-Leiter ****
>
> *Adresse*
> Grafinger Straße 6
> 81671 München ****
>
> *Kontakt*
> Web: www.ic3.de <http://www.ic-drei.de/>
> E-Mail: h.hoechtl@ic-drei.de
> Tel.: 089 638 666 89 - 0
> Fax: 089 638 666 89 - 20 ****
>
>
> [image: ic3 Logo] <http://www.ic3.de/>****
>
> *Wichtige Hinweise*
> Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte
> Informationen enthalten. Sofern Sie nicht der in dieser Nachricht genannte
> Adressat (oder ein für die Weiterleitung der Nachricht an den Adressaten
> Verantwortlicher) sind, ist es Ihnen untersagt, diese Nachricht zu kopieren
> oder an Dritte weiterzugeben. In diesem Fall löschen Sie bitte diese
> Nachricht und informieren Sie den Absender dieser Nachricht per
> Antwort-Nachricht. Die ungenehmigte Nutzung oder Verbreitung dieser
> Nachricht ganz oder in Teilen ist strengstens untersagt. Bitte beachten Sie
> ferner, dass E-Mails leicht manipuliert werden können. Daher ist der Inhalt
> dieser Nachricht nicht rechtlich verbindlich. Der Inhalt dieser Nachricht
> ist nur rechtsverbindlich, wenn er schriftlich bestätigt wird. IC3 Ltd.
> kann nicht für die unrichtige oder unvollständige Übermittlung von in
> dieser Nachricht enthaltenen Informationen, für Verzögerungen beim Erhalt
> dieser Nachricht oder für Schädigungen Ihrer EDV-Systeme durch diese
> Nachricht verantwortlich gemacht werden. IC3 Ltd. übernimmt keinerlei
> Gewähr dafür, dass diese Nachricht nicht verändert wurde und keinerlei
> Gewähr dafür, dass diese Nachricht nicht von Viren befallen, abgefangen
> oder in sie anderweitig eingegriffen wurde. ****
>
> *Important notice*
> Disclaimer: Privileged/Confidential Informations may be contained in this
> message. If you are not the addressee indicated in this message (or
> responsible for delivery of the message to such person), you may not copy
> or deliver this message to anyone. In such case, you should destroy this
> message and kindly notify the sender by reply email. Any unauthorized use
> or dissemination of this message in whole or in part is strictly
> prohibited. Please note that e-mails are susceptible to change. The content
> of this message is therefore not legally binding. The content of this
> message is only legally binding if confirmed in writing. IC3 Ltd. shall not
> be liable for the improper or incomplete transmission of the information
> contained in this communication nor for any delay in its receipt or damage
> to your system. IC3 Ltd. does not guarantee that the integrity of this
> communication has been maintained nor that this communication is free of
> viruses, interceptions or interference. ****
>
> ** **
>
> ** **
>
>
>
Re: Pending ReadStage is exploding on only one node
Posted by Johann Höchtl <h....@ic-drei.de>.
Yes I'm using indexslicequeries, but both of the request parameters have
a secondary index on them. So it's not quite similar to your problem.
Am 23.11.2011 13:55, schrieb Roland Gude:
>
> Are you using indexslicequeries?
>
> I described a similar problem a couple of months ago (and mechanisms
> to reproduce the behavior) but unfortunately failed to create an issue
> for it (shame on me).
>
> The mail thread is in the archives
>
> http://www.mail-archive.com/user@cassandra.apache.org/msg16157.html
>
> *Von:*Johann Höchtl [mailto:h.hoechtl@ic-drei.de]
> *Gesendet:* Montag, 21. November 2011 22:17
> *An:* user@cassandra.apache.org
> *Betreff:* Re: Pending ReadStage is exploding on only one node
>
> Yes, it's random partioned.
>
> Am 21.11.2011 13:47, schrieb Jahangir Mohammed:
>
> Hmm..What's the data distribution like on cluster? R.P.?
>
> On Mon, Nov 21, 2011 at 7:31 AM, Johann Höchtl <h.hoechtl@ic-drei.de
> <ma...@ic-drei.de>> wrote:
>
> I'm using hector-0.8.0-2.
> No custom load balancer.
> Hardware is equal on every server.
>
> Am 21.11.2011 13:26, schrieb Jahangir Mohammed:
>
> I am not so sure from version to version.
>
> 1. Which client are you using? Any custom load balancer?
> 2. Is the hardware on this node any different from other nodes?
>
> Thanks,
> Jahangir.
>
> On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl
> <h.hoechtl@ic-drei.de <ma...@ic-drei.de>> wrote:
>
> Hi all,
>
> I'm experiencing strange behaviour of my 6-node cassandra cluster
> and I hope some one can explain, what I'm doing wrong.
>
> The setting:
> 6-Cassandra Nodes 1.0.3
> Random Partitioning
> The ColumnFamily in question has a replication factor of 2 and
> stores products of different shops with a secondary index on shop_id.
>
> Twice a day, I do an update of the data with the following mechanism:
> Get all keys of a shop.
> Read the new CSV.
> Insert the rows from the csv, which keys are not present and
> delete the rows which are not longer present.
> Update all prices of the products from the csv and set an update_date.
>
> I'm measuring a high load value on a few nodes during the update
> process (which is normal), but one node keeps the high load after
> the process for a long time.
> I checked the tpstats and found out, that on this node there are
> over 50k pending ReadStage tasks.
> All the other nodes don't have that behaviour.
>
> I already had this problem on cassandra 0.7, but after upgrading
> to 0.8 it disappeared. Now it is back.
>
> Any suggestions?
>
> Thanks,
> Hans
>
> --
>
> Mit freundlichen Grüßen,
>
> Johann Höchtl
> stellv. IT-Leiter
>
>
> *Adresse*
> Grafinger Straße 6
> 81671 München
>
>
>
> *Kontakt*
> Web: www.ic3.de <http://www.ic-drei.de/>
> E-Mail: h.hoechtl@ic-drei.de <ma...@ic-drei.de>
> Tel.: 089 638 666 89 - 0
> Fax: 089 638 666 89 - 20
>
>
>
>
> ic3 Logo <http://www.ic3.de/>
>
>
> *Wichtige Hinweise*
> Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte
> Informationen enthalten. Sofern Sie nicht der in dieser Nachricht
> genannte Adressat (oder ein für die Weiterleitung der Nachricht an den
> Adressaten Verantwortlicher) sind, ist es Ihnen untersagt, diese
> Nachricht zu kopieren oder an Dritte weiterzugeben. In diesem Fall
> löschen Sie bitte diese Nachricht und informieren Sie den Absender
> dieser Nachricht per Antwort-Nachricht. Die ungenehmigte Nutzung oder
> Verbreitung dieser Nachricht ganz oder in Teilen ist strengstens
> untersagt. Bitte beachten Sie ferner, dass E-Mails leicht manipuliert
> werden können. Daher ist der Inhalt dieser Nachricht nicht rechtlich
> verbindlich. Der Inhalt dieser Nachricht ist nur rechtsverbindlich,
> wenn er schriftlich bestätigt wird. IC3 Ltd. kann nicht für die
> unrichtige oder unvollständige Übermittlung von in dieser Nachricht
> enthaltenen Informationen, für Verzögerungen beim Erhalt dieser
> Nachricht oder für Schädigungen Ihrer EDV-Systeme durch diese
> Nachricht verantwortlich gemacht werden. IC3 Ltd. übernimmt keinerlei
> Gewähr dafür, dass diese Nachricht nicht verändert wurde und keinerlei
> Gewähr dafür, dass diese Nachricht nicht von Viren befallen,
> abgefangen oder in sie anderweitig eingegriffen wurde.
>
>
> *Important notice*
> Disclaimer: Privileged/Confidential Informations may be contained in
> this message. If you are not the addressee indicated in this message
> (or responsible for delivery of the message to such person), you may
> not copy or deliver this message to anyone. In such case, you should
> destroy this message and kindly notify the sender by reply email. Any
> unauthorized use or dissemination of this message in whole or in part
> is strictly prohibited. Please note that e-mails are susceptible to
> change. The content of this message is therefore not legally binding.
> The content of this message is only legally binding if confirmed in
> writing. IC3 Ltd. shall not be liable for the improper or incomplete
> transmission of the information contained in this communication nor
> for any delay in its receipt or damage to your system. IC3 Ltd. does
> not guarantee that the integrity of this communication has been
> maintained nor that this communication is free of viruses,
> interceptions or interference.
>
>
AW: Pending ReadStage is exploding on only one node
Posted by Roland Gude <ro...@yoochoose.com>.
Are you using indexslicequeries?
I described a similar problem a couple of months ago (and mechanisms to reproduce the behavior) but unfortunately failed to create an issue for it (shame on me).
The mail thread is in the archives
http://www.mail-archive.com/user@cassandra.apache.org/msg16157.html
Von: Johann Höchtl [mailto:h.hoechtl@ic-drei.de]
Gesendet: Montag, 21. November 2011 22:17
An: user@cassandra.apache.org
Betreff: Re: Pending ReadStage is exploding on only one node
Yes, it's random partioned.
Am 21.11.2011 13:47, schrieb Jahangir Mohammed:
Hmm..What's the data distribution like on cluster? R.P.?
On Mon, Nov 21, 2011 at 7:31 AM, Johann Höchtl <h....@ic-drei.de>> wrote:
I'm using hector-0.8.0-2.
No custom load balancer.
Hardware is equal on every server.
Am 21.11.2011 13:26, schrieb Jahangir Mohammed:
I am not so sure from version to version.
1. Which client are you using? Any custom load balancer?
2. Is the hardware on this node any different from other nodes?
Thanks,
Jahangir.
On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl <h....@ic-drei.de>> wrote:
Hi all,
I'm experiencing strange behaviour of my 6-node cassandra cluster and I hope some one can explain, what I'm doing wrong.
The setting:
6-Cassandra Nodes 1.0.3
Random Partitioning
The ColumnFamily in question has a replication factor of 2 and stores products of different shops with a secondary index on shop_id.
Twice a day, I do an update of the data with the following mechanism:
Get all keys of a shop.
Read the new CSV.
Insert the rows from the csv, which keys are not present and delete the rows which are not longer present.
Update all prices of the products from the csv and set an update_date.
I'm measuring a high load value on a few nodes during the update process (which is normal), but one node keeps the high load after the process for a long time.
I checked the tpstats and found out, that on this node there are over 50k pending ReadStage tasks.
All the other nodes don't have that behaviour.
I already had this problem on cassandra 0.7, but after upgrading to 0.8 it disappeared. Now it is back.
Any suggestions?
Thanks,
Hans
--
Mit freundlichen Grüßen,
Johann Höchtl
stellv. IT-Leiter
Adresse
Grafinger Straße 6
81671 München
Kontakt
Web: www.ic3.de<http://www.ic-drei.de/>
E-Mail: h.hoechtl@ic-drei.de<ma...@ic-drei.de>
Tel.: 089 638 666 89 - 0
Fax: 089 638 666 89 - 20
[cid:image001.jpg@01CCA9E7.8ED1B7B0]<http://www.ic3.de/>
Wichtige Hinweise
Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte Informationen enthalten. Sofern Sie nicht der in dieser Nachricht genannte Adressat (oder ein für die Weiterleitung der Nachricht an den Adressaten Verantwortlicher) sind, ist es Ihnen untersagt, diese Nachricht zu kopieren oder an Dritte weiterzugeben. In diesem Fall löschen Sie bitte diese Nachricht und informieren Sie den Absender dieser Nachricht per Antwort-Nachricht. Die ungenehmigte Nutzung oder Verbreitung dieser Nachricht ganz oder in Teilen ist strengstens untersagt. Bitte beachten Sie ferner, dass E-Mails leicht manipuliert werden können. Daher ist der Inhalt dieser Nachricht nicht rechtlich verbindlich. Der Inhalt dieser Nachricht ist nur rechtsverbindlich, wenn er schriftlich bestätigt wird. IC3 Ltd. kann nicht für die unrichtige oder unvollständige Übermittlung von in dieser Nachricht enthaltenen Informationen, für Verzögerungen beim Erhalt dieser Nachricht oder für Schädigungen Ihrer EDV-Systeme durch diese Nachricht verantwortlich gemacht werden. IC3 Ltd. übernimmt keinerlei Gewähr dafür, dass diese Nachricht nicht verändert wurde und keinerlei Gewähr dafür, dass diese Nachricht nicht von Viren befallen, abgefangen oder in sie anderweitig eingegriffen wurde.
Important notice
Disclaimer: Privileged/Confidential Informations may be contained in this message. If you are not the addressee indicated in this message (or responsible for delivery of the message to such person), you may not copy or deliver this message to anyone. In such case, you should destroy this message and kindly notify the sender by reply email. Any unauthorized use or dissemination of this message in whole or in part is strictly prohibited. Please note that e-mails are susceptible to change. The content of this message is therefore not legally binding. The content of this message is only legally binding if confirmed in writing. IC3 Ltd. shall not be liable for the improper or incomplete transmission of the information contained in this communication nor for any delay in its receipt or damage to your system. IC3 Ltd. does not guarantee that the integrity of this communication has been maintained nor that this communication is free of viruses, interceptions or interference.
Re: Pending ReadStage is exploding on only one node
Posted by Johann Höchtl <h....@ic-drei.de>.
Yes, it's random partioned.
Am 21.11.2011 13:47, schrieb Jahangir Mohammed:
> Hmm..What's the data distribution like on cluster? R.P.?
>
> On Mon, Nov 21, 2011 at 7:31 AM, Johann Höchtl <h.hoechtl@ic-drei.de
> <ma...@ic-drei.de>> wrote:
>
> I'm using hector-0.8.0-2.
> No custom load balancer.
> Hardware is equal on every server.
>
> Am 21.11.2011 13:26, schrieb Jahangir Mohammed:
>> I am not so sure from version to version.
>>
>> 1. Which client are you using? Any custom load balancer?
>> 2. Is the hardware on this node any different from other nodes?
>>
>> Thanks,
>> Jahangir.
>>
>> On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl
>> <h.hoechtl@ic-drei.de <ma...@ic-drei.de>> wrote:
>>
>> Hi all,
>>
>> I'm experiencing strange behaviour of my 6-node cassandra
>> cluster and I hope some one can explain, what I'm doing wrong.
>>
>> The setting:
>> 6-Cassandra Nodes 1.0.3
>> Random Partitioning
>> The ColumnFamily in question has a replication factor of 2
>> and stores products of different shops with a secondary index
>> on shop_id.
>>
>> Twice a day, I do an update of the data with the following
>> mechanism:
>> Get all keys of a shop.
>> Read the new CSV.
>> Insert the rows from the csv, which keys are not present and
>> delete the rows which are not longer present.
>> Update all prices of the products from the csv and set an
>> update_date.
>>
>> I'm measuring a high load value on a few nodes during the
>> update process (which is normal), but one node keeps the high
>> load after the process for a long time.
>> I checked the tpstats and found out, that on this node there
>> are over 50k pending ReadStage tasks.
>> All the other nodes don't have that behaviour.
>>
>> I already had this problem on cassandra 0.7, but after
>> upgrading to 0.8 it disappeared. Now it is back.
>>
>> Any suggestions?
>>
>> Thanks,
>> Hans
>>
>>
>
>
> --
> Mit freundlichen Grüßen,
>
> Johann Höchtl
> stellv. IT-Leiter
>
> *Adresse*
> Grafinger Straße 6
> 81671 München *Kontakt*
> Web: www.ic3.de <http://www.ic-drei.de/>
> E-Mail: h.hoechtl@ic-drei.de <ma...@ic-drei.de>
> Tel.: 089 638 666 89 - 0
> Fax: 089 638 666 89 - 20
>
>
> ic3 Logo <http://www.ic3.de/>
>
> *Wichtige Hinweise*
> Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte
> Informationen enthalten. Sofern Sie nicht der in dieser Nachricht
> genannte Adressat (oder ein für die Weiterleitung der Nachricht an
> den Adressaten Verantwortlicher) sind, ist es Ihnen untersagt,
> diese Nachricht zu kopieren oder an Dritte weiterzugeben. In
> diesem Fall löschen Sie bitte diese Nachricht und informieren Sie
> den Absender dieser Nachricht per Antwort-Nachricht. Die
> ungenehmigte Nutzung oder Verbreitung dieser Nachricht ganz oder
> in Teilen ist strengstens untersagt. Bitte beachten Sie ferner,
> dass E-Mails leicht manipuliert werden können. Daher ist der
> Inhalt dieser Nachricht nicht rechtlich verbindlich. Der Inhalt
> dieser Nachricht ist nur rechtsverbindlich, wenn er schriftlich
> bestätigt wird. IC3 Ltd. kann nicht für die unrichtige oder
> unvollständige Übermittlung von in dieser Nachricht enthaltenen
> Informationen, für Verzögerungen beim Erhalt dieser Nachricht oder
> für Schädigungen Ihrer EDV-Systeme durch diese Nachricht
> verantwortlich gemacht werden. IC3 Ltd. übernimmt keinerlei Gewähr
> dafür, dass diese Nachricht nicht verändert wurde und keinerlei
> Gewähr dafür, dass diese Nachricht nicht von Viren befallen,
> abgefangen oder in sie anderweitig eingegriffen wurde.
>
> *Important notice*
> Disclaimer: Privileged/Confidential Informations may be contained
> in this message. If you are not the addressee indicated in this
> message (or responsible for delivery of the message to such
> person), you may not copy or deliver this message to anyone. In
> such case, you should destroy this message and kindly notify the
> sender by reply email. Any unauthorized use or dissemination of
> this message in whole or in part is strictly prohibited. Please
> note that e-mails are susceptible to change. The content of this
> message is therefore not legally binding. The content of this
> message is only legally binding if confirmed in writing. IC3 Ltd.
> shall not be liable for the improper or incomplete transmission of
> the information contained in this communication nor for any delay
> in its receipt or damage to your system. IC3 Ltd. does not
> guarantee that the integrity of this communication has been
> maintained nor that this communication is free of viruses,
> interceptions or interference.
>
>
Re: Pending ReadStage is exploding on only one node
Posted by Jahangir Mohammed <md...@gmail.com>.
Hmm..What's the data distribution like on cluster? R.P.?
On Mon, Nov 21, 2011 at 7:31 AM, Johann Höchtl <h....@ic-drei.de> wrote:
> **
> I'm using hector-0.8.0-2.
> No custom load balancer.
> Hardware is equal on every server.
>
> Am 21.11.2011 13:26, schrieb Jahangir Mohammed:
>
> I am not so sure from version to version.
>
> 1. Which client are you using? Any custom load balancer?
> 2. Is the hardware on this node any different from other nodes?
>
> Thanks,
> Jahangir.
>
> On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl <h....@ic-drei.de>wrote:
>
>> Hi all,
>>
>> I'm experiencing strange behaviour of my 6-node cassandra cluster and I
>> hope some one can explain, what I'm doing wrong.
>>
>> The setting:
>> 6-Cassandra Nodes 1.0.3
>> Random Partitioning
>> The ColumnFamily in question has a replication factor of 2 and stores
>> products of different shops with a secondary index on shop_id.
>>
>> Twice a day, I do an update of the data with the following mechanism:
>> Get all keys of a shop.
>> Read the new CSV.
>> Insert the rows from the csv, which keys are not present and delete the
>> rows which are not longer present.
>> Update all prices of the products from the csv and set an update_date.
>>
>> I'm measuring a high load value on a few nodes during the update process
>> (which is normal), but one node keeps the high load after the process for a
>> long time.
>> I checked the tpstats and found out, that on this node there are over 50k
>> pending ReadStage tasks.
>> All the other nodes don't have that behaviour.
>>
>> I already had this problem on cassandra 0.7, but after upgrading to 0.8
>> it disappeared. Now it is back.
>>
>> Any suggestions?
>>
>> Thanks,
>> Hans
>>
>
>
>
> --
> Mit freundlichen Grüßen,
>
> Johann Höchtl
> stellv. IT-Leiter
> *Adresse*
> Grafinger Straße 6
> 81671 München *Kontakt*
> Web: www.ic3.de <http://www.ic-drei.de/>
> E-Mail: h.hoechtl@ic-drei.de
> Tel.: 089 638 666 89 - 0
> Fax: 089 638 666 89 - 20
>
> [image: ic3 Logo] <http://www.ic3.de/>
> *Wichtige Hinweise*
> Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte
> Informationen enthalten. Sofern Sie nicht der in dieser Nachricht genannte
> Adressat (oder ein für die Weiterleitung der Nachricht an den Adressaten
> Verantwortlicher) sind, ist es Ihnen untersagt, diese Nachricht zu kopieren
> oder an Dritte weiterzugeben. In diesem Fall löschen Sie bitte diese
> Nachricht und informieren Sie den Absender dieser Nachricht per
> Antwort-Nachricht. Die ungenehmigte Nutzung oder Verbreitung dieser
> Nachricht ganz oder in Teilen ist strengstens untersagt. Bitte beachten Sie
> ferner, dass E-Mails leicht manipuliert werden können. Daher ist der Inhalt
> dieser Nachricht nicht rechtlich verbindlich. Der Inhalt dieser Nachricht
> ist nur rechtsverbindlich, wenn er schriftlich bestätigt wird. IC3 Ltd.
> kann nicht für die unrichtige oder unvollständige Übermittlung von in
> dieser Nachricht enthaltenen Informationen, für Verzögerungen beim Erhalt
> dieser Nachricht oder für Schädigungen Ihrer EDV-Systeme durch diese
> Nachricht verantwortlich gemacht werden. IC3 Ltd. übernimmt keinerlei
> Gewähr dafür, dass diese Nachricht nicht verändert wurde und keinerlei
> Gewähr dafür, dass diese Nachricht nicht von Viren befallen, abgefangen
> oder in sie anderweitig eingegriffen wurde.
> *Important notice*
> Disclaimer: Privileged/Confidential Informations may be contained in this
> message. If you are not the addressee indicated in this message (or
> responsible for delivery of the message to such person), you may not copy
> or deliver this message to anyone. In such case, you should destroy this
> message and kindly notify the sender by reply email. Any unauthorized use
> or dissemination of this message in whole or in part is strictly
> prohibited. Please note that e-mails are susceptible to change. The content
> of this message is therefore not legally binding. The content of this
> message is only legally binding if confirmed in writing. IC3 Ltd. shall not
> be liable for the improper or incomplete transmission of the information
> contained in this communication nor for any delay in its receipt or damage
> to your system. IC3 Ltd. does not guarantee that the integrity of this
> communication has been maintained nor that this communication is free of
> viruses, interceptions or interference.
>
Re: Pending ReadStage is exploding on only one node
Posted by Johann Höchtl <h....@ic-drei.de>.
I'm using hector-0.8.0-2.
No custom load balancer.
Hardware is equal on every server.
Am 21.11.2011 13:26, schrieb Jahangir Mohammed:
> I am not so sure from version to version.
>
> 1. Which client are you using? Any custom load balancer?
> 2. Is the hardware on this node any different from other nodes?
>
> Thanks,
> Jahangir.
>
> On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl <h.hoechtl@ic-drei.de
> <ma...@ic-drei.de>> wrote:
>
> Hi all,
>
> I'm experiencing strange behaviour of my 6-node cassandra cluster
> and I hope some one can explain, what I'm doing wrong.
>
> The setting:
> 6-Cassandra Nodes 1.0.3
> Random Partitioning
> The ColumnFamily in question has a replication factor of 2 and
> stores products of different shops with a secondary index on shop_id.
>
> Twice a day, I do an update of the data with the following mechanism:
> Get all keys of a shop.
> Read the new CSV.
> Insert the rows from the csv, which keys are not present and
> delete the rows which are not longer present.
> Update all prices of the products from the csv and set an update_date.
>
> I'm measuring a high load value on a few nodes during the update
> process (which is normal), but one node keeps the high load after
> the process for a long time.
> I checked the tpstats and found out, that on this node there are
> over 50k pending ReadStage tasks.
> All the other nodes don't have that behaviour.
>
> I already had this problem on cassandra 0.7, but after upgrading
> to 0.8 it disappeared. Now it is back.
>
> Any suggestions?
>
> Thanks,
> Hans
>
>
--
Mit freundlichen Grüßen,
Johann Höchtl
stellv. IT-Leiter
*Adresse*
Grafinger Straße 6
81671 München *Kontakt*
Web: www.ic3.de <http://www.ic-drei.de/>
E-Mail: h.hoechtl@ic-drei.de <ma...@ic-drei.de>
Tel.: 089 638 666 89 - 0
Fax: 089 638 666 89 - 20
ic3 Logo <http://www.ic3.de/>
*Wichtige Hinweise*
Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte
Informationen enthalten. Sofern Sie nicht der in dieser Nachricht
genannte Adressat (oder ein für die Weiterleitung der Nachricht an den
Adressaten Verantwortlicher) sind, ist es Ihnen untersagt, diese
Nachricht zu kopieren oder an Dritte weiterzugeben. In diesem Fall
löschen Sie bitte diese Nachricht und informieren Sie den Absender
dieser Nachricht per Antwort-Nachricht. Die ungenehmigte Nutzung oder
Verbreitung dieser Nachricht ganz oder in Teilen ist strengstens
untersagt. Bitte beachten Sie ferner, dass E-Mails leicht manipuliert
werden können. Daher ist der Inhalt dieser Nachricht nicht rechtlich
verbindlich. Der Inhalt dieser Nachricht ist nur rechtsverbindlich, wenn
er schriftlich bestätigt wird. IC3 Ltd. kann nicht für die unrichtige
oder unvollständige Übermittlung von in dieser Nachricht enthaltenen
Informationen, für Verzögerungen beim Erhalt dieser Nachricht oder für
Schädigungen Ihrer EDV-Systeme durch diese Nachricht verantwortlich
gemacht werden. IC3 Ltd. übernimmt keinerlei Gewähr dafür, dass diese
Nachricht nicht verändert wurde und keinerlei Gewähr dafür, dass diese
Nachricht nicht von Viren befallen, abgefangen oder in sie anderweitig
eingegriffen wurde.
*Important notice*
Disclaimer: Privileged/Confidential Informations may be contained in
this message. If you are not the addressee indicated in this message (or
responsible for delivery of the message to such person), you may not
copy or deliver this message to anyone. In such case, you should destroy
this message and kindly notify the sender by reply email. Any
unauthorized use or dissemination of this message in whole or in part is
strictly prohibited. Please note that e-mails are susceptible to change.
The content of this message is therefore not legally binding. The
content of this message is only legally binding if confirmed in writing.
IC3 Ltd. shall not be liable for the improper or incomplete transmission
of the information contained in this communication nor for any delay in
its receipt or damage to your system. IC3 Ltd. does not guarantee that
the integrity of this communication has been maintained nor that this
communication is free of viruses, interceptions or interference.
Re: Pending ReadStage is exploding on only one node
Posted by Jahangir Mohammed <md...@gmail.com>.
I am not so sure from version to version.
1. Which client are you using? Any custom load balancer?
2. Is the hardware on this node any different from other nodes?
Thanks,
Jahangir.
On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl <h....@ic-drei.de> wrote:
> Hi all,
>
> I'm experiencing strange behaviour of my 6-node cassandra cluster and I
> hope some one can explain, what I'm doing wrong.
>
> The setting:
> 6-Cassandra Nodes 1.0.3
> Random Partitioning
> The ColumnFamily in question has a replication factor of 2 and stores
> products of different shops with a secondary index on shop_id.
>
> Twice a day, I do an update of the data with the following mechanism:
> Get all keys of a shop.
> Read the new CSV.
> Insert the rows from the csv, which keys are not present and delete the
> rows which are not longer present.
> Update all prices of the products from the csv and set an update_date.
>
> I'm measuring a high load value on a few nodes during the update process
> (which is normal), but one node keeps the high load after the process for a
> long time.
> I checked the tpstats and found out, that on this node there are over 50k
> pending ReadStage tasks.
> All the other nodes don't have that behaviour.
>
> I already had this problem on cassandra 0.7, but after upgrading to 0.8 it
> disappeared. Now it is back.
>
> Any suggestions?
>
> Thanks,
> Hans
>