You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@accumulo.apache.org by Steven Troxell <st...@gmail.com> on 2012/08/03 23:50:35 UTC
Accumulo Caching for benchmarking
Hi all,
I am running a benchmarking project on accumulo looking at RDF queries for
clusters with different node sizes. While I intend to look at caching for
each optimizing each individual run, I do NOT want caching to interfere for
example between runs involving the use of 10 and 8 tablet servers.
Up to now I'd just been killing nodes via the bin/stop-here.sh script but I
realize that may have allowed caching from previous runs with different
node sizes to influence my results. It seemed weird to me for exmaple
when I realized dropping nodes actually increased performance (as measured
by query return times) in some cases (though I acknowledge the code I'm
working with has some serious issues with how ineffectively it is actually
utilizing accumulo, but that's an issue I intend to address later).
I suppose one way would be between a change of node sizes, stop and
restart ALL nodes ( as opposed to what I'd been doing in just killing 2
nodes for example in transitioning from a 10 to 8 node test). Will this be
sure to clear the influence of caching across runs, and is there any
cleaner way to do this?
thanks,
Steve
Re: Accumulo Caching for benchmarking
Posted by Josh Elser <jo...@gmail.com>.
I remember listening to a Keith presentation about the testing against
the multi-level RFile index which was introduced in 1.4.0.
You also want to think about caching at the operating system level. I'm
not entirely positive what Keith did to try to mitigate this, but I
imagine writing a bunch of garbage from /dev/urandom out to disk should
work. That, or you could actually reboot the nodes.
On 8/3/2012 8:55 PM, William Slacum wrote:
> Steve, I'm a little confused. The Rfile block cache is tied to a
> TServer, so if you kill a node, its cache should go away. Are you
> querying for the same data after you kill the node that hosted the
> tablet which contained the data? Also, between runs, you could stop and
> restart everything, thereby eliminating the cache.
>
> On Fri, Aug 3, 2012 at 5:50 PM, Steven Troxell <steven.troxell@gmail.com
> <ma...@gmail.com>> wrote:
>
> Hi all,
>
> I am running a benchmarking project on accumulo looking at RDF
> queries for clusters with different node sizes. While I intend to
> look at caching for each optimizing each individual run, I do NOT
> want caching to interfere for example between runs involving the use
> of 10 and 8 tablet servers.
>
> Up to now I'd just been killing nodes via the bin/stop-here.sh
> script but I realize that may have allowed caching from previous
> runs with different node sizes to influence my results. It seemed
> weird to me for exmaple when I realized dropping nodes actually
> increased performance (as measured by query return times) in some
> cases (though I acknowledge the code I'm working with has some
> serious issues with how ineffectively it is actually utilizing
> accumulo, but that's an issue I intend to address later).
>
> I suppose one way would be between a change of node sizes, stop and
> restart ALL nodes ( as opposed to what I'd been doing in just
> killing 2 nodes for example in transitioning from a 10 to 8 node
> test). Will this be sure to clear the influence of caching across
> runs, and is there any cleaner way to do this?
>
> thanks,
> Steve
>
>
Re: Accumulo Caching for benchmarking
Posted by William Slacum <wi...@accumulo.net>.
Steve, I'm a little confused. The Rfile block cache is tied to a TServer,
so if you kill a node, its cache should go away. Are you querying for the
same data after you kill the node that hosted the tablet which contained
the data? Also, between runs, you could stop and restart everything,
thereby eliminating the cache.
On Fri, Aug 3, 2012 at 5:50 PM, Steven Troxell <st...@gmail.com>wrote:
> Hi all,
>
> I am running a benchmarking project on accumulo looking at RDF queries for
> clusters with different node sizes. While I intend to look at caching for
> each optimizing each individual run, I do NOT want caching to interfere for
> example between runs involving the use of 10 and 8 tablet servers.
>
> Up to now I'd just been killing nodes via the bin/stop-here.sh script but
> I realize that may have allowed caching from previous runs with different
> node sizes to influence my results. It seemed weird to me for exmaple
> when I realized dropping nodes actually increased performance (as measured
> by query return times) in some cases (though I acknowledge the code I'm
> working with has some serious issues with how ineffectively it is actually
> utilizing accumulo, but that's an issue I intend to address later).
>
> I suppose one way would be between a change of node sizes, stop and
> restart ALL nodes ( as opposed to what I'd been doing in just killing 2
> nodes for example in transitioning from a 10 to 8 node test). Will this be
> sure to clear the influence of caching across runs, and is there any
> cleaner way to do this?
>
> thanks,
> Steve
>
Re: Accumulo Caching for benchmarking
Posted by Steven Troxell <st...@gmail.com>.
And I imagine index caching would be cleared out by stopping/starting
tservers? Cause some of those near instant hits disappeared when I went
from 10 nodes to 2, but reappeared when I went from 2 to 10. So perhaps
it is a legit performance increase if I'm understanding you correctly?
(As opposed to having a dependancy between runs with different # of nodes
that I missed).
I would also then assume that an increase in data ingest size would be
relevant to further testing past the scale where index caching suddenly
accounts for the increase?
On Tue, Aug 7, 2012 at 12:47 PM, Eric Newton <er...@gmail.com> wrote:
> Index caching is on by default in 1.4, and it's not particularly large.
> So, if your index suddenly fit entirely in cache with 10 servers, you
> would see much better performance.
>
> -Eric
>
>
> On Tue, Aug 7, 2012 at 10:57 AM, Steven Troxell <st...@gmail.com>wrote:
>
>> Are there other considerations I should be aware of to ensure independent
>> runs outside of stopping/restarting tablet servers and clearing OS cache?
>>
>> I ran a test with 2 tablet servers active, got 1 query to come back in
>> 10 hours. Ran /bin/stop-all and ./bin/start-all to get a comparison test
>> with 10 tservers, cleared the cache using Eric's command on the 2 tablet
>> servers I had used for the first run before, and now I already had 4
>> queries return in under 2 minutes.
>>
>> This could be awesome peformance gains, but I'm a bit skeptical,
>> especially considering the client code isn't even using batchscans (as well
>> as assorted other inefficiencies).
>>
>> Is there some other dependency between the tests I haven't accounted for?
>>
>>
>> On Mon, Aug 6, 2012 at 2:41 PM, Steven Troxell <st...@gmail.com>wrote:
>>
>>> For anyone else curious about this, it seems the OS caching played a
>>> much larger role for me then TServer caching. I actually measured
>>> performance increase after just stopping/restarting TServers to clear
>>> cache. (could also have been biased by being a weekend run on the
>>> cluster).
>>>
>>> However I noticed immediate difference when clearing the OS caching
>>> through Eric's commands, the first few querys that had generally been
>>> returning in tenths of seconds, were now up in the minutes range.
>>>
>>>
>>>
>>>
>>> On Sat, Aug 4, 2012 at 1:21 PM, Steven Troxell <steven.troxell@gmail.com
>>> > wrote:
>>>
>>>> thanks everyone, that should definately help me out, while I feel
>>>> silly for ignoring this issue at first, it should be interesting to see how
>>>> much this influences the results.
>>>>
>>>>
>>>>
>>>> On Sat, Aug 4, 2012 at 7:19 AM, Eric Newton <er...@gmail.com>wrote:
>>>>
>>>>> You can drop the OS caches between runs:
>>>>>
>>>>> # echo 1 > /proc/sys/vm/drop_caches
>>>>>
>>>>>
>>>>> On Fri, Aug 3, 2012 at 9:41 PM, Christopher Tubbs <ct...@gmail.com>wrote:
>>>>>
>>>>>> Steve-
>>>>>>
>>>>>> I would probably design the experiment to test different cluster sizes
>>>>>> as completely independent. That means, taking the entire thing down
>>>>>> and back up again (possibly even rebooting the boxes, and/or
>>>>>> re-initializing the cluster at the new size). I'd also do several runs
>>>>>> while it is up at a particular cluster size, to capture any
>>>>>> performance difference between the first and a later run due to OS or
>>>>>> TServer caching, for analysis later.
>>>>>>
>>>>>> Essentially, when in doubt, take more data...
>>>>>>
>>>>>> --L
>>>>>>
>>>>>>
>>>>>> On Fri, Aug 3, 2012 at 5:50 PM, Steven Troxell <
>>>>>> steven.troxell@gmail.com> wrote:
>>>>>> > Hi all,
>>>>>> >
>>>>>> > I am running a benchmarking project on accumulo looking at RDF
>>>>>> queries for
>>>>>> > clusters with different node sizes. While I intend to look at
>>>>>> caching for
>>>>>> > each optimizing each individual run, I do NOT want caching to
>>>>>> interfere for
>>>>>> > example between runs involving the use of 10 and 8 tablet servers.
>>>>>> >
>>>>>> > Up to now I'd just been killing nodes via the bin/stop-here.sh
>>>>>> script but I
>>>>>> > realize that may have allowed caching from previous runs with
>>>>>> different node
>>>>>> > sizes to influence my results. It seemed weird to me for exmaple
>>>>>> when I
>>>>>> > realized dropping nodes actually increased performance (as measured
>>>>>> by query
>>>>>> > return times) in some cases (though I acknowledge the code I'm
>>>>>> working with
>>>>>> > has some serious issues with how ineffectively it is actually
>>>>>> utilizing
>>>>>> > accumulo, but that's an issue I intend to address later).
>>>>>> >
>>>>>> > I suppose one way would be between a change of node sizes, stop
>>>>>> and restart
>>>>>> > ALL nodes ( as opposed to what I'd been doing in just killing 2
>>>>>> nodes for
>>>>>> > example in transitioning from a 10 to 8 node test). Will this be
>>>>>> sure to
>>>>>> > clear the influence of caching across runs, and is there any
>>>>>> cleaner way to
>>>>>> > do this?
>>>>>> >
>>>>>> > thanks,
>>>>>> > Steve
>>>>>>
>>>>>
>>>>>
>>>>
>>>
>>
>
Re: Accumulo Caching for benchmarking
Posted by Eric Newton <er...@gmail.com>.
Index caching is on by default in 1.4, and it's not particularly large.
So, if your index suddenly fit entirely in cache with 10 servers, you
would see much better performance.
-Eric
On Tue, Aug 7, 2012 at 10:57 AM, Steven Troxell <st...@gmail.com>wrote:
> Are there other considerations I should be aware of to ensure independent
> runs outside of stopping/restarting tablet servers and clearing OS cache?
>
> I ran a test with 2 tablet servers active, got 1 query to come back in 10
> hours. Ran /bin/stop-all and ./bin/start-all to get a comparison test
> with 10 tservers, cleared the cache using Eric's command on the 2 tablet
> servers I had used for the first run before, and now I already had 4
> queries return in under 2 minutes.
>
> This could be awesome peformance gains, but I'm a bit skeptical,
> especially considering the client code isn't even using batchscans (as well
> as assorted other inefficiencies).
>
> Is there some other dependency between the tests I haven't accounted for?
>
>
> On Mon, Aug 6, 2012 at 2:41 PM, Steven Troxell <st...@gmail.com>wrote:
>
>> For anyone else curious about this, it seems the OS caching played a much
>> larger role for me then TServer caching. I actually measured performance
>> increase after just stopping/restarting TServers to clear cache. (could
>> also have been biased by being a weekend run on the cluster).
>>
>> However I noticed immediate difference when clearing the OS caching
>> through Eric's commands, the first few querys that had generally been
>> returning in tenths of seconds, were now up in the minutes range.
>>
>>
>>
>>
>> On Sat, Aug 4, 2012 at 1:21 PM, Steven Troxell <st...@gmail.com>wrote:
>>
>>> thanks everyone, that should definately help me out, while I feel silly
>>> for ignoring this issue at first, it should be interesting to see how much
>>> this influences the results.
>>>
>>>
>>>
>>> On Sat, Aug 4, 2012 at 7:19 AM, Eric Newton <er...@gmail.com>wrote:
>>>
>>>> You can drop the OS caches between runs:
>>>>
>>>> # echo 1 > /proc/sys/vm/drop_caches
>>>>
>>>>
>>>> On Fri, Aug 3, 2012 at 9:41 PM, Christopher Tubbs <ct...@gmail.com>wrote:
>>>>
>>>>> Steve-
>>>>>
>>>>> I would probably design the experiment to test different cluster sizes
>>>>> as completely independent. That means, taking the entire thing down
>>>>> and back up again (possibly even rebooting the boxes, and/or
>>>>> re-initializing the cluster at the new size). I'd also do several runs
>>>>> while it is up at a particular cluster size, to capture any
>>>>> performance difference between the first and a later run due to OS or
>>>>> TServer caching, for analysis later.
>>>>>
>>>>> Essentially, when in doubt, take more data...
>>>>>
>>>>> --L
>>>>>
>>>>>
>>>>> On Fri, Aug 3, 2012 at 5:50 PM, Steven Troxell <
>>>>> steven.troxell@gmail.com> wrote:
>>>>> > Hi all,
>>>>> >
>>>>> > I am running a benchmarking project on accumulo looking at RDF
>>>>> queries for
>>>>> > clusters with different node sizes. While I intend to look at
>>>>> caching for
>>>>> > each optimizing each individual run, I do NOT want caching to
>>>>> interfere for
>>>>> > example between runs involving the use of 10 and 8 tablet servers.
>>>>> >
>>>>> > Up to now I'd just been killing nodes via the bin/stop-here.sh
>>>>> script but I
>>>>> > realize that may have allowed caching from previous runs with
>>>>> different node
>>>>> > sizes to influence my results. It seemed weird to me for exmaple
>>>>> when I
>>>>> > realized dropping nodes actually increased performance (as measured
>>>>> by query
>>>>> > return times) in some cases (though I acknowledge the code I'm
>>>>> working with
>>>>> > has some serious issues with how ineffectively it is actually
>>>>> utilizing
>>>>> > accumulo, but that's an issue I intend to address later).
>>>>> >
>>>>> > I suppose one way would be between a change of node sizes, stop and
>>>>> restart
>>>>> > ALL nodes ( as opposed to what I'd been doing in just killing 2
>>>>> nodes for
>>>>> > example in transitioning from a 10 to 8 node test). Will this be
>>>>> sure to
>>>>> > clear the influence of caching across runs, and is there any cleaner
>>>>> way to
>>>>> > do this?
>>>>> >
>>>>> > thanks,
>>>>> > Steve
>>>>>
>>>>
>>>>
>>>
>>
>
RE: tserver not able to connect
Posted by Ranjan Sen <ra...@hotmail.com>.
I got the zookeepers to work properly now (missed creating the myid file). I can now see the tservers in the zkCli.sh list. Thanks - Happy Thanksgiving Day.
From: ranjan_sen@hotmail.com
To: user@accumulo.apache.org
Subject: RE: tserver not able to connect
Date: Thu, 22 Nov 2012 23:49:14 +0000
also I am using zookeeper-3.4.3
From: ranjan_sen@hotmail.com
To: user@accumulo.apache.org
Subject: RE: tserver not able to connect
Date: Thu, 22 Nov 2012 23:44:02 +0000
this is what i have in the zoo.cfg
syncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just # example sakes.dataDir=/tmp/zookeeper# the port at which the clients will connectclientPort=2181server.1=ip-10-145-140-125.ec2.internal:2888:3888server.2=ip-10-35-77-90.ec2.internal:2888:3888server.3=ip-10-98-50-4.ec2.internal:2888:3888
From: vines@apache.org
Date: Thu, 22 Nov 2012 18:32:53 -0500
Subject: Re: tserver not able to connect
To: user@accumulo.apache.org
Do you have the zookeepers listed as the hostname or just localhost in the
zoo.cfg?
On Thu, Nov 22, 2012 at 6:23 PM, John Vines <jv...@gmail.com> wrote:
Do you have the zookeepers listed as the hostname or just localhost in the zoo.cfg?
On Thu, Nov 22, 2012 at 6:22 PM, Ranjan Sen <ra...@hotmail.com> wrote:
yes, I have all TCP, UDP ports open.
I saw a strange thing - when I start zookeeper using bin/zkServer.sh start i dont see it as a running service using netstat. when i use the zkCli.sh it fails with message as follows - I am wondering why is it connecting to 127.0.0.1 ? although in my zoo.cfg I have different server ips.
...onTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@96fa4742012-11-22 23:16:15,829 [myid:] - INFO [main-SendThread():ClientCnxn$SendThread@933] - Opening socket connection to server /127.0.0.1:2181
Welcome to ZooKeeper!2012-11-22 23:16:15,836 [myid:] - INFO [main-SendThread(localhost:2181):ZooKeeperSaslClient@125] - Client will not SASL-authenticate because the default JAAS configuration section 'Client' could not be found. If you are not using SASL, you may ignore this. On the other hand, if you expected SASL to work, please fix your JAAS configuration.
JLine support is enabled2012-11-22 23:16:15,846 [myid:] - WARN [main-SendThread(localhost:2181):ClientCnxn$SendThread@1057] - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
java.net.ConnectException: Connection refused
From: vines@apache.org
Date: Thu, 22 Nov 2012 15:54:18 -0500
Subject: Re: tserver not able to connect
To: user@accumulo.apache.org
oh, It was hard to see on my phone. It looks like the dfs port (9000) is being blocked. Make ssure you have the ports allowed in EC2 configuration.
On Thu, Nov 22, 2012 at 3:38 PM, Josh Elser <jo...@gmail.com> wrote:
Running with a single ZooKeeper in standalone is not an issue. If you run multiple, then you need to have a quorum.
On Thursday, November 22, 2012, Ranjan Sen <ra...@hotmail.com> wrote:
> this is a multinode cluster - but I was testing with a zookeeper running on the same node as the master. I might have missed the point that there has to be a quorum - that would mean I need 3 zookeepers to run. I will try with that. Thanks a lot to point that out.
>
> ________________________________
> Date: Thu, 22 Nov 2012 14:30:44 -0500
> Subject: Re: tserver not able to connect
> From: vines@apache.org
> To: user@accumulo.apache.org
>
> Is this a single node instance or a cluster? If cluster, and using multiple zookeepers, make sure you have them configured together as a quorum and have then listed properly in the accumulo-site.xml.
>
> Also, this may be a stupid question, but did you initialize accumulo?
>
> Sent from my phone, pardon the typos and brevity.
>
> On Nov 22, 2012 2:11 PM, "Ranjan Sen" <ra...@hotmail.com> wrote:
>
>
>
> Hiá
> I have the following connection refused problem when a tserver is trying to connect to master.á
> I checked the ip:port for the services as follows:á
> log from tserver:á
> 22 17:56:51,289 [ipc.Client] INFO : Retrying connect to server: ip-10-145-140-125.ec2.internal/10.145.140.125:9000. Already tried 9 time(s).
> 22 17:56:51,292 [logger.LogService] FATAL: Failed to initialize log service args=[--address, ip-10-35-77-90.ec2.internal]
> java.lang.RuntimeException: Accumulo not initialized, there is no instance id at /accumulo/instance_id
> á á á á at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:272)
> á á á á at org.apache.accumulo.server.conf.ZooConfiguration.getInstance(ZooConfiguration.java:65)
> á á á á at org.apache.accumulo.server.conf.ServerConfiguration.getZooConfiguration(ServerConfiguration.java:49)
> á á á á at org.apache.accumulo.server.conf.ServerConfiguration.getSystemConfiguration(ServerConfiguration.java:58)
> á á á á at org.apache.accumulo.server.client.HdfsZooInstance.<init>(HdfsZooInstance.java:62)
> á á á á at org.apache.accumulo.server.client.HdfsZooInstance.getInstance(HdfsZooInstance.java:70)
> á á á á at org.apache.accumulo.server.Accumulo.init(Accumulo.java:132)
> á á á á at org.apache.accumulo.server.logger.LogService.<init>(LogService.java:142)
> á á á á at org.apache.accumulo.server.logger.LogService.main(LogService.java:128)
> á á á á at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
> á á á á at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
> á á á á at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
> á á á á at java.lang.reflect.Method.invoke(Method.java:616)
> á á á á at org.apache.accumulo.start.Main$1.run(Main.java:89)
> á á á á at java.lang.Thread.run(Thread.java:679)
> Caused by: java.net.ConnectException: Call to ip-10-145-140-125.ec2.internal/10.145.140.125:9000 failed on connection exception: java.net.ConnectException: Connection refused
> á á á á at org.apache.hadoop.ipc.Client.wrapException(Client.java:1099)
> á á á á at org.apache.hadoop.ipc.Client.call(Client.java:1075)
> á á á á at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
> á á á á at $Proxy1.getProtocolVersion(Unknown Source)
> á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)
> á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)
> á á á á at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119)
> á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:238)
> á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:203)
> á á á á at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
> á á á á at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386)
> á á á á at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
> á á á á at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)
> á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)
> á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)
> á á á á at org.apache.accumulo.core.file.FileUtil.getFileSystem(FileUtil.java:554)
> á á á á at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:258)
> á á á á ... 14 more
> Caused by: java.net.ConnectException: Connection refused
> á á á á at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
> á á á á at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:592)
> á á á á at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
> á á á á at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489)
>
> The netstat listing is
> 2012-11-22 18:55:29,828 [myid:] - INFO á[main-EventThread:ClientCnxn$EventThread@511] - EventThread shut down
> ubuntu@ip-10-145-140-125:/opt/zookeeper$ netstat -pnl
> (Not all processes could be identified, non-owned process info
> áwill not be shown, you would have to be root to see it all.)
> Active Internet connections (only servers)
> Proto Recv-Q Send-Q Local Address á á á á á Foreign Address á á á á State á á á PID/Program name
> tcp á á á á0 á á á0 0.0.0.0:50060 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1610/java á á áá
> tcp á á á á0 á á á0 127.0.0.1:59661 á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1610/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50030 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:39123 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1740/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50070 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:22 á á á á á á á0.0.0.0:* á á á á á á á LISTEN á á á- á á á á á á áá
> tcp á á á á0 á á á0 0.0.0.0:35159 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1367/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50010 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:33786 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50075 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:49500 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50020 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:2181 á á á á á á0.0.0.0:* á á á á á á á LISTEN á á á1740/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:53383 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 10.145.140.125:9000 á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 10.145.140.125:9001 á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50090 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1367/java á á áá
> tcp6 á á á 0 á á á0 :::22 á á á á á á á á á :::* á á á á á á á á á áLISTEN á á á- á á á á á á áá
> udp á á á á0 á á á0 0.0.0.0:68 á á á á á á á0.0.0.0:* á á á á á á á á á á á á á - á á á á á á áá
> Active UNIX domain sockets (only servers)
> Proto RefCnt Flags á á á Type á á á State á á á á I-Node á PID/Program name á áPath
> unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 5594 á á - á á á á á á á á á @/com/ubuntu/upstart
> unix á2 á á á[ ACC ] á á SEQPACKET áLISTENING á á 1824 á á - á á á á á á á á á @/org/kernel/udev/udevd
> unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 6318 á á - á á á á á á á á á /var/run/dbus/system_bus_socket
> ubuntu@ip-10-145-140-125:/opt/zookeeper$á
>
--
Cheers
~John
RE: tserver not able to connect
Posted by Ranjan Sen <ra...@hotmail.com>.
also I am using zookeeper-3.4.3
From: ranjan_sen@hotmail.com
To: user@accumulo.apache.org
Subject: RE: tserver not able to connect
Date: Thu, 22 Nov 2012 23:44:02 +0000
this is what i have in the zoo.cfg
syncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just # example sakes.dataDir=/tmp/zookeeper# the port at which the clients will connectclientPort=2181server.1=ip-10-145-140-125.ec2.internal:2888:3888server.2=ip-10-35-77-90.ec2.internal:2888:3888server.3=ip-10-98-50-4.ec2.internal:2888:3888
From: vines@apache.org
Date: Thu, 22 Nov 2012 18:32:53 -0500
Subject: Re: tserver not able to connect
To: user@accumulo.apache.org
Do you have the zookeepers listed as the hostname or just localhost in the
zoo.cfg?
On Thu, Nov 22, 2012 at 6:23 PM, John Vines <jv...@gmail.com> wrote:
Do you have the zookeepers listed as the hostname or just localhost in the zoo.cfg?
On Thu, Nov 22, 2012 at 6:22 PM, Ranjan Sen <ra...@hotmail.com> wrote:
yes, I have all TCP, UDP ports open.
I saw a strange thing - when I start zookeeper using bin/zkServer.sh start i dont see it as a running service using netstat. when i use the zkCli.sh it fails with message as follows - I am wondering why is it connecting to 127.0.0.1 ? although in my zoo.cfg I have different server ips.
...onTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@96fa4742012-11-22 23:16:15,829 [myid:] - INFO [main-SendThread():ClientCnxn$SendThread@933] - Opening socket connection to server /127.0.0.1:2181
Welcome to ZooKeeper!2012-11-22 23:16:15,836 [myid:] - INFO [main-SendThread(localhost:2181):ZooKeeperSaslClient@125] - Client will not SASL-authenticate because the default JAAS configuration section 'Client' could not be found. If you are not using SASL, you may ignore this. On the other hand, if you expected SASL to work, please fix your JAAS configuration.
JLine support is enabled2012-11-22 23:16:15,846 [myid:] - WARN [main-SendThread(localhost:2181):ClientCnxn$SendThread@1057] - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
java.net.ConnectException: Connection refused
From: vines@apache.org
Date: Thu, 22 Nov 2012 15:54:18 -0500
Subject: Re: tserver not able to connect
To: user@accumulo.apache.org
oh, It was hard to see on my phone. It looks like the dfs port (9000) is being blocked. Make ssure you have the ports allowed in EC2 configuration.
On Thu, Nov 22, 2012 at 3:38 PM, Josh Elser <jo...@gmail.com> wrote:
Running with a single ZooKeeper in standalone is not an issue. If you run multiple, then you need to have a quorum.
On Thursday, November 22, 2012, Ranjan Sen <ra...@hotmail.com> wrote:
> this is a multinode cluster - but I was testing with a zookeeper running on the same node as the master. I might have missed the point that there has to be a quorum - that would mean I need 3 zookeepers to run. I will try with that. Thanks a lot to point that out.
>
> ________________________________
> Date: Thu, 22 Nov 2012 14:30:44 -0500
> Subject: Re: tserver not able to connect
> From: vines@apache.org
> To: user@accumulo.apache.org
>
> Is this a single node instance or a cluster? If cluster, and using multiple zookeepers, make sure you have them configured together as a quorum and have then listed properly in the accumulo-site.xml.
>
> Also, this may be a stupid question, but did you initialize accumulo?
>
> Sent from my phone, pardon the typos and brevity.
>
> On Nov 22, 2012 2:11 PM, "Ranjan Sen" <ra...@hotmail.com> wrote:
>
>
>
> Hiá
> I have the following connection refused problem when a tserver is trying to connect to master.á
> I checked the ip:port for the services as follows:á
> log from tserver:á
> 22 17:56:51,289 [ipc.Client] INFO : Retrying connect to server: ip-10-145-140-125.ec2.internal/10.145.140.125:9000. Already tried 9 time(s).
> 22 17:56:51,292 [logger.LogService] FATAL: Failed to initialize log service args=[--address, ip-10-35-77-90.ec2.internal]
> java.lang.RuntimeException: Accumulo not initialized, there is no instance id at /accumulo/instance_id
> á á á á at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:272)
> á á á á at org.apache.accumulo.server.conf.ZooConfiguration.getInstance(ZooConfiguration.java:65)
> á á á á at org.apache.accumulo.server.conf.ServerConfiguration.getZooConfiguration(ServerConfiguration.java:49)
> á á á á at org.apache.accumulo.server.conf.ServerConfiguration.getSystemConfiguration(ServerConfiguration.java:58)
> á á á á at org.apache.accumulo.server.client.HdfsZooInstance.<init>(HdfsZooInstance.java:62)
> á á á á at org.apache.accumulo.server.client.HdfsZooInstance.getInstance(HdfsZooInstance.java:70)
> á á á á at org.apache.accumulo.server.Accumulo.init(Accumulo.java:132)
> á á á á at org.apache.accumulo.server.logger.LogService.<init>(LogService.java:142)
> á á á á at org.apache.accumulo.server.logger.LogService.main(LogService.java:128)
> á á á á at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
> á á á á at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
> á á á á at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
> á á á á at java.lang.reflect.Method.invoke(Method.java:616)
> á á á á at org.apache.accumulo.start.Main$1.run(Main.java:89)
> á á á á at java.lang.Thread.run(Thread.java:679)
> Caused by: java.net.ConnectException: Call to ip-10-145-140-125.ec2.internal/10.145.140.125:9000 failed on connection exception: java.net.ConnectException: Connection refused
> á á á á at org.apache.hadoop.ipc.Client.wrapException(Client.java:1099)
> á á á á at org.apache.hadoop.ipc.Client.call(Client.java:1075)
> á á á á at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
> á á á á at $Proxy1.getProtocolVersion(Unknown Source)
> á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)
> á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)
> á á á á at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119)
> á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:238)
> á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:203)
> á á á á at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
> á á á á at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386)
> á á á á at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
> á á á á at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)
> á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)
> á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)
> á á á á at org.apache.accumulo.core.file.FileUtil.getFileSystem(FileUtil.java:554)
> á á á á at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:258)
> á á á á ... 14 more
> Caused by: java.net.ConnectException: Connection refused
> á á á á at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
> á á á á at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:592)
> á á á á at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
> á á á á at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489)
>
> The netstat listing is
> 2012-11-22 18:55:29,828 [myid:] - INFO á[main-EventThread:ClientCnxn$EventThread@511] - EventThread shut down
> ubuntu@ip-10-145-140-125:/opt/zookeeper$ netstat -pnl
> (Not all processes could be identified, non-owned process info
> áwill not be shown, you would have to be root to see it all.)
> Active Internet connections (only servers)
> Proto Recv-Q Send-Q Local Address á á á á á Foreign Address á á á á State á á á PID/Program name
> tcp á á á á0 á á á0 0.0.0.0:50060 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1610/java á á áá
> tcp á á á á0 á á á0 127.0.0.1:59661 á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1610/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50030 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:39123 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1740/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50070 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:22 á á á á á á á0.0.0.0:* á á á á á á á LISTEN á á á- á á á á á á áá
> tcp á á á á0 á á á0 0.0.0.0:35159 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1367/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50010 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:33786 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50075 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:49500 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50020 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:2181 á á á á á á0.0.0.0:* á á á á á á á LISTEN á á á1740/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:53383 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 10.145.140.125:9000 á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 10.145.140.125:9001 á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50090 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1367/java á á áá
> tcp6 á á á 0 á á á0 :::22 á á á á á á á á á :::* á á á á á á á á á áLISTEN á á á- á á á á á á áá
> udp á á á á0 á á á0 0.0.0.0:68 á á á á á á á0.0.0.0:* á á á á á á á á á á á á á - á á á á á á áá
> Active UNIX domain sockets (only servers)
> Proto RefCnt Flags á á á Type á á á State á á á á I-Node á PID/Program name á áPath
> unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 5594 á á - á á á á á á á á á @/com/ubuntu/upstart
> unix á2 á á á[ ACC ] á á SEQPACKET áLISTENING á á 1824 á á - á á á á á á á á á @/org/kernel/udev/udevd
> unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 6318 á á - á á á á á á á á á /var/run/dbus/system_bus_socket
> ubuntu@ip-10-145-140-125:/opt/zookeeper$á
>
--
Cheers
~John
RE: tserver not able to connect
Posted by Ranjan Sen <ra...@hotmail.com>.
this is what i have in the zoo.cfg
syncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just # example sakes.dataDir=/tmp/zookeeper# the port at which the clients will connectclientPort=2181server.1=ip-10-145-140-125.ec2.internal:2888:3888server.2=ip-10-35-77-90.ec2.internal:2888:3888server.3=ip-10-98-50-4.ec2.internal:2888:3888
From: vines@apache.org
Date: Thu, 22 Nov 2012 18:32:53 -0500
Subject: Re: tserver not able to connect
To: user@accumulo.apache.org
Do you have the zookeepers listed as the hostname or just localhost in the
zoo.cfg?
On Thu, Nov 22, 2012 at 6:23 PM, John Vines <jv...@gmail.com> wrote:
Do you have the zookeepers listed as the hostname or just localhost in the zoo.cfg?
On Thu, Nov 22, 2012 at 6:22 PM, Ranjan Sen <ra...@hotmail.com> wrote:
yes, I have all TCP, UDP ports open.
I saw a strange thing - when I start zookeeper using bin/zkServer.sh start i dont see it as a running service using netstat. when i use the zkCli.sh it fails with message as follows - I am wondering why is it connecting to 127.0.0.1 ? although in my zoo.cfg I have different server ips.
...onTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@96fa4742012-11-22 23:16:15,829 [myid:] - INFO [main-SendThread():ClientCnxn$SendThread@933] - Opening socket connection to server /127.0.0.1:2181
Welcome to ZooKeeper!2012-11-22 23:16:15,836 [myid:] - INFO [main-SendThread(localhost:2181):ZooKeeperSaslClient@125] - Client will not SASL-authenticate because the default JAAS configuration section 'Client' could not be found. If you are not using SASL, you may ignore this. On the other hand, if you expected SASL to work, please fix your JAAS configuration.
JLine support is enabled2012-11-22 23:16:15,846 [myid:] - WARN [main-SendThread(localhost:2181):ClientCnxn$SendThread@1057] - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
java.net.ConnectException: Connection refused
From: vines@apache.org
Date: Thu, 22 Nov 2012 15:54:18 -0500
Subject: Re: tserver not able to connect
To: user@accumulo.apache.org
oh, It was hard to see on my phone. It looks like the dfs port (9000) is being blocked. Make ssure you have the ports allowed in EC2 configuration.
On Thu, Nov 22, 2012 at 3:38 PM, Josh Elser <jo...@gmail.com> wrote:
Running with a single ZooKeeper in standalone is not an issue. If you run multiple, then you need to have a quorum.
On Thursday, November 22, 2012, Ranjan Sen <ra...@hotmail.com> wrote:
> this is a multinode cluster - but I was testing with a zookeeper running on the same node as the master. I might have missed the point that there has to be a quorum - that would mean I need 3 zookeepers to run. I will try with that. Thanks a lot to point that out.
>
> ________________________________
> Date: Thu, 22 Nov 2012 14:30:44 -0500
> Subject: Re: tserver not able to connect
> From: vines@apache.org
> To: user@accumulo.apache.org
>
> Is this a single node instance or a cluster? If cluster, and using multiple zookeepers, make sure you have them configured together as a quorum and have then listed properly in the accumulo-site.xml.
>
> Also, this may be a stupid question, but did you initialize accumulo?
>
> Sent from my phone, pardon the typos and brevity.
>
> On Nov 22, 2012 2:11 PM, "Ranjan Sen" <ra...@hotmail.com> wrote:
>
>
>
> Hiá
> I have the following connection refused problem when a tserver is trying to connect to master.á
> I checked the ip:port for the services as follows:á
> log from tserver:á
> 22 17:56:51,289 [ipc.Client] INFO : Retrying connect to server: ip-10-145-140-125.ec2.internal/10.145.140.125:9000. Already tried 9 time(s).
> 22 17:56:51,292 [logger.LogService] FATAL: Failed to initialize log service args=[--address, ip-10-35-77-90.ec2.internal]
> java.lang.RuntimeException: Accumulo not initialized, there is no instance id at /accumulo/instance_id
> á á á á at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:272)
> á á á á at org.apache.accumulo.server.conf.ZooConfiguration.getInstance(ZooConfiguration.java:65)
> á á á á at org.apache.accumulo.server.conf.ServerConfiguration.getZooConfiguration(ServerConfiguration.java:49)
> á á á á at org.apache.accumulo.server.conf.ServerConfiguration.getSystemConfiguration(ServerConfiguration.java:58)
> á á á á at org.apache.accumulo.server.client.HdfsZooInstance.<init>(HdfsZooInstance.java:62)
> á á á á at org.apache.accumulo.server.client.HdfsZooInstance.getInstance(HdfsZooInstance.java:70)
> á á á á at org.apache.accumulo.server.Accumulo.init(Accumulo.java:132)
> á á á á at org.apache.accumulo.server.logger.LogService.<init>(LogService.java:142)
> á á á á at org.apache.accumulo.server.logger.LogService.main(LogService.java:128)
> á á á á at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
> á á á á at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
> á á á á at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
> á á á á at java.lang.reflect.Method.invoke(Method.java:616)
> á á á á at org.apache.accumulo.start.Main$1.run(Main.java:89)
> á á á á at java.lang.Thread.run(Thread.java:679)
> Caused by: java.net.ConnectException: Call to ip-10-145-140-125.ec2.internal/10.145.140.125:9000 failed on connection exception: java.net.ConnectException: Connection refused
> á á á á at org.apache.hadoop.ipc.Client.wrapException(Client.java:1099)
> á á á á at org.apache.hadoop.ipc.Client.call(Client.java:1075)
> á á á á at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
> á á á á at $Proxy1.getProtocolVersion(Unknown Source)
> á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)
> á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)
> á á á á at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119)
> á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:238)
> á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:203)
> á á á á at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
> á á á á at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386)
> á á á á at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
> á á á á at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)
> á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)
> á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)
> á á á á at org.apache.accumulo.core.file.FileUtil.getFileSystem(FileUtil.java:554)
> á á á á at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:258)
> á á á á ... 14 more
> Caused by: java.net.ConnectException: Connection refused
> á á á á at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
> á á á á at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:592)
> á á á á at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
> á á á á at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489)
>
> The netstat listing is
> 2012-11-22 18:55:29,828 [myid:] - INFO á[main-EventThread:ClientCnxn$EventThread@511] - EventThread shut down
> ubuntu@ip-10-145-140-125:/opt/zookeeper$ netstat -pnl
> (Not all processes could be identified, non-owned process info
> áwill not be shown, you would have to be root to see it all.)
> Active Internet connections (only servers)
> Proto Recv-Q Send-Q Local Address á á á á á Foreign Address á á á á State á á á PID/Program name
> tcp á á á á0 á á á0 0.0.0.0:50060 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1610/java á á áá
> tcp á á á á0 á á á0 127.0.0.1:59661 á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1610/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50030 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:39123 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1740/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50070 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:22 á á á á á á á0.0.0.0:* á á á á á á á LISTEN á á á- á á á á á á áá
> tcp á á á á0 á á á0 0.0.0.0:35159 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1367/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50010 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:33786 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50075 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:49500 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50020 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:2181 á á á á á á0.0.0.0:* á á á á á á á LISTEN á á á1740/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:53383 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 10.145.140.125:9000 á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 10.145.140.125:9001 á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50090 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1367/java á á áá
> tcp6 á á á 0 á á á0 :::22 á á á á á á á á á :::* á á á á á á á á á áLISTEN á á á- á á á á á á áá
> udp á á á á0 á á á0 0.0.0.0:68 á á á á á á á0.0.0.0:* á á á á á á á á á á á á á - á á á á á á áá
> Active UNIX domain sockets (only servers)
> Proto RefCnt Flags á á á Type á á á State á á á á I-Node á PID/Program name á áPath
> unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 5594 á á - á á á á á á á á á @/com/ubuntu/upstart
> unix á2 á á á[ ACC ] á á SEQPACKET áLISTENING á á 1824 á á - á á á á á á á á á @/org/kernel/udev/udevd
> unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 6318 á á - á á á á á á á á á /var/run/dbus/system_bus_socket
> ubuntu@ip-10-145-140-125:/opt/zookeeper$á
>
--
Cheers
~John
Re: tserver not able to connect
Posted by John Vines <vi...@apache.org>.
Do you have the zookeepers listed as the hostname or just localhost in the
zoo.cfg?
On Thu, Nov 22, 2012 at 6:23 PM, John Vines <jv...@gmail.com> wrote:
> Do you have the zookeepers listed as the hostname or just localhost in the
> zoo.cfg?
>
>
> On Thu, Nov 22, 2012 at 6:22 PM, Ranjan Sen <ra...@hotmail.com>wrote:
>
>> yes, I have all TCP, UDP ports open.
>>
>> I saw a strange thing - when I start zookeeper using bin/zkServer.sh
>> start i dont see it as a running service using netstat. when i use the
>> zkCli.sh it fails with message as follows - I am wondering why is it
>> connecting to 127.0.0.1 ? although in my zoo.cfg I have different server
>> ips.
>>
>> ...
>> onTimeout=30000
>> watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@96fa474
>> 2012-11-22 23:16:15,829 [myid:] - INFO
>> [main-SendThread():ClientCnxn$SendThread@933] - Opening socket
>> connection to server /127.0.0.1:2181
>> Welcome to ZooKeeper!
>> 2012-11-22 23:16:15,836 [myid:] - INFO
>> [main-SendThread(localhost:2181):ZooKeeperSaslClient@125] - Client will
>> not SASL-authenticate because the default JAAS configuration section
>> 'Client' could not be found. If you are not using SASL, you may ignore
>> this. On the other hand, if you expected SASL to work, please fix your JAAS
>> configuration.
>> JLine support is enabled
>> 2012-11-22 23:16:15,846 [myid:] - WARN
>> [main-SendThread(localhost:2181):ClientCnxn$SendThread@1057] - Session
>> 0x0 for server null, unexpected error, closing socket connection and
>> attempting reconnect
>> java.net.ConnectException: Connection refused
>>
>>
>> ------------------------------
>> From: vines@apache.org
>> Date: Thu, 22 Nov 2012 15:54:18 -0500
>>
>> Subject: Re: tserver not able to connect
>> To: user@accumulo.apache.org
>>
>>
>> oh, It was hard to see on my phone. It looks like the dfs port (9000) is
>> being blocked. Make ssure you have the ports allowed in EC2 configuration.
>>
>>
>> On Thu, Nov 22, 2012 at 3:38 PM, Josh Elser <jo...@gmail.com> wrote:
>>
>> Running with a single ZooKeeper in standalone is not an issue. If you run
>> multiple, then you need to have a quorum.
>>
>> On Thursday, November 22, 2012, Ranjan Sen <ra...@hotmail.com>
>> wrote:
>> > this is a multinode cluster - but I was testing with a zookeeper
>> running on the same node as the master. I might have missed the point that
>> there has to be a quorum - that would mean I need 3 zookeepers to run. I
>> will try with that. Thanks a lot to point that out.
>> >
>> > ________________________________
>> > Date: Thu, 22 Nov 2012 14:30:44 -0500
>> > Subject: Re: tserver not able to connect
>> > From: vines@apache.org
>> > To: user@accumulo.apache.org
>> >
>> > Is this a single node instance or a cluster? If cluster, and using
>> multiple zookeepers, make sure you have them configured together as a
>> quorum and have then listed properly in the accumulo-site.xml.
>> >
>> > Also, this may be a stupid question, but did you initialize accumulo?
>> >
>> > Sent from my phone, pardon the typos and brevity.
>> >
>> > On Nov 22, 2012 2:11 PM, "Ranjan Sen" <ra...@hotmail.com> wrote:
>> >
>> >
>> >
>> > Hiá
>> > I have the following connection refused problem when a tserver is
>> trying to connect to master.á
>> > I checked the ip:port for the services as follows:á
>> > log from tserver:á
>> > 22 17:56:51,289 [ipc.Client] INFO : Retrying connect to server:
>> ip-10-145-140-125.ec2.internal/10.145.140.125:9000. Already tried 9
>> time(s).
>> > 22 17:56:51,292 [logger.LogService] FATAL: Failed to initialize log
>> service args=[--address, ip-10-35-77-90.ec2.internal]
>> > java.lang.RuntimeException: Accumulo not initialized, there is no
>> instance id at /accumulo/instance_id
>> > á á á á at
>> org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:272)
>> > á á á á at
>> org.apache.accumulo.server.conf.ZooConfiguration.getInstance(ZooConfiguration.java:65)
>> > á á á á at
>> org.apache.accumulo.server.conf.ServerConfiguration.getZooConfiguration(ServerConfiguration.java:49)
>> > á á á á at
>> org.apache.accumulo.server.conf.ServerConfiguration.getSystemConfiguration(ServerConfiguration.java:58)
>> > á á á á at
>> org.apache.accumulo.server.client.HdfsZooInstance.<init>(HdfsZooInstance.java:62)
>> > á á á á at
>> org.apache.accumulo.server.client.HdfsZooInstance.getInstance(HdfsZooInstance.java:70)
>> > á á á á at org.apache.accumulo.server.Accumulo.init(Accumulo.java:132)
>> > á á á á at
>> org.apache.accumulo.server.logger.LogService.<init>(LogService.java:142)
>> > á á á á at
>> org.apache.accumulo.server.logger.LogService.main(LogService.java:128)
>> > á á á á at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
>> > á á á á at
>> sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
>> > á á á á at
>> sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
>> > á á á á at java.lang.reflect.Method.invoke(Method.java:616)
>> > á á á á at org.apache.accumulo.start.Main$1.run(Main.java:89)
>> > á á á á at java.lang.Thread.run(Thread.java:679)
>> > Caused by: java.net.ConnectException: Call to
>> ip-10-145-140-125.ec2.internal/10.145.140.125:9000 failed on connection
>> exception: java.net.ConnectException: Connection refused
>> > á á á á at org.apache.hadoop.ipc.Client.wrapException(Client.java:1099)
>> > á á á á at org.apache.hadoop.ipc.Client.call(Client.java:1075)
>> > á á á á at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
>> > á á á á at $Proxy1.getProtocolVersion(Unknown Source)
>> > á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)
>> > á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)
>> > á á á á at
>> org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119)
>> > á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:238)
>> > á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:203)
>> > á á á á at
>> org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
>> > á á á á at
>> org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386)
>> > á á á á at
>> org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
>> > á á á á at
>> org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)
>> > á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)
>> > á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)
>> > á á á á at
>> org.apache.accumulo.core.file.FileUtil.getFileSystem(FileUtil.java:554)
>> > á á á á at
>> org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:258)
>> > á á á á ... 14 more
>> > Caused by: java.net.ConnectException: Connection refused
>> > á á á á at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
>> > á á á á at
>> sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:592)
>> > á á á á at
>> org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
>> > á á á á at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489)
>> >
>> > The netstat listing is
>> > 2012-11-22 18:55:29,828 [myid:] - INFO
>> á[main-EventThread:ClientCnxn$EventThread@511] - EventThread shut down
>> > ubuntu@ip-10-145-140-125:/opt/zookeeper$ netstat -pnl
>> > (Not all processes could be identified, non-owned process info
>> > áwill not be shown, you would have to be root to see it all.)
>> > Active Internet connections (only servers)
>> > Proto Recv-Q Send-Q Local Address á á á á á Foreign Address á á á á
>> State á á á PID/Program name
>> > tcp á á á á0 á á á0 0.0.0.0:50060 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1610/java á á áá
>> > tcp á á á á0 á á á0 127.0.0.1:59661 á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1610/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:50030 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1455/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:39123 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1740/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:50070 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1050/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:22 á á á á á á á0.0.0.0:* á á á á á á á
>> LISTEN á á á- á á á á á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:35159 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1367/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:50010 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1199/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:33786 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1050/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:50075 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1199/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:49500 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1199/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:50020 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1199/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:2181 á á á á á á0.0.0.0:* á á á á á á á
>> LISTEN á á á1740/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:53383 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1455/java á á áá
>> > tcp á á á á0 á á á0 10.145.140.125:9000 á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1050/java á á áá
>> > tcp á á á á0 á á á0 10.145.140.125:9001 á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1455/java á á áá
>> > tcp á á á á0 á á á0 0.0.0.0:50090 á á á á á 0.0.0.0:* á á á á á á á
>> LISTEN á á á1367/java á á áá
>> > tcp6 á á á 0 á á á0 :::22 á á á á á á á á á :::* á á á á á á á á á
>> áLISTEN á á á- á á á á á á áá
>> > udp á á á á0 á á á0 0.0.0.0:68 á á á á á á á0.0.0.0:* á á á á á á á á
>> á á á á á - á á á á á á áá
>> > Active UNIX domain sockets (only servers)
>> > Proto RefCnt Flags á á á Type á á á State á á á á I-Node á PID/Program
>> name á áPath
>> > unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 5594 á á - á á á á á
>> á á á á @/com/ubuntu/upstart
>> > unix á2 á á á[ ACC ] á á SEQPACKET áLISTENING á á 1824 á á - á á á á á
>> á á á á @/org/kernel/udev/udevd
>> > unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 6318 á á - á á á á á
>> á á á á /var/run/dbus/system_bus_socket
>> > ubuntu@ip-10-145-140-125:/opt/zookeeper$á
>> >
>>
>>
>>
>
>
> --
> Cheers
> ~John
>
RE: tserver not able to connect
Posted by Ranjan Sen <ra...@hotmail.com>.
yes, I have all TCP, UDP ports open.
I saw a strange thing - when I start zookeeper using bin/zkServer.sh start i dont see it as a running service using netstat. when i use the zkCli.sh it fails with message as follows - I am wondering why is it connecting to 127.0.0.1 ? although in my zoo.cfg I have different server ips.
...onTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@96fa4742012-11-22 23:16:15,829 [myid:] - INFO [main-SendThread():ClientCnxn$SendThread@933] - Opening socket connection to server /127.0.0.1:2181Welcome to ZooKeeper!2012-11-22 23:16:15,836 [myid:] - INFO [main-SendThread(localhost:2181):ZooKeeperSaslClient@125] - Client will not SASL-authenticate because the default JAAS configuration section 'Client' could not be found. If you are not using SASL, you may ignore this. On the other hand, if you expected SASL to work, please fix your JAAS configuration.JLine support is enabled2012-11-22 23:16:15,846 [myid:] - WARN [main-SendThread(localhost:2181):ClientCnxn$SendThread@1057] - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnectjava.net.ConnectException: Connection refused
From: vines@apache.org
Date: Thu, 22 Nov 2012 15:54:18 -0500
Subject: Re: tserver not able to connect
To: user@accumulo.apache.org
oh, It was hard to see on my phone. It looks like the dfs port (9000) is being blocked. Make ssure you have the ports allowed in EC2 configuration.
On Thu, Nov 22, 2012 at 3:38 PM, Josh Elser <jo...@gmail.com> wrote:
Running with a single ZooKeeper in standalone is not an issue. If you run multiple, then you need to have a quorum.
On Thursday, November 22, 2012, Ranjan Sen <ra...@hotmail.com> wrote:
> this is a multinode cluster - but I was testing with a zookeeper running on the same node as the master. I might have missed the point that there has to be a quorum - that would mean I need 3 zookeepers to run. I will try with that. Thanks a lot to point that out.
>
> ________________________________
> Date: Thu, 22 Nov 2012 14:30:44 -0500
> Subject: Re: tserver not able to connect
> From: vines@apache.org
> To: user@accumulo.apache.org
>
> Is this a single node instance or a cluster? If cluster, and using multiple zookeepers, make sure you have them configured together as a quorum and have then listed properly in the accumulo-site.xml.
>
> Also, this may be a stupid question, but did you initialize accumulo?
>
> Sent from my phone, pardon the typos and brevity.
>
> On Nov 22, 2012 2:11 PM, "Ranjan Sen" <ra...@hotmail.com> wrote:
>
>
>
> Hiá
> I have the following connection refused problem when a tserver is trying to connect to master.á
> I checked the ip:port for the services as follows:á
> log from tserver:á
> 22 17:56:51,289 [ipc.Client] INFO : Retrying connect to server: ip-10-145-140-125.ec2.internal/10.145.140.125:9000. Already tried 9 time(s).
> 22 17:56:51,292 [logger.LogService] FATAL: Failed to initialize log service args=[--address, ip-10-35-77-90.ec2.internal]
> java.lang.RuntimeException: Accumulo not initialized, there is no instance id at /accumulo/instance_id
> á á á á at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:272)
> á á á á at org.apache.accumulo.server.conf.ZooConfiguration.getInstance(ZooConfiguration.java:65)
> á á á á at org.apache.accumulo.server.conf.ServerConfiguration.getZooConfiguration(ServerConfiguration.java:49)
> á á á á at org.apache.accumulo.server.conf.ServerConfiguration.getSystemConfiguration(ServerConfiguration.java:58)
> á á á á at org.apache.accumulo.server.client.HdfsZooInstance.<init>(HdfsZooInstance.java:62)
> á á á á at org.apache.accumulo.server.client.HdfsZooInstance.getInstance(HdfsZooInstance.java:70)
> á á á á at org.apache.accumulo.server.Accumulo.init(Accumulo.java:132)
> á á á á at org.apache.accumulo.server.logger.LogService.<init>(LogService.java:142)
> á á á á at org.apache.accumulo.server.logger.LogService.main(LogService.java:128)
> á á á á at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
> á á á á at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
> á á á á at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
> á á á á at java.lang.reflect.Method.invoke(Method.java:616)
> á á á á at org.apache.accumulo.start.Main$1.run(Main.java:89)
> á á á á at java.lang.Thread.run(Thread.java:679)
> Caused by: java.net.ConnectException: Call to ip-10-145-140-125.ec2.internal/10.145.140.125:9000 failed on connection exception: java.net.ConnectException: Connection refused
> á á á á at org.apache.hadoop.ipc.Client.wrapException(Client.java:1099)
> á á á á at org.apache.hadoop.ipc.Client.call(Client.java:1075)
> á á á á at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
> á á á á at $Proxy1.getProtocolVersion(Unknown Source)
> á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)
> á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)
> á á á á at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119)
> á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:238)
> á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:203)
> á á á á at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
> á á á á at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386)
> á á á á at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
> á á á á at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)
> á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)
> á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)
> á á á á at org.apache.accumulo.core.file.FileUtil.getFileSystem(FileUtil.java:554)
> á á á á at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:258)
> á á á á ... 14 more
> Caused by: java.net.ConnectException: Connection refused
> á á á á at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
> á á á á at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:592)
> á á á á at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
> á á á á at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489)
>
> The netstat listing is
> 2012-11-22 18:55:29,828 [myid:] - INFO á[main-EventThread:ClientCnxn$EventThread@511] - EventThread shut down
> ubuntu@ip-10-145-140-125:/opt/zookeeper$ netstat -pnl
> (Not all processes could be identified, non-owned process info
> áwill not be shown, you would have to be root to see it all.)
> Active Internet connections (only servers)
> Proto Recv-Q Send-Q Local Address á á á á á Foreign Address á á á á State á á á PID/Program name
> tcp á á á á0 á á á0 0.0.0.0:50060 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1610/java á á áá
> tcp á á á á0 á á á0 127.0.0.1:59661 á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1610/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50030 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:39123 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1740/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50070 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:22 á á á á á á á0.0.0.0:* á á á á á á á LISTEN á á á- á á á á á á áá
> tcp á á á á0 á á á0 0.0.0.0:35159 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1367/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50010 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:33786 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50075 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:49500 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50020 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:2181 á á á á á á0.0.0.0:* á á á á á á á LISTEN á á á1740/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:53383 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 10.145.140.125:9000 á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 10.145.140.125:9001 á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50090 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1367/java á á áá
> tcp6 á á á 0 á á á0 :::22 á á á á á á á á á :::* á á á á á á á á á áLISTEN á á á- á á á á á á áá
> udp á á á á0 á á á0 0.0.0.0:68 á á á á á á á0.0.0.0:* á á á á á á á á á á á á á - á á á á á á áá
> Active UNIX domain sockets (only servers)
> Proto RefCnt Flags á á á Type á á á State á á á á I-Node á PID/Program name á áPath
> unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 5594 á á - á á á á á á á á á @/com/ubuntu/upstart
> unix á2 á á á[ ACC ] á á SEQPACKET áLISTENING á á 1824 á á - á á á á á á á á á @/org/kernel/udev/udevd
> unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 6318 á á - á á á á á á á á á /var/run/dbus/system_bus_socket
> ubuntu@ip-10-145-140-125:/opt/zookeeper$á
>
Re: tserver not able to connect
Posted by John Vines <vi...@apache.org>.
oh, It was hard to see on my phone. It looks like the dfs port (9000) is
being blocked. Make ssure you have the ports allowed in EC2 configuration.
On Thu, Nov 22, 2012 at 3:38 PM, Josh Elser <jo...@gmail.com> wrote:
> Running with a single ZooKeeper in standalone is not an issue. If you run
> multiple, then you need to have a quorum.
>
> On Thursday, November 22, 2012, Ranjan Sen <ra...@hotmail.com> wrote:
> > this is a multinode cluster - but I was testing with a zookeeper running
> on the same node as the master. I might have missed the point that there
> has to be a quorum - that would mean I need 3 zookeepers to run. I will try
> with that. Thanks a lot to point that out.
> >
> > ________________________________
> > Date: Thu, 22 Nov 2012 14:30:44 -0500
> > Subject: Re: tserver not able to connect
> > From: vines@apache.org
> > To: user@accumulo.apache.org
> >
> > Is this a single node instance or a cluster? If cluster, and using
> multiple zookeepers, make sure you have them configured together as a
> quorum and have then listed properly in the accumulo-site.xml.
> >
> > Also, this may be a stupid question, but did you initialize accumulo?
> >
> > Sent from my phone, pardon the typos and brevity.
> >
> > On Nov 22, 2012 2:11 PM, "Ranjan Sen" <ra...@hotmail.com> wrote:
> >
> >
> >
> > Hiá
> > I have the following connection refused problem when a tserver is trying
> to connect to master.á
> > I checked the ip:port for the services as follows:á
> > log from tserver:á
> > 22 17:56:51,289 [ipc.Client] INFO : Retrying connect to server:
> ip-10-145-140-125.ec2.internal/10.145.140.125:9000. Already tried 9
> time(s).
> > 22 17:56:51,292 [logger.LogService] FATAL: Failed to initialize log
> service args=[--address, ip-10-35-77-90.ec2.internal]
> > java.lang.RuntimeException: Accumulo not initialized, there is no
> instance id at /accumulo/instance_id
> > á á á á at
> org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:272)
> > á á á á at
> org.apache.accumulo.server.conf.ZooConfiguration.getInstance(ZooConfiguration.java:65)
> > á á á á at
> org.apache.accumulo.server.conf.ServerConfiguration.getZooConfiguration(ServerConfiguration.java:49)
> > á á á á at
> org.apache.accumulo.server.conf.ServerConfiguration.getSystemConfiguration(ServerConfiguration.java:58)
> > á á á á at
> org.apache.accumulo.server.client.HdfsZooInstance.<init>(HdfsZooInstance.java:62)
> > á á á á at
> org.apache.accumulo.server.client.HdfsZooInstance.getInstance(HdfsZooInstance.java:70)
> > á á á á at org.apache.accumulo.server.Accumulo.init(Accumulo.java:132)
> > á á á á at
> org.apache.accumulo.server.logger.LogService.<init>(LogService.java:142)
> > á á á á at
> org.apache.accumulo.server.logger.LogService.main(LogService.java:128)
> > á á á á at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
> > á á á á at
> sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
> > á á á á at
> sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
> > á á á á at java.lang.reflect.Method.invoke(Method.java:616)
> > á á á á at org.apache.accumulo.start.Main$1.run(Main.java:89)
> > á á á á at java.lang.Thread.run(Thread.java:679)
> > Caused by: java.net.ConnectException: Call to
> ip-10-145-140-125.ec2.internal/10.145.140.125:9000 failed on connection
> exception: java.net.ConnectException: Connection refused
> > á á á á at org.apache.hadoop.ipc.Client.wrapException(Client.java:1099)
> > á á á á at org.apache.hadoop.ipc.Client.call(Client.java:1075)
> > á á á á at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
> > á á á á at $Proxy1.getProtocolVersion(Unknown Source)
> > á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)
> > á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)
> > á á á á at
> org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119)
> > á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:238)
> > á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:203)
> > á á á á at
> org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
> > á á á á at
> org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386)
> > á á á á at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
> > á á á á at
> org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)
> > á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)
> > á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)
> > á á á á at
> org.apache.accumulo.core.file.FileUtil.getFileSystem(FileUtil.java:554)
> > á á á á at
> org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:258)
> > á á á á ... 14 more
> > Caused by: java.net.ConnectException: Connection refused
> > á á á á at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
> > á á á á at
> sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:592)
> > á á á á at
> org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
> > á á á á at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489)
> >
> > The netstat listing is
> > 2012-11-22 18:55:29,828 [myid:] - INFO
> á[main-EventThread:ClientCnxn$EventThread@511] - EventThread shut down
> > ubuntu@ip-10-145-140-125:/opt/zookeeper$ netstat -pnl
> > (Not all processes could be identified, non-owned process info
> > áwill not be shown, you would have to be root to see it all.)
> > Active Internet connections (only servers)
> > Proto Recv-Q Send-Q Local Address á á á á á Foreign Address á á á á
> State á á á PID/Program name
> > tcp á á á á0 á á á0 0.0.0.0:50060 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1610/java á á áá
> > tcp á á á á0 á á á0 127.0.0.1:59661 á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1610/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:50030 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1455/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:39123 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1740/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:50070 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1050/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:22 á á á á á á á0.0.0.0:* á á á á á á á
> LISTEN á á á- á á á á á á áá
> > tcp á á á á0 á á á0 0.0.0.0:35159 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1367/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:50010 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1199/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:33786 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1050/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:50075 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1199/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:49500 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1199/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:50020 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1199/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:2181 á á á á á á0.0.0.0:* á á á á á á á
> LISTEN á á á1740/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:53383 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1455/java á á áá
> > tcp á á á á0 á á á0 10.145.140.125:9000 á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1050/java á á áá
> > tcp á á á á0 á á á0 10.145.140.125:9001 á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1455/java á á áá
> > tcp á á á á0 á á á0 0.0.0.0:50090 á á á á á 0.0.0.0:* á á á á á á á
> LISTEN á á á1367/java á á áá
> > tcp6 á á á 0 á á á0 :::22 á á á á á á á á á :::* á á á á á á á á á
> áLISTEN á á á- á á á á á á áá
> > udp á á á á0 á á á0 0.0.0.0:68 á á á á á á á0.0.0.0:* á á á á á á á á á
> á á á á - á á á á á á áá
> > Active UNIX domain sockets (only servers)
> > Proto RefCnt Flags á á á Type á á á State á á á á I-Node á PID/Program
> name á áPath
> > unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 5594 á á - á á á á á á
> á á á @/com/ubuntu/upstart
> > unix á2 á á á[ ACC ] á á SEQPACKET áLISTENING á á 1824 á á - á á á á á á
> á á á @/org/kernel/udev/udevd
> > unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 6318 á á - á á á á á á
> á á á /var/run/dbus/system_bus_socket
> > ubuntu@ip-10-145-140-125:/opt/zookeeper$á
> >
>
Re: tserver not able to connect
Posted by Josh Elser <jo...@gmail.com>.
Running with a single ZooKeeper in standalone is not an issue. If you run
multiple, then you need to have a quorum.
On Thursday, November 22, 2012, Ranjan Sen <ra...@hotmail.com> wrote:
> this is a multinode cluster - but I was testing with a zookeeper running
on the same node as the master. I might have missed the point that there
has to be a quorum - that would mean I need 3 zookeepers to run. I will try
with that. Thanks a lot to point that out.
>
> ________________________________
> Date: Thu, 22 Nov 2012 14:30:44 -0500
> Subject: Re: tserver not able to connect
> From: vines@apache.org
> To: user@accumulo.apache.org
>
> Is this a single node instance or a cluster? If cluster, and using
multiple zookeepers, make sure you have them configured together as a
quorum and have then listed properly in the accumulo-site.xml.
>
> Also, this may be a stupid question, but did you initialize accumulo?
>
> Sent from my phone, pardon the typos and brevity.
>
> On Nov 22, 2012 2:11 PM, "Ranjan Sen" <ra...@hotmail.com> wrote:
>
>
>
> Hiá
> I have the following connection refused problem when a tserver is trying
to connect to master.á
> I checked the ip:port for the services as follows:á
> log from tserver:á
> 22 17:56:51,289 [ipc.Client] INFO : Retrying connect to server:
ip-10-145-140-125.ec2.internal/10.145.140.125:9000. Already tried 9 time(s).
> 22 17:56:51,292 [logger.LogService] FATAL: Failed to initialize log
service args=[--address, ip-10-35-77-90.ec2.internal]
> java.lang.RuntimeException: Accumulo not initialized, there is no
instance id at /accumulo/instance_id
> á á á á at
org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:272)
> á á á á at
org.apache.accumulo.server.conf.ZooConfiguration.getInstance(ZooConfiguration.java:65)
> á á á á at
org.apache.accumulo.server.conf.ServerConfiguration.getZooConfiguration(ServerConfiguration.java:49)
> á á á á at
org.apache.accumulo.server.conf.ServerConfiguration.getSystemConfiguration(ServerConfiguration.java:58)
> á á á á at
org.apache.accumulo.server.client.HdfsZooInstance.<init>(HdfsZooInstance.java:62)
> á á á á at
org.apache.accumulo.server.client.HdfsZooInstance.getInstance(HdfsZooInstance.java:70)
> á á á á at org.apache.accumulo.server.Accumulo.init(Accumulo.java:132)
> á á á á at
org.apache.accumulo.server.logger.LogService.<init>(LogService.java:142)
> á á á á at
org.apache.accumulo.server.logger.LogService.main(LogService.java:128)
> á á á á at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
> á á á á at
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
> á á á á at
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
> á á á á at java.lang.reflect.Method.invoke(Method.java:616)
> á á á á at org.apache.accumulo.start.Main$1.run(Main.java:89)
> á á á á at java.lang.Thread.run(Thread.java:679)
> Caused by: java.net.ConnectException: Call to
ip-10-145-140-125.ec2.internal/10.145.140.125:9000 failed on connection
exception: java.net.ConnectException: Connection refused
> á á á á at org.apache.hadoop.ipc.Client.wrapException(Client.java:1099)
> á á á á at org.apache.hadoop.ipc.Client.call(Client.java:1075)
> á á á á at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
> á á á á at $Proxy1.getProtocolVersion(Unknown Source)
> á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)
> á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)
> á á á á at
org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119)
> á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:238)
> á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:203)
> á á á á at
org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
> á á á á at
org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386)
> á á á á at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
> á á á á at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)
> á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)
> á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)
> á á á á at
org.apache.accumulo.core.file.FileUtil.getFileSystem(FileUtil.java:554)
> á á á á at
org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:258)
> á á á á ... 14 more
> Caused by: java.net.ConnectException: Connection refused
> á á á á at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
> á á á á at
sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:592)
> á á á á at
org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
> á á á á at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489)
>
> The netstat listing is
> 2012-11-22 18:55:29,828 [myid:] - INFO
á[main-EventThread:ClientCnxn$EventThread@511] - EventThread shut down
> ubuntu@ip-10-145-140-125:/opt/zookeeper$ netstat -pnl
> (Not all processes could be identified, non-owned process info
> áwill not be shown, you would have to be root to see it all.)
> Active Internet connections (only servers)
> Proto Recv-Q Send-Q Local Address á á á á á Foreign Address á á á á State
á á á PID/Program name
> tcp á á á á0 á á á0 0.0.0.0:50060 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1610/java á á áá
> tcp á á á á0 á á á0 127.0.0.1:59661 á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1610/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50030 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:39123 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1740/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50070 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:22 á á á á á á á0.0.0.0:* á á á á á á á
LISTEN á á á- á á á á á á áá
> tcp á á á á0 á á á0 0.0.0.0:35159 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1367/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50010 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:33786 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50075 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:49500 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50020 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1199/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:2181 á á á á á á0.0.0.0:* á á á á á á á
LISTEN á á á1740/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:53383 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 10.145.140.125:9000 á á 0.0.0.0:* á á á á á á á
LISTEN á á á1050/java á á áá
> tcp á á á á0 á á á0 10.145.140.125:9001 á á 0.0.0.0:* á á á á á á á
LISTEN á á á1455/java á á áá
> tcp á á á á0 á á á0 0.0.0.0:50090 á á á á á 0.0.0.0:* á á á á á á á
LISTEN á á á1367/java á á áá
> tcp6 á á á 0 á á á0 :::22 á á á á á á á á á :::* á á á á á á á á á
áLISTEN á á á- á á á á á á áá
> udp á á á á0 á á á0 0.0.0.0:68 á á á á á á á0.0.0.0:* á á á á á á á á á á
á á á - á á á á á á áá
> Active UNIX domain sockets (only servers)
> Proto RefCnt Flags á á á Type á á á State á á á á I-Node á PID/Program
name á áPath
> unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 5594 á á - á á á á á á
á á á @/com/ubuntu/upstart
> unix á2 á á á[ ACC ] á á SEQPACKET áLISTENING á á 1824 á á - á á á á á á
á á á @/org/kernel/udev/udevd
> unix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 6318 á á - á á á á á á
á á á /var/run/dbus/system_bus_socket
> ubuntu@ip-10-145-140-125:/opt/zookeeper$á
>
RE: tserver not able to connect
Posted by Ranjan Sen <ra...@hotmail.com>.
this is a multinode cluster - but I was testing with a zookeeper running on the same node as the master. I might have missed the point that there has to be a quorum - that would mean I need 3 zookeepers to run. I will try with that. Thanks a lot to point that out.
Date: Thu, 22 Nov 2012 14:30:44 -0500
Subject: Re: tserver not able to connect
From: vines@apache.org
To: user@accumulo.apache.org
Is this a single node instance or a cluster? If cluster, and using multiple zookeepers, make sure you have them configured together as a quorum and have then listed properly in the accumulo-site.xml.
Also, this may be a stupid question, but did you initialize accumulo?
Sent from my phone, pardon the typos and brevity.
On Nov 22, 2012 2:11 PM, "Ranjan Sen" <ra...@hotmail.com> wrote:
Hiá
I have the following connection refused problem when a tserver is trying to connect to master.á
I checked the ip:port for the services as follows:á
log from tserver:á22 17:56:51,289 [ipc.Client] INFO : Retrying connect to server: ip-10-145-140-125.ec2.internal/10.145.140.125:9000. Already tried 9 time(s).
22 17:56:51,292 [logger.LogService] FATAL: Failed to initialize log service args=[--address, ip-10-35-77-90.ec2.internal]java.lang.RuntimeException: Accumulo not initialized, there is no instance id at /accumulo/instance_id
á á á á at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:272)á á á á at org.apache.accumulo.server.conf.ZooConfiguration.getInstance(ZooConfiguration.java:65)
á á á á at org.apache.accumulo.server.conf.ServerConfiguration.getZooConfiguration(ServerConfiguration.java:49)á á á á at org.apache.accumulo.server.conf.ServerConfiguration.getSystemConfiguration(ServerConfiguration.java:58)
á á á á at org.apache.accumulo.server.client.HdfsZooInstance.<init>(HdfsZooInstance.java:62)á á á á at org.apache.accumulo.server.client.HdfsZooInstance.getInstance(HdfsZooInstance.java:70)
á á á á at org.apache.accumulo.server.Accumulo.init(Accumulo.java:132)á á á á at org.apache.accumulo.server.logger.LogService.<init>(LogService.java:142)á á á á at org.apache.accumulo.server.logger.LogService.main(LogService.java:128)
á á á á at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)á á á á at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)á á á á at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
á á á á at java.lang.reflect.Method.invoke(Method.java:616)á á á á at org.apache.accumulo.start.Main$1.run(Main.java:89)á á á á at java.lang.Thread.run(Thread.java:679)Caused by: java.net.ConnectException: Call to ip-10-145-140-125.ec2.internal/10.145.140.125:9000 failed on connection exception: java.net.ConnectException: Connection refused
á á á á at org.apache.hadoop.ipc.Client.wrapException(Client.java:1099)á á á á at org.apache.hadoop.ipc.Client.call(Client.java:1075)á á á á at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
á á á á at $Proxy1.getProtocolVersion(Unknown Source)á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)á á á á at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)á á á á at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119)
á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:238)á á á á at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:203)á á á á at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
á á á á at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386)á á á á at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)á á á á at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)
á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)á á á á at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)á á á á at org.apache.accumulo.core.file.FileUtil.getFileSystem(FileUtil.java:554)
á á á á at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:258)á á á á ... 14 moreCaused by: java.net.ConnectException: Connection refused
á á á á at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)á á á á at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:592)á á á á at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
á á á á at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489)
The netstat listing is
2012-11-22 18:55:29,828 [myid:] - INFO á[main-EventThread:ClientCnxn$EventThread@511] - EventThread shut down
ubuntu@ip-10-145-140-125:/opt/zookeeper$ netstat -pnl(Not all processes could be identified, non-owned process infoáwill not be shown, you would have to be root to see it all.)Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address á á á á á Foreign Address á á á á State á á á PID/Program nametcp á á á á0 á á á0 0.0.0.0:50060 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1610/java á á áá
tcp á á á á0 á á á0 127.0.0.1:59661 á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1610/java á á áátcp á á á á0 á á á0 0.0.0.0:50030 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áá
tcp á á á á0 á á á0 0.0.0.0:39123 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1740/java á á áátcp á á á á0 á á á0 0.0.0.0:50070 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
tcp á á á á0 á á á0 0.0.0.0:22 á á á á á á á0.0.0.0:* á á á á á á á LISTEN á á á- á á á á á á áátcp á á á á0 á á á0 0.0.0.0:35159 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1367/java á á áá
tcp á á á á0 á á á0 0.0.0.0:50010 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áátcp á á á á0 á á á0 0.0.0.0:33786 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
tcp á á á á0 á á á0 0.0.0.0:50075 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áátcp á á á á0 á á á0 0.0.0.0:49500 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áá
tcp á á á á0 á á á0 0.0.0.0:50020 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1199/java á á áátcp á á á á0 á á á0 0.0.0.0:2181 á á á á á á0.0.0.0:* á á á á á á á LISTEN á á á1740/java á á áá
tcp á á á á0 á á á0 0.0.0.0:53383 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áátcp á á á á0 á á á0 10.145.140.125:9000 á á 0.0.0.0:* á á á á á á á LISTEN á á á1050/java á á áá
tcp á á á á0 á á á0 10.145.140.125:9001 á á 0.0.0.0:* á á á á á á á LISTEN á á á1455/java á á áátcp á á á á0 á á á0 0.0.0.0:50090 á á á á á 0.0.0.0:* á á á á á á á LISTEN á á á1367/java á á áá
tcp6 á á á 0 á á á0 :::22 á á á á á á á á á :::* á á á á á á á á á áLISTEN á á á- á á á á á á ááudp á á á á0 á á á0 0.0.0.0:68 á á á á á á á0.0.0.0:* á á á á á á á á á á á á á - á á á á á á áá
Active UNIX domain sockets (only servers)Proto RefCnt Flags á á á Type á á á State á á á á I-Node á PID/Program name á áPathunix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 5594 á á - á á á á á á á á á @/com/ubuntu/upstart
unix á2 á á á[ ACC ] á á SEQPACKET áLISTENING á á 1824 á á - á á á á á á á á á @/org/kernel/udev/udevdunix á2 á á á[ ACC ] á á STREAM á á LISTENING á á 6318 á á - á á á á á á á á á /var/run/dbus/system_bus_socket
ubuntu@ip-10-145-140-125:/opt/zookeeper$á
Re: tserver not able to connect
Posted by John Vines <vi...@apache.org>.
Is this a single node instance or a cluster? If cluster, and using multiple
zookeepers, make sure you have them configured together as a quorum and
have then listed properly in the accumulo-site.xml.
Also, this may be a stupid question, but did you initialize accumulo?
Sent from my phone, pardon the typos and brevity.
On Nov 22, 2012 2:11 PM, "Ranjan Sen" <ra...@hotmail.com> wrote:
>
>
>
> Hi
>
> I have the following connection refused problem when a tserver is trying
> to connect to master.
>
> I checked the ip:port for the services as follows:
>
> log from tserver:
> 22 17:56:51,289 [ipc.Client] INFO : Retrying connect to server:
> ip-10-145-140-125.ec2.internal/10.145.140.125:9000. Already tried 9
> time(s).
> 22 17:56:51,292 [logger.LogService] FATAL: Failed to initialize log
> service args=[--address, ip-10-35-77-90.ec2.internal]
> java.lang.RuntimeException: Accumulo not initialized, there is no instance
> id at /accumulo/instance_id
> at
> org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:272)
> at
> org.apache.accumulo.server.conf.ZooConfiguration.getInstance(ZooConfiguration.java:65)
> at
> org.apache.accumulo.server.conf.ServerConfiguration.getZooConfiguration(ServerConfiguration.java:49)
> at
> org.apache.accumulo.server.conf.ServerConfiguration.getSystemConfiguration(ServerConfiguration.java:58)
> at
> org.apache.accumulo.server.client.HdfsZooInstance.<init>(HdfsZooInstance.java:62)
> at
> org.apache.accumulo.server.client.HdfsZooInstance.getInstance(HdfsZooInstance.java:70)
> at org.apache.accumulo.server.Accumulo.init(Accumulo.java:132)
> at
> org.apache.accumulo.server.logger.LogService.<init>(LogService.java:142)
> at
> org.apache.accumulo.server.logger.LogService.main(LogService.java:128)
> at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
> at
> sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
> at
> sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
> at java.lang.reflect.Method.invoke(Method.java:616)
> at org.apache.accumulo.start.Main$1.run(Main.java:89)
> at java.lang.Thread.run(Thread.java:679)
> Caused by: java.net.ConnectException: Call to
> ip-10-145-140-125.ec2.internal/10.145.140.125:9000 failed on connection
> exception: java.net.ConnectException: Connection refused
> at org.apache.hadoop.ipc.Client.wrapException(Client.java:1099)
> at org.apache.hadoop.ipc.Client.call(Client.java:1075)
> at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
> at $Proxy1.getProtocolVersion(Unknown Source)
> at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)
> at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)
> at
> org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119)
> at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:238)
> at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:203)
> at
> org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
> at
> org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386)
> at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
> at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)
> at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)
> at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)
> at
> org.apache.accumulo.core.file.FileUtil.getFileSystem(FileUtil.java:554)
> at
> org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:258)
> ... 14 more
> Caused by: java.net.ConnectException: Connection refused
> at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
> at
> sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:592)
> at
> org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
> at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489)
>
>
> The netstat listing is
>
> 2012-11-22 18:55:29,828 [myid:] - INFO
> [main-EventThread:ClientCnxn$EventThread@511] - EventThread shut down
> ubuntu@ip-10-145-140-125:/opt/zookeeper$ netstat -pnl
> (Not all processes could be identified, non-owned process info
> will not be shown, you would have to be root to see it all.)
> Active Internet connections (only servers)
> Proto Recv-Q Send-Q Local Address Foreign Address State
> PID/Program name
> tcp 0 0 0.0.0.0:50060 0.0.0.0:*
> LISTEN 1610/java
> tcp 0 0 127.0.0.1:59661 0.0.0.0:*
> LISTEN 1610/java
> tcp 0 0 0.0.0.0:50030 0.0.0.0:*
> LISTEN 1455/java
> tcp 0 0 0.0.0.0:39123 0.0.0.0:*
> LISTEN 1740/java
> tcp 0 0 0.0.0.0:50070 0.0.0.0:*
> LISTEN 1050/java
> tcp 0 0 0.0.0.0:22 0.0.0.0:*
> LISTEN -
> tcp 0 0 0.0.0.0:35159 0.0.0.0:*
> LISTEN 1367/java
> tcp 0 0 0.0.0.0:50010 0.0.0.0:*
> LISTEN 1199/java
> tcp 0 0 0.0.0.0:33786 0.0.0.0:*
> LISTEN 1050/java
> tcp 0 0 0.0.0.0:50075 0.0.0.0:*
> LISTEN 1199/java
> tcp 0 0 0.0.0.0:49500 0.0.0.0:*
> LISTEN 1199/java
> tcp 0 0 0.0.0.0:50020 0.0.0.0:*
> LISTEN 1199/java
> tcp 0 0 0.0.0.0:2181 0.0.0.0:*
> LISTEN 1740/java
> tcp 0 0 0.0.0.0:53383 0.0.0.0:*
> LISTEN 1455/java
> tcp 0 0 10.145.140.125:9000 0.0.0.0:*
> LISTEN 1050/java
> tcp 0 0 10.145.140.125:9001 0.0.0.0:*
> LISTEN 1455/java
> tcp 0 0 0.0.0.0:50090 0.0.0.0:*
> LISTEN 1367/java
> tcp6 0 0 :::22 :::* LISTEN
> -
> udp 0 0 0.0.0.0:68 0.0.0.0:*
> -
> Active UNIX domain sockets (only servers)
> Proto RefCnt Flags Type State I-Node PID/Program
> name Path
> unix 2 [ ACC ] STREAM LISTENING 5594 -
> @/com/ubuntu/upstart
> unix 2 [ ACC ] SEQPACKET LISTENING 1824 -
> @/org/kernel/udev/udevd
> unix 2 [ ACC ] STREAM LISTENING 6318 -
> /var/run/dbus/system_bus_socket
> ubuntu@ip-10-145-140-125:/opt/zookeeper$
>
>
tserver not able to connect
Posted by Ranjan Sen <ra...@hotmail.com>.
Hi
I have the following connection refused problem when a tserver is trying to connect to master.
I checked the ip:port for the services as follows:
log from tserver: 22 17:56:51,289 [ipc.Client] INFO : Retrying connect to server: ip-10-145-140-125.ec2.internal/10.145.140.125:9000. Already tried 9 time(s).22 17:56:51,292 [logger.LogService] FATAL: Failed to initialize log service args=[--address, ip-10-35-77-90.ec2.internal]java.lang.RuntimeException: Accumulo not initialized, there is no instance id at /accumulo/instance_id at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:272) at org.apache.accumulo.server.conf.ZooConfiguration.getInstance(ZooConfiguration.java:65) at org.apache.accumulo.server.conf.ServerConfiguration.getZooConfiguration(ServerConfiguration.java:49) at org.apache.accumulo.server.conf.ServerConfiguration.getSystemConfiguration(ServerConfiguration.java:58) at org.apache.accumulo.server.client.HdfsZooInstance.<init>(HdfsZooInstance.java:62) at org.apache.accumulo.server.client.HdfsZooInstance.getInstance(HdfsZooInstance.java:70) at org.apache.accumulo.server.Accumulo.init(Accumulo.java:132) at org.apache.accumulo.server.logger.LogService.<init>(LogService.java:142) at org.apache.accumulo.server.logger.LogService.main(LogService.java:128) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:616) at org.apache.accumulo.start.Main$1.run(Main.java:89) at java.lang.Thread.run(Thread.java:679)Caused by: java.net.ConnectException: Call to ip-10-145-140-125.ec2.internal/10.145.140.125:9000 failed on connection exception: java.net.ConnectException: Connection refused at org.apache.hadoop.ipc.Client.wrapException(Client.java:1099) at org.apache.hadoop.ipc.Client.call(Client.java:1075) at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225) at $Proxy1.getProtocolVersion(Unknown Source) at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396) at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379) at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119) at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:238) at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:203) at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89) at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123) at org.apache.accumulo.core.file.FileUtil.getFileSystem(FileUtil.java:554) at org.apache.accumulo.core.client.ZooKeeperInstance.getInstanceIDFromHdfs(ZooKeeperInstance.java:258) ... 14 moreCaused by: java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:592) at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206) at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489)
The netstat listing is
2012-11-22 18:55:29,828 [myid:] - INFO [main-EventThread:ClientCnxn$EventThread@511] - EventThread shut downubuntu@ip-10-145-140-125:/opt/zookeeper$ netstat -pnl(Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.)Active Internet connections (only servers)Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program nametcp 0 0 0.0.0.0:50060 0.0.0.0:* LISTEN 1610/java tcp 0 0 127.0.0.1:59661 0.0.0.0:* LISTEN 1610/java tcp 0 0 0.0.0.0:50030 0.0.0.0:* LISTEN 1455/java tcp 0 0 0.0.0.0:39123 0.0.0.0:* LISTEN 1740/java tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 1050/java tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN - tcp 0 0 0.0.0.0:35159 0.0.0.0:* LISTEN 1367/java tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN 1199/java tcp 0 0 0.0.0.0:33786 0.0.0.0:* LISTEN 1050/java tcp 0 0 0.0.0.0:50075 0.0.0.0:* LISTEN 1199/java tcp 0 0 0.0.0.0:49500 0.0.0.0:* LISTEN 1199/java tcp 0 0 0.0.0.0:50020 0.0.0.0:* LISTEN 1199/java tcp 0 0 0.0.0.0:2181 0.0.0.0:* LISTEN 1740/java tcp 0 0 0.0.0.0:53383 0.0.0.0:* LISTEN 1455/java tcp 0 0 10.145.140.125:9000 0.0.0.0:* LISTEN 1050/java tcp 0 0 10.145.140.125:9001 0.0.0.0:* LISTEN 1455/java tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 1367/java tcp6 0 0 :::22 :::* LISTEN - udp 0 0 0.0.0.0:68 0.0.0.0:* - Active UNIX domain sockets (only servers)Proto RefCnt Flags Type State I-Node PID/Program name Pathunix 2 [ ACC ] STREAM LISTENING 5594 - @/com/ubuntu/upstartunix 2 [ ACC ] SEQPACKET LISTENING 1824 - @/org/kernel/udev/udevdunix 2 [ ACC ] STREAM LISTENING 6318 - /var/run/dbus/system_bus_socketubuntu@ip-10-145-140-125:/opt/zookeeper$
Re: Accumulo Caching for benchmarking
Posted by Steven Troxell <st...@gmail.com>.
Are there other considerations I should be aware of to ensure independent
runs outside of stopping/restarting tablet servers and clearing OS cache?
I ran a test with 2 tablet servers active, got 1 query to come back in 10
hours. Ran /bin/stop-all and ./bin/start-all to get a comparison test
with 10 tservers, cleared the cache using Eric's command on the 2 tablet
servers I had used for the first run before, and now I already had 4
queries return in under 2 minutes.
This could be awesome peformance gains, but I'm a bit skeptical, especially
considering the client code isn't even using batchscans (as well as
assorted other inefficiencies).
Is there some other dependency between the tests I haven't accounted for?
On Mon, Aug 6, 2012 at 2:41 PM, Steven Troxell <st...@gmail.com>wrote:
> For anyone else curious about this, it seems the OS caching played a much
> larger role for me then TServer caching. I actually measured performance
> increase after just stopping/restarting TServers to clear cache. (could
> also have been biased by being a weekend run on the cluster).
>
> However I noticed immediate difference when clearing the OS caching
> through Eric's commands, the first few querys that had generally been
> returning in tenths of seconds, were now up in the minutes range.
>
>
>
>
> On Sat, Aug 4, 2012 at 1:21 PM, Steven Troxell <st...@gmail.com>wrote:
>
>> thanks everyone, that should definately help me out, while I feel silly
>> for ignoring this issue at first, it should be interesting to see how much
>> this influences the results.
>>
>>
>>
>> On Sat, Aug 4, 2012 at 7:19 AM, Eric Newton <er...@gmail.com>wrote:
>>
>>> You can drop the OS caches between runs:
>>>
>>> # echo 1 > /proc/sys/vm/drop_caches
>>>
>>>
>>> On Fri, Aug 3, 2012 at 9:41 PM, Christopher Tubbs <ct...@gmail.com>wrote:
>>>
>>>> Steve-
>>>>
>>>> I would probably design the experiment to test different cluster sizes
>>>> as completely independent. That means, taking the entire thing down
>>>> and back up again (possibly even rebooting the boxes, and/or
>>>> re-initializing the cluster at the new size). I'd also do several runs
>>>> while it is up at a particular cluster size, to capture any
>>>> performance difference between the first and a later run due to OS or
>>>> TServer caching, for analysis later.
>>>>
>>>> Essentially, when in doubt, take more data...
>>>>
>>>> --L
>>>>
>>>>
>>>> On Fri, Aug 3, 2012 at 5:50 PM, Steven Troxell <
>>>> steven.troxell@gmail.com> wrote:
>>>> > Hi all,
>>>> >
>>>> > I am running a benchmarking project on accumulo looking at RDF
>>>> queries for
>>>> > clusters with different node sizes. While I intend to look at
>>>> caching for
>>>> > each optimizing each individual run, I do NOT want caching to
>>>> interfere for
>>>> > example between runs involving the use of 10 and 8 tablet servers.
>>>> >
>>>> > Up to now I'd just been killing nodes via the bin/stop-here.sh script
>>>> but I
>>>> > realize that may have allowed caching from previous runs with
>>>> different node
>>>> > sizes to influence my results. It seemed weird to me for exmaple
>>>> when I
>>>> > realized dropping nodes actually increased performance (as measured
>>>> by query
>>>> > return times) in some cases (though I acknowledge the code I'm
>>>> working with
>>>> > has some serious issues with how ineffectively it is actually
>>>> utilizing
>>>> > accumulo, but that's an issue I intend to address later).
>>>> >
>>>> > I suppose one way would be between a change of node sizes, stop and
>>>> restart
>>>> > ALL nodes ( as opposed to what I'd been doing in just killing 2 nodes
>>>> for
>>>> > example in transitioning from a 10 to 8 node test). Will this be
>>>> sure to
>>>> > clear the influence of caching across runs, and is there any cleaner
>>>> way to
>>>> > do this?
>>>> >
>>>> > thanks,
>>>> > Steve
>>>>
>>>
>>>
>>
>
Re: Accumulo Caching for benchmarking
Posted by Steven Troxell <st...@gmail.com>.
For anyone else curious about this, it seems the OS caching played a much
larger role for me then TServer caching. I actually measured performance
increase after just stopping/restarting TServers to clear cache. (could
also have been biased by being a weekend run on the cluster).
However I noticed immediate difference when clearing the OS caching through
Eric's commands, the first few querys that had generally been returning in
tenths of seconds, were now up in the minutes range.
On Sat, Aug 4, 2012 at 1:21 PM, Steven Troxell <st...@gmail.com>wrote:
> thanks everyone, that should definately help me out, while I feel silly
> for ignoring this issue at first, it should be interesting to see how much
> this influences the results.
>
>
>
> On Sat, Aug 4, 2012 at 7:19 AM, Eric Newton <er...@gmail.com> wrote:
>
>> You can drop the OS caches between runs:
>>
>> # echo 1 > /proc/sys/vm/drop_caches
>>
>>
>> On Fri, Aug 3, 2012 at 9:41 PM, Christopher Tubbs <ct...@gmail.com>wrote:
>>
>>> Steve-
>>>
>>> I would probably design the experiment to test different cluster sizes
>>> as completely independent. That means, taking the entire thing down
>>> and back up again (possibly even rebooting the boxes, and/or
>>> re-initializing the cluster at the new size). I'd also do several runs
>>> while it is up at a particular cluster size, to capture any
>>> performance difference between the first and a later run due to OS or
>>> TServer caching, for analysis later.
>>>
>>> Essentially, when in doubt, take more data...
>>>
>>> --L
>>>
>>>
>>> On Fri, Aug 3, 2012 at 5:50 PM, Steven Troxell <st...@gmail.com>
>>> wrote:
>>> > Hi all,
>>> >
>>> > I am running a benchmarking project on accumulo looking at RDF queries
>>> for
>>> > clusters with different node sizes. While I intend to look at
>>> caching for
>>> > each optimizing each individual run, I do NOT want caching to
>>> interfere for
>>> > example between runs involving the use of 10 and 8 tablet servers.
>>> >
>>> > Up to now I'd just been killing nodes via the bin/stop-here.sh script
>>> but I
>>> > realize that may have allowed caching from previous runs with
>>> different node
>>> > sizes to influence my results. It seemed weird to me for exmaple
>>> when I
>>> > realized dropping nodes actually increased performance (as measured by
>>> query
>>> > return times) in some cases (though I acknowledge the code I'm working
>>> with
>>> > has some serious issues with how ineffectively it is actually utilizing
>>> > accumulo, but that's an issue I intend to address later).
>>> >
>>> > I suppose one way would be between a change of node sizes, stop and
>>> restart
>>> > ALL nodes ( as opposed to what I'd been doing in just killing 2 nodes
>>> for
>>> > example in transitioning from a 10 to 8 node test). Will this be sure
>>> to
>>> > clear the influence of caching across runs, and is there any cleaner
>>> way to
>>> > do this?
>>> >
>>> > thanks,
>>> > Steve
>>>
>>
>>
>
Re: Accumulo Caching for benchmarking
Posted by Steven Troxell <st...@gmail.com>.
thanks everyone, that should definately help me out, while I feel silly
for ignoring this issue at first, it should be interesting to see how much
this influences the results.
On Sat, Aug 4, 2012 at 7:19 AM, Eric Newton <er...@gmail.com> wrote:
> You can drop the OS caches between runs:
>
> # echo 1 > /proc/sys/vm/drop_caches
>
>
> On Fri, Aug 3, 2012 at 9:41 PM, Christopher Tubbs <ct...@gmail.com>wrote:
>
>> Steve-
>>
>> I would probably design the experiment to test different cluster sizes
>> as completely independent. That means, taking the entire thing down
>> and back up again (possibly even rebooting the boxes, and/or
>> re-initializing the cluster at the new size). I'd also do several runs
>> while it is up at a particular cluster size, to capture any
>> performance difference between the first and a later run due to OS or
>> TServer caching, for analysis later.
>>
>> Essentially, when in doubt, take more data...
>>
>> --L
>>
>>
>> On Fri, Aug 3, 2012 at 5:50 PM, Steven Troxell <st...@gmail.com>
>> wrote:
>> > Hi all,
>> >
>> > I am running a benchmarking project on accumulo looking at RDF queries
>> for
>> > clusters with different node sizes. While I intend to look at caching
>> for
>> > each optimizing each individual run, I do NOT want caching to interfere
>> for
>> > example between runs involving the use of 10 and 8 tablet servers.
>> >
>> > Up to now I'd just been killing nodes via the bin/stop-here.sh script
>> but I
>> > realize that may have allowed caching from previous runs with different
>> node
>> > sizes to influence my results. It seemed weird to me for exmaple when
>> I
>> > realized dropping nodes actually increased performance (as measured by
>> query
>> > return times) in some cases (though I acknowledge the code I'm working
>> with
>> > has some serious issues with how ineffectively it is actually utilizing
>> > accumulo, but that's an issue I intend to address later).
>> >
>> > I suppose one way would be between a change of node sizes, stop and
>> restart
>> > ALL nodes ( as opposed to what I'd been doing in just killing 2 nodes
>> for
>> > example in transitioning from a 10 to 8 node test). Will this be sure
>> to
>> > clear the influence of caching across runs, and is there any cleaner
>> way to
>> > do this?
>> >
>> > thanks,
>> > Steve
>>
>
>
Re: Accumulo Caching for benchmarking
Posted by Eric Newton <er...@gmail.com>.
You can drop the OS caches between runs:
# echo 1 > /proc/sys/vm/drop_caches
On Fri, Aug 3, 2012 at 9:41 PM, Christopher Tubbs <ct...@gmail.com>wrote:
> Steve-
>
> I would probably design the experiment to test different cluster sizes
> as completely independent. That means, taking the entire thing down
> and back up again (possibly even rebooting the boxes, and/or
> re-initializing the cluster at the new size). I'd also do several runs
> while it is up at a particular cluster size, to capture any
> performance difference between the first and a later run due to OS or
> TServer caching, for analysis later.
>
> Essentially, when in doubt, take more data...
>
> --L
>
>
> On Fri, Aug 3, 2012 at 5:50 PM, Steven Troxell <st...@gmail.com>
> wrote:
> > Hi all,
> >
> > I am running a benchmarking project on accumulo looking at RDF queries
> for
> > clusters with different node sizes. While I intend to look at caching
> for
> > each optimizing each individual run, I do NOT want caching to interfere
> for
> > example between runs involving the use of 10 and 8 tablet servers.
> >
> > Up to now I'd just been killing nodes via the bin/stop-here.sh script
> but I
> > realize that may have allowed caching from previous runs with different
> node
> > sizes to influence my results. It seemed weird to me for exmaple when I
> > realized dropping nodes actually increased performance (as measured by
> query
> > return times) in some cases (though I acknowledge the code I'm working
> with
> > has some serious issues with how ineffectively it is actually utilizing
> > accumulo, but that's an issue I intend to address later).
> >
> > I suppose one way would be between a change of node sizes, stop and
> restart
> > ALL nodes ( as opposed to what I'd been doing in just killing 2 nodes for
> > example in transitioning from a 10 to 8 node test). Will this be sure to
> > clear the influence of caching across runs, and is there any cleaner way
> to
> > do this?
> >
> > thanks,
> > Steve
>
Re: Accumulo Caching for benchmarking
Posted by Christopher Tubbs <ct...@gmail.com>.
Steve-
I would probably design the experiment to test different cluster sizes
as completely independent. That means, taking the entire thing down
and back up again (possibly even rebooting the boxes, and/or
re-initializing the cluster at the new size). I'd also do several runs
while it is up at a particular cluster size, to capture any
performance difference between the first and a later run due to OS or
TServer caching, for analysis later.
Essentially, when in doubt, take more data...
--L
On Fri, Aug 3, 2012 at 5:50 PM, Steven Troxell <st...@gmail.com> wrote:
> Hi all,
>
> I am running a benchmarking project on accumulo looking at RDF queries for
> clusters with different node sizes. While I intend to look at caching for
> each optimizing each individual run, I do NOT want caching to interfere for
> example between runs involving the use of 10 and 8 tablet servers.
>
> Up to now I'd just been killing nodes via the bin/stop-here.sh script but I
> realize that may have allowed caching from previous runs with different node
> sizes to influence my results. It seemed weird to me for exmaple when I
> realized dropping nodes actually increased performance (as measured by query
> return times) in some cases (though I acknowledge the code I'm working with
> has some serious issues with how ineffectively it is actually utilizing
> accumulo, but that's an issue I intend to address later).
>
> I suppose one way would be between a change of node sizes, stop and restart
> ALL nodes ( as opposed to what I'd been doing in just killing 2 nodes for
> example in transitioning from a 10 to 8 node test). Will this be sure to
> clear the influence of caching across runs, and is there any cleaner way to
> do this?
>
> thanks,
> Steve