You are viewing a plain text version of this content. The canonical link for it is here.
Posted to dev@skywalking.apache.org by 丁志翔 <di...@baijiahulian.com> on 2019/08/05 13:46:21 UTC
【skywalking性能问题】
hi ，您好:
我是跟谁学的一名员工，最近在调研skywalking实现服务链路追踪，由于对源码了解不够，以及网上skywalking相关博客不是很多（能解决问题的），遇到一些问题难以解决，所以想与我们的skywalking开发者直接联系，寻求一些帮助。
[cid:95f3ac6c-c419-4edb-bbc1-613407cfca40]
总共有6台服务器，其中2台是32G内存4核，4台16G4核。在这6台服务器上部署了6个ES节点，6个skywalking oap节点，skywalking的配置文件见附件。
ES JVM配置
信息 [DataReaderSun1_6_0]: Java HotSpot(TM) 64-Bit Server VM (25.91-b14) for linux-amd64 JRE (1.8.0_91-b14), built on Apr 1 2016 00:57:21 by "java_re" with gcc 4.3.0 20080428 (Red Hat 4.3.0-8)
信息 [DataReaderSun1_6_0]: Memory: 4k page, physical 16266400k(10059188k free), swap 0k(0k free)
信息 [DataReaderSun1_6_0]: CommandLine flags: -XX:+AlwaysPreTouch -XX:CMSInitiatingOccupancyFraction=75 -XX:ErrorFile=logs/hs_err_pid%p.log -XX:GCLogFileSize=67108864 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=data -XX:InitialHeapSize=10737418240 -XX:MaxHeapSize=10737418240 -XX:NewRatio=2 -XX:NumberOfGCLogFiles=32 -XX:OldPLABSize=16 -XX:-OmitStackTraceInFastThrow -XX:+PrintGC -XX:+PrintGCApplicationStoppedTime -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintTenuringDistribution -XX:SurvivorRatio=3 -XX:ThreadStackSize=1024 -XX:+UseCMSInitiatingOccupancyOnly -XX:+UseCompressedClassPointers -XX:+UseCompressedOops -XX:+UseConcMarkSweepGC -XX:+UseGCLogFileRotation -XX:+UseParNewGC
GC情况：几个小时一次FULL GC
[cid:7a3987ce-6b1f-4806-abab-07932e1a2a19]
信息 [DataReaderSun1_6_0]: Java HotSpot(TM) 64-Bit Server VM (25.91-b14) for linux-amd64 JRE (1.8.0_91-b14), built on Apr 1 2016 00:57:21 by "java_re" with gcc 4.3.0 20080428 (Red Hat 4.3.0-8)
信息 [DataReaderSun1_6_0]: CommandLine flags: -XX:+AlwaysPreTouch -XX:CMSInitiatingOccupancyFraction=75 -XX:ErrorFile=logs/hs_err_pid%p.log -XX:GCLogFileSize=67108864 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=data -XX:InitialHeapSize=21474836480 -XX:MaxHeapSize=21474836480 -XX:NewRatio=2 -XX:NumberOfGCLogFiles=32 -XX:OldPLABSize=16 -XX:-OmitStackTraceInFastThrow -XX:+PrintGC -XX:+PrintGCApplicationStoppedTime -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintTenuringDistribution -XX:SurvivorRatio=5 -XX:ThreadStackSize=1024 -XX:+UseCMSInitiatingOccupancyOnly -XX:+UseCompressedClassPointers -XX:+UseCompressedOops -XX:+UseConcMarkSweepGC -XX:+UseGCLogFileRotation -XX:+UseParNewGC
GC情况：50个小时一次FULL GC
[cid:b665ae20-2599-41d1-8a32-e382de2aa7a4]
已上是配置的基本情况，有如下问题：
skywalking UI查询服务、端点核实例时，有时会丢失部分服务或实例，大概需要半个小时才能恢复正常，在此期间没有影响到数据入ES
已上问题的可能原因：
1. ES gc
2. skywalking Update mapping service id in the cache of service inventory, service id: 56, mapping service id: 80 这种更新具体做了哪些操作，还不太清除
3. trace-buffer和mesh-buffer的数据定时删除是不是也有影响
由于我接入的服务不多，流量不大，但性能却很差，希望在skywalking和ES的配置以及服务器配置这方面能够得到一些建议。希望能够在原理上帮我分析一下上面得问题，希望能够很好得解决这个问题。
麻烦啦。
Re: 【skywalking性能问题】
Posted by Sheng Wu <wu...@gmail.com>.
Hi,
Please dev@skywalking.apache.org. Mail to
dev-subscribe@skywalking.apache.org, follow the reply to subscribe the mail
list. Otherwise, you would have reply like this one(I manually add you in
reply list)
Also, please submit the discussion in English by following the foundation
requirements, thanks.
Sheng Wu 吴晟
Apache SkyWalking, Apache ShardingSphere(Incubating), Zipkin
Twitter, wusheng1108
丁志翔 <di...@baijiahulian.com> 于2019年8月5日周一 下午9:48写道：
> hi ，您好:
>
>
> 我是跟谁学的一名员工，最近在调研skywalking实现服务链路追踪，由于对源码了解不够，以及网上skywalking相关博客不是很多（能解决问题的），遇到一些问题难以解决，所以想与我们的skywalking开发者直接联系，寻求一些帮助。
>
>
>
> 总共有6台服务器，其中2台是32G内存4核，4台16G4核。在这6台服务器上部署了6个ES节点，6个skywalking
> oap节点，skywalking的配置文件见附件。
>
>
> ES JVM配置
>
> 信息 [DataReaderSun1_6_0]: Java HotSpot(TM) 64-Bit Server VM (25.91-b14) for
> linux-amd64 JRE (1.8.0_91-b14), built on Apr 1 2016 00:57:21 by "java_re"
> with gcc 4.3.0 20080428 (Red Hat 4.3.0-8)
> 信息 [DataReaderSun1_6_0]: Memory: 4k page, physical 16266400k(10059188k
> free), swap 0k(0k free)
> 信息 [DataReaderSun1_6_0]: CommandLine flags: -XX:+AlwaysPreTouch
> -XX:CMSInitiatingOccupancyFraction=75 -XX:ErrorFile=logs/hs_err_pid%p.log
> -XX:GCLogFileSize=67108864 -XX:+HeapDumpOnOutOfMemoryError
> -XX:HeapDumpPath=data -XX:InitialHeapSize=10737418240
> -XX:MaxHeapSize=10737418240 -XX:NewRatio=2 -XX:NumberOfGCLogFiles=32
> -XX:OldPLABSize=16 -XX:-OmitStackTraceInFastThrow -XX:+PrintGC
> -XX:+PrintGCApplicationStoppedTime -XX:+PrintGCDateStamps
> -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintTenuringDistribution
> -XX:SurvivorRatio=3 -XX:ThreadStackSize=1024
> -XX:+UseCMSInitiatingOccupancyOnly -XX:+UseCompressedClassPointers
> -XX:+UseCompressedOops -XX:+UseConcMarkSweepGC -XX:+UseGCLogFileRotation
> -XX:+UseParNewGC
>
> GC情况：几个小时一次FULL GC
>
>
>
>
> 信息 [DataReaderSun1_6_0]: Java HotSpot(TM) 64-Bit Server VM (25.91-b14) for
> linux-amd64 JRE (1.8.0_91-b14), built on Apr 1 2016 00:57:21 by "java_re"
> with gcc 4.3.0 20080428 (Red Hat 4.3.0-8)
> 信息 [DataReaderSun1_6_0]: CommandLine flags: -XX:+AlwaysPreTouch
> -XX:CMSInitiatingOccupancyFraction=75 -XX:ErrorFile=logs/hs_err_pid%p.log
> -XX:GCLogFileSize=67108864 -XX:+HeapDumpOnOutOfMemoryError
> -XX:HeapDumpPath=data -XX:InitialHeapSize=21474836480
> -XX:MaxHeapSize=21474836480 -XX:NewRatio=2 -XX:NumberOfGCLogFiles=32
> -XX:OldPLABSize=16 -XX:-OmitStackTraceInFastThrow -XX:+PrintGC
> -XX:+PrintGCApplicationStoppedTime -XX:+PrintGCDateStamps
> -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintTenuringDistribution
> -XX:SurvivorRatio=5 -XX:ThreadStackSize=1024
> -XX:+UseCMSInitiatingOccupancyOnly -XX:+UseCompressedClassPointers
> -XX:+UseCompressedOops -XX:+UseConcMarkSweepGC -XX:+UseGCLogFileRotation
> -XX:+UseParNewGC
>
> GC情况：50个小时一次FULL GC
>
> 已上是配置的基本情况，有如下问题：
>
> skywalking
> UI查询服务、端点核实例时，有时会丢失部分服务或实例，大概需要半个小时才能恢复正常，在此期间没有影响到数据入ES
>
> 已上问题的可能原因：
>
> 1. ES gc
>
> 2. skywalking Update mapping service id in the cache of service
> inventory, service id: 56, mapping service id: 80 这种更新具体做了哪些操作，还不太清除
>
> 3. trace-buffer和mesh-buffer的数据定时删除是不是也有影响
>
>
>
> 由于我接入的服务不多，流量不大，但性能却很差，
> 希望在skywalking和ES的配置以及服务器配置这方面能够得到一些建议。希望能够在原理上帮我分析一下上面得问题，希望能够很好得解决这个问题。
>
> 麻烦啦。
>