&gt; As an experiment, I&#39;d cat all your RRD files to /dev/null, then run<br>&gt; fincore to see what percentage of them are in buffer cache, and also<br>&gt; see how much free mem you have (with top).&nbsp; If you have &gt;4GB of RRD<br>
&gt; files, I&#39;d expect there to be near zero free memory afterward, on a<br>&gt; properly running Linux system.<br><br>I will try out fincore tomorrow before and after cat&#39;ing everything to /dev/null and report the results, thanks for the tip!<br>
<br>&gt; I don&#39;t understand the measure of disk I/O you are using...<br>&gt; Now you said 100% and before you said 500 writes per second <br>&gt; or some low number.&nbsp;&nbsp; To compare apples-to-apples, I suggest <br>&gt; &quot;sar -d [1 10]&quot; and grep for the specific device file on <br>
&gt; which the file system that holds just the RRD files resides, <br>&gt; so that you see the RRD I/O in isolation from unrelated disk <br>&gt; I/O.&nbsp; (sar shows reads and writes per second.) <br>&gt; Perhaps your high I/O has nothing to do with RRD.<br>
<br>I was using &quot;iostat -d -x 1&quot; to watch the IO info. The ~400 writes/second I was quoting was write requests per second, the actual number of sectors written to per sec (which seems to be what sar shows) was much higher. Doing a &quot;sar -d 1 10&quot; the average it came up with was this:<br>
<br>Average:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; DEV&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tps&nbsp;&nbsp;&nbsp; rd_sec/s&nbsp; wr_sec/s<br>Average:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dev8-0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 501.25&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7.99&nbsp;&nbsp; 9685.86<br><br>That matches up to what &quot;iostat -d -x 1&quot; whos awas the wsec/s stat (sectors written per sec)<br>
<br>Device:&nbsp;&nbsp;&nbsp; rrqm/s wrqm/s&nbsp;&nbsp; r/s&nbsp;&nbsp; w/s&nbsp; rsec/s&nbsp; wsec/s&nbsp;&nbsp;&nbsp; rkB/s&nbsp;&nbsp;&nbsp; wkB/s avgrq-sz avgqu-sz&nbsp;&nbsp; await&nbsp; svctm&nbsp; %util<br>sda&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00 347.06&nbsp; 1.96 507.84&nbsp;&nbsp;&nbsp; 7.84 6917.65&nbsp;&nbsp;&nbsp;&nbsp; 3.92&nbsp; 3458.82&nbsp;&nbsp;&nbsp; 13.58&nbsp;&nbsp; 107.24&nbsp; 155.38&nbsp;&nbsp; 1.93&nbsp; 98.14<br>
<br>The RRD files on this server live on the same partition as the OS as well as the Nagios software we&#39;re running so its a little hard to isolate. However if I disable PNP so no RRD files get updated anymore the &quot;util %&quot; as reported by iostat drops off to near 0 in a hurry and does not spike back up to 100% for more than a split second only occasionally. With PNP disabled here&#39;s the &quot;sar -d 1 10&quot; average:<br>
<br>Average:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; DEV&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tps&nbsp;&nbsp;&nbsp; rd_sec/s&nbsp; wr_sec/s<br>Average:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dev8-0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 77.50&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 3587.20<br><br>...and using &quot;iostat -d -x 1&quot; the %util peaks up to 50-60% occasionally but stays near 0 most of the time.<br>
<br>I&#39;ve heard about a new &quot;iotop&quot; tool that shows i/o stats on a per-process basis but unfortunately the kernel on this box is not new enough to support that. <br><br>&gt; You seem anxious to spend money.&nbsp; If you measure things to find <br>
&gt; out the source of the performance problem, you can point your <br>&gt; money in the right direction - or perhaps find out that it&#39;s <br>&gt; not necessary. :-)<br><br>Well I&#39;m only anxious because its not my money exactly ;-) I work for a fairly hosting company so setting up another server just for graphing would be no problem, if it really comes to that, but you have give me renewed hope, hehe.<br>
<br>Thanks again for all the info,<br>Jeremy<br><br>