Arvados

Bug #11405

Updated by Tom Morris about 7 years ago

I'm not 100% sure that this is a bug, but it seems weird, so wanted to capture the data. 

 The last hour of the upload looks like this: 

 <pre> 
      KiB                        (RX Bytes/minute) 
   325.39 |.|....................|.................................... 
   271.16 ||||......||||.........|.|..............|................... 
   216.93 |||||.....||||...||..|.|.|..||||||.....||||............||... 
   162.70 ||||||.|||||||||||||||||.||||||||||..||||||.|||.......|||||| 
   108.46 |||||||||||||||||||||||||||||||||||||||||||||||||||||.|||||| 
    54.23 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 
          1     5     10     15     20     25     30     35     40     45     50     55     60 
      MiB                        (TX Bytes/minute) 
    77.68 ||.|......|||...........................||.............||..| 
    64.73 ||||......||||..................||......||.............||||| 
    51.79 ||||......|||||...|..........|.|||.....||||...........|||||| 
    38.84 ||||......|||||.||||||.|....||||||.....||||...........|||||| 
    25.89 |||||.....|||||||||||||||..||||||||....||||...........|||||| 
    12.95 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 
          1     5     10     15     20     25     30     35     40     45     50     55     60 
 </pre> 

 Although there are minute average peaks in the 70-80 MB/s range, there are also valleys of several minutes in the 10-20 MB/s range. 

 The hour averages look like this: 

 <pre> 
      MiB                         (RX Bytes/hour)  
    88.66 ....||...................................................... 
    73.89 ....||............................||........................ 
    59.11 ....||............................||........................ 
    44.33 ....||...........................|||........................ 
    29.55 ....||...........................|||........................ 
    14.78 ::::|||::::::::::::::::::::::::::|||:::::::::::::::::::::::: 
          1     5     10     15     20     25     30     35     40     45     50     55     60 
      MiB                         (TX Bytes/hour)  
    39.25 .|...............|.......................................... 
    32.71 ||...............|.......................................... 
    26.17 ||...............||......................................... 
    19.62 |||..............||......................................... 
    13.08 |||.............|||......................................... 
     6.54 ||||:::::::::::||||||||||||||||::::::::::::::::::::::|:::::: 
          1     5     10     15     20     25     30     35     40     45     50     55     60 
 </pre> 

 <pre> 
      MiB                         (RX Bytes/hour)  
    88.66 .........||................................................. 
    73.89 .........||............................||................... 
    59.11 .........||............................||................... 
    44.33 .........||...........................|||................... 
    29.55 .........||...........................|||................... 
    14.78 :::::::::|||::::::::::::::::::::::::::|||::::::::::::::::::: 
          1     5     10     15     20     25     30     35     40     45     50     55     60 
      MiB                         (TX Bytes/hour)  
    47.10 ....|....................................................... 
    39.25 ....|.|...............|..................................... 
    31.40 ....|||...............||.................................... 
    23.55 ....||||..............||.................................... 
    15.70 ...|||||.............|||.................................... 
     7.85 :||||||||:::::::::::||||||||||||||||:::::::::::::::::::::::: 
          1     5     10     15     20     25     30     35     40     45     50     55     60 
 </pre> 

 Note that the blobxfer downloads are 80-90 MB/s while the arv-put uploads are 20-30 MB/s in the hourly averages. 

 It's totally possible that there are environmental factors contributing to this

Back