я попытался свести код ниже к самому минимальному тестовому случаю, но он все еще довольно длинный (за что я извиняюсь). Изменение практически всего в значительной степени влияет на контрольные результаты.

#include <string>
#include <vector>
#include <iostream>
#include <random>
#include <chrono>
#include <functional>

constexpr double usec_to_sec = 1000000.0;

// Simple convenience timer
class Timer
{
    std::chrono::high_resolution_clock::time_point start_time;
public:
    Timer() : start_time(std::chrono::high_resolution_clock::now()) { }
    int64_t operator()() const {
        return static_cast<int64_t>(
        std::chrono::duration_cast<std::chrono::microseconds>(
            std::chrono::high_resolution_clock::now()-start_time).count()
        );
    }
};

// Convenience random number generator
template <typename T>
class RandGen
{
    mutable std::default_random_engine generator;
    std::uniform_int_distribution<T> distribution;

    constexpr unsigned make_seed() const {
        return static_cast<unsigned>(std::chrono::system_clock::now().time_since_epoch().count());
    }
public:
    RandGen(T min, T max) : generator(make_seed()), distribution(min, max) { }
    T operator ()() { return distribution(generator); }
};

// Printer class
class Printer
{
    std::string filename;
    template <class S>    
    friend Printer &operator<<(Printer &, S &&s);
public:
    Printer(const char *filename) : filename(filename) {}
};

template <class S>
Printer &operator<<(Printer &pm, S &&s) {
    std::cout << s;
    return pm;
}

// +------------+
// | Main Stuff |
// +------------+
void runtest(size_t run_length)
{
    static RandGen<size_t> word_sz_generator(10, 20);
    static RandGen<int> rand_char_generator(0, 25);

    size_t total_char_count = 0;
    std::vector<std::string> word_list;
    word_list.reserve(run_length);

    Printer printer("benchmark.dat");
    printer << "Running test... ";

    Timer timer; // start timer
    for (auto i = 0; i < run_length; i++) {

        size_t word_sz = word_sz_generator();
        std::string word;
        for (auto sz = 0; sz < word_sz; sz++) {
            word.push_back(static_cast<char>(rand_char_generator())+'a');
        }
        word_list.emplace_back(std::move(word));
        total_char_count += word_sz;
    }
    int64_t execution_time_usec = timer(); // stop timer

    printer << /*run_length*/ word_list.size() << " words, and " 
            << total_char_count << " total characters, were built in "
            << execution_time_usec/usec_to_sec << " seconds.n";
}

int main(int argc, char **argv)
{
    constexpr size_t iterations = 30;
    constexpr size_t run_length = 50000000;

    for (auto i = 0; i < iterations; i++)
        runtest(run_length);

    return EXIT_SUCCESS;
}

в 1^st класса, Timer, это просто небольшой класс удобства (намеренно не хорошо признакам, для краткости) для синхронизации кода.

я пытался обойтись без 2^nd класс RandGen (который просто генерирует случайные значения), но любая попытка исключить из тестового кода, проблема авто-магически исчезают. Я подозреваю, что проблема как-то связана с этим. Но я не могу понять как.

3-х^rd класс Printer кажется совершенно ненужным для этого вопроса, но снова, включая его, кажется, усугубляет вопрос.

Итак, теперь мы переходим к main() (который просто запускает тест) и runtest().

runtest() отвратительно, поэтому, пожалуйста, не смотрите на него с точки зрения "чистого кода". Изменение его любым способом (ex. перемещение внутреннего for loop в своей собственной функции) приводит к изменению результатов теста. Самый простой и самый запутанный пример-последняя строка:

printer << /*run_length*/ word_list.size() << " words, and " 
        << total_char_count << " total characters, were built in "
        << execution_time_usec/usec_to_sec << " seconds.n";

в строке выше, run_length и word_list.size() то же самое. Размер vector word_list is определяется run_length. Но, если я запускаю код как есть, я получаю среднее время выполнения 9.8 секунд, тогда как если я раскомментирую run_length и комментарий-out word_list.size(), время выполнения на самом деле увеличение в среднем 10,6 секунд. Я не могу понять, как такое незначительное изменение кода может повлиять на время всей программы в такой степени.

другими словами...

9.8 секунды!--42-->:

printer << /*run_length*/ word_list.size() << " words, and " 
        << total_char_count << " total characters, were built in "
        << execution_time_usec/usec_to_sec << " seconds.n";

10,6 секунд:

printer << run_length /*word_list.size()*/ << " words, and " 
        << total_char_count << " total characters, were built in "
        << execution_time_usec/usec_to_sec << " seconds.n";

я повторил упражнение комментирования и раскомментирования переменных, упомянутых выше, и повторного запуска эталонов, много раз. Контрольные показатели повторяемы и последовательны - т. е. они последовательно составляют 9,8 секунды и 10,6 секунды, соответственно.

вывод кода выглядит следующим образом, для двух случаи:

Running test... 50000000 words, and 750000798 total characters, were built in 9.83379 seconds.
Running test... 50000000 words, and 749978210 total characters, were built in 9.84541 seconds.
Running test... 50000000 words, and 749996688 total characters, were built in 9.87418 seconds.
Running test... 50000000 words, and 749995415 total characters, were built in 9.85704 seconds.
Running test... 50000000 words, and 750017699 total characters, were built in 9.86186 seconds.
Running test... 50000000 words, and 749998680 total characters, were built in 9.83395 seconds.
...

Running test... 50000000 words, and 749988517 total characters, were built in 10.604 seconds.
Running test... 50000000 words, and 749958011 total characters, were built in 10.6283 seconds.
Running test... 50000000 words, and 749994387 total characters, were built in 10.6374 seconds.
Running test... 50000000 words, and 749995242 total characters, were built in 10.6445 seconds.
Running test... 50000000 words, and 749988379 total characters, were built in 10.6543 seconds.
Running test... 50000000 words, and 749969532 total characters, were built in 10.6722 seconds.
...

любая информация о том, что вызвало бы это несоответствие, была бы весьма признательна.

Примечания:

1. даже удаление неиспользуемого член Printer класс дает разные контрольные результаты-когда это происходит, устраняет (или уменьшает до незначительных пропорций) разницу между двумя контрольными показателями выше.
2. это не кажется проблемой при компиляции с g++ (на Ubuntu). Хотя, я не могу сказать это окончательно; мои тесты с Ubuntu были в виртуальной машине на той же машине Windows, где виртуальная машина, возможно, не имела доступа ко всем ресурсам и улучшениям процессора.
3. я использую Visual Studio Community 2017 (Версия 15.7.4)
   • версия компилятора: 19.14.26431
   • все тесты и результаты релиз Build, 64-бит
4. система: Win10, i7-6700K @ 4.00 Ггц, 32 ГБ ОЗУ