Tensorflow квантования

Я хотел бы оптимизировать график с помощью инструмента transform_graph Tensorflow. Я попытался оптимизировать график из зачисление средств (и другие с аналогичными архитектурами кодировщика-декодера). Однако оптимизированный график на самом деле медленнее при использовании quantize_weights и даже намного медленнее при использовании quantize_nodes. Из документации Tensorflow может быть никаких улучшений, или даже медленнее, при квантовании. Любая идея, если это нормально с графиком / программным обеспечением / оборудованием внизу?

вот моя системная информация для вашей справки:

  • платформа и дистрибутив ОС: Linux Ubuntu 16.04
  • TensorFlow установлен из: использование исходного кода TF (CPU) для преобразования графов, использование binary-python(GPU) для вывода
  • версия TensorFlow: оба используют r1.3
  • версия Python: 2.7
  • Базел версия: 0.6.1
  • версия CUDA / cuDNN: 8.0 / 6.0 (только вывод)
  • модель GPU и память: GeForce GTX 1080 Ti

Я могу опубликовать все сценарии, используемые для воспроизведения, если это необходимо.

8
tensorflow tensorflow-gpu

2 ответов

похоже, что квантование в Tensorflow происходит только на процессорах. Смотри:https://github.com/tensorflow/tensorflow/issues/2807

1

У меня такая же проблема в среде ПК. Моя модель в 9 раз медленнее, чем не квантовать.

но когда я портирую свою квантованную модель в android-приложение, ее можно ускорить.

похоже, что текущая работа только на CPU и только базовый процессор ARM, такой как Android-телефон.

0