Как использовать библиотеки в моем проекте CMake, которые необходимо установить в первую очередь?

вы можете классифицировать свои проекты на три группы:

1. внешние зависимости, вы не работаете в этом супер-проекте
2. проекты, над которыми вы работаете, но слишком сложны, чтобы добавить их в подкаталог, например, имеющие слишком много целей или по другим причинам. (У вас, похоже, нет такого проекта в вашем примере.)
3. проекты, над которыми вы работаете: они будут добавлены в качестве подкаталога супер-проект.

перед настройкой супер-проекта необходимо настроить, построить и установить проект в группах #1 и #2:

• вы можете сделать это перед запуском супер-проекта CMakeLists.txt, например, из shell-скрипта
• или, как вы упомянули, из супер-проекта CMakeLists.txt, используя execute_process(${CMAKE_COMMAND} ...). Вы можете сделать это условно, используя результат соответствующий .

вам нужно решите, если проекты в группе #3, как engine будет использоваться только в проектах, которые используют их в качестве подкаталогов или вы собираетесь использовать их как автономные библиотеки, встроенные в свои собственные деревья сборки.

кроме того, вы упомянули, что: "мои библиотеки включают каталоги внешних библиотек". Давайте рассмотрим все такие возможные библиотеки engine может зависеть от:

• сказать, LIB1 и LIB2 частные и общественные внешние зависимости engine и их конфигурационные модули экспортируют старую школу LIB1_* и LIB2_* переменные
• LIB3 и LIB4 являются частными и публичными внешними зависимостями engine и их конфигурационные модули экспортируют LIB3 и LIB4 импортные библиотеки

под публичными и частными зависимостями я имею в виду, используется ли конкретная библиотека или не используется на интерфейсе engine.

теперь, если engine используется только в качестве подкаталог, то соответствующий раздел engine/CMakeLists.txt - это:

add_library(engine ...)
target_include_directories(engine
    PRIVATE
        ${LIB1_INCLUDE_DIRS}
    PUBLIC
        $<BUILD_INTERFACE:${CMAKE_CURRENT_SOURCE_DIR}/include>
        ${LIB2_INCLUDE_DIRS})
target_compiled_definitions(engine
    PRIVATE ${LIB1_DEFINITIONS}
    PUBLIC ${LIB2_DEFINITIONS})
target_link_libraries(engine
    PRIVATE LIB3
    PUBLIC LIB4)

на repository/CMakeLists.txt:

add_subdirectory(engine)
add_subdirectory(game)

на game/CMakeLists.txt:

add_executable(game ...)
target_link_libraries(game engine)

include dirs как двигателя, так и его общедоступных зависимостей будут правильно перенаправлены в game.

если engine также будет построен в собственном дереве сборки (в другом проекте), вам нужно добавить код экспорта в engine/CMakeLists.txt и, возможно, пользовательский config-модуль, который вызывает find_package (или find_dependency) для свои зависимости. См.как использовать CMake для поиска и ссылки на библиотеку с помощью install-export и find_package? для сведения. Одна из проблем, не обсуждаемых в этом ответе, - это поиск зависимостей библиотеки в модуле конфигурации библиотеки:

ссылочный ответ SO просто устанавливает <lib>-targets.cmake скрипт, сгенерированный install(EXPORT ...) команда, как config-module:

install(EXPORT engine-targets
    FILE engine-config.cmake
    DESTINATION lib/cmake/engine)

это решение хорошо, когда engine не имеет дополнительных зависимостей. Если это так, они должны быть найдены в начале модуля config, который должен быть написан вручную.

engine/engine-config.cmake:

include(CMakeFindDependencyMacro)
find_dependency(some-dep-of-engine)
include(${CMAKE_CURRENT_LIST_DIR}/engine-targets.cmake)

и engine/CMakeLists.txt:

install(EXPORT engine-targets
    FILE engine-targets.cmake
    DESTINATION lib/cmake/engine)
install(FILES engine-config.cmake
    DESTINATION lib/cmake/engine)

Примечание:CMakeFindDependencyMacro был представлен в CMake 3.0. С более старым CMake вы можете использовать find_package вместо find_dependency (обработка тихих и необходимых параметров не будет перенаправлена в зависимость).