Как скомпилировать мою собственную стандартную библиотеку glibc C из исходного кода и использовать ее?

настройка 1: glibc без выделенного GCC

Эта настройка может работать и быстро, так как она не перекомпилирует всю цепочку инструментов GCC, просто glibc.

но он не является надежным, поскольку он использует объекты среды выполнения host C, такие как crt1.o, crti.o и crtn.o библиотеку glibc. Об этом говорится в: https://sourceware.org/glibc/wiki/Testing/Builds?action=recall&rev=21#Compile_against_glibc_in_an_installed_location эти объекты делают раннюю настройку, что glibc полагается на, Поэтому я не удивлюсь, если все рухнуло чудесным и потрясающе тонким способом.

для более надежной настройки см. раздел настройка 2 ниже.

создайте glibc и установите локально:

export glibc_install="$(pwd)/glibc/build/install"

git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28
mkdir build
cd build
../configure --prefix "$glibc_install"
make -j `nproc`
make install -j `nproc`

Setup 1: Проверьте сборку

test_glibc.c

#define _GNU_SOURCE
#include <assert.h>
#include <gnu/libc-version.h>
#include <stdatomic.h>
#include <stdio.h>
#include <threads.h>

atomic_int acnt;
int cnt;

int f(void* thr_data) {
    for(int n = 0; n < 1000; ++n) {
        ++cnt;
        ++acnt;
    }
    return 0;
}

int main(int argc, char **argv) {
    /* Basic library version check. */
    printf("gnu_get_libc_version() = %s\n", gnu_get_libc_version());

    /* Exercise thrd_create from -pthread,
     * which is not present in glibc 2.27 in Ubuntu 18.04.
     * https://stackoverflow.com/questions/56810/how-do-i-start-threads-in-plain-c/52453291#52453291 */
    thrd_t thr[10];
    for(int n = 0; n < 10; ++n)
        thrd_create(&thr[n], f, NULL);
    for(int n = 0; n < 10; ++n)
        thrd_join(thr[n], NULL);
    printf("The atomic counter is %u\n", acnt);
    printf("The non-atomic counter is %u\n", cnt);
}

компиляция и запуск с test_glibc.sh:

#!/usr/bin/env bash
set -eux
gcc \
  -L "${glibc_install}/lib" \
  -I "${glibc_install}/include" \
  -Wl,--rpath="${glibc_install}/lib" \
  -Wl,--dynamic-linker="${glibc_install}/lib/ld-linux-x86-64.so.2" \
  -std=c11 \
  -o test_glibc.out \
  -v \
  test_glibc.c \
  -pthread \
;
ldd ./test_glibc.out
./test_glibc.out

программа выводит ожидаемое:

gnu_get_libc_version() = 2.28
The atomic counter is 10000
The non-atomic counter is 8674

команда адаптирована из https://sourceware.org/glibc/wiki/Testing/Builds?action=recall&rev=21#Compile_against_glibc_in_an_installed_location но --sysroot сделал это с ошибкой:

cannot find /home/ciro/glibc/build/install/lib/libc.so.6 inside /home/ciro/glibc/build/install

поэтому я удалил его.

ldd вывод подтверждает, что ldd и библиотеки, которые мы только что построили, фактически используются, как ожидалось:

+ ldd test_glibc.out
        linux-vdso.so.1 (0x00007ffe4bfd3000)
        libpthread.so.0 => /home/ciro/glibc/build/install/lib/libpthread.so.0 (0x00007fc12ed92000)
        libc.so.6 => /home/ciro/glibc/build/install/lib/libc.so.6 (0x00007fc12e9dc000)
        /home/ciro/glibc/build/install/lib/ld-linux-x86-64.so.2 => /lib64/ld-linux-x86-64.so.2 (0x00007fc12f1b3000)

на gcc вывод отладки компиляции показывает, что использовались объекты среды выполнения моего хоста, что плохо, как упоминалось раньше, но я не знаю, как обойти его, например, он содержит:

COLLECT_GCC_OPTIONS=/usr/lib/gcc/x86_64-linux-gnu/7/../../../x86_64-linux-gnu/crt1.o

настройка 1: изменить glibc

теперь давайте изменим glibc с:

diff --git a/nptl/thrd_create.c b/nptl/thrd_create.c
index 113ba0d93e..b00f088abb 100644
--- a/nptl/thrd_create.c
+++ b/nptl/thrd_create.c
@@ -16,11 +16,14 @@
    License along with the GNU C Library; if not, see
    <http://www.gnu.org/licenses/>.  */

+#include <stdio.h>
+
 #include "thrd_priv.h"

 int
 thrd_create (thrd_t *thr, thrd_start_t func, void *arg)
 {
+  puts("hacked");
   _Static_assert (sizeof (thr) == sizeof (pthread_t),
                   "sizeof (thr) != sizeof (pthread_t)");

затем перекомпилируйте и переустановите glibc, а также перекомпилируйте и повторно запустите нашу программу:

cd glibc/build
make -j `nproc`
make -j `nproc` install
./test_glibc.sh

и мы видим hacked напечатано несколько раз, как ожидалось.

это еще раз подтверждает, что мы фактически использовали glibc, который мы скомпилировали, а не хост.

проверено на В Ubuntu 18.04.

Setup 2: crosstool-NG pristine setup

это альтернатива настройке 1, и это самая правильная настройка, которую я достиг: все правильно, насколько я могу наблюдать, включая объекты времени выполнения C, такие как crt1.o, crti.o и crtn.o.

в этой настройке мы скомпилируем полную выделенную цепочку инструментов GCC, которая использует glibc, который мы хотим.

единственным недостатком этого метода является то, что построение занимает длиннее. Но я не стал бы рисковать, создавая что-то меньшее.

crosstool-NG - это набор скриптов, который загружает и компилирует все из источника для нас, включая GCC, glibc и binutils.

да, система сборки GCC настолько плоха, что для этого нам нужен отдельный проект.

Эта настройка не идеальна только потому, что crosstool-NG не поддерживает создание исполняемых файлов без дополнительных -Wl флаги, которым чувствуется странно, так как мы построили сам GCC. Но все, кажется, работает, так что это единственное неудобство.

получить crosstool-NG и настроить его:

git clone https://github.com/crosstool-ng/crosstool-ng
cd crosstool-ng
git checkout a6580b8e8b55345a5a342b5bd96e42c83e640ac5
export CT_PREFIX="$(pwd)/.build/install"
export PATH="/usr/lib/ccache:${PATH}"
./bootstrap
./configure --enable-local
make -j `nproc`
./ct-ng x86_64-unknown-linux-gnu
./ct-ng menuconfig

единственный обязательный параметр, который я вижу, - это соответствие версии ядра хоста для использования правильных заголовков ядра. Найдите версию ядра хоста с помощью:

uname -a

который показывает мне:

4.15.0-34-generic

так menuconfig I do:

• Operating System
  • Version of linux

поэтому я выбираю:

4.14.71

который является первой равной или более старой версией. Он должен быть старше, так как ядро обратно совместимо.

теперь вы можете строить:

env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`

а теперь подождите около тридцати минут до двух часов для компиляции.

настройка 2: дополнительные конфигурации

в .config что мы создали с ./ct-ng x86_64-unknown-linux-gnu есть:

CT_GLIBC_V_2_27=y

чтобы изменить это, в menuconfig do:

• C-library
• Version of glibc

сохранить .config, и продолжайте сборку.

или, если вы хотите использовать свой собственный источник glibc, например, использовать glibc из последнего git, продолжайте такой:

• Paths and misc options
  • Try features marked as EXPERIMENTAL: установить правда
• C-library
  • Source of glibc
    • Custom location: сказать да
    • Custom location
      • Custom source location: укажите каталог, содержащий источник glibc

где glibc был клонирован как:

git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28

настройка 2: проверьте его

после того, как вы построили он toolchain, что вы хотите, проверить его с:

#!/usr/bin/env bash
set -eux
install_dir="${CT_PREFIX}/x86_64-unknown-linux-gnu"
PATH="${PATH}:${install_dir}/bin" \
  x86_64-unknown-linux-gnu-gcc \
  -Wl,--dynamic-linker="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib/ld-linux-x86-64.so.2" \
  -Wl,--rpath="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib" \
  -v \
  -o test_glibc.out \
  test_glibc.c \
  -pthread \
;
ldd test_glibc.out
./test_glibc.out

все работает как в Setup 1, за исключением того, что теперь используются правильные объекты среды выполнения:

COLLECT_GCC_OPTIONS=/home/ciro/crosstool-ng/.build/install/x86_64-unknown-linux-gnu/bin/../x86_64-unknown-linux-gnu/sysroot/usr/lib/../lib64/crt1.o

Setup 2: неудачная попытка эффективной перекомпиляции glibc

это кажется невозможным с crosstool-NG, как описано ниже.

если вы просто перестроить;

env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`

тогда ваши изменения в пользовательском местоположении источника glibc учитываются, но он строит все с нуля, делая он непригоден для итеративной разработки.

если мы делаем:

./ct-ng list-steps

это дает хороший обзор этапов построения:

Available build steps, in order:
  - companion_tools_for_build
  - companion_libs_for_build
  - binutils_for_build
  - companion_tools_for_host
  - companion_libs_for_host
  - binutils_for_host
  - cc_core_pass_1
  - kernel_headers
  - libc_start_files
  - cc_core_pass_2
  - libc
  - cc_for_build
  - cc_for_host
  - libc_post_cc
  - companion_libs_for_target
  - binutils_for_target
  - debug
  - test_suite
  - finish
Use "<step>" as action to execute only that step.
Use "+<step>" as action to execute up to that step.
Use "<step>+" as action to execute from that step onward.

таким образом, мы видим, что есть шаги glibc, переплетенные с несколькими шагами GCC, в частности libc_start_files перед cc_core_pass_2, что, вероятно, самый дорогой Шаг вместе с cc_core_pass_1.

чтобы построить только один шаг, вы должны сначала установить "сохранить промежуточные шаги" в для внутреннее строение:

• Paths and misc options
  • Debug crosstool-NG
    • Save intermediate steps

и тогда вы можете попробовать:

env -u LD_LIBRARY_PATH time ./ct-ng libc+ -j`nproc`

но, к сожалению,+ требуется, как указано в: https://github.com/crosstool-ng/crosstool-ng/issues/1033#issuecomment-424877536

обратите внимание, однако, что перезапуск на промежуточном шаге сбрасывается каталог установки в состояние, которое он имел во время этого шага. То есть, у вас будет перестроенный libc - но нет окончательного компилятора, построенного с этим libc (и, следовательно, нет библиотек компилятора, таких как libstdc++).

и в основном все еще делает восстановление слишком медленным, чтобы быть возможным для развития, и я не вижу, как преодолеть это без исправления crosstool-NG.

кроме того, начиная с libc step, похоже, не копировал источник снова из Custom source location, что делает этот метод непригодным для использования.

бонус: stdlibc++

бонус, если вы также заинтересованы в стандартной библиотеке C++: как редактировать и перестроить источник стандартной библиотеки GCC libstdc++ C++?