Что такое ПУТЬ и другие переменные среды, и как я могу их установить или использовать?

Вопросы о

• настройка переменных среды
• PATH

Здесь очень распространены, и в большинстве случаев ответы очень похожи друг на друга. В будущем было бы неплохо иметь хорошие вопросы и ответы по этому поводу.

Итак, вопрос в следующем: Что такое переменные среды, такие как исполняемый файл PATH, и как я могу изменить и использовать их в основных операционных системах?

Хороший ответ включал бы простой объяснение того, что переменные среды и особенно PATH означают для операционной системы, а также простые рекомендации по их настройке и чтению соответственно.