worldwide open-source software - software:linux_server

apache_http_server

anonymous@undisclosed.example.com (Anonymous) — Wed, 28 Feb 2024 13:03:28 +0000

Apache HTTP Server

Apache HTTP-сервер (в иронической трактовке является искажённым сокращением от англ. a patchy server; среди русских пользователей общепринято переводное апа́ч) — свободный веб-сервер.

Apache является кроссплатформенным ПО, поддерживает операционные системы Linux, BSD, macOS, Microsoft Windows, Novell NetWare, BeOS.

Основными достоинствами Apache считаются надёжность и гибкость конфигурации. Он позволяет подключать внешние модули для предоставления данных, использовать СУБД для аутентификации пользователей, модифицировать сообщения об ошибках и т. д.

Архитектура

Ядро

Ядро Apache включает в себя основные функциональные возможности, такие как обработка конфигурационных файлов, протокол HTTP и система загрузки модулей. Ядро (в отличие от модулей) полностью разрабатывается Apache Software Foundation, без участия сторонних программистов.

Теоретически ядро apache может функционировать в чистом виде, без использования модулей. Однако функциональность такого решения крайне ограничена.

Ядро Apache полностью написано на языке программирования C.

Система конфигурации

Система конфигурации Apache основана на текстовых конфигурационных файлах. Имеет три условных уровня конфигурации:

Конфигурация сервера (httpd.conf). Директивы конфигурации сгруппированы в три основных раздела:
- директивы, управляющие процессом Apache в целом (глобальное окружение);
- директивы, определяющие параметры «главного» сервера, или сервера «по умолчанию», который отвечает на запросы, которые не обрабатываются виртуальными хостами (определяют также установки по умолчанию для всех остальных виртуальных хостов);
- установки для виртуальных хостов, позволяющие обрабатывать запросы Web одним-единственным сервером Apache, но направлять по раздельным адресам IP или именам хостов.
Конфигурация виртуального хоста (httpd.conf c версии 2.2, extra/httpd-vhosts.conf).
Конфигурация уровня каталога (.htaccess).

Имеет собственный язык конфигурационных файлов, основанный на блоках директив. Практически все параметры ядра могут быть изменены через конфигурационные файлы, вплоть до управления MPM. Большая часть модулей имеет собственные параметры.

Часть модулей использует в своей работе конфигурационные файлы операционной системы (например /etc/passwd и /etc/hosts).

Помимо этого, параметры могут быть заданы через ключи командной строки.

Система модулей

Apache HTTP Server поддерживает модульность. Существует более 500 модулей[11], выполняющих различные функции. Часть из них разрабатывается командой Apache Software Foundation, но основное количество — отдельными open source-разработчиками.

Модули могут быть как включены в состав сервера в момент компиляции, так и загружены динамически, через директивы конфигурационного файла.

В модулях реализуются такие вещи, как:

Поддержка языков программирования.
Добавление функций.
Исправление ошибок или модификация основных функций.
Усиление безопасности.

Часть веб-приложений, например панели управления ISPmanager и VDSmanager реализованы в виде модуля Apache.

Механизм виртуальных хостов

Apache имеет встроенный механизм виртуальных хостов. Он позволяет полноценно обслуживать на одном IP-адресе множество сайтов (доменных имён), отображая для каждого из них собственное содержимое.

Для каждого виртуального хоста можно указать собственные настройки ядра и модулей, ограничить доступ ко всему сайту или отдельным файлам. Некоторые MPM, например Apache-ITK, позволяют запускать процесс httpd для каждого виртуального хоста с отдельными идентификаторами uid и guid.

Также существуют модули, позволяющие учитывать и ограничивать ресурсы сервера (CPU, RAM, трафик) для каждого виртуального хоста.

Функциональные возможности

Интеграция с другим ПО и языками программирования

Существует множество модулей, добавляющих к Apache поддержку различных языков программирования и систем разработки.

К ним относятся:

PHP (mod_php).
Python (mod python, mod wsgi).
Ruby (apache-ruby).
Perl (mod perl).
ASP (apache-asp)[12].
Tcl (rivet[13])

Кроме того, Apache поддерживает механизмы CGI и FastCGI, что позволяет исполнять программы на практически всех языках программирования, в том числе C, C++, Lua, sh, Java.

Безопасность

Apache имеет различные механизмы обеспечения безопасности и разграничения доступа к данным. Основными являются:

Ограничение доступа к определённым каталогам или файлам.
Механизм авторизации пользователей для доступа к каталогу на основе HTTP-аутентификации (mod_auth_basic) и digest-аутентификации (mod_auth_digest).
Ограничение доступа к определённым каталогам или всему серверу, основанное на IP-адресах пользователей.
Запрет доступа к определённым типам файлов для всех или части пользователей, например запрет доступа к конфигурационным файлам и файлам баз данных.
Существуют модули, реализующие авторизацию через СУБД или PAM.

В некоторых MPM-модулях присутствует возможность запуска каждого процесса Apache, используя различные uid и gid с соответствующими этим пользователям и группам пользователей.

Также существует механизм suexec, используемый для запуска скриптов и CGI-приложений с правами и идентификационными данными пользователя.

Для реализации шифрования данных, передающихся между клиентом и сервером, используется механизм SSL, реализованный через библиотеку OpenSSL. Для удостоверения подлинности веб-сервера используются сертификаты X.509.

Существуют внешние средства обеспечения безопасности, например mod_security.

Файлы для загрузки

HTTP-сервер Apache 2.4.58

Ссылки и Дополнения

cannot_change_locale

anonymous@undisclosed.example.com (Anonymous) — Sat, 06 Aug 2022 14:38:21 +0000

cannot change locale

creating_partitions_when_installing_ubuntu

anonymous@undisclosed.example.com (Anonymous) — Sun, 26 May 2024 09:34:23 +0000

Создание разделов при установке Ubuntu

В этой статье описывается, как использовать наиболее распространенные параметры конфигурации хранилища установщика Subiquity.
Раздел Guided storage configuration при установке ubuntu, позволяет создать вручную конфигурацию хранилища, вручную указав разделы и их размеры. Для этого нам нужно на вкладке «Guided storage configuration» поставить галочку «Custom storage layout»

Выбор разбития диска вручную
Окно конфигурации хранилища
Доступные диски и разделы
В разделе available devices (доступные устройства) доступен наш диск с указанием размера «free space (свободное место)«

Создание корневого разделов

Создание корневого(/) раздела
Создадим первый раздел (10 GB для корня (/) системы, файловая система ext4):

Создание раздела для каталога /var

Создание раздела подкачки (SWAP)

Аналогичным образом в раскрывающемся меню вкладки «Format» выбираем раздел «swap»
Просматрев раздел установщика «FILE SYSTEM SUMMARY (ОБЗОР ФАЙЛОВОЙ СИСТЕМЫ)» с вновь созданными нами разделами, выбираем кнопку «Done» для продолжения установки системы с нашими параметрами конфигурации хранилища. Нажимая кнопку «Continue», мы соглашаемся с тем, что все данные, которые находятся на дисках, будут уничтожены:

floss_и_foss

anonymous@undisclosed.example.com (Anonymous) — Fri, 26 Jul 2024 18:29:16 +0000

FLOSS и FOSS

Ричард Столмен
В сообществе свободного программного обеспечения два лагеря: движение за свободные программы и открытый исходный текст. Движение за свободные программы представляет собой кампанию за свободу пользователей компьютеров; мы говорим, что несвободная программа несправедлива по отношению к своим пользователям. Лагерь открытого исходного текста отказывается рассматривать предмет как вопрос справедливости к пользователям и основывает свои аргументы только на практических выгодах.

Чтобы подчеркнуть, что слова “свободные программы” указывают на свободу, а не на стоимость (в английском free означает также “бесплатный” — перев.), иногда мы пишем или говорим “free (libre) software”, добавляя французское или испанское слово, означающее “свободный” в смысле свободы. В некоторых контекстах можно просто говорить “libre software”.

Один исследователь, изучавший практику и методы, применяемые разработчиками сообщества свободного программного обеспечения, решил, что эти вопросы независимы от политических взглядов разработчиков, так что он использовал выражение “FLOSS”, что значит “Free/Libre and Open Source Software”, чтобы явным образом избежать предпочтения того или другого политического лагеря. Если вы хотите быть нейтральными, это хороший способ, поскольку это делает названия обоих лагерей одинаково заметными.

Другие пользуются выражением “FOSS”, что означает “Free and Open Source Software (Свободные программы и программы с открытым исходным текстом)”. Предназначено оно для обозначения того же, но оно не так понятно, потому что в нем не объясняется, что “свободный” относится к свободе. Кроме того, “свободные программы” в нем не так заметны, как “открытый исходный текст”, поскольку выражение заметно выставляет “открытый исходный текст”, но оттесняет в сторону “свободные программы”.

Выражение “свободные программы и программы с открытым исходным текстом” сбивает с толку и по другой причине: можно подумать, что оно означает единую точку зрения, а не указывает на две разных позиции. Такая формулировка предмета мешает понять тот факт, что свободные программы и открытый исходный текст представляют различные политические взгляды, которые в корне несовместимы.

Итак, если вы хотите придерживаться нейтралитета между свободными программами и открытым исходным текстом, ясно выражаясь о тех и других, то достичь этого можно выражением “FLOSS”, а не “FOSS”.

Мы, участники движения за свободные программы, не пользуемся ни тем, ни другим выражением, потому что мы не хотим быть нейтральными по этому политическому вопросу. Мы стоим за свободу и показываем это каждый раз — говоря “свободные” и подчеркивая их свободу.

	“Фонд свободного программного обеспечения (ФСПО) — некоммерческая организация, задачей которой является содействие свободе пользователей компьютеров по всему миру. Мы защищаем права всех пользователей программ”
ВСТУПИТЬ	ПОЖЕРТВОВАТЬ	МАГАЗИН

Ссылки и дополнения

increase_hdd

anonymous@undisclosed.example.com (Anonymous) — Sat, 05 Aug 2023 23:31:18 +0000

Увеличение дискового пространства на Ubuntu 20.04

Проведем расширение диска со стороны операционной системы, чтобы добавленное дисковое пространство стало доступно.
Подключимся к Ubuntu серверу по ssh с правами суперпользователя.

sudo -i

Для начала необходимо выполнить сканирование новой конфигурации и передать данные ядру ОС:

echo 1 > /sys/block/sda/device/rescan

Далее запустите утилиту parted, которая предназначена для управления жесткими дисками:

parted

(Ответ: Welcome to GNU Parted! Type 'help' to view a list of commands.)

С помощью опции p выведите таблицу разделов:

Результат выглядит следующим образом:

Необходимо запомнить имя устройства расширения и его размер, в нашем случае это /dev/sda объемом 1000GB. Также необходимо запомнить номер расширяемого раздела, в примере это 3, т.к. раздел 1 содержит файлы операционной системы и является загрузочным.
С помощью следующей команды измените размер раздела, указав его номер (3):

resizepart 3

Появится запрос о новом размере системы:

Введите объем, которой вы запомнили ранее (1000Gb):

Жмем ENTER и на этом работа с утилитой parted закончена, закройте ее:

quit

(Ответ: Information: You may need to update /etc/fstab.)

Передайте ядру операционной системы Linux информацию об изменениях, указав имя устройства и номер раздела (3):

pvresize /dev/sda3

Запоминаем имя логического тома (/dev/mapper/ubuntu–vg-ubuntu–lv 98G 93G 0 100% /):

df -h

Измените логический том:

lvextend -r -l +100%FREE /dev/mapper/ubuntu--vg-ubuntu--lv

На этом расширение диска завершено.

Проверить, что винчестер расширен корректно, выполните следующую команду:

df -h

Вывод:

В выделенной строке виден новый объем системы.

install_qemu_guest_agent

anonymous@undisclosed.example.com (Anonymous) — Sat, 01 Mar 2025 11:52:29 +0000

Установить гостевой агент Qemu для Debian/Ubuntu

В этой статье мы поможем вам установить гостевой агент Qemu на ваш виртуальный частный сервер. Этот агент является вспомогательным демоном, который обменивается информацией между квестом и хостом и выполняет команды в гостевой системе для моментального снимка или резервного копирования. Гостевой агент используется в основном для двух вещей: для правильного завершения работы гостя и для заморозки гостевой файловой системы при создании резервной копии.

Войдите в систему, используя SSH

Вы должны войти в систему через SSH как sudo или root user. Пожалуйста, прочтите эту статью для получения инструкций, если вы не знаете, как подключиться.

Установка гостевого агента QEMU

sudo apt update && apt -y install qemu-guest-agent

Включение и запуск Qemu Agent

sudo systemctl enable qemu-guest-agent
sudo systemctl start qemu-guest-agent

Проверка

Убедитесь, что агент Qemu quest запущен

systemctl status qemu-guest-agent

Поздравляем, вы установили гостевой агент Qemu на свою систему на базе Debian/Ubuntu.

local_or_private_linux_kernel

anonymous@undisclosed.example.com (Anonymous) — Mon, 03 Jun 2024 07:10:58 +0000

Создание локального зеркала Ядра Linux

Создаём несколько папок в домашней дирректории, в которой будет храниться наш срез репозитория (или даже несколько), к примеру, согласно нижеприведенной схемы:

sudo mkdir /home/alisa/repo/kernelmirror
sudo mkdir /home/alisa/repo/kernelmirror/kernel

cd /var/www/html Настроим права доступа к нашей главной папке

sudo chown -R root:alisa /home/alisa/repo sudo chmod -R 571 /home/alisa/repo

sudo ln -s /home/alisa/repo/kernelmirror/kernel kernel

Скрипт mirrorkernel.sh Теперь создадим mirrorkernel.sh, открыв предпочитаемый вами редактор таким образом

Создайте файл «mirrorkernel.sh». Теперь создадим mirrorkernel.sh. Откройте предпочитаемый вами редактор таким образом sudo sensible-editor /home/alisa/repo/scripts/mirrorkernel.sh

Рабочий метод скрипта для debmirror

sudo sensible-editor /home/alisa/repo/scripts/mirror_kernel.sh

#!/bin/bash -x /usr/bin/debmirror –nosource -m –passive –host=www.kernel.org \ –root=ubuntu –method=ftp –progress \ –dist=hardy,hardy-security,hardy-updates,hardy-backports \ –ignore-release-gpg –section=main,restricted,multiverse,universe \ –arch=amd64 /home/alisa/repo/kernelmirror/kernel/

cd /home/alisa/repo/scripts/ sudo chmod +x mirror_kernel.sh

./mirror_kernel.sh

sudo screen /home/alisa/repo/scripts/mirror_kernel.sh

kernelmirror/kernel

local_or_private_repo

anonymous@undisclosed.example.com (Anonymous) — Sat, 08 Mar 2025 16:52:59 +0000

Создание локального зеркала репозитариев Linux

Предпологается что у вас установлено следующее ПО:

Проверим работу веб сервера на нашем ip адресе Если это не так… 1. Устанавливаем Apache

sudo apt install apache2

и PHP-модуль.

sudo apt update

sudo apt install php libapache2-mod-php

затем перезагрузите веб-сервер, чтобы перезапустить модуль PHP.

sudo service apache2 restart

Выполните проверку.

php -v

Переходим в папку www/html

cd /var/www/html

Смотрим что есть в директории

ls -n

удаляем файл index.html

sudo rm index.html

проверяем выполнение команды удаления

ls -n

Изменяем права папки html с root на alisa

sudo chown -R root:alisa /var/www/html
sudo chmod -R 571 /var/www/html

Создаем необходимые на наше усмотрение папки

sudo mkdir /var/www/html
sudo mkdir /var/www/html/debian
sudo mkdir /var/www/html/gcc
sudo mkdir /var/www/html/git
sudo mkdir /var/www/html/gnu
sudo mkdir /var/www/html/kde
sudo mkdir /var/www/html/lfs
sudo mkdir /var/www/html/linux_kernel
sudo mkdir /var/www/html/mariadb
sudo mkdir /var/www/html/openstreetmap
sudo mkdir /var/www/html/raspbian
sudo mkdir /var/www/html/sourceware
sudo mkdir /var/www/html/ubuntu
sudo mkdir /var/www/html/ubuntu_kernel
sudo mkdir /var/www/html/unix

и вспомогательные папки для ключей и скриптов

sudo mkdir /home/alisa/repo
sudo mkdir /home/alisa/repo/keyring
sudo mkdir /home/alisa/repo/scripts

Изменяем права папки html с root на alisa

sudo chown -R root:alisa /home/alisa/repo
sudo chmod -R 571 /home/alisa/repo

sudo apt-get update

Устанавливаем пакет debmirror

sudo apt install debmirror gnupg xz-utils

Открываем в редакторе файл /etc/apt/sources.list

sudo sensible-editor /etc/apt/sources.list

записываем в файл следующие адреса

#############################################################
########## Ubuntu 22.04 LTS (Jammy Jellyfish)  ##############
#############################################################

deb http://archive.ubuntu.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-updates main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-security main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-backports main restricted universe multiverse

deb http://archive.canonical.com/ubuntu/ jammy partner
deb-src http://archive.canonical.com/ubuntu/ jammy partner

Записываем и сохраняем файл

sudo apt-get update
sudo apt-get dist-upgrade

Создадим файл скрипта зеркала Ubuntu

sudo sensible-editor /home/alisa/repo/scripts/mirror_ubuntu.sh

и вставим в скрипт следующий код

#!/bin/bash -x
/usr/bin/debmirror --source -m --passive --host=archive.ubuntu.com \
--root=ubuntu --method=http --progress \
--dist=focal,focal-security,focal-updates,focal-backports,jammy,jammy-security,jammy-updates,jammy-backports,noble,noble-security,noble-updates,noble-backports,oracular,oracular-security,oracular-updates,oracular-backports \
--ignore-release-gpg --section=main,restricted,universe,multiverse \
--arch=amd64 /var/www/html/ubuntu/

перейдем в папку скрипта и сделаем его исполнительным

cd /home/alisa/repo/scripts/
sudo chmod +x mirror_ubuntu.sh

Установим для удобства пакет screen

sudo apt install screen

Запустим наш скрипт mirror_ubuntu.sh на исполнение

sudo screen /home/alisa/repo/scripts/mirror_ubuntu.sh

Проверим в браузере работу скрипта по загрузке зеркала ubuntu

sudo mkdir /home/alisa/repo/kernelmirror
sudo mkdir /home/alisa/repo/kernelmirror/kernel

cd /var/www/html Настроим права доступа к нашей главной папке

sudo chown -R root:alisa /home/alisa/repo sudo chmod -R 571 /home/alisa/repo

sudo ln -s /home/alisa/repo/kernelmirror/kernel kernel

Скрипт mirrorkernel.sh Теперь создадим mirrorkernel.sh, открыв предпочитаемый вами редактор таким образом

зеркало lfs

rsync:rsync2.osuosl.org/lfs/
rsync:rsync2.osuosl.org/clfs/
rsync:mirror.freedif.org/blfs/

* rsync -r –progress rsync:rsync2.osuosl.org/lfs/ /var/www/html/lfs/

по аналогии

rsync -r --progress rsync://mirror.freedif.org/blfs/  /var/www/html/lfs/blfs/
rsync -r --progress rsync://mirror.freedif.org/clfs/  /var/www/html/lfs/clfs/

перейдем в директорию lfs/hlfs-packages и загрузим hlfs-packages

cd /var/www/html/lfs/hlfs-packages
wget --recursive --no-parent https://mirror.download.it/lfs/pub/lfs/hlfs-packages/

перейдем в директорию lfs/lfs-museum и загрузим alfs-museum

cd /var/www/html/lfs/lfs-museum
wget -r  -l 7 -nc https://linuxfromscratch.org/museum/alfs-museum/

зеркало debian

rsync -r --progress rsync://ftp.ru.debian.org/debian/ /var/www/html/debian/

зеркало mariadb

sudo rsync -a --partial --delete-after --delay-updates rsync.osuosl.org::mariadb /var/www/html/mariadb/

зеркало blender

rsync -r --progress rsync://mirrors.dotsrc.org/blender/ /var/www/html/floss/blender/

зеркало raspbian

rsync -r --progress rsync://mirrors.dotsrc.org/raspbian/ /var/www/html/raspbian/

зеркало mysql

rsync -r --progress rsync://mirrors.dotsrc.org/mysql/ /var/www/html/floss/mysql/

зеркало postgresql

rsync -r --progress rsync://mirrors.dotsrc.org/postgresql/ /var/www/html/floss/postgresql/

зеркало git

rsync -r --progress rsync://rsync.kernel.org/pub/software/scm/  /var/www/html/git/

зеркало putty

rsync -r --progress rsync://mirrors.dotsrc.org/putty/ /var/www/html/floss/putty/

зеркало kde

rsync -r --progress rsync://mirror.truenetwork.ru/kde/  /var/www/html/kde/

зеркало gnu

исключаем папку gcc

rsync --exclude='/gcc/' -a --no-compress -r --progress rsync://ftp.gnu.org/gnu/ /var/www/html/gnu/

зеркало gcc

rsync -r --progress rsync://mirror.truenetwork.ru/gnu/gcc/ /var/www/html/gcc/

Ubuntu Kernel

ubuntu_kernel
cd /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v5.13/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v5.14/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v5.15/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v5.16/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v5.17/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v5.18/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v5.19/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.1/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.2/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.3/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.4/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.5/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.6/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.7/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.8/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.9/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.10/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.11/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.12/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.13/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.14-rc1/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.14-rc2/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.14-rc3/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.14-rc4/ -P /var/www/html/ubuntu_kernel/
wget --mirror -c -p --convert-links https://mirrors.portworx.com/mirrors/https/kernel.ubuntu.com/mainline/v6.14-rc5/ -P /var/www/html/ubuntu_kernel/

local_or_private_ubuntu_mirror

anonymous@undisclosed.example.com (Anonymous) — Sat, 01 Feb 2025 06:45:23 +0000

Создание локального зеркала Ubuntu

Введение

Локальные копии репозиториев нужны для установки программ на машины с Ubuntu, не подключённые к интернету. В этом случае можно создать копию нужных репозиториев на внешнем диске или на компьютере, у которого есть доступ к интернету, а затем подключить эту копию в качестве репозитория к машинам, на которых интернета нет. Для этого вам потребуется компьютер с установленной Ubuntu и безлимитным доступом к интернету.

Локальная копия официального репозитория Ubuntu deb http://ru.archive.ubuntu.com/ubuntu/ focal main restricted занимает 135+ GiB, учтите это.

Создание дерева папок

Создаём несколько папок в домашней дирректории, в которой будет храниться наш срез репозитория (или даже несколько), к примеру, согласно нижеприведенной схемы:

Для этого введем ниже приведенные команды

sudo mkdir /home/alisa/repo
sudo mkdir /home/alisa/repo/debmirror
sudo mkdir /home/alisa/repo/debmirror/amd64
sudo mkdir /home/alisa/repo/debmirror/mirrorkeyring
sudo mkdir /home/alisa/repo/scripts

В итоге у нас получиться:

Настроим права доступа к нашей главной папке

sudo chown -R root:alisa /home/alisa/repo
sudo chmod -R 571 /home/alisa/repo

Установка зависимостей

Установим web server Apache2 и настроим брандмауэр по аналогии в этой статье.
Обновим список пакетов

sudo apt-get update

и установим небходимое ПО
Если web server Apache2 уже установлен, то

sudo apt install debmirror gnupg xz-utils

Иначе

sudo apt install apache2 debmirror gnupg xz-utils

Gnupg нужен для связки ключей. Xz – необходимость декомпрессии.

Откройте список источников (sources.list)

sudo sensible-editor /etc/apt/sources.list

и добавьте следующую строку:

#############################################################
########## Ubuntu 22.04 LTS (Jammy Jellyfish)  ##############
#############################################################

deb http://archive.ubuntu.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-updates main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-security main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-backports main restricted universe multiverse

deb http://archive.canonical.com/ubuntu/ jammy partner
deb-src http://archive.canonical.com/ubuntu/ jammy partner

CTRL+O → ENTER → CTRL+X (Сохранить и выйти)

После редактирования списка репозиториев не забудьте обновить список пакетов.

sudo apt-get update
sudo apt-get dist-upgrade

Скрипт mirrorkernel.sh

Теперь создадим mirrorkernel.sh, открыв предпочитаемый вами редактор таким образом

sudo sensible-editor /home/alisa/repo/scripts/mirrorkernel.sh

Скопируйте текст из поля ниже в редактор.

#!/bin/bash -x
/usr/bin/debmirror --source -m --passive --host=archive.ubuntu.com \
--root=ubuntu --method=http --progress \
--dist=focal,focal-security,focal-updates,focal-backports,jammy,jammy-security,jammy-updates,jammy-backports,noble,noble-security,noble-updates,noble-backports \
--ignore-release-gpg --section=main,restricted,universe,multiverse \
--arch=amd64 /home/alisa/repo/debmirror/amd64/

–host=archive.ubuntulinux.org - это адрес репозитория (без слеша на конце,здесь archive.ubuntulinux.org)
–root=ubuntu - это тот каталог, от которого начнётся зеркалирование пакетов. Короче - это каталог, который виден сразу после захода на адрес, указанный в –host
–method=ftp - ftp или http
–dist=hardy,hardy-security,hardy-updates,hardy-backports - название версии дистрибутива, который нас интересует. Если вы всё еще используете старую версию Ubuntu 7.10 (Gutsy Gibbon), то вам необходимо немного подправить этот скрипт, в частности, необходимо изменить значения параметра –dist с hardy на gutsy.
–section=main,restricted,multiverse,universe - название секции, которая нам нужна (если не одна - разделитель запятая без пробелов)
–arch=i386 - архитектура. Значение i386 говорит о том, что будут скачаны пакеты для компьютера с архитектурой x86. Этот параметр также может принимать значение amd64 для 64-битных AMD или Intel компьютеров.

CTRL+O → ENTER → CTRL+X (Сохранить и выйти)
Перейдем в директорию с нашим новым скриптом mirrorkernel.sh и дадим ему разрешение на выполнение:

cd /home/alisa/repo/scripts/
sudo chmod +x mirrorkernel.sh

chmod (от англ. change mode) — команда для изменения прав доступа к файлам и каталогам, используемая в Unix-подобных операционных системах.

Запуск и Автоисполнение

Находясь в папке с скриптом, запустим его на выполнение:

sudo apt install screen
sudo screen /home/alisa/repo/scripts/mirrorkernel.sh

screen это терминальный мультиплексор. Процесс, запущенный внутри сессии через screen, будет продолжаться даже тогда, когда вы отключитесь от самой первой сессии. См. подробнее...
После выполнения команды пойдет загрузка файлов в наше локальное зеркало:

Cron – планировщик задач. Если подробнее, то это утилита, позволяющая выполнять скрипты на сервере в назначенное время с заранее определенной периодичностью.

sudo crontab -e

Select an editor. To change later, run 'select-editor'.

1. /bin/nano        <---- easiest
2. /usr/bin/vim.basic
3. /usr/bin/vim.tiny
4. /bin/ed

Choose 1-4 [1]: 1

Для nano выберем 1

0 0 1 * * /home/alisa/repo/scripts/mirrorkernel.sh

запускать скрипт 1 числа каждого месяца

См. подробнее о Cron и crontab
Генератор выражений Cron от Cronhub

Настройка доступа к зеркалу

Создадим символическую ссылку из /home/alisa/repo/debmirror/amd64 на /var/www/ubuntu.

cd /var/www/html
sudo ln -s /home/alisa/repo/debmirror/amd64 ubuntu

Перезапустим Apache:

sudo service apache2 restart

Проверим работу нашего веб-сервера

sudo systemctl status apache2

перейдем на главную страницу в браузере нашего сервера (в примере http://192.168.1.152/)

И наконец перейдем в папку для которой мы ранее указали символическую ссылку (в примере http://192.168.1.152/ubuntu/):

Файлы и Дополнения

Официальные репозитарии Ubuntu

deb http://archive.ubuntu.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-updates main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-security main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-backports main restricted universe multiverse

deb http://archive.canonical.com/ubuntu/ jammy partner
deb-src http://archive.canonical.com/ubuntu/ jammy partner

Настройка клиенских системы

Просмотреть все репозитории:

sudo nano /etc/apt/sources.list

Они также могут находиться в одном из файлов в папке /etc/apt/sources.list.d/ Сделаем архивную копию нашего оригинального файла sources.list

sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup

См. запись оригинального файла sources.list

#deb cdrom:[Ubuntu 22.04 LTS _Jammy Jellyfish_ - Release amd64 (20220419)]/ jammy main restricted

# See http://help.ubuntu.com/community/UpgradeNotes for how to upgrade to
# newer versions of the distribution.
deb http://ru.archive.ubuntu.com/ubuntu/ jammy main restricted
# deb-src http://ru.archive.ubuntu.com/ubuntu/ jammy main restricted

## Major bug fix updates produced after the final release of the
## distribution.
deb http://ru.archive.ubuntu.com/ubuntu/ jammy-updates main restricted
# deb-src http://ru.archive.ubuntu.com/ubuntu/ jammy-updates main restricted

## N.B. software from this repository is ENTIRELY UNSUPPORTED by the Ubuntu
## team. Also, please note that software in universe WILL NOT receive any
## review or updates from the Ubuntu security team.
deb http://ru.archive.ubuntu.com/ubuntu/ jammy universe
# deb-src http://ru.archive.ubuntu.com/ubuntu/ jammy universe
deb http://ru.archive.ubuntu.com/ubuntu/ jammy-updates universe
# deb-src http://ru.archive.ubuntu.com/ubuntu/ jammy-updates universe

## N.B. software from this repository is ENTIRELY UNSUPPORTED by the Ubuntu
## team, and may not be under a free licence. Please satisfy yourself as to
## your rights to use the software. Also, please note that software in
## multiverse WILL NOT receive any review or updates from the Ubuntu
## security team.
deb http://ru.archive.ubuntu.com/ubuntu/ jammy multiverse
deb http://ru.archive.ubuntu.com/ubuntu/ jammy multiverse
# deb-src http://ru.archive.ubuntu.com/ubuntu/ jammy multiverse
deb http://ru.archive.ubuntu.com/ubuntu/ jammy-updates multiverse
# deb-src http://ru.archive.ubuntu.com/ubuntu/ jammy-updates multiverse

## N.B. software from this repository may not have been tested as
## extensively as that contained in the main release, although it includes
## newer versions of some applications which may provide useful features.
## Also, please note that software in backports WILL NOT receive any review
## or updates from the Ubuntu security team.
deb http://ru.archive.ubuntu.com/ubuntu/ jammy-backports main restricted universe multiverse
# deb-src http://ru.archive.ubuntu.com/ubuntu/ jammy-backports main restricted universe multiverse

deb http://security.ubuntu.com/ubuntu jammy-security main restricted
# deb-src http://security.ubuntu.com/ubuntu jammy-security main restricted
deb http://security.ubuntu.com/ubuntu jammy-security universe
# deb-src http://security.ubuntu.com/ubuntu jammy-security universe
deb http://security.ubuntu.com/ubuntu jammy-security multiverse
# deb-src http://security.ubuntu.com/ubuntu jammy-security multiverse

# This system was installed using small removable media
# (e.g. netinst, live or single CD). The matching "deb cdrom"
# entries were disabled at the end of the installation process.
# For information about how to configure apt package sources,
# see the sources.list(5) manual.

Удалим подключенные репозитории, замени их на наше зеркало и сохраним файл:

deb http://192.168.1.20/ubuntu/ jammy main restricted
deb http://192.168.1.20/ubuntu/ jammy-updates main restricted
deb http://192.168.1.20/ubuntu/ jammy universe
deb http://192.168.1.20/ubuntu/ jammy-updates universe

Получим обновленные списки пакетов:

sudo apt-get update

обновить список пакетов. sudo apt update обновим пакеты

sudo apt-get dist-upgrade

Удалим подключенные репозитории на машине с Ubuntu 24.04, заменим их на наше зеркало и сохраним файл:

deb http://192.168.1.20/ubuntu/ noble main restricted
deb http://192.168.1.20/ubuntu/ noble-updates main restricted
deb http://192.168.1.20/ubuntu/ noble universe
deb http://192.168.1.20/ubuntu/ noble-updates universe

См. запись полного файла sources.list для Ubuntu 24.04 LTS noble Jellyfish

#deb cdrom:[Ubuntu 24.04 LTS _noble Jellyfish_ - Release amd64 (20220419)]/ noble main restricted

# See http://help.ubuntu.com/community/UpgradeNotes for how to upgrade to
# newer versions of the distribution.
deb http://192.168.1.20/ubuntu/ noble main restricted
# deb-src http://192.168.1.20/ubuntu/ noble main restricted

## Major bug fix updates produced after the final release of the
## distribution.
deb http://192.168.1.20/ubuntu/ noble-updates main restricted
# deb-src http://192.168.1.20/ubuntu/ noble-updates main restricted

## N.B. software from this repository is ENTIRELY UNSUPPORTED by the Ubuntu
## team. Also, please note that software in universe WILL NOT receive any
## review or updates from the Ubuntu security team.
deb http://192.168.1.20/ubuntu/ noble universe
# deb-src http://192.168.1.20/ubuntu/ noble universe
deb http://192.168.1.20/ubuntu/ noble-updates universe
# deb-src http://192.168.1.20/ubuntu/ noble-updates universe

## N.B. software from this repository is ENTIRELY UNSUPPORTED by the Ubuntu
## team, and may not be under a free licence. Please satisfy yourself as to
## your rights to use the software. Also, please note that software in
## multiverse WILL NOT receive any review or updates from the Ubuntu
## security team.
deb http://192.168.1.20/ubuntu/ noble multiverse
deb http://192.168.1.20/ubuntu/ noble multiverse
# deb-src http://192.168.1.20/ubuntu/ noble multiverse
deb http://192.168.1.20/ubuntu/ noble-updates multiverse
# deb-src http://192.168.1.20/ubuntu/ noble-updates multiverse

## N.B. software from this repository may not have been tested as
## extensively as that contained in the main release, although it includes
## newer versions of some applications which may provide useful features.
## Also, please note that software in backports WILL NOT receive any review
## or updates from the Ubuntu security team.
deb http://192.168.1.20/ubuntu/ noble-backports main restricted universe multiverse
# deb-src http://192.168.1.20/ubuntu/ noble-backports main restricted universe multiverse

deb http://192.168.1.20/ubuntu noble-security main restricted
# deb-src http://192.168.1.20/ubuntu noble-security main restricted
deb http://192.168.1.20/ubuntu noble-security universe
# deb-src http://192.168.1.20/ubuntu noble-security universe
deb http://192.168.1.20/ubuntu noble-security multiverse
# deb-src http://192.168.1.20/ubuntu noble-security multiverse

Получим обновленные списки пакетов:

sudo apt-get update

обновить список пакетов. sudo apt update обновим пакеты

sudo apt-get dist-upgrade

Дополнения и Файлы

debmirroramd64.sh.txt

monitoring_free_space_on_servers

anonymous@undisclosed.example.com (Anonymous) — Sun, 28 Jul 2024 23:55:23 +0000

Контроль свободного места через консоль

Управление свободными ресурсами на серверах и рабочих станциях, работающих под управлением Linux, является ключевой функцией администратора, особенно при использовании SSD, объемы которых все еще меньше, чем хотелось бы. При этом недостаточно только контролировать занятое пространство, нужно еще четко понимать, чем именно оно занято, то ли это рабочие данные и нужно действительно расширять дисковую подсистему, то ли скопившийся годами хлам, который можно безболезненно удалить.

Утилиты df и du

Начнем с самых основ, эти утилиты может и не радуют удобством, но они есть в любом Linux-дистрибутиве и просто делают свою работу. Начнем с df, эта утилита позволяет получить отчет о доступном и использованном пространстве на файловых системах. Использовать ее просто:
Примечание: df не отображает информацию о не смонтированных дисках.

df -h

Ключ -h (–human-readable) выводит данные в удобочитаемом формате, т.е. мегабайтах и гигабайтах, также можете использовать ключ -H, он делает тоже самое, но с использованием системы СИ, т.е. в расчетах используется 1000 вместо 1024. Выяснив нужную файловую систему и точку монтирования, перейдем к более глубокому анализу того, что занимает место на диске, для чего привлечем утилиту du, которая показывает место занимаемое файлами и папками, с ней также можно использовать ключи -h или -H, но если мы выполним следующую команду, то результат нас вряд-ли обрадует:

du -h /

Дело в том, что утилита пройдет рекурсивно на всю глубину и выдаст размер каждой папки и файла в указанном расположении, чтобы изменить такое поведение используйте ключ -d для явного указания глубины анализа. Например, ограничимся только директориями верхнего уровня:

du -hd 1 /

Ну вот, совсем уже другое дело. Как можем увидеть, больше всего места занимает директория /var:

du -hd 1 /home

Таким образом, шаг за шагом мы можем найти все интересующие нас расположения и изучить их содержимое, получив данные о том, чем именно занято дисковое пространство.

Утилита ncdu

Все это хорошо, но несколько долго и муторно, может быть есть способ проще? Есть, это утилита ncdu (NCurse Disk Usage), которая представляет удобный интерактивный инструмент с псевдографическим интерфейсом. Для установки в DEB-cистемах используйте команду:

apt install ncdu

Если запустить утилиту без параметров, то она проанализирует текущее расположение, поэтому мы выполним:

ncdu /

Сканирование может занять некоторое время, после чего вы увидите директории и файлы первого уровня, отсортированные по уменьшению размера. Фактически все уже сделали за нас, вывод ncdu гораздо более нагляден и информативен. Здесь же сразу вы можете получить дополнительную информацию, так значок @ слева обозначает что перед нами символическая ссылка, а буква e (empty) - указывает на пустую директорию. Как мы уже говорили, система интерактивна, для навигации следует использовать стрелки, а для перехода с уровня на уровень - Enter. Но это еще не все, вы можете сразу отсюда удалять файлы простым нажатием на d, но при этом вам придется явно подтвердить удаление, что исключает случайные срабатывания. При помощи стрелок на клавиатуре можно перемещаться по каталогам всей файловой системы:

← вернуться на один каталог назад (или BackSpace)
↑ вверх по списку
→ перейти в выбранный каталог (или Enter)
↓ вниз по списку

Для быстрого знакомства со всеми возможностями утилиты всегда можно вызвать встроенную справку, нажав ?. Все это указано прямо в шапке утилиты. На наш взгляд, данная утилита заслуживает того, чтобы стать частью джентельменского набора любого администратора, на своих серверах мы устанавливаем ее по умолчанию. Кстати, если вы работаете с WSL (Windows Subsystem for Linux), то можете с помощью ncdu выполнять анализ файловых систем Windows.

Ссылки и Дополнения

osm_zoom_levels

anonymous@undisclosed.example.com (Anonymous) — Sat, 01 Feb 2025 06:46:15 +0000

Уровни масштабирования (Zoom levels) карт OSM

Колонка «Градус» дает ширину карты в градусах, для карты, у которой уровень увеличения (Масштаб или Zoom Level) шириной 256 пикселов. Значения в колонке «м/пиксели» дает количество метров на пиксель для этого уровня увеличения. Эти значения для «м/пиксели» рассчитаны из расчета радиуса Земли 6372.7982 км и проходят через экватор; для других широт значения должны быть умножены на косинус широты. «Scale» ( масштаб карты ) это только примерный сравнительный размер и ссылается на расстояние на экваторе. Также масштаб карты будет зависеть от монитора. Эти значения для монитора 0.3 мм / пиксель (85.2 пикселя на дюйм или PPI)

Столбец '# Тайлы' показывает количество тайлов, которое необходимо для показа этого всего мира. Это полезно для расчета размера хранилища необходимого для предварительно сгенерированных тайлов.

Расчет расстояния на пиксел

Горизонтальное расстояние, отображаемое каждым квадратным тайлом вдоль параллели на заданной широте вычисляется как:
Stile = C ∙ cos(latitude) / 2 zoomlevel
где C означает экваториальную окружность Земли ( 40 075 016,686 м ≈ 2π ∙ 6 378 137,000 м для эталонного геоида, используемого OpenStreetMap).
Так как тайлы имеют ширину в 256 пикселов, расстояние отображаемое одним пикселом (S) вычисляется как:
Spixel = Stile / 256 = C ∙ cos(latitude) / 2 (zoomlevel + 8)
Например, на экваторе и уровне увеличения 0, для метров: 40 075 016.6 / 256 ≈ 6 378 137.0 * 2 * π / 256 ≈ 156 543.03
Убедитесь, что Ваш калькулятор находится в режиме работы с градусами, если вы хотите указать широту в градусах, а не радианах. C должна быть выражена в единице измерения, которая Вам нужна (мили, метры, футы, смуты и т.д.). Из-за того, что на самом деле Земля эллиптическая, возможна незначительная ошибка в вычислениях (максимум 0.3%).

osmconvert

anonymous@undisclosed.example.com (Anonymous) — Fri, 20 Dec 2024 13:36:54 +0000

Слияние карт pbf OSM

Установим osmctools

sudo apt install osmctools

Используем Osmconvert

Загрузим в папку data файлы содержащий в себе карты georgia, moldova и azerbaijan

cd ~/data
wget http://download.geofabrik.de/europe/georgia-latest.osm.pbf
wget http://download.geofabrik.de/europe/moldova-latest.osm.pbf
wget http://download.geofabrik.de/asia/azerbaijan-latest.osm.pbf

Объединить новые регионы со старыми (уже загруженными) в один pbf файл:

osmconvert georgia-latest.osm.pbf --out-o5m | osmconvert - moldova-latest.osm.pbf -o=new-latest.osm.pbf

osmconvert azerbaijan-latest.osm.pbf --out-o5m | osmconvert - new-latest.osm.pbf -o=new.osm.pbf

Проверим вновь созданный файл new.osm.pbf в директории data
затем загрузить новый объединенный файл (new.osm.pbf) в базу:

cd ~/data
osm2pgsql -d gis --create --slim  -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 8000 --number-processes 6 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/new.osm.pbf

Команда загрузки должна завершится чем-то вроде «Osm2pgsql в целом занял 364 секунд».

У нас получился один new.osm.pbf, содержащий в себе карты georgia, moldova и azerbaijan.
После загрузки карты получаем

Однако этот способ перезаписывает все данные в базе и может занять длительное время.
Страница загрузки файлов карт OpenStreetMap

postgis

anonymous@undisclosed.example.com (Anonymous) — Thu, 05 Oct 2023 14:48:17 +0000

PostGIS

Шпаргалка по основным командам PostgreSQL

Вся работа с PostgreSQL осуществляется под пользователем postgres.

sudo su postgres

Работать с PosgreSQL можно как в интерактивном режиме, так и из командной строки. Программа — psql.

psql

Основные команды PostgreSQL в интерактивном режиме:

\connect db_name – подключиться к базе с именем db_name
\du – список пользователей
\dp (или \z) – список таблиц, представлений, последовательностей, прав доступа к ним
\di – индексы
\ds – последовательности
\dt – список таблиц
\dt+ — список всех таблиц с описанием
\dt *s* — список всех таблиц, содержащих s в имени
\dv – представления
\dS – системные таблицы
\d+ – описание таблицы
\o – пересылка результатов запроса в файл
\l – список баз данных
\i – читать входящие данные из файла
\e – открывает текущее содержимое буфера запроса в редакторе (если иное не указано в окружении переменной EDITOR, то будет использоваться по умолчанию vi)
\d “table_name” – описание таблицы
\i запуск команды из внешнего файла, например \i /my/directory/my.sql
\pset – команда настройки параметров форматирования
\echo – выводит сообщение
\set – устанавливает значение переменной среды. Без параметров выводит список текущих переменных (\unset – удаляет).
\? – справочник psql
\help – справочник SQL
\q (или Ctrl+D) – выход с программы

Работа с PostgreSQL из командной строки:

-c (или –command) – запуск команды SQL без выхода в интерактивный режим
-f file.sql — выполнение команд из файла file.sql
-l (или –list) – выводит список доступных баз данных
-U (или –username) – указываем имя пользователя (например postgres)
-W (или –password) – приглашение на ввод пароля
-d dbname — подключение к БД dbname
-h – имя хоста (сервера)
-s – пошаговый режим, то есть, нужно будет подтверждать все команды
–S – однострочный режим, то есть, переход на новую строку будет выполнять запрос (избавляет от ; в конце конструкции SQL)
-V – версия PostgreSQL без входа в интерактивный режим

Примеры:

Выполнение команды в базе dbname

psql -U postgres -d dbname -c «CREATE TABLE my(some_id serial PRIMARY KEY, some_text text);»

Вывод результата запроса в html-файл

psql -d dbname -H -c «SELECT * FROM my» -o my.html

Утилиты (программы) PosgreSQL:

createdb и dropdb – создание и удаление базы данных (соответственно)
createuser и dropuser – создание и пользователя (соответственно)
pg_ctl – программа предназначенная для решения общих задач управления (запуск, останов, настройка параметров и т.д.)
postmaster – многопользовательский серверный модуль PostgreSQL (настройка уровней отладки, портов, каталогов данных)
initdb – создание новых кластеров PostgreSQL
initlocation – программа для создания каталогов для вторичного хранения баз данных
vacuumdb – физическое и аналитическое сопровождение БД
pg_dump – архивация и восстановление данных
pg_dumpall – резервное копирование всего кластера PostgreSQL
pg_restore – восстановление БД из архивов (.tar, .tar.gz)

Примеры создания резервных копий:

Создание бекапа базы mydb, в сжатом виде

pg_dump -h localhost -p 5440 -U someuser -F c -b -v -f mydb.backup mydb

Создание бекапа базы mydb, в виде обычного текстового файла, включая команду для создания БД

pg_dump -h localhost -p 5432 -U someuser -C -F p -b -v -f mydb.backup mydb

Создание бекапа базы mydb, в сжатом виде, с таблицами которые содержат в имени payments

pg_dump -h localhost -p 5432 -U someuser -F c -b -v -t *payments* -f payment_tables.backup mydb

Дамп данных только одной, конкретной таблицы. Если нужно создать резервную копию нескольких таблиц, то имена этих таблиц перечисляются с помощью ключа -t для каждой таблицы.

pg_dump -a -t table_name -f file_name database_name

Создание резервной копии с сжатием в gz

pg_dump -h localhost -O -F p -c -U postgres mydb | gzip -c > mydb.gz

Список наиболее часто используемых опций:

-h host — хост, если не указан то используется localhost или значение из переменной окружения PGHOST.
-p port — порт, если не указан то используется 5432 или значение из переменной окружения PGPORT.
-u — пользователь, если не указан то используется текущий пользователь, также значение можно указать в переменной окружения PGUSER.
-a, —data-only — дамп только данных, по-умолчанию сохраняются данные и схема.
-b — включать в дамп большие объекты (blog’и).
-s, —schema-only — дамп только схемы.
-C, —create — добавляет команду для создания БД.
-c — добавляет команды для удаления (drop) объектов (таблиц, видов и т.д.).
-O — не добавлять команды для установки владельца объекта (таблиц, видов и т.д.).
-F, —format {c|t|p} — выходной формат дампа, custom, tar, или plain text.
-t, —table=TABLE — указываем определенную таблицу для дампа.
-v, —verbose — вывод подробной информации.
-D, —attribute-inserts — дамп используя команду INSERT с списком имен свойств.

Бекап всех баз данных используя команду pg_dumpall.

pg_dumpall > all.sql

Восстановление таблиц из резервных копий (бэкапов):

Восстановление бекапов, которые хранятся в обычном текстовом файле (plain text)

psql

Восстановление сжатых бекапов (tar)

pg_restore

Восстановление всего бекапа с остановкой на первой ошибке

psql -h localhost -U someuser —set ON_ERROR_STOP=on -f mydb.sql

Для восстановления из tar-арихива нам понадобиться сначала создать базу с помощью CREATE

DATABASE mydb; (если при создании бекапа не была указана опция -C) и восстановить

pg_restore —dbname=mydb —jobs=4 —verbose mydb.backup

Восстановление резервной копии БД, сжатой gz

gunzip mydb.gz
psql -U postgres -d mydb -f mydb

ERROR: must be owner of relation planet_osm_nodes

В окне терминала Ubuntu и из «renderaccount»:
Войдите в систему как встроенный пользователь Ubuntu «postgres»

sudo -u postgres -i

Подключиться к базе данных «gis»

postgres=# \c gis

Теперь вы подключены к базе данных «gis» как пользователь «postgres».
Список таблиц «gis»

gis=# \dt

Список отношений

Schema | Name | Type | Owner
--------+------------------+-------+---------------
public | planet_osm_nodes | table | postgres
public | planet_osm_rels | table | postgres
public | planet_osm_ways | table | postgres
public | spatial_ref_sys | table | renderaccount
(4 rows)

Изменить владельца таблиц

gis=# ALTER TABLE planet_osm_nodes OWNER TO renderaccount;
ALTER TABLE
gis=# ALTER TABLE planet_osm_rels OWNER TO renderaccount;
ALTER TABLE
gis=# ALTER TABLE planet_osm_ways OWNER TO renderaccount;
ALTER TABLE

Список таблиц «gis» для подтверждения изменений

gis=# \dt

Список отношений

Schema | Name | Type | Owner
--------+------------------+-------+---------------
public | planet_osm_nodes | table | renderaccount
public | planet_osm_rels | table | renderaccount
public | planet_osm_ways | table | renderaccount
public | spatial_ref_sys | table | renderaccount
(4 rows)

Оставьте «gis»

gis-# \q

Выйти «postgres»

exit

из системы

…снова в «renderaccount»

osm2pgsql -d gis --create --slim -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 2500 --number-processes 1 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/bulgaria-latest.osm.pbf

…Proceed with the tutorial.

postgres

anonymous@undisclosed.example.com (Anonymous) — Sat, 13 Aug 2022 20:45:54 +0000

Удаление PostgreSQL

Перед удалением PostgreSQL и очисткой сервера от следов сервиса удостоверимся, что СУБД остановлена.
В аккаунте Ubuntu напишем, что хотим узнать:

ps -Cpostgres

Если СУБД остановлена, ответ на команду не должен показать никаких результатов. В ином случае, обслуживание нужно остановить. Остановить PostgreSQL:

sudo systemctl stop postgresql

Далее укажем:

sudo apt-get --purge remove postgresql\*

PostgreSQL удалена на нашей виртуальной машине.
После удаления пропишем команды:

sudo rm -r /etc/postgresql/

sudo rm -r /var/lib/postgresql/

sudo userdel -r postgres

sudo groupdel postgres

Установка и использование PostgreSQL в Ubuntu 20.04

pscp

anonymous@undisclosed.example.com (Anonymous) — Sat, 05 Aug 2023 23:31:19 +0000

pscp: передача файлов по протоколу ssh

Протокол SSH позволяет не только защищенно администрировать компьютеры и получать доступ к сервисам сети через туннели, но еще и передавать файлы.
Для этого нужна консольная утилита pscp.exe, входящая в очень полезный пакет утилит putty. Программа работает под Windows, но я не исключаю, что есть и под другие системы (по крайней мере по исходникам можно судить, что можно скомпилировать исполняемый файл под UNIX и MacOS). В принципе, компилировать pscp.exe под *nix нет смысла, так как аналогом pscp.exe там является утилита scp (secure copy program). Чтобы понять, как работает передача файлов, лучше рассмотреть примеры (сервер SSH работает на linux и имеет адрес 192.168.1.12, а клиент SSH, на котором запускаем программу pscp.exe - на Windows).

Передача файла в сторону сервера SSH

Запускаем на пк командную строку и переходим в папку с установленной программой PuTTY

cd C:\Program Files\PuTTY

pscp -P 22 F:\maps\planet-220808.osm.pbf alisa@192.168.1.12:/home/alisa/data/planet-220808.osm.pbf

Вводим пароль пользователя сервера и ждем загрузку файла

После выполнения этой команды на сервере в папке /home/alisa/data появится файл planet-220808.osm.pbf - точная копия planet-220808.osm.pbf на пк.

Передача файла от сервера SSH к клиенту

Запускаем на пк командную строку и переходим в папку с установленной программой PuTTY

cd C:\Program Files\PuTTY

pscp -P 22 alisa@192.168.1.12:/home/alisa/data/new.osm.pbf F:\maps\new.osm.pbf

Вводим пароль пользователя сервера и ждем загрузку файла

Элемент ненумерованного спискаПосле выполнения этой команды на диске F: в папке maps клиента появится файл new.osm.pbf - точная копия new.osm.pbf

Опцию -P, указывающую порт подключения, указывать не обязательно, если используется стандартный порт SSH (22 TCP).

raid_linux_server

anonymous@undisclosed.example.com (Anonymous) — Fri, 20 Dec 2024 13:40:38 +0000

Создание RAID-МАССИВОВ с помощью MDADM

Утилита mdadm может использоваться для создания и управления массивами на основе RAID. Она обеспечивает гибкость управления и создания логических устройств хранения, которые имеют более высокие характеристики производительности или избыточности.

Сброс существующих RAID-устройств

Просмотреть активные массивы можно в файле /proc/mdstat, введя:

cat /proc/mdstat

Размонтируйте массив из файловой системы:

sudo umount /dev/md0

Затем остановите и удалите массив:

sudo mdadm --stop /dev/md0
sudo mdadm --remove /dev/md0

С помощью следующей команды можно определить устройства, которые были использованы для построения массива:

lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT

Обнаружив устройства, используемые для создания массива, обнулите их суперблок, чтобы удалить метаданные RAID и вернуть их в нормальное состояние:

sudo mdadm --zero-superblock /dev/sda
sudo mdadm --zero-superblock /dev/sdb

Вы должны удалить любые постоянные ссылки на массив. Отредактируйте файл /etc/fstab и закомментируйте или удалите ссылку на ваш массив:

sudo nano /etc/fstab

Также нужно удалить или закомментировать определение массива в файле /etc/mdadm/mdadm.conf.

sudo nano /etc/mdadm/mdadm.conf

Наконец, обновите initramfs, чтобы процесс загрузки не пытался вывести недоступный массив в Интернет.

sudo update-initramfs -u

На этом этапе устройства хранения готовы к повторному использованию: вы можете настроить их отдельно или как компоненты нового массива.

Создание массива RAID 0

RAID-массив нулевого уровня разбивает данные на куски и распределяет их по доступным дискам. Это означает, что каждый диск содержит часть данных, а при извлечении информации массив ссылается на несколько дисков.

Требования: минимум 2 устройства хранения данных. Главное преимущество: производительность. Следует иметь в виду: сбой одного устройства уничтожит все данные в массиве. Убедитесь, что у вас есть рабочие резервные копии. Определение устройств массива Для начала нужно определить идентификаторы для неформатированных дисков, которые вы будете использовать:

lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT

Создание массива

Чтобы создать массив RAID нулевого уровня из этих компонентов (диски sda 1.8Tb и sdb 1.8Tb), передайте их команде mdadm -create. Вам нужно указать имя устройства, которое вы хотите создать (например, /dev/md0), уровень RAID и количество устройств:

sudo mdadm --create --verbose /dev/md0 --level=0 --raid-devices=2 /dev/sda /dev/sdb

Чтобы убедиться, что массив RAID был успешно создан, проверьте файл /proc/mdstat:

cat /proc/mdstat

В выделенной строке указано, что с помощью устройств /dev/sda и /dev/sdb было создано устройство /dev/md0 в конфигурации RAID 0.

Создание и монтирование файловой системы

Затем создайте в массиве файловую систему:

sudo mkfs.ext4 -F /dev/md0

Создайте точку монтирования:

sudo mkdir -p /mnt/md0

А теперь смонтируйте файловую систему:

sudo mount /dev/md0 /mnt/md0

Убедитесь, что новое пространство доступно:

df -h -x devtmpfs -x tmpfs

Сохранение топологии массива

Чтобы убедиться, что при загрузке сервера массив загружается автоматически, нужно отредактировать файл /etc/mdadm/mdadm.conf. Вы можете автоматически сканировать активный массив и добавить данные в файл:

sudo mdadm --detail --scan | sudo tee -a /etc/mdadm/mdadm.conf

После этого вы можете обновить initramfs или исходную файловую систему RAM, чтобы массив был доступен во время загрузки:

sudo update-initramfs -u

Добавьте новые параметры монтирования файловой системы в файл /etc/fstab для поддержки автоматического монтирования при загрузке:

echo '/dev/md0 /mnt/md0 ext4 defaults,nofail,discard 0 0' | sudo tee -a /etc/fstab

Теперь массив RAID 0 будет автоматически смонтирован при загрузке системы.

Создание массива RAID 1

Массивы RAID 1 реализуются путем зеркалирования данных по всем доступным дискам. Каждый диск в массиве RAID 1 получает полную копию данных, обеспечивая избыточность в случае сбоя устройства.

Требования: минимум 2 устройства хранения данных.
Главное преимущество: избыточность данных.
Следует иметь в виду: поскольку массив сохраняет две копии данных, вы сможете использовать только половину дискового пространства

Определение устройств массива

Для начала нужно определить идентификаторы дисков, которые вы будете использовать:

lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT

Создание массива

Чтобы создать массив RAID 1 из компонентов

sda 1.8T ext4 disk
sdb 1.8T ext4 disk

передайте их команде mdadm –create. Вам нужно указать имя устройства, которое вы хотите создать (например, /dev/md0), уровень RAID и количество устройств:

sudo mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sda /dev/sdb

Если используемые вами компонентные устройства не являются разделами с включенным флагом boot, вероятно, вы увидите следующее предупреждение. Можно просто ввести y и продолжить. Инструмент mdadm начнет зеркалировать диски. Это может занять некоторое время, но в течение этого времени массив можно использовать. Вы можете отслеживать ход зеркалирования, проверяя файл /proc/mdstat:

cat /proc/mdstat

В первой выделенной строке указано, что с помощью устройств /dev/sda и /dev/sdb было создано устройство /dev/md0 в конфигурации RAID 1. Вторая выделенная строка показывает прогресс зеркалирования.

Создание и монтирование файловой системы

Создайте в массиве файловую систему:

sudo mkfs.ext4 -F /dev/md0

Создайте точку монтирования:

sudo mkdir -p /mnt/md0

А затем смонтируйте файловую систему:

sudo mount /dev/md0 /mnt/md0

Убедитесь, что новое пространство доступно:

sudo mount /dev/md0 /mnt/md0

Сохранение топологии массива

sudo mdadm --detail --scan | sudo tee -a /etc/mdadm/mdadm.conf

После этого вы можете обновить initramfs, чтобы массив был доступен во время загрузки:

sudo update-initramfs -u

echo '/dev/md0 /mnt/md0 ext4 defaults,nofail,discard 0 0' | sudo tee -a /etc/fstab

Теперь массив RAID 1 будет автоматически смонтирован при загрузке системы.

Создание массива RAID 5

Массив RAID 5 реализуется путем чередования данных по доступным устройствам. Один компонент каждой полосы – это вычисленный блок четности. Если устройство выходит из строя, блок четности и остальные блоки могут использоваться для вычисления недостающих данных. Каждое устройство имеет сбалансированную информацию четности.

Требования: минимум 3 устройства хранения данных.
Главное преимущество: избыточность данных с большей мощностью.
Следует иметь в виду: RAID 5 может иметь очень низкую производительность при ухудшении состояния. Пока распределяется информация о четности, для контроля четности будет использоваться емкость одного диска.

Определение устройств массива

Для начала нужно определить идентификаторы для дисков, которые вы будете использовать:

lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT

sdc 931.5G ext4 disk
sdd 931.5G disk
sde 931.5G ext4 disk

Создание массива

Чтобы создать массив RAID 5 из этих компонентов, передайте их команде mdadm –create. Вам нужно указать имя устройства, которое вы хотите создать (например, /dev/md2), уровень RAID и количество устройств:

sudo mdadm --create --verbose /dev/md2 --level=5 --raid-devices=3 /dev/sdc /dev/sdd /dev/sde

Инструмент mdadm начнет настраивать массив (фактически по соображениям производительности он использует процесс восстановления для построения массива). Это может занять некоторое время, но массив можно использовать в течение этого времени. Вы можете отслеживать ход зеркалирования в файле /proc/mdstat:

cat /proc/mdstat

В первой выделенной строке указано, что с помощью устройств /dev/sdc, /dev/sdd и /dev/sde было создано устройство /dev/md0 в конфигурации RAID 5. Вторая выделенная строка показывает прогресс сборки.

Создание и монтирование файловой системы

Создайте в массиве файловую систему:

sudo mkfs.ext4 -F /dev/md2

Создайте точку монтирования:

sudo mkdir -p /home/alisa/src/md2

Примечание. /home/alisa/src в моем случае предпочтительная точкой монтирования (пример: /usr/media или /mnt).
А затем смонтируйте файловую систему:

sudo mount /dev/md2 /home/alisa/src/md2

Убедитесь, что новое пространство доступно:

df -h -x devtmpfs -x tmpfs

Сохранение топологии массива

Чтобы убедиться, что при загрузке сервера массив загружается автоматически, нужно отредактировать файл /etc/mdadm/mdadm.conf.

Как уже упоминалось выше, перед изменением конфигурации нужно убедиться, что массив завершил сборку. Иначе невозможно будет правильно собрать массив при перезагрузке.

cat /proc/mdstat

Вы можете автоматически сканировать активный массив и добавить данные в файл:

sudo mdadm --detail --scan | sudo tee -a /etc/mdadm/mdadm.conf

После этого вы можете обновить initramfs, чтобы массив был доступен во время загрузки:

sudo update-initramfs -u

echo '/dev/md2 /home/alisa/src/md2 ext4 defaults,nofail,discard 0 0' | sudo tee -a /etc/fstab

Теперь массив RAID 5 будет автоматически смонтирован при загрузке системы.

Дополнительная информация

rsync

anonymous@undisclosed.example.com (Anonymous) — Fri, 26 Jul 2024 17:51:41 +0000

Rsync

rufus

anonymous@undisclosed.example.com (Anonymous) — Mon, 09 Jun 2025 16:06:17 +0000

Rufus - Простое создание загрузочных USB-дисков

Rufus - это утилита, которая помогает форматировать и создавать загрузочные Flash/Pen/Key диски, карты памяти и т.д. Особенно полезен в случаях, когда:

необходимо создать загрузочный USB-диск из загрузочного ISO-образа (Windows, Linux, UEFI и др.)
необходимо работать на системах, которые не имеют установленной ОС
необходимо прошить BIOS или другую прошивку из-под DOS
необходимо запустить низкоуровневую утилиту
Несмотря на небольшой размер, Rufus умеет делать все, что вам нужно!

Неполный список ISO-образов, с которыми Rufus умеет работать, представлен внизу страницы.

Создание загрузочной флешки Ubuntu Linux с помощью Rufus

Загружаем с официального сайта или по ссылкам внизу страницы файл программы Rufus. Вставляем в USB порт компьютера и форматируем нашу будущую загрузочную флешку и запускаем скачанный файл программы.

Как видим, наш USB-диск определился автоматически.
Загружаем на наш ПК необходимый нам файл образа системы. В примере я загружаю с официального сайта файл- образ Ubuntu Server 20.04.4.
Образы Microsoft Windows можно загрузить по данной ссылке с нашего сайта.

Кнопкой выбрать открываем в программе загруженный нами образ.

«Схема раздела» - для современных компьютеров -«GPT для компьютеров с UEFI».
Для старых моделей ПК оставить значение «MBR для компьютеров с BIOS или UEFI».

В принципе все параметры в программе установлены по умолчанию для получения положительного результата. Жмем кнопку СТАРТ и в открывшемся окне подтверждаем команду кнопкой OK.

Соглашаемся с тем, что все данные на нашей флешке будут уничтожены.

Ожидаем окончания процесса.

Загрузочный USB-диск готов. Можно закрывать программу.

Системные требования:

Windows 8 или более поздней версии. После загрузки приложение готово к использованию.

Поддерживаемые языки:

Bahasa Indonesia , Bahasa Malaysia , Български , Čeština , Dansk , Deutsch , Ελληνικά , English , Español , Français , Hrvatski , Italiano , Latviešu , Lietuvių , Magyar , Nederlands , Norsk , Polski , Português , Português do Brasil , Русский , Română , Slovensky , Slovenščina , Srpski , Suomi , Svenska , Tiếng Việt , Türkçe , Українська , 简体中文 , 正體中文 , 日本語 , 한국어 , ไทย , עברית , العربية , پارسی .

Использование

Скачайте исполняемый файл и запустите его – установка не требуется.

Исполняемый файл имеет цифровую подпись, содержащую:

«Akeo Consulting» (v1.3.0 или более поздней версии) «Pete Batard - Open Source Developer» (v1.2.0 или более ранней версии) Несколько слов о поддержке DOS: Если вы создаете DOS загрузочный диск и используете не-US клавиатуру, Rufus выберет раскладку клавиатуры в соответствии с региональными настройками вашей системы.

Несколько слов о поддержке ISO: Все версии Rufus, начиная с 1.1.0, позволяют создать загрузочный USB-диск из ISO-образа (.iso).

Создать ISO-образ из физического диска или из набора файлов очень легко с помощью программ для записи дисков CD, таких как свободно распространяемые InfraRecorder или CDBurnerXP.

Лицензия

Открытое лицензионное соглашение GNU (GPL) версии 3 или позднее. Вы можете свободно распространять, изменять или даже продавать программное обеспечение при соблюдении лицензии GPLv3.

Rufus создан со 100% открытым кодом в среде MinGW32.

Изменения

Версия 4.2 (2023.07.26) Add detection and warning for UEFI revoked bootloaders (including ones revoked through SkuSiPolicy.p7b) Add ZIP64 support, to extract .zip images that are larger than 4 GB Add saving and restoring current drive to/from compressed VHDX image Add saving and restoring current drive to/from compressed FFU (Full Flash Update) image [EXPERIMENTAL] Fix a crash when trying to open Windows ISOs, with the MinGW compiled x86 32-bit version Fix an issue where ISOs that contain a boot image with an 'EFI' label are not detected as bootable Increase the ISO → ESP limit for Debian 12 netinst images Ensure that the main partition size is aligned to the cluster size

Исходный код

Rufus 4.2 (6.1 МБ)
Кроме того, вы можете клонировать git репозиторий с помощью:

$ git clone https://github.com/pbatard/rufus

Дополнительные сведения см. в разделе проект GitHub.
Если вы разработчик, вы можете сильно помочь в развитии Rufus, прислав свои патчи с изменениями.

Неполный список ISO-образов, с которыми Rufus умеет работать

AlmaLinux , Arch Linux , Archboot , CentOS , Clonezilla , Damn Small Linux , Debian , Elementary OS , Fedora , FreeDOS , Garuda Linux , Gentoo , GParted , Hiren's Boot CD , Kali Linux , Knoppix , KolibriOS , Linux Mint , Manjaro Linux , NT Password Registry Editor , OpenSUSE , Raspberry Pi OS , Raspbian , ReactOS , Red Hat , rEFInd , Rocky Linux , Slackware , Super Grub2 Disk , Tails , Trinity Rescue Kit , TrueNAS CORE , Ubuntu , UEFI Shell , Ultimate Boot CD , Windows XP (SP2+) , Windows Vista , Windows 7 , Windows 8/8.1 , Windows 10 , Windows Server 2019 , Windows 11 , …

Файлы для загрузки

релизы:

Ссылка	Тип	Платформа	Размер	Дата
rufus-4.8_beta.exe	БЕТА	Windows x64	2.0 МБ	2025.05.26

Ссылка	Тип	Платформа	Размер	Дата
rufus-4.7.exe	Стандарт	Windows x64	1.6 МБ	2025.04.09
rufus-4.7p.exe	Переносная версия	Windows x64	1.6 МБ	2025.04.09
rufus-4.7_x86.exe	Стандарт	Windows x86	1.6 МБ	2025.04.09
rufus-4.7_arm64.exe	Стандарт	Windows ARM64	5.3 МБ	2025.04.09

Ссылка	Тип	Платформа	Размер	Дата
rufus-4.6.exe	Стандарт	Windows x64	1.5 МБ	2024-10-21
rufus-4.6p.exe	Переносная версия	Windows x64	1.5 МБ	2024-10-21
rufus-4.6_x86.exe	Стандарт	Windows x86	1.6 МБ	2024-10-21
rufus-4.6_arm64.exe	Стандарт	Windows ARM64	1.5 МБ	2024-10-21

Ссылка	Тип	Платформа	Размер	Дата
rufus-4.2.exe	Стандарт	Windows x64	1.4 МБ	2023.07.26
rufus-4.2p.exe	Переносная версия	Windows x64	1.4 МБ	2023.07.26
rufus-4.2_x86.exe	Стандарт	Windows x86	1.4 МБ	2023.07.26
rufus-4.2_arm64.exe	Стандарт	Windows ARM64	4.6 МБ	2023.07.26

Другие версии (GitHub)
Другие версии (FossHub)
Официальный сайт: https://rufus.ie
Исходный код: https://github.com/pbatard/rufus.
Изменения: https://github.com/pbatard/rufus/blob/master/ChangeLog.txt.

swap_в_linux

anonymous@undisclosed.example.com (Anonymous) — Fri, 20 Dec 2024 13:52:39 +0000

Swap в linux

Swap – раздел подкачки в linux. Свап используется операционной системой при недостаточом количестве оперативной памяти. Т.е. вместо записи данных в оперативную память, если она практически вся заполнена, данные помещаются на жёсткий диск (свап-раздел). При этом производительность сервера как правило падает (по крайней мере если жёсткий диск не SSD) по причине того, что работа с оперативной памятью происходит гораздо быстрее записи/считывания с жёсткого диска, на котором и располагается файл подкачки (Swap).
Чтобы проверить, настроен ли раздел подкачки

swapon -s

Для выключения swap в linux (Ubuntu) без перезагрузки системы нужно воспользоваться командой:

sudo swapoff -a

Дожидаемся выполнения команды swapoff. Затем включаем swap:

sudo swapon -a

Можно комбинировать команды, следующие команды выгрузят всё из свап, а затем снова сделают возможным использование свап, т.е. по сути освободят/очистят swap-раздел:

sudo swapoff -a && sudo swapon -a

Если при выключении swap sudo swapoff -a возникает ошибка: Невозможно выделить память, то проблему можно решить перезагрузкой.

Очистить (освободить) swap в linux

swapoff -a && swapon -a
sudo swapoff -a && sudo swapon -a

Узнать, используется ли swap Команда

free -m

Также можно посмотреть сколько используется swap используя утилиты

top

или

htop.

Как добавить файл подкачки Выполните следующие действия, чтобы добавить 1 ГБ свопа на ваш сервер. Если вы хотите добавить 2 ГБ вместо 1 ГБ, замените 1Gна 2G.

Создайте файл, который будет использоваться для свопа:

sudo fallocate -l 1G /swapfile

Если faillocateон не установлен или вы получаете сообщение об ошибке, в котором говорится , что fallocate failed: Operation not supportedвы можете использовать следующую команду для создания файла подкачки:

sudo dd if=/dev/zero of=/swapfile bs=1024 count=1048576

Только пользователь root должен иметь возможность записывать и читать файл подкачки. Чтобы установить правильный тип разрешений :

sudo chmod 600 /swapfile

Используйте mkswapутилиту, чтобы настроить файл как область подкачки Linux:

sudo mkswap /swapfile

Включите своп с помощью следующей команды:

sudo swapon /swapfile

Чтобы сделать изменение постоянным, откройте /etc/fstabфайл и добавьте следующую строку:

/etc/fstab
/swapfile swap swap defaults 0 0

Чтобы убедиться, что своп активен, используйте команду илиswapon , как показано ниже:free

sudo swapon --show

NAME      TYPE  SIZE   USED PRIO
/swapfile file 1024M 507.4M   -1Копировать
sudo free -h

              total        used        free      shared  buff/cache   available
Mem:           488M        158M         83M        2.3M        246M        217M
Swap:          1.0G        506M        517M

Как настроить значение swappiness Подкачка — это свойство ядра Linux, которое определяет, как часто система будет использовать пространство подкачки. Swappiness может иметь значение от 0 до 100. Низкое значение заставит ядро стараться избегать свопинга, когда это возможно, в то время как более высокое значение заставит ядро более агрессивно использовать пространство подкачки. Значение подкачки по умолчанию равно 60. Вы можете проверить текущее значение подкачки, введя следующую команду:

cat /proc/sys/vm/swappiness

60

Хотя значение подкачки 60 подходит для большинства систем Linux, для рабочих серверов может потребоваться установить более низкое значение. Например, чтобы установить значение swappiness равным 10, вы должны выполнить следующую sysctl команду:

sudo sysctl vm.swappiness=10

Чтобы сделать этот параметр постоянным при перезагрузке, добавьте в /etc/sysctl.confфайл следующую строку:

/etc/sysctl.conf
vm.swappiness=10

Оптимальное значение swappiness зависит от рабочей нагрузки вашей системы и от того, как используется память. Вы должны настроить этот параметр небольшими шагами, чтобы найти оптимальное значение.

Как удалить файл подкачки Если по какой-либо причине вы хотите деактивировать и удалить файл подкачки, выполните следующие действия:

Сначала отключите своп, набрав:

sudo swapoff -v /swapfile

Удалите запись файла подкачки /swapfile swap swap defaults 0 0из /etc/fstabфайла.

Наконец, удалите фактический файл подкачки с помощью rm команды:

sudo rm /swapfile

tile_map_server_22.04.4

anonymous@undisclosed.example.com (Anonymous) — Sat, 06 Dec 2025 16:56:18 +0000

OSM Tile Server Ubuntu 24.04

Введение

Установка производиться на устройство

Все ниже написанное относиться к Ubuntu Server 24.04 (Noble Numbat) и протестированы в августе 2024 года.

Общая теория

Tile Server OSM представляет собой набор программ и библиотек, которые работают вместе для создания тайлового (плиточного) сервера. Он состоит из 5 основных компонентов:

mod_tile
renderd
mapnik
osm2pgsql
postgresql/postgis

Postgresql/postgis - базы данных. Mod_tile — это модуль apache, который обслуживает кэшированные тайлы и решает, какие тайлы нуждаются в повторном рендеринге — либо потому, что они еще не кэшированы, либо потому, что они устарели. Mapnik — это программная библиотека, которая осуществляет реальный рендеринг с использованием открытого рендеринга.
Предполагается, что вы запускаете все от пользователя без регистрации root через «sudo». Имя пользователя без root, повторяемое по умолчанию, — «alisa». Если вы указываете иного пользователя, то вам необходимо будет заменить во всех командах на свое имя и добавить его в группу пользователей, которые могут использовать sudo для получения root-прав. Из вашей обычной учетной записи пользователя без регистрации root.

Обновление программного обеспечения

Устанавливаем и обновляем Ubuntu Всегда полезно обновлять программное обеспечение сервера перед выполнением какой-либо серьезной работы на сервере. Войдите на сервер через SSH и выполните следующую команду.

sudo apt --yes update; sudo apt --yes upgrade -y

Установка необходимых библиотек

Итак, приступим:

sudo apt --yes install screen locate git tar unzip wget bzip2 lua5.1 gdal-bin npm node-carto net-tools curl

Процесс достаточно продолжительный и можно попить кофейку…
Установка необязытельных, но рекомендованных openstreetmap-carto элементов

sudo apt --yes install ca-certificates gnupg build-essential clang nodejs fonts-hanazono fonts-noto-cjk fonts-noto-hinted fonts-noto-unhinted

Установка postgresql/postgis

В Ubuntu есть предварительно упакованные версии как postgis, так и postgresql, поэтому их можно просто установить через диспетчер пакетов Ubuntu. Проверим подходящую версию на странице пакета postgresql в Ubuntu

sudo apt --yes install postgresql postgresql-contrib postgis postgresql-16-postgis-3 postgresql-16-postgis-3-scripts

Здесь «postgresql» — это база данных, в которой мы собираемся хранить данные карты, а «postgis» добавляет к ней дополнительную графическую поддержку. У команды apt параметр –yes отвечает за автоматические подстановки подтверждения ДА при установке. Проверим список установленных пакетов postgres

dpkg -l | grep postgres

Примечание! Для полного удаления воспользуйтесь командой

sudo apt-get --purge --yes remove postgresql postgresql-doc postgresql-common postgresql-16  postgresql-client  postgresql-client-16 postgresql-client-common postgresql-common  postgresql-contrib postgresql-contrib-16 postgresql-postgis-scripts postgresql-16-postgis-3-scripts

Перезапускаем postgresql

sudo /etc/init.d/postgresql restart

Проверим статус работы postgresql

sudo /etc/init.d/postgresql status

Создаем базу данных postgis. По умолчанию в различных программах предполагается, что база данных называется gis, и тут мы будем использовать то же соглашение, хотя это и не обязательно. Замените свое имя пользователя вместо alisa, где это используется ниже. Это должно быть имя пользователя, которое будет отображать карты с помощью Mapnik.

sudo -u postgres -i

createuser alisa

если ошибки нет, то продолжаем установку

Если Ошибка

перезапускаем postgresql

/etc/init.d/postgresql restart

добавляем пользователя

createuser alisa

проверяем

pg_isready

ответ «/var/run/postgresql:5432 - accepting connections»

Продолжаем установку

createdb -E UTF8 -O alisa gis

Продолжая работать как пользователь «postgres», настройте PostGIS в б PostgreSQL (опять же, меняя alisa на свое имя пользователя ниже):

psql

(ответ «postgres=#»)

\c gis

(ответ: “You are now connected to database ‘gis’ as user ‘postgres’”.)

CREATE EXTENSION postgis;
CREATE EXTENSION hstore;
ALTER TABLE geometry_columns OWNER TO alisa;
ALTER TABLE spatial_ref_sys OWNER TO alisa;

ответ:
CREATE EXTENSION
CREATE EXTENSION
ALTER TABLE
ALTER TABLE

\q

(выход из psql и приглашение к Linux)

exit

(это вернет нас к пользователю, которым мы были до того, как сделали «sudo -u postgres -i» выше)
Если вы еще не создали пользователя, создайте пользователя Unix и для этого пользователя, выбрав пароль при появлении запроса:

sudo useradd -m alisa

sudo passwd alisa

Опять же, выше замените “alisa” на имя пользователя без регистрации root, которого вы выбрали.

Установка osm2pgsql

Далее мы установим osm2pgsql:

sudo apt --yes install osm2pgsql

Ошибок обычно быть не должно

Mapnik и python3

Далее мы установим Mapnik python3, используя версию по умолчанию в Ubuntu 24.04:

sudo apt --yes install mapnik-utils python3-mapnik python3-psycopg2 python3-yaml

Проверим правильность установки Mapnik:

python3

import mapnik

(Ответ: »> и без ошибок, то библиотека Mapnik была найдена Python.)

quit()

выход

Установка Apache, mod_tile и render

Далее мы установим Apache, mod_tile и renderd. «mod_tile» — это модуль Apache, который обрабатывает запросы на тайлы; «render» — это демон, который фактически отображает тайлы, когда «mod_tile» их запрашивает. Мы будем использовать ветку «switch2osm»
https://github.com/SomeoneElseOSM/mod_tile, которая сама является ответвлением
https://github.com/openstreetmap/mod_tile, но модифицирована для поддержки Ubuntu 20.04 и с пара других изменений для работы на стандартном сервере Ubuntu, а не на одном из серверов рендеринга OSM.

Установка пакетов

В репозитории Ubuntu по умолчанию нет пакетов mod_tileи renderd, но мы можем установить их из OSM PPA.

sudo apt install software-properties-common
sudo add-apt-repository ppa:osmadmins/ppa

Нажмем [ENTER] для продолжения. Установим веб-сервер Apache. Конфигурационный файл renderd будет создан в /etc/apache2/conf-available/renderd.conf

sudo apt --yes install apache2 apache2-dev  libapache2-mod-tile renderd

Включим mod-tile модуль.

sudo a2enmod tile

если установили из репозитория, то компиляцию пропускаем

Скомпилируем исходный код mod_tile

Создадим в домашнем каталоге папку src

mkdir ~/src

перейдем в эту папку

cd ~/src

Обновим установленные пакеты

sudo apt update && sudo apt --yes upgrade

Установим зависимости сборки (libmemcached-dev и librados-dev не являются обязательными)

sudo apt --no-install-recommends --yes install \
  apache2 \
  apache2-dev \
  cmake \
  curl \
  g++ \
  gcc \
  git \
  libcairo2-dev \
  libcurl4-openssl-dev \
  libglib2.0-dev \
  libiniparser-dev \
  libmapnik-dev \
  libmemcached-dev \
  librados-dev

Загрузим, создадим, протестируем и установим `mod_tile`

export CMAKE_BUILD_PARALLEL_LEVEL=$(nproc)
rm -rf /tmp/mod_tile_src /tmp/mod_tile_build
mkdir /tmp/mod_tile_src /tmp/mod_tile_build
cd /tmp/mod_tile_src
git clone --depth 1 https://github.com/openstreetmap/mod_tile.git .
cd /tmp/mod_tile_build
cmake -B . -S /tmp/mod_tile_src \
  -DCMAKE_BUILD_TYPE:STRING=Release \
  -DCMAKE_INSTALL_LOCALSTATEDIR:PATH=/var \
  -DCMAKE_INSTALL_PREFIX:PATH=/usr \
  -DCMAKE_INSTALL_RUNSTATEDIR:PATH=/run \
  -DCMAKE_INSTALL_SYSCONFDIR:PATH=/etc \
  -DENABLE_TESTS:BOOL=ON
cmake --build .
ctest
sudo cmake --install . --strip

Должно ответить 100% тестом

Включить конфигурацию модуля пакета a2enmod

a2enmod tile

Запустим сервис

sudo apache2ctl start

Перезапустим сервис веб-сервера apache2

sudo service apache2 reload

Проверим статус сервиса веб-сервера apache2

sudo systemctl status apache2

Конфигурация таблицы стилей

Теперь, когда все необходимое программное обеспечение установлено, вам нужно загрузить и настроить таблицу стилей.
Здесь мы будем использовать тот же стиль, что и на «стандартной» карте на веб-сайте openstreetmap.org.

Создадим, если ранее этого не делали каталог src в домашней директории

mkdir ~/src

Перейдем в каталог src

cd ~/src

клонируем репозитарий

git clone https://github.com/gravitystorm/openstreetmap-carto

переходим в каталог openstreetmap-carto

cd openstreetmap-carto

установку подходящей версию компилятора «carto» пропустим, т.к. это сделали на первоночальном этапе загрузки необходимых пакетов.

sudo apt install npm

размер примерно в 600mb, т.ч. перекур
Скомпилируем «carto»

sudo npm install -g carto

вывод на экран
Тут разработчики просят профинансировать работу с пакетом openstreetmap-carto

npm fund

Далее применяем заплатку, если видим «npm audit fix –force», иначе пропускаем этот раздел и переходим к проверки версии «carto»

npm audit fix --force

npm i --package-lock-only

npm audit fix --force

npm audit fix

Проверим версию пакета «carto»

carto -v

Это должно ответить номером версии, которая должна быть не меньше: 1.2.0

преобразуем проект carto во что-то, понятное Mapnik:

carto project.mml > mapnik.xml

Теперь у вас есть таблица стиля Mapnik XML в /home/alisa/src/openstreetmap-carto/mapnik.xml.
Примечание: все предепреждения
Warning: style/admin.mss:22:18 Styles do not match layer selector #admin-low-zoom.
Warning: style/admin.mss:18:6 Styles do not match layer selector #admin-low-zoom.
Игнорируем

Загрузка данных

в домашнем каталоге создаем папку data

mkdir ~/data

и переходим в эту папку

cd ~/data

на странице загрузки http://download.geofabrik.de/ выбираем нужную нам карту для и копируем с кнопки ее ссылку, процесс не быстрый, идем гулять пол часика с собачкой…
У кого собачки нет, том может для примера загрузить карту Азербайджана размером 32Mb…

wget https://download.geofabrik.de/asia/azerbaijan-latest.osm.pbf

Следующая команда вставит загруженные ранее данные OpenStreetMap в базу данных. Этот шаг очень интенсивно использует дисковый ввод-вывод; импорт всей планеты может занять много часов, дней или недель в зависимости от аппаратного обеспечения.

cd ~/data
osm2pgsql -d gis --create --slim  -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 4000 --number-processes 2 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/azerbaijan-latest.osm.pbf

Обратите внимание на параметр -c (–create) при импорте через osm2pgsql. С этим параметром удалится вся существующая информация с таблиц.

osm2pgsql -d gis --append --slim  -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 4000 --number-processes 2 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/russia-latest.osm.pbf

Если вам необходимо сделать импорт ещё нескольких стран, то вместо -c указывайте параметр -a (–append).
Командные опции:

-d gis
База данных, с которой нужно работать (раньше gis была по умолчанию, теперь нужно указать).
–create
Загружает данные в пустую базу данных, а не пытается добавить их в существующую (иначе –append).
–slim
osm2pgsql может использовать разные макеты таблиц; «тонкие» таблицы работают для рендеринга.
-G
Определяет, как обрабатываются мультиполигоны.
–hstore
Позволяет тегам, для которых нет явных столбцов базы данных, использоваться для рендеринга.
–tag-transform-script
Определяет сценарий lua, используемый для обработки тегов. Это простой способ обработки тегов OSM до того, как их обработает сам стиль, что значительно упрощает логику стиля.
-C 4000
Выделено 4,0 Гб памяти osm2pgsql для процесса импорта. Если у вас меньше памяти, вы можете попробовать меньшее число, а если процесс импорта завершится из-за нехватки памяти, вам нужно будет попробовать меньшее число или меньший размер карты OSM.
–number-processes 2
Используйте 2 ЦП. Если у вас есть больше доступных ядер, вы можете использовать больше.
-S
Создайте столбцы базы данных в этом файле (на самом деле они не изменились по сравнению с «openstreetmap-carto»)
~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/russia-latest.osm.pbf
Место сохранения и файл данных для загрузки.

Команда загрузки должна завершится чем-то вроде «Osm2pgsql в целом занял 34583 секунд».

Создание индексов

Начиная с версии v5.3.0 некоторые дополнительные индексы теперь необходимо применять вручную .

переходим в папку openstreetmap-carto

cd ~/src/openstreetmap-carto/

запускаем команду создание индексов

psql -d gis -f indexes.sql

(ответ: «CREATE INDEX» 15 раз.)

заняло примерно несколько минут

Загрузка Shape-файла

Shape-файл — векторный формат для хранения объектов, описываемых геометрией и сопутствующими атрибутами.
Несмотря на то, что большая часть данных для создания карты, берется из данных OpenStreetMap, загружается не все, некоторые шейп-файлы для таких вещей, как границы стран с малым масштабированием, по-прежнему необходимы. Чтобы загрузить и проиндексировать их:
переходим в папку openstreetmap-carto

cd ~/src/openstreetmap-carto/

scripts/get-external-data.py

Этот процесс включает в себя загрузку и требует некоторого времени — во время работы на экране мало что освещает. На самом деле он загружает таблица водных полигонов и прочее и заполняет каталог «data» ниже «openstreetmap-carto».

Шрифты

переходим в каталог openstreetmap-carto в папке src

cd ~/src/openstreetmap-carto/

и собственно загружаем шрифты

scripts/get-fonts.sh

процесс занял 6 минут

Настройка веб-сервера

визуализация

Отрываем с помощью текстового редактора nano файл конфигурации для «render» — «sudo nano /etc/renderd.conf»

sudo nano /etc/renderd.conf

Добавляем в конец файла нижеприведенные строки

[ajt]
URI=/hot/
TILEDIR=/var/lib/mod_tile
XML=/home/alisa/src/openstreetmap-carto/mapnik.xml
HOST=localhost
TILESIZE=256
MAXZOOM=20

нажимаем последовательно CTRL+0 , ENTER для сохранения и CTRL+X для выхода из редактора

Настройка Apache

создаем папку mod_tile

sudo mkdir /var/lib/mod_tile

задаем права пользователя для этой папки

sudo chown alisa /var/lib/mod_tile

создаем папку renderd, если не создавали ранее

sudo mkdir /var/run/renderd

задаем права пользователя для этой папки

sudo chown alisa /var/run/renderd

сообщаем Apache о «mod_tile» редактируя файл mod_tile.conf добавляя следующую строку LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so

sudo nano /etc/apache2/conf-available/mod_tile.conf

вставляем строку LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so в тело файла (в нашем случае это пустой файл)
нажимаем последовательно CTRL+0 , ENTER для сохранения и CTRL+X для выхода из редактора

выполняем команду для включения конфигурации mod_tile.

sudo a2enconf mod_tile

выполняем сообщение о необходимости перезапуска Apache «systemctl reload apache2», чтобы активировать новую конфигурацию;

sudo systemctl reload apache2

сообщаем Apache о «renderd»
открываем в редакторе файл 000-default.conf

sudo nano /etc/apache2/sites-available/000-default.conf

вставляем следующин строки в тело файла между строками «ServerAdmin» и «DocumentRoot»

LoadTileConfigFile /etc/renderd.conf
ModTileRenderdSocketName /var/run/renderd/renderd.sock
# Timeout before giving up for a tile to be rendered
ModTileRequestTimeout 0
# Timeout before giving up for a tile to be rendered that is otherwise missing
ModTileMissingRequestTimeout 30

нажимаем последовательно CTRL+0 , ENTER для сохранения и CTRL+X для выхода из редактора

Проверим месторасположение файлов /etc/renderd.conf

и /var/run/renderd/renderd.sock

запускаем и перезагрузите apache:

sudo service apache2 start

sudo service apache2 reload

проверим наш Apache набрав в браузере адрес нашего виртуального сервера (в нашем случае: http://192.168.1.64/)

Перечень команд работы с сервисом рендер

sudo systemctl start renderd
sudo systemctl restart renderd
sudo systemctl enable renderd
sudo systemctl status renderd
sudo systemctl stop renderd
sudo systemctl daemon-reload

Перезапустим и провеим статус сервиса

sudo systemctl daemon-reload
sudo systemctl enable renderd
sudo systemctl restart renderd
sudo systemctl status renderd

«Настройки конфигов»

sudo nano /etc/renderd.conf
sudo -u 'alisa' renderd -f -c /etc/renderd.conf
sudo renderd -f -c /etc/renderd.conf
sudo renderd -f


renderd.service
systemctl start renderd.service
systemctl enable renderd.service
systemctl status renderd.service
systemctl status

sudo systemctl start renderd
sudo systemctl restart renderd
sudo systemctl enable renderd
sudo systemctl status renderd
sudo systemctl stop renderd
sudo systemctl daemon-reload

sudo service renderd start

sudo chown alisa /run/renderd/ -R
sudo chown alisa /var/cache/renderd/tiles/ -R



sudo apt install renderd


sudo chown alisa /home/alisa/src/openstreetmap-carto/ -R
sudo chown alisa /home/alisa/src/openstreetmap-carto/mapnik.xml



sudo nano /etc/renderd.conf
[ajt]
URI=/hot/
TILEDIR=/var/lib/mod_tile
XML=/home/alisa/src/openstreetmap-carto/mapnik.xml
HOST=localhost
TILESIZE=256
MAXZOOM=20

sudo nano /etc/apache2/conf-available/mod_tile.conf
LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so

sudo nano /etc/apache2/sites-available/000-default.conf
LoadTileConfigFile /etc/renderd.conf
ModTileRenderdSocketName /var/run/renderd/renderd.sock
# Timeout before giving up for a tile to be rendered
ModTileRequestTimeout 0
# Timeout before giving up for a tile to be rendered that is otherwise missing
ModTileMissingRequestTimeout 30

sudo nano ~/src/mod_tile/debian/renderd.init

sudo nano /usr/lib/systemd/system/renderd.service

[Unit]
Description=Renderd
After=network.target auditd.service

[Service]
Type=forking
ExecStart=/etc/init.d/renderd start
ExecReload=/etc/init.d/renderd restart
ExecStop=/etc/init.d/renderd stop
Environment=G_MESSAGES_DEBUG=all

[Install]
WantedBy=multi-user.target



[Unit]
Description=Daemon that renders map tiles using mapnik
Documentation=man:renderd
After=network.target auditd.service

[Service]
ExecStart=/usr/bin/renderd -f
User=alisa

[Install]
WantedBy=multi-user.target

Дальше не продолжаем если не дождались загрузки данных в базу и Создание индексов

Запуск рендера в первый раз

запустим renderd, чтобы попытаться отрендерить некоторые плитки. Сначала мы запустим его на переднем плане, чтобы видеть любые ошибки по мере их возникновения:

sudo -u 'alisa' renderd -f -c /usr/local/etc/renderd.conf

Откройте веб-браузер по адресу: http://yourserveripaddress/hot/0/0/0.png (в нашем случае http://192.168.1.31/hot/0/0/0.png)

Если все это работает, нажмите control-c, чтобы завершить процесс рендеринга переднего плана.
при возникновении необходимости остановить renderd

systemctl stop renderd

иногда рендер идет с командой, т.е. без sudo -u 'alisa'

renderd -f -c /usr/local/etc/renderd.conf

процессор был недолго в шоке
на Synology DS720+ такого шока нет и все происходит быстрее в 3-4 раза

Не знаю почему, но при наличии папки renderd и прав на неё, система ругается на её отсутствие (проверено при 3х установках на Synology Nas. Повторно выполним эти команды…
создаем папку renderd

sudo mkdir /var/run/renderd

задаем права пользователя для этой папки

sudo chown alisa /var/run/renderd

Запуск рендера в фоновом режиме

Далее мы настроим «рендеринг» для работы в фоновом режиме. Отредактируем файл «~/src/mod_tile/debian/renderd.init», чтобы «RUNASUSER» был установлен для учетной записи без имени root, который мы использовали ранее, например «alisa», и скопируем его в системный каталог. откроем файл в редакторе

vi ~/src/mod_tile/debian/renderd.init

нажимаем i и меняем в строке RUNASUSER renderaccount на ваше имя пользователя (в нашем случае это alisa)
нажимаем последовательно esc , shift + : , w , q , ! для сохранения и выхода из редактора

нажимаем enter
скопируем это в системный каталог

sudo cp ~/src/mod_tile/debian/renderd.init /etc/init.d/renderd

sudo chmod u+x /etc/init.d/renderd

sudo cp ~/src/mod_tile/debian/renderd.service /lib/systemd/system/

Файл «render.service» является служебным файлом «systemd». Используемая здесь версия просто вызывает команды инициализации в старом стиле. Чтобы проверить, что команда запуска работает:

sudo /etc/init.d/renderd start

(ответить «Starting renderd (через systemctl): renderd.service».)

Чтобы это запускалось автоматически каждый раз:

sudo systemctl enable renderd

Просмотр тайлов (плиток)

для просмотра плитки, используйте html-файл «sample_leaflet.html» в папке «extra» mod_tile или загрузите zip архив с этим файлом внизу страницы. Просто откройте его в веб-браузере на машине, где вы установили тайловый сервер. Если это невозможно, потому что вы устанавливаете на сервер без локального веб-браузера, вы можете отредактировать его, заменив «127.0.0.1» IP-адресом сервера и скопировав его ниже «/var/www/html». Мы запускаем его по сети с указанием IP-адреса виртуального сервера NAS Synology (192.168.1.31)

Пример загрузки карты

Начало работы и загрузка 0 level zoom карты России

маленькое видео, как за 1 час происходит визуальный рендеринг 9 level zoom карты России на 3,2gb на устройстве Synology Nas DS420+. Стоит перематывать и смотреть загрузку процессора, так как память неизменна в 80%. Уровни с 1 по 4 пишутся в кэш за 15-20 минут… 8 уровень около 30 минут… Ну а 9 на видео.. немногим более часа визуальный рендеринг карты России за 1 час на 9 уровне зума. Напомню что установлена дополнительная планка памяти на 8gb.

zoom_9.mp4

в принципе, считаю проделанную работу, не плохим результатом! И OSM Tale Server имеет право существовать на устройстве Synology NAS DS 420+ для личного пользования или небольшой группы пользователей личного сервера OSM.
Напомню, что данный Ubuntu Tile Server установлен на виртуальную машину Synology VMM на устройстве DS420+, где работает все, что было установлено ранее. Попробую переключить мой личный сайт https://wwoss.ru/ с картой и слоями на вновь созданный виртуальный сервер.

Загрузка Synolody DS420+ при работающем OSM Tile Server на Synology VMM (8gb VMM не дает установить система, поэтому стоит 6gb)

Для сравнения аналогичная работа OSM Tile Server на Synology VMM на Synolody DS720+ и загрузка процессора

О 32ядрах и 1tb ssd * 3шт в raid5

Загрузка всей карты с https://planet.openstreetmap.org/pbf/planet-latest.osm.pbf ограниченна пропускной способностью провайдера 12Mb/s - 5 часов. С соседнего сервера по внутренней сети 188Mb/s - 7 минут ограничение в скорости hdd соседнего сервера.

Использование парсера PBF

Россия в парсере Node при этих же настройка 516,5k/s, заняла 2 часа,

то же самое на Synology DS 720+

(Intel Celeron J4125 4*2,70 GHz / 2gb ddr4 + 8gb ddr4 / 2*1tb ssd) показала загрузку процессора в среднем 30-50% при выделенной виртуальной памяти в 8gb, которая занята соответственно на 85% от общего объема в 10gb. Реально используется только 12% озу от выделенных 128Gb, при общем объеме в 256Gb

При этом процессор от 9% до 17%

Трудятся только ssd

Файлы для загрузки

Карты OSM

Ссылки и литература

Создание тайлового сервера вручную (20.04 LTS)
Ubuntu 20.04 LTS: пользовательская документация
OSM2PGSQL: импортер данных OSM в базу данных PostgreSQL/PostGIS
PostgreSQL: база данных с открытым исходным кодом
Mapnik: отрисовка основного Slippy Map слоя для OSM
OSM Carto: стиль стандартного слоя листов OSM
Mod_tile: передача кэшированных тайлов
Leaflet — библиотека JS для интерактивных карт.
Synology Open Street Map Server
https://github.com/openstreetmap/mod_tile/blob/master/docs/build/building_on_ubuntu.md
https://switch2osm.org/serving-tiles/manually-building-a-tile-server-ubuntu-24-04-lts/
https://www.linuxbabe.com/linux-server/osm-openstreetmap-tile-server-ubuntu-22-04
https://ircama.github.io/osm-carto-tutorials/kosmtik-ubuntu-setup/
https://www.linuxbabe.com/debian/openstreetmap-osm-tile-server-debian-12-bookworm
https://github.com/openstreetmap/mod_tile

tile_map_server_worl_20.04.4

anonymous@undisclosed.example.com (Anonymous) — Sat, 01 Feb 2025 06:47:48 +0000

OSM The Eurasia Ubuntu 20.04

Тайл-сервер является основным инструментом для генерации и предоставления тайлов пользователям в мире OpenStreetMap. Это набор программ и библиотек, позволяющий эффективно обрабатывать географические данные и создавать картографические тайлы, представляющие собой небольшие изображения карты для отображения на веб-сайтах или мобильных приложениях. Важно понимать, что существует несколько различных конфигураций тайл-серверов, каждая из которых имеет свои плюсы и минусы.
Руководство по запуску стандартного тайл-сервера, аналогичного тому, используемому на серверах OpenStreetMap.org, может быть полезным для тех, кто только начинает знакомиться с этой областью. Обычно такие инструкции включают в себя установку необходимого программного обеспечения, настройку базы данных геоданных, настройку веб-сервера и самого тайл-сервера, а также запуск и тестирование процесса генерации тайлов.

В результате выполнения всех необходимых шагов по установке и настройке тайл-сервера, пользователь сможет получить доступ к генерируемым тайлам через веб-приложения или мобильные устройства. Это отличное решение для тех, кто хочет создать собственный проект на основе картографических данных OpenStreetMap и обеспечить пользователям доступ к персонализированным картам.

Введение

В данном руководстве установка программного обеспечения производиться на оборудование следующей конфигурации:

Конфигурация вашего оборудавания будет соответственно отличаться, но это так-же будет работать, заняв больше времени при установке и рендере карт на устройстве с минимальными параметрами:

CPU > 4 ядер
RAM > 12Gb
HDD > 1Tb

Все ниже написанное относиться к Ubuntu Server 20.04 (Focal Fossa) и протестировано в августе 2024 года.

Примечание: В этом руководстве многое загружается с альтернативных, а не с официальных зеркал, по причине скорости загрузки и неизменности файлов в репозитории для данного руководства.

Общая теория

mod_tile
renderd
mapnik
osm2pgsql
postgresql/postgis

Postgresql/postgis - базы данных. Mod_tile — это модуль http сервера apache, который обслуживает кэшированные тайлы и решает, какие тайлы нуждаются в повторном рендеринге — либо потому, что они еще не кэшированы, либо потому, что они устарели. Mapnik — это программная библиотека, которая осуществляет реальный рендеринг с использованием открытого рендеринга.

Предполагается, что вы запускаете все от пользователя без регистрации root через «sudo». Имя пользователя без root, повторяемое по умолчанию, — «eva». Если вы указываете иного пользователя, то вам необходимо будет заменить во всех командах на свое имя и добавить его в группу пользователей, которые могут использовать sudo для получения root-прав. Из вашей обычной учетной записи пользователя без регистрации root.

Общая последовательнось действий:

Устанавливаем и обновляем Ubuntu Server
Устанавливаем основное и дополнительное ПО
Загружаем 6 файлов карт
Объеденяем 3 файла и загружаем в базу
Настраиваем веб-сервер
Производим первый рендер
Догружаем в базу дополнительный файл карты
Проверяем работоспособность сервера
Удаляем все лишнее, объединяем и загружаем в базу данных файл Евразии

Обновление программного обеспечения

Устанавливаем и обновляем Ubuntu

Всегда полезно обновлять программное обеспечение сервера перед выполнением какой-либо серьезной работы на сервере. Войдем на сервер через SSH и выполните следующую команду.

sudo apt --yes update; sudo apt --yes upgrade -y

Установка необходимых библиотек

Итак, приступим:

sudo apt --yes install screen libboost-all-dev git tar unzip wget bzip2 build-essential autoconf libtool libxml2-dev libgeos-dev libgeos++-dev libpq-dev libbz2-dev libproj-dev munin-node munin protobuf-c-compiler libfreetype6-dev libtiff5-dev libicu-dev libgdal-dev libcairo2-dev libcairomm-1.0-dev apache2 apache2-dev libagg-dev liblua5.2-dev ttf-unifont lua5.1 liblua5.1-0-dev

Установка postgresql/postgis

В Ubuntu есть предварительно упакованные версии как postgis, так и postgresql, поэтому их можно просто установить через диспетчер пакетов Ubuntu.

sudo apt --yes install postgresql postgresql-contrib postgis postgresql-12-postgis-3 postgresql-12-postgis-3-scripts

Здесь «postgresql» — это база данных, в которой мы собираемся хранить данные карты, а «postgis» добавляет к ней дополнительную графическую поддержку.
Перезапускаем postgresql

sudo service postgresql restart

Проверяем работу postgresql

pg_isready

Создаем базу данных postgis. По умолчанию в различных программах предполагается, что база данных называется gis, и тут мы будем использовать то же соглашение, хотя это и не обязательно. Укажите/замените «свое имя» пользователя вместо пользователя «eva», где это используется ниже. Это должно быть имя пользователя, которое будет отображать карты с помощью Mapnik.

sudo -u postgres -i

Создадим пользователя («eva»-пример имени пользователя для данного руководства)

createuser eva

Создадим базу данных gis с кодировкой UTF8

createdb -E UTF8 -O eva gis

Продолжая работать как пользователь «postgres», настройте PostGIS в PostgreSQL (опять же, меняя имя пользователя на «eva» на «свое» имя пользователя ниже):

psql

(ответ «postgres=#»)

\c gis

(ответ: “You are now connected to database ‘gis’ as user ‘postgres’”.)

CREATE EXTENSION postgis;
CREATE EXTENSION hstore;
ALTER TABLE geometry_columns OWNER TO eva;
ALTER TABLE spatial_ref_sys OWNER TO eva;

(ответ CREATE EXTENSION)
(ответ CREATE EXTENSION)
(ответ ALTER TABLE)
(ответ ALTER TABLE)

\q

(выход из psql и приглашение к Linux)

exit

(это вернет нас к пользователю, которым мы были до того, как выполнили «sudo -u postgres -i» выше)
Если вы еще не создали пользователя, создайте пользователя Unix и для этого пользователя, выбрав пароль при появлении запроса:

sudo useradd -m eva

sudo passwd eva

Опять же, выше замените “eva” на имя пользователя без регистрации root, которого вы выбрали.

Установка osm2pgsql

Далее мы установим osm2pgsql:

sudo apt install osm2pgsql

Ошибок обычно быть не должно

Mapnik

Далее мы установим Mapnik, используя версию по умолчанию в Ubuntu 20.04:

sudo apt --yes install autoconf apache2-dev libtool libxml2-dev libbz2-dev libgeos-dev libgeos++-dev libproj-dev gdal-bin libmapnik-dev mapnik-utils python3-mapnik python3-psycopg2 python3-yaml

Проверим правильность установки Mapnik:

python3

import mapnik

(Ответ: >>> и без ошибок, то библиотека Mapnik была найдена Python.)

quit()

выход

Установка mod_tile и render

Далее мы установим mod_tile и renderd. «mod_tile» — это модуль Apache, который обрабатывает запросы на тайлы; «render» — это демон, который фактически отображает тайлы, когда «mod_tile» их запрашивает. Мы будем использовать ветку «switch2osm»
https://github.com/SomeoneElseOSM/mod_tile, которая сама является ответвлением
https://github.com/openstreetmap/mod_tile, но модифицирована для поддержки Ubuntu 20.04 и с пара других изменений для работы на стандартном сервере Ubuntu, а не на одном из серверов рендеринга OSM.

Скомпилируем исходный код mod_tile

Создадим в домашнем каталоге папку src и перейдем в этот каталог

mkdir ~/src
cd ~/src

Клонируем репозиторий mod_tile

Примечание: В этом руководстве mod_tile загружается с альтернативных, а не с официальных зеркал (https://github.com/SomeoneElseOSM/mod_tile.git), по причине неизменности файлов в репозитории для данного руководства.

git clone -b switch2osm https://git.wwoss.ru/root/mod_tile.git

перейдя в каталог mod_tile

cd mod_tile

выполним скрипт autogen.sh

./autogen.sh

(это должно закончится “autoreconf: Leaving directory ‘.’”.)

(в предыдущих установках мне приходилось проделывать это 2 раза для создания папки mod_tile в директории src)

Сконфигурируем

./configure

(это должно закончится “config.status: executing libtool commands”)

make

Обратите внимание, что здесь некоторые «тревожные» сообщения будут прокручиваться вверх по экрану. Однако это должно заканчиваться на «make[1]: Leaving directory '/home/eva/src/mod_tile'»

sudo make install

(это должно закончиться «make[1]: выход из каталога должно быть '/home/eva/src/mod_tile'»)

sudo make install-mod_tile

(это должно закончиться «chmod 644 /usr/lib/apache2/modules/mod_tile.so»)

sudo ldconfig

(без ответа)

Конфигурация таблицы стилей

Теперь, когда все необходимое программное обеспечение установлено, вам нужно загрузить и настроить таблицу стилей.
Здесь мы будем использовать тот же стиль, что и на «стандартной» карте на веб-сайте openstreetmap.org.
Переходим в домашний каталог.

cd ~/src

клонируем репозитарий

Примечание: В этом руководстве openstreetmap-carto загружается с альтернативных, а не с официальных зеркал (https://github.com/gravitystorm/openstreetmap-carto), по причине неизменности файлов openstreetmap-carto в репозитории для данного руководства.

git clone https://git.wwoss.ru/root/openstreetmap-carto.git

клонируем репозитарий

переходим в каталог openstreetmap-carto

cd openstreetmap-carto

установим подходящую версию компилятора «carto».

sudo apt --yes install npm

размер в 600mb, т.ч. перекур

sudo npm install -g carto

Проверим версию программы

carto -v

Это должно ответить номером версии, которая должна быть не меньше: 1.2.0

преобразуем проект carto во что-то, понятное Mapnik:

carto project.mml > mapnik.xml

Теперь у вас есть таблица стиля Mapnik XML в /home/eva/src/openstreetmap-carto/mapnik.xml.

Примечание: все предупреждения
Warning: style/admin.mss:22:18 Styles do not match layer selector #admin-low-zoom.
Warning: style/admin.mss:18:6 Styles do not match layer selector #admin-low-zoom.
Игнорируем

Загрузка данных

в домашнем каталоге создаем папку data и переходим в эту папку

mkdir ~/data
cd ~/data

на странице зеркала загрузки https://wwoss.ru/openstreetmap/ выбираем нужную нам карту для и копируем ее ссылку

Примечание: В этом руководстве файлы «.osm.pbf» загружается с альтернативных, а не с официальных зеркал (https://download.geofabrik.de/), по причине скорости загрузки с данного репозитория для данного руководства.
Последовательность: Сейчас мы загрузим 3 небольшие карты (georgia, moldova и azerbaijan), произведем их слияние (для понимания и наглядного примера слияния) и с ними продолжим установку и настройку сервера. Так-же загрузим небольшую карту (andorra) для примера дозагрузки карт в базу и конечно карты Europe (28.9 GB) и Asia (13.1 GB). Europe и Asia поставим на слияние и загрузим в базу в конце статьи, на уже подготовленный нами и проверенный (рабочий) сервер.

wget https://wwoss.ru/openstreetmap/europe/europe-sub-region/georgia-latest.osm.pbf
wget https://wwoss.ru/openstreetmap/europe/europe-sub-region/moldova-latest.osm.pbf
wget https://wwoss.ru/openstreetmap/asia/asia-sub-region/azerbaijan-latest.osm.pbf

wget https://wwoss.ru/openstreetmap/europe/europe-sub-region/andorra-latest.osm.pbf

wget https://wwoss.ru/openstreetmap/europe/europe-latest.osm.pbf
wget https://wwoss.ru/openstreetmap/asia/asia-latest.osm.pbf

карты занимают место размером примерно 40Gb, процесс не быстрый (минут 20..), идем гулять с собачкой…

Произведем слияние карт (georgia, moldova и azerbaijan) для наглядного примера и понимани, как это работает.
Установим osmctools

sudo apt install osmctools

Используем Osmconvert и объединим georgia с moldova в один pbf файл с названием для примера «new-latest»:

cd ~/data
osmconvert georgia-latest.osm.pbf --out-o5m | osmconvert - moldova-latest.osm.pbf -o=new-latest.osm.pbf

Как мы можем видеть, у нас получился новый файл карты с названием new-latest.osm.pbf размером 147Mb.

А теперь файл карты azerbaijan объединим с нашим вновь созданным файлом new-latest

osmconvert azerbaijan-latest.osm.pbf --out-o5m | osmconvert - new-latest.osm.pbf -o=new.osm.pbf

Как мы можем видеть, у нас получился новый файл карты с названием «new» (new.osm.pbf) размером 185Mb. Именно его мы на данном этапе и будем загружать в базу данных.

Следующая команда вставит загруженные ранее данные new.osm.pbf в базу данных. Этот шаг очень интенсивно использует дисковый ввод-вывод; импорт нашего примера не займет много времени, в отличие от загрузки Europe и Asia, где будет использованно несколько дней или недель в зависимости от аппаратного обеспечения и это мы сделаем в конце этой статьи.

cd ~/data
osm2pgsql -d gis --create --slim  -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 64000 --number-processes 8 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/new.osm.pbf

Обратите внимание на параметр -c (–create) при импорте через osm2pgsql. * С этим параметром удаляется вся существующая информация с таблиц.

Дополнение: Откроем второе окно программы Putty и поставим слияник карт Europe и Asia, чтобы к концу статьи у нас уже был объедененный файл «eurasia.osm.pbf»

cd ~/data
osmconvert europe-latest.osm.pbf --out-o5m | osmconvert - asia-latest.osm.pbf -o=eurasia.osm.pbf

Догрузка карт в базу данных

Внимание!: Этот шаг выполняеся только в случае необходимости дозагрузки в готовую базу данных дополнительных файлов, в нашем случае сейчас пропустим этот подраздел, перейдем в радел "Создание индексов" и вернемся сюда в конце статьи при уже настроенном сервере. (этот шаг указан в этом разделе т.к команды эдинтичные с разницей в способе загрузки (--create/--append)).

Следующая команда загрузит файл карты «andorra» в уже существующую базу данных.

cd ~/data
osm2pgsql -d gis --append --slim  -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 64000 --number-processes 8 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/andorra-latest.osm.pbf

Если вам необходимо сделать импорт ещё нескольких стран, то вместо -c указывайте параметр -a (–append).

Командные опции:

-d gis
База данных, с которой нужно работать (раньше gis была по умолчанию, теперь нужно указать).
–create
Загружает данные в пустую базу данных, а не пытается добавить их в существующую (иначе –append).
–slim
osm2pgsql может использовать разные макеты таблиц; «тонкие» таблицы работают для рендеринга.
-G
Определяет, как обрабатываются мультиполигоны.
–hstore
Позволяет тегам, для которых нет явных столбцов базы данных, использоваться для рендеринга.
–tag-transform-script
Определяет сценарий lua, используемый для обработки тегов. Это простой способ обработки тегов OSM до того, как их обработает сам стиль, что значительно упрощает логику стиля.
-C 4000
Выделено 4,0 Гб памяти osm2pgsql для процесса импорта. Если у вас меньше памяти, вы можете попробовать меньшее число, а если процесс импорта завершится из-за нехватки памяти, вам нужно будет попробовать меньшее число или меньший размер карты OSM.
–number-processes 2
Используйте 2 ЦП. Если у вас есть больше доступных ядер, вы можете использовать больше.
-S
Создайте столбцы базы данных в этом файле (на самом деле они не изменились по сравнению с «openstreetmap-carto»)
~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/planet-latest.osm.pbf
Место сохранения и файл данных для загрузки.

смотрим монитор ресурсов Synology NAS

Команда загрузки объедененных 3х файлов карт в единый файл new.osm.pbf

должна завершится чем-то вроде «Osm2pgsql в целом занял 312 секунд».

А если вы сразу грузите карту eurarasia размером 40gb (которая по факту заняла 07 часов 23 минуты), то перейдем к разделу Шрифты, открыв второе окно подключения к серверу.

Создание индексов

Начиная с версии v5.3.0 некоторые дополнительные индексы теперь необходимо применять вручную .
переходим в папку openstreetmap-carto

cd ~/src/openstreetmap-carto/

запускаем команду создание индексов

scripts/get-external-data.py

(ответ: «CREATE INDEX» 16 раз.)

Загрузка Shape-файла

Shape-файл — векторный формат для хранения объектов, описываемых геометрией и сопутствующими атрибутами.
Несмотря на то, что большая часть данных для создания карты, берется из данных OpenStreetMap, загружается не все, некоторые шейп-файлы для таких вещей, как границы стран с малым масштабированием, по-прежнему необходимы. Чтобы загрузить и проиндексировать их:
переходим в папку openstreetmap-carto

cd ~/src/openstreetmap-carto/

и выполныем команду

scripts/get-external-data.py

Этот процесс включает в себя загрузку и требует некоторого времени — во время работы на экране мало что освещает. На самом деле он загружает таблица водных полигонов и прочее и заполняет каталог «data» ниже «openstreetmap-carto».
это занято примерно 5-7 минут т.к. пока наша база данных не большая на это уйдет пара минут

Шрифты

Переходим в каталог openstreetmap-carto в каталоге src

cd ~/src/openstreetmap-carto/

и собственно загружаем шрифты

scripts/get-fonts.sh

Процесс займет примерно 6 минут

Настройка веб-сервера

визуализация

Отрываем с помощью текстового редактора nano файл конфигурации для «render» — «/usr/local/etc/renderd.conf»

sudo nano /usr/local/etc/renderd.conf

редактируем строку XML=/home/renderaccount/src/openstreetmap-carto/mapnik.xml меняя renderaccount на имя своего пользователя (в нашем случае это - eva)

нажимаем последовательно для сохранения файла
нажимаем для подтверждения сохранения
нажимаем последовательно для выхода из редактора

Настройка Apache

создаем каталог mod_tile в директории /var/lib/ нашего сервера

sudo mkdir /var/lib/mod_tile

задаем права пользователя для этого каталога

sudo chown eva /var/lib/mod_tile

создаем каталог renderd

sudo mkdir /var/run/renderd

задаем права пользователя для этой папки

sudo chown eva /var/run/renderd

сообщаем Apache о «mod_tile» редактируя файл mod_tile.conf добавляя следующую строку LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so

sudo nano /etc/apache2/conf-available/mod_tile.conf

Вставляем нижеприведенную строку в тело файла (в нашем случае это пустой файл)

LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so

нажимаем последовательно для сохранения файла
нажимаем для подтверждения сохранения
нажимаем последовательно для выхода из редактора

выполняем команду

sudo a2enconf mod_tile

сообщение о необходимости перезапуска Apache «systemctl reload apache2», чтобы активировать новую конфигурацию; выполним запуск Apache.

systemctl start apache2

и сразу же перезапустим Apache

systemctl reload apache2

сообщаем Apache о «renderd»
открываем в редакторе nano файл 000-default.conf

sudo nano /etc/apache2/sites-available/000-default.conf

вставляем следующие строки между строками «ServerAdmin» и «DocumentRoot»

LoadTileConfigFile /usr/local/etc/renderd.conf
ModTileRenderdSocketName /var/run/renderd/renderd.sock
# Timeout before giving up for a tile to be rendered
ModTileRequestTimeout 0
# Timeout before giving up for a tile to be rendered that is otherwise missing
ModTileMissingRequestTimeout 30

нажимаем последовательно для сохранения файла
нажимаем для подтверждения сохранения
нажимаем последовательно для выхода из редактора

Снова перезагружаем apache:

service apache2 reload

проверим наш Apache набрав в браузере адрес нашего виртуального сервера (в нашем случае: http://192.168.1.132/)

Дальше не продолжаем если не дождались загрузки данных в базу и не осуществили после этого Создание индексов

Запуск рендера в первый раз

Запустим renderd, чтобы попытаться отрендерить некоторые плитки. Сначала мы запустим его на переднем плане, чтобы видеть любые ошибки по мере их возникновения:

sudo -u 'eva' renderd -f -c /usr/local/etc/renderd.conf

Эта команда отобразит рендер карты в окне консоли примерно следующее

Откройте веб-браузер по адресу: http://yourserveripaddress/hot/0/0/0.png (в нашем случае http://192.168.1.132/hot/0/0/0.png)

Данное окно с плиткой говорит нам о том, что мы сделали все верно и наш сервер правильно работает. Загрузим файл просмотра плиток, разорхивируем и откроем его сначала в текстовом редакторе и изменим ip-адрес сервера на наш (в нашем примере 192.168.1.132).

Сохраним и откроем этот файл в веб-браузере

Кнопками «+» и «-» приблизим район грузии, наблюдая в окне консоли как работает рендер

Мы видим на карте отображение 3х государств (georgia, moldova и azerbaijan), которые мы объеденили в один файл в разделе Загрузка данных. Остановим ренден и загрузим небольшую карту «andorra», размером 2Mb в существующую карту используя команду (см. описание в разделе Догрузка карт в базу данных)
Команда остановки работающего процесса CTRL+C, далее останавливаем рендер

systemctl stop renderd

Переходим в каталог ~/data и запускаем загрузку файла карты «andorra»

cd ~/data
osm2pgsql -d gis --append --slim  -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 64000 --number-processes 8 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/andorra-latest.osm.pbf

Процесс догрузки карт очень медленный, но это не важно когда запускаешь работу командой на сервере и он сам все делает, а пока за пару минут мы загрузили маленькую карту. Снова запустим рендер и проверим карту на наличие нового государства на карте.

sudo -u 'eva' renderd -f -c /usr/local/etc/renderd.conf

В окне веб-браузера найдем наше новое государство. Т.к. оно очень маленькое, то искать его будем в строке браузера по координатам плиток «#7/39.428/1.725» (в меньших масштабах такие маленькие государства не отображаютя, а мы его взяли для примера догрузки)

Примечание:Иногда рендер идет с командой, т.е. без sudo -u 'eva'

renderd -f -c /usr/local/etc/renderd.conf

Убидившись в работоспособности нашего сервера, научившись соединять файлы карт, загружать новые и дополнять в базе данных файлы карт, продолжим настройку сервера и подготовку к загрузке большого файла eurasia.osm.pbf (>40Gb), который к этому моменту уже должен подготовиться.
Останавливаем работающий процесс CTRL+C, и далее останавливаем рендер

systemctl stop renderd

Запуск рендера в фоновом режиме

Далее мы настроим «рендеринг» для работы в фоновом режиме (т.е. без нашего участи при запуске командой в консоли). Отредактируем файл «~/src/mod_tile/debian/renderd.init», чтобы «RUNASUSER» был установлен для учетной записи без имени root, который мы использовали ранее, например «eva», и скопируем его в системный каталог. Откроем файл в редакторе nano

nano ~/src/mod_tile/debian/renderd.init

Меняем в строке RUNASUSER renderaccount на ваше имя пользователя (в нашем случае это eva)

нажимаем последовательно для сохранения файла
нажимаем для подтверждения сохранения
нажимаем последовательно для выхода из редактора

Скопируем отредактированный файл это в системный каталог

sudo cp ~/src/mod_tile/debian/renderd.init /etc/init.d/renderd

Добавим право выполнения для владельца файла командой

sudo chmod u+x /etc/init.d/renderd

Скопирум сервис renderd в системный каталог

sudo cp ~/src/mod_tile/debian/renderd.service /lib/systemd/system/

Файл «render.service» является служебным файлом «systemd». Используемая здесь версия просто вызывает команды инициализации в старом стиле. Чтобы проверить, что команда запуска работает:

sudo /etc/init.d/renderd start

(ответит «Starting renderd (через systemctl): renderd.service».)

Чтобы это запускалось автоматически каждый раз:

sudo systemctl enable renderd

В окне веб-браузера с нашей картой убедимся (приближаем/удаляем и двигаем нашу карту), что рендер работает автоматически, т.е. без нашего участия в консоли.

Размытия и серые зоны говорят о незагруженности карты при рендере, последыющие движения в этой области уже будет четкими.

Загрузим максимольно приближенный масштаб карты. Если у вам это получилось, значит сервер настроен правильно.

Проверяем завершение слияние нашего файла eurasia.osm.pbf (во втором окне консоли должен быть завершенный процесс и ожидание новых команд)

Проверим размер файла eurasia.osm.pbf после слияния

cd ~/data
ls -n

Удалим лишние файлы для освобождения места на сервере (оно нам понадобиться при загрузке eurasia.osm.pbf). На момент написания этой статьи вся карта мира (76Gb) не помещается на SSD диске размером 1,8Tb, учитывайте это, чтобы не получить сюрприз в виде нехватки места на диске.

sudo rm andorra-latest.osm.pbf
sudo rm asia-latest.osm.pbf
sudo rm azerbaijan-latest.osm.pbf
sudo rm europe-latest.osm.pbf
sudo rm georgia-latest.osm.pbf
sudo rm moldova-latest.osm.pbf
sudo rm new-latest.osm.pbf
sudo rm new.osm.pbf

Перепроверим, что в каталоге остался только файл eurasia.osm.pbf

ls -n

Следующая команда с параметром –create сотрет все данные в нашей базе данных и загрузит файл карты eurasia. Процесс достаточно длительный и займет очень много времени (примерно >15-17 часов, в зависимости от комплектации сервера)

cd ~/data
osm2pgsql -d gis --create --slim  -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 64000 --number-processes 8 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/eurasia.osm.pbf

По окончанию загрузки, мы получим полность рабочий тайловый сервер с картой Евразии. Останется только подключить сервер к сайту и провести предварительный рендер карты, чтобы посетители не ждали загрузку плиток.
А пока (процесс Node загрузка >6млнk) взглянем на производительность нашего сервера

После 7 часов преобразования данных (parser processing Node: 5287016k 279.3k/s)

Получаем загрузку диска в 30% (из каторых 20Gb- это собственно настроенная ОС Ubuntu Server + 41Gb наш файл eurasia.osm.pbf и 490Gb - преобразованные данные нашей карты)

Прошли почти сутки, мы видим данные, которые уже загрузились, в кансоле

При этом заполнение SSD диска уже составило 811Gb при загрузке карты Евразии размером всего 40Gb

Прошли почти 2 сутки (48 часов), мы видим данные в кансоле об окончании загрузки

И заполнение SSD диска на 1,3Tb при загрузке карты Евразии размером всего 40Gb

Вернемся в раздел создание индексов и запустим повторно создание индексов.

При приближении мы видим рендер участков карты которые ранее не были записаны в кэш, а те что уже записаны закрыты серыми плитками, т.к. при первых картах эти участки не были в базе данных.

Заходим в наш сервер в каталог /var/lib/mod_tile/ajt и удаляем все каталоги с кешем прошлого рендера

Возвращаемся в наш веб-браузер и обновляем страницу. Перед нами карта с названиями государств Европы и Азии, при этом видим, что Африка и Австралия просто белые и без названий, т.к. мы их не грузили в базу данных. Остается провести предварительный рендер, чтобы пользователи не ждали загрузки.

Процесс рендера достаточно медленный, но мы можем наблюдать преобразование новых регионов, а те, что еще не попали в кэш имеют плитки серого цвета

При этом сервер нагружен на 40% по мониторингу процессора, и почти на максимум работает ssd, учитывая, что установлен AMD EPYC™ в 32 ядра/64 потока и 256gb оперативной памяти.

Следующуя команда запустит предварительный рендер всей карты с 0 до 10 уровня в 16 потоков, чтобы пользователи не ждали загрузки тайлов, а использовали уже готовые области карт

sudo -u eva render_list -a -n 16  --map=ajt --tile-dir=/var/lib/mod_tile/ajt --min-zoom=0 --max-zoom=10 --force

Ниже приведены параметры render_list

Использование: render_list [ОПЦИЯ] ...
  -a, --all визуализировать все плитки в заданном диапазоне масштабирования вместо чтения из STDIN
  -f, --force отображать плитки, даже если они кажутся текущими
  -m, --map=MAP отображает тайлы на этой карте (по умолчанию «по умолчанию»)
  -l, --max-load=ЗАГРУЗИТЬ спящий режим, если нагрузка настолько высока (по умолчанию 16)
  -s, --socket=SOCKET имя доменного сокета unix для связи с renderd
  -n, --num-threads=N количество параллельных потоков запросов (по умолчанию 1)
  -t, --tile-dir Каталог тайлового кэша (по умолчанию «/var/lib/mod_tile»)
  -z, --min-zoom=Ввод фильтра ZOOM для рендеринга только тех фрагментов, которые больше или равны этому уровню масштабирования (по умолчанию – 0)
  -Z, --max-zoom=Ввод фильтра ZOOM для рендеринга только плиток, меньших или равных этому уровню масштабирования (по умолчанию — 20)
Если вы используете --all, вы можете ограничить диапазон плиток, добавив следующие параметры:
  -x, --min-x=X минимальная координата X плитки
  -X, --max-x=X максимальная координата X тайла
  -y, --min-y=Y минимальная координата Y тайла
  -Y, --max-y=Y максимальная координата тайла Y
Без --all отправить список тайлов для рендеринга из STDIN в формате:
  Х Y Я
например
  0 0 1
  0 1 1
  1 0 1
  1 1 1
Вышеупомянутое приведет к отображению всех 4 плиток при масштабировании 1.

Дополнения и Файлы

tile_map_server

anonymous@undisclosed.example.com (Anonymous) — Mon, 31 Mar 2025 15:14:57 +0000

Tile map server

Введение

На этой странице показано, как можно использовать OpenStreetMap Carto для реализации тайлового сервера с использованием того же программного обеспечения, что и OpenStreetMap. Он включает в себя пошаговые инструкции по установке Tile Server на основе Ubuntu и ограничен описанием некоторых передовых методов, учитывая, что основной целью этого сайта является предоставление руководств по настройке среды разработки OpenStreetMap Carto и предложение рекомендации по редактированию стиля.

OSM Tile Server — это веб-сервер, специализирующийся на предоставлении растровыхрастровых карт, представляющих их как статические плитки и способный выполнять рендеринг в реальном времени или предоставлять кэшированные изображения. Веб-программное обеспечение, принятое OpenStreetMap, представляет собой Apache HTTP Server вместе со специальным подключаемым модулем с именем mod_tile и связанным с ним внутренним стеком, способным генерировать плитки во время выполнения; программы и библиотеки объединены в цепочку для создания сервера тайлов.

Как это часто бывает с OpenStreetMap, существует множество способов достижения цели, и почти все компоненты имеют альтернативы, которые имеют различные преимущества и недостатки. В этом руководстве описывается стандартный процесс установки OSM Tile Server, используемого на OpenStreetMap.org.

Он состоит из следующих основных компонентов:

Mapnik
Apache
Mod_tile
renderd
osm2pgsql
PostgreSQL/PostGIS database, to be installed locally (suggested) or remotely (might be slow, depending on the network).
carto
openstreetmap-carto

Все упомянутое программное обеспечение является открытым исходным кодом.

Для тайлового сервера требуется база данных PostGIS , в которой хранятся геопространственные объекты, заполненные инструментом osm2pgsql из данных OSM. Кроме того, необходим каталог файловой системы, включающий файл OSM.xml, символы карты (проверьте подкаталог openstreetmap-carto/symbols) и шейп-файлы (проверьте подкаталог openstreetmap-carto/data). OSM.xml предварительно создается инструментом carto из стиля openstreetmap-carto (project.mml и все связанные файлы CartoCSS, включенные в openstreetmap-carto).

Когда веб-сервер Apache получает запрос от браузера, он вызывает подключаемый модуль mod_tile, который, в свою очередь, проверяет, была ли плитка уже создана (из предыдущего рендеринга) и кэширована, чтобы она была готова к использованию; в этом случае mod_tile немедленно отправляет плитку обратно на веб-сервер. И наоборот, если запрос необходимо отобразить, то он ставится в очередь на серверную часть рендеринга , которая отвечает за вызов Mapnik для выполнения фактического рендеринга; renderd — это процесс- демон , включенный в исходники mod_tile и связанный с mod_tile через очереди UNIX. визуализированныйявляется стандартным бэкэндом, используемым в настоящее время www.openstreetmap.org, даже если некоторые реализации OSM используют Tirex; Mapnik извлекает данные из базы данных PostGIS в соответствии с информацией о стиле openstreetmap-carto и динамически отображает тайл. renderd возвращает созданный тайл на веб-сервер и, в свою очередь, в браузер.

Демон renderd реализует механизм очередей с несколькими уровнями приоритета, чтобы обеспечить актуальность просмотра с учетом доступных ресурсов рендеринга. Наивысший приоритет — для рендеринга «на лету» тайлов, еще не находящихся в кэше тайлов, два уровня приоритета для повторного рендеринга устаревших тайлов «на лету» и две очереди фонового пакетного рендеринга. Чтобы избежать проблем с каталогами, которые становятся слишком большими, и чтобы избежать слишком большого количества крошечных файлов, Mod_tile / renderd хранит визуализированные тайлы в «метатайлах», в специальной хешированной структуре каталогов¹⁾.

Даже если тайловый сервер динамически генерирует тайлы во время выполнения, они также могут быть предварительно визуализированы для просмотра в автономном режиме с помощью специального инструмента с именем render_list, который обычно используется для предварительного рендеринга тайлов с низким уровнем масштабирования и требует значительного времени для выполнения процесса (десятки часов в случае, если вся планета предварительно визуализируется); эта утилита включена в mod_tile , а также в другой инструмент с именем render_expired, который предоставляет методы для разрешения истечения срока действия тайлов карты. Более подробное описание render_list и render_expired можно найти на их справочных страницах.

Справочную информацию о методе истечения срока действия тайлов можно найти в механизме истечения срока действия тайлов.

Общий процесс

Информация о предыдущих периодах частично взята с switch2osm.org - Serving Tiles²⁾.

Дополнительное описание процесса рендеринга OpenStreetMap можно найти в разделе Архитектура OSM.

Следующую пошаговую процедуру можно использовать для установки и настройки всего необходимого программного обеспечения для работы вашего собственного сервера тайлов OpenStreetMap на Ubuntu.³⁾

Цель этой процедуры — по возможности использовать пакеты Ubuntu и официальные PPA.

Мы рассматриваем возможность использования Ubuntu 20.04.2 LTS Focal Fossa или 18.04 LTS Bionic Beaver, рекомендуемой версии операционной системы.

Эта процедура обновлена до версии OpenStreetMap Carto, доступной на момент написания. Чтобы получить правильную процедуру установки, следует проверить историю INSTALL, учитывая, что разработчики OpenStreetMap Carto используют ее для обновления. Проверьте также журнал изменений README.

Общая настройка для Ubuntu

Обновите Ubuntu

Убедитесь, что ваша система Ubuntu полностью обновлена:

lsb_release -a

команда возвращает версию Ubuntu.

Чтобы обновить систему:

sudo apt-get update

команда загружает списки пакетов из репозиториев и «обновляет» их, чтобы получить информацию о новейших версиях пакетов и их зависимостях. Это будет сделано для всех репозиториев и PPA. Из http://linux.die.net/man/8/apt-get

sudo apt list --upgradable

команда выведит списки пакетов готовых к обновлению

sudo apt-get -y upgrade

команда обновляет все устаревшие пакеты и применить исправления безопасности с выводом подсказок « Да» или «Нет », спрашивая, нужно ли устанавливать зависимые пакеты или нет. Если вы устанавливаете большой пакет или пакет с большим количеством зависимостей, или устанавливаете несколько пакетов, ответы на эти запросы не позволят вам переключиться на выполнение какой-либо работы.

sudo apt upgrade

команда обновляет все устаревшие пакеты и применить исправления безопасности

Установите необходимые инструменты

Основные элементы:

sudo apt-get -y install ca-certificates gnupg curl unzip gdal-bin \
tar wget bzip2 build-essential clang python3-psycopg2 python3-yaml \
python3-requests postgresql-client

Дополнительные элементы:

sudo apt-get -y install munin-node munin protobuf-c-compiler libtiff5-dev
libcairomm-1.0-dev libagg-dev lua5.1 liblua5.1-0-dev

Проверьте предварительные условия, предложенные openstreetmap-carto.

FROM ubuntu:bionic

# # Зависимости стиля
RUN apt-get update && apt-get install --no-install-recommends -y \
    ca-certificates curl gnupg postgresql-client python3 python3-distutils \
    fonts-hanazono fonts-noto-cjk fonts-noto-hinted fonts-noto-unhinted \
    mapnik-utils nodejs npm ttf-unifont unzip && rm -rf /var/lib/apt/lists/*

# Kosmtik with plugins, forcing prefix to /usr because bionic sets
# npm prefix to /usr/local, which breaks the install
RUN npm set prefix /usr && npm install -g kosmtik

РАБОЧИЙ КАТАЛОГ /usr/lib/node_modules/kosmtik/
RUN kosmtik plugins --install kosmtik-overpass-layer \
                    --install kosmtik-fetch-remote \
                    --install kosmtik-overlay \
                    --install kosmtik-open-in-josm \
                    --install kosmtik-map-compare \
                    --install kosmtik-osm-data-overlay \
                    --install kosmtik-mapnik-reference \
                    --install kosmtik-geojson-overlay \
    && cp /root/.config/kosmtik.yml /tmp/.kosmtik-config.yml

# Closing section
RUN mkdir -p /openstreetmap-carto
WORKDIR /openstreetmap-carto

USER 1000
CMD sh scripts/docker-startup.sh kosmtik =====

установим npm, диспетчер пакетов Node.js. Для этого установите пакет npmс помощью apt:

sudo apt install npm

перейдем в режим суперпользователя

sudo -i

проверим зависимости стиля

apt-get update && apt-get install --no-install-recommends -y \
    ca-certificates curl gnupg postgresql-client python3 python3-distutils \
    fonts-hanazono fonts-noto-cjk fonts-noto-hinted fonts-noto-unhinted \
    mapnik-utils nodejs npm ttf-unifont unzip && rm -rf /var/lib/apt/lists/*

E: Package 'ttf-unifont' has no installation candidate
пакет 'ttf-unifont' установим позже (сейчас не критично)
к проверке установки kosmtik вернемся после установки Node.js

Для последующих шагов установки мы предполагаем, что:
cd - по умолчанию используется ваш домашний каталог.

Настроить swap

SWAP (своп) — это механизм виртуальной памяти, при котором часть данных из оперативной памяти (ОЗУ) перемещается на хранение на HDD (жёсткий диск), SSD (твёрдотельный накопитель).
Импорт картографических данных и управление ими занимают много оперативной памяти, и обычно требуется swap.
Чтобы проверить, настроен ли раздел подкачки в вашей системе, используйте одну из следующих двух команд:

swapon -s

в данном случае установлено:

• 4gb файла подкачки

free -m

Отображение количества свободной и используемой памяти в системе (отметьте строку, указывающую Swap ):

в данном случае используется:

• ОЗУ: 544mb из доступных 16gb
• файл подкачки: 0mb из доступных 4gb.

Если у вас нет активного раздела подкачки, особенно если ваша физическая память мала, вам следует добавить файл подкачки. Создайте файл подкачки размером 2G в корневой файловой системе:

sudo fallocate -l 2G /swapfile

Установим правильный тип разрешений.

sudo chmod 600 /swapfile

Используйте mkswap утилиту, чтобы настроить файл как область подкачки Linux:

sudo mkswap /swapfile

Включить файл подкачки

sudo mkswap /swapfile

проверим результат

free -m

Чтобы сделать изменение постоянным, откройте /etc/fstab файл и добавьте следующую строку:

/etc/fstab

/swapfile swap swap defaults 0 0

Откроем файл fstab, находящийся в папке ets в редакторе:

vi /etc/fstab

i -начало редактирования
esc -конец редактирования
:wq! -сохранение и выход из редактора

Swap в linux
Рекомендованный размер swap в linux

Настройка переменных локализации

Locale — это набор переменных среды, которые определяют язык, страну и настройки кодировки символов (или любые другие особые предпочтения варианта) для ваших приложений и сеанса оболочки в системе Linux. Эти переменные среды используются системными библиотеками и локальными приложениями в системе.
Конфигурационный файл находится /etc/default/locale.
Просмотрим, какие локали в настоящее время определены для текущей учетной записи пользователя:

locale

Чтобы установить локализацию ru_RU:

export LANGUAGE=ru_RU.UTF-8
export LANG=ru_RU.UTF-8
export LC_ALL=ru_RU.UTF-8

Экспортированные переменные можно поместить в файл /etc/environment.
Новые локали также можно создать, выполнив:

 
sudo locale-gen ru_RU ru_RU.UTF-8
sudo dpkg-reconfigure locales

если ошибка изменения локализации:
-bash: warning: setlocale: LC_ALL: cannot change locale

Создание пользователя UNIX

Мы предполагаем, что вы уже создали пользователя для входа во время установки Ubuntu Server, который будет использоваться для запуска сервера тайлов. Предположим, что выбранное вами имя пользователя — alisa. В этом документе каждый раз, когда будет упоминается alisa, замените его своим фактическим именем пользователя.
Если вам нужно создать нового пользователя:

sudo useradd -m alisa
sudo passwd alisa

Установите пароль при появлении запроса.
Повторите пароль для правильности ввода.

Установить Git

Иногда Git может быть уже предустановлен.

git --version

в случае отсутствия установим:

apt-get install -y git

- Справочник Pro Git

Установка библиотеки Mapnik

Mapnik используется для рендеринга данных OpenStreetMap в тайлы, управляемые веб-сервером Apache через renderd и mod_tile. Эта установка предусматривает, что все команды выполняются в окружении обычной учетной записи (не root) с использованием «sudo». Не пытайтесь и не делайте все в окружении root; система не будет работать. (выход: exit)

exit

Создайте в корне каталог src для загрузки исходников

mkdir -p ~/src

и перейдите в него:

cd ~/src

sudo apt install python-is-python3

Зависимость FreeType в Ubuntu 16.04 LTS

В Ubuntu 18.04 LTS, который устанавливает FreeType 2.8.1, пропустите этот абзац и продолжите установку Mapnik .

Mapnik зависит от FreeType для поддержки шрифтов TrueType, Type 1 и OpenType. В Ubuntu 16.04 LTS установлена версия FreeType 2.6.1 , в которой включено затемнение основы, что делает шрифты Noto CJK более жирными и чрезмерно подчеркнутыми. Установка более новой версии FreeType из отдельного PPA, переопределяющая версию по умолчанию, включенную в Ubuntu 16.04 LTS, решает эту проблему:

echo "Old freetype version:"
dpkg -l|grep freetype6

sudo add-apt-repository -y ppa:no1wantdthisname/ppa
sudo apt-get update
sudo apt-get install -y libfreetype6 libfreetype6-dev

Проверьте обновленную версию freetype:

echo "Updated freetype version:"
dpkg -l|grep freetype6

Если вам необходимо понизить версию FreeType до стандартной в репозитории Ubuntu 16.04, просто очистите PPA с помощью ppa-purge:

sudo apt-get install ppa-purge && sudo ppa-purge ppa:no1wantdthisname/ppa

Мы расскажем о некоторых альтернативных процедурах установки Mapnik (с учетом возможности запуска обновленной версии Ubuntu).

В версиях Ubuntu старше 18.04 LTS версия Mapnik по умолчанию старше минимально необходимой, которая составляет 3.0.19. В любом случае, специальный PPA, созданный talaj, предлагает упакованную версию 3.0.19 Mapnik для Ubuntu 16.04 LTS Xenial.

sudo add-apt-repository -y ppa:talaj/osm-mapnik
sudo apt-get update

Ubuntu 18.04 LTS предоставляет Mapnik 3.0.19 и не требует специального PPA.

Установить библиотеку Mapnik из пакета

Следующая команда устанавливает Mapnik из стандартного репозитория Ubuntu:

sudo apt-get install -y git autoconf libtool libxml2-dev libbz2-dev \
  libgeos-dev libgeos++-dev libproj-dev gdal-bin libgdal-dev g++ \
  libmapnik-dev mapnik-utils python3-mapnik

В Ubuntu 18.04 LTS вы можете использовать python-mapnik вместо python3-mapnik .

Launchpad сообщает версию Mapnik , установленную из пакета, в зависимости от операционной системы; чем новее ОС, тем выше версия Mapnik.

GitHub предоставляет упорядоченный список доступных версий для:

Версия 3.0.19 — минимальная рекомендуемая на данный момент.⁴⁾ При использовании вышеупомянутого PPA эта версия будет установлена вместо версии по умолчанию, доступной в Ubuntu.

После установки Mapnik из пакета перейдите к проверке установки Mapnik.

Установить Mapnik из исходников

Чтобы установить Mapnik из исходников, перейдите на страницу установки Mapnik для Ubuntu .

Сначала создайте каталог для загрузки исходников:

mkdir -p ~/src ; cd ~/src

Примечание: если вы получили следующую ошибку:
++ compiler does not support C++14 standard (-std=c++14), which is required. Please upgrade your compiler
используйте этот эксплорт вместо того, который включен в связанную документацию:

export CXX="clang++-10" && export CC="clang-10"

Последнюю версию и список изменений смотрите в разделе «Выпуски Mapnik» .

Удалите все остальные старые пакеты Mapnik:

sudo apt-get purge -y libmapnik* mapnik-*
sudo apt-get purge -y python-mapnik
sudo apt-get purge -y python3-mapnik
sudo add-apt-repository --remove -y ppa:mapnik/nightly-trunk
sudo add-apt-repository --remove -y ppa:talaj/osm-mapnik

Установка предварительных условий:

sudo apt-get install -y libxml2-dev libfreetype6-dev \
  libjpeg-dev libpng-dev libproj-dev libtiff-dev \
  libcairo2 libcairo2-dev python-cairo python-cairo-dev \
  libgdal-dev git
sudo apt-get install -y build-essential python-dev libbz2-dev libicu-dev
sudo apt-get install -y python zlib1g-dev clang make pkg-config curl

# you might have to update your outdated clang
sudo add-apt-repository -y ppa:ubuntu-toolchain-r/test
sudo apt-get update -y
sudo apt-get install -y gcc-6 g++-6 clang-3.8
export CXX="clang++-10" && export CC="clang-10"

Проверьте clang –version и g++-6 –version перед обновлением компилятора. Как уже упоминалось, установка gcc-6 и clang-3.8 должна выполняться только с Ubuntu 16.04, который по умолчанию поставляется с более старыми версиями (не с Ubuntu 18.04).

Нам необходимо установить Boost либо из пакета, либо из исходного кода.

Установить Boost из пакета

Не устанавливайте boost из пакета, если вы планируете компилировать mapnik с обновленным компилятором. Вместо этого скомпилируйте boost с тем же обновленным компилятором.

sudo apt-get install -y libboost-all-dev

Установить последнюю версию Boost из исходного кода

Удалить предыдущую установку boost из пакета:

sudo apt-get purge -y libboost-all-dev # remove installation from package

Скачать boost из источника:

cd ~/src
wget https://dl.bintray.com/boostorg/release/1.66.0/source/boost_1_66_0.tar.bz2
tar xjf boost_1_66_0.tar.bz2
rm boost_1_66_0.tar.bz2
cd boost_1_66_0

Обратите внимание, что boost и mapnik должны быть скомпилированы одним и тем же компилятором. С Ubuntu 16.04 и gcc-6, g++-6, clang-3.8 вы должны использовать эти команды:

./bootstrap.sh --with-toolset=clang
./b2 stage toolset=clang-3.8 define=_GLIBCXX_USE_CXX11_ABI=0 --with-thread --with-filesystem --with-python --with-regex -sHAVE_ICU=1 -sICU_PATH=/usr/ --with-program_options --with-system link=shared
sudo ./b2 install toolset=clang-3.8 define=_GLIBCXX_USE_CXX11_ABI=0 --with-thread --with-filesystem --with-python --with-regex -sHAVE_ICU=1 -sICU_PATH=/usr/ --with-program_options --with-system link=shared -d0
sudo ldconfig && cd ~/

При использовании компилятора по умолчанию в Ubuntu 18.04 или Ubuntu 16.04 процедура компиляции выглядит следующим образом

./bootstrap.sh
./b2 stage toolset=gcc --with-thread --with-filesystem --with-python --with-regex -sHAVE_ICU=1 -sICU_PATH=/usr/ --with-program_options --with-system link=shared
sudo ./b2 install toolset=gcc --with-thread --with-filesystem --with-python --with-regex -sHAVE_ICU=1 -sICU_PATH=/usr/ --with-program_options --with-system link=shared -d0
sudo ldconfig && cd ~/

Не пытайтесь компилировать mapnik с помощью обновленного компилятора, если boost установлен из пакета.

Установите HarfBuzz из пакета

HarfBuzz — это движок формирования текста OpenType .

Его можно установить из пакета, но лучше загрузить более обновленную версию исходного кода и скомпилировать ее. Для установки из пакета:

sudo apt-get install -y libharfbuzz-dev

Установите HarfBuzz из исходного кода

Проверьте последнюю версию здесь . Этот пример grubs harfbuzz-1.7.6:

cd ~/src
wget https://www.freedesktop.org/software/harfbuzz/release/harfbuzz-1.7.6.tar.bz2
tar xjf harfbuzz-1.7.6.tar.bz2
rm harfbuzz-1.7.6.tar.bz2
cd harfbuzz-1.7.6
./configure && make && sudo make install
sudo ldconfig && cd ~/

Собрать библиотеку Mapnik из исходников

На момент написания статьи Mapnik 3.0 является текущей стабильной версией и должна использоваться. Ветка для последней версии Mapnik из серии 3.0.x — v3.0.x.⁵⁾

Загрузите последние исходники Mapnik:

cd ~/src
git clone -b v3.0.x https://github.com/mapnik/mapnik
cd mapnik
git submodule update --init
source bootstrap.sh
./configure CUSTOM_CXXFLAGS="-D_GLIBCXX_USE_CXX11_ABI=0" CXX=${CXX} CC=${CC}
make

После успешной компиляции Mapnik используйте следующую команду для его установки в вашу систему:

make test
sudo make install
cd ~/

Связывания Python не включены по умолчанию. Вам нужно будет добавить их отдельно.

Установка предварительных условий:

sudo apt-get install -y python-setuptools python3-setuptools

Только в случае, если вы установили boost из пакета, вам также необходимо:

sudo apt-get install -y libboost-python-dev

Не выполняйте указанную выше установку libboost-python-dev с boost , скомпилированным из исходного кода.

Установите переменные BOOST , если вы установили boost из исходников:

export BOOST_PYTHON_LIB=boost_python
export BOOST_THREAD_LIB=boost_thread
export BOOST_SYSTEM_LIB=boost_system

Загрузите и скомпилируйте python-mapnik . Мы по-прежнему используем ветку v3.0.x:

cd ~/src
git clone -b v3.0.x https://github.com/mapnik/python-mapnik.git
cd python-mapnik
sudo -E python3 setup.py develop
sudo -E python3 setup.py install

Примечание: Mapnik и mapnik-config (часть Mapnik) должны быть установлены перед этой настройкой.

Затем вы можете убедиться, что Mapnik установлен правильно .

Убедитесь, что Mapnik был правильно установлен

Сообщить номер версии Mapnik и указать путь к каталогу входных плагинов

mapnik-config -v
mapnik-config --input-plugins

Убедитесь, что Python установлен . Также убедитесь, что pip установлен .

Затем проверьте с помощью Python 3:

python3 -c "import mapnik;print(mapnik.__file__)"

Если используется Python 2.7 (не Ubuntu 20.04 LTS), используйте эту команду для проверки:

python -c "import mapnik;print mapnik.__file__"

Он должен вернуть путь к привязкам python (например, /usr/lib/python2.7/dist-packages/mapnik/init.pyc). Если python отвечает без ошибок, то библиотека Mapnik была найдена Python.

Настроить брандмауэр

Если вы готовите удаленную виртуальную машину, настройте брандмауэр так, чтобы разрешить удаленный доступ к локальному порту 80 и локальному порту 443.

Если вы используете облачную виртуальную машину, сама виртуальная машина также должна быть настроена на открытие этого порта.

Установить HTTP-сервер Apache

Apache бесплатный HTTP-сервер с открытым исходным кодом — один из самых популярных веб-серверов в мире. Он хорошо документирован и широко использовался на протяжении большей части истории Интернета, что делает его отличным выбором по умолчанию для хостинга веб-сайта .

Чтобы установить Apache:

sudo apt-get install -y apache2 apache2-dev

Службу Apache можно запустить с помощью

sudo service apache2 start

Ошибка «Не удалось включить APR_TCP_DEFER_ACCEPT» в Ubuntu на Windows возникает из-за этой опции сокета, которая изначально не поддерживается Windows. Чтобы ее обойти, отредактируйте /etc/apache2/apache2.conf с помощью

sudo nano /etc/apache2/apache2.conf

и добавьте следующую строку в конец файла:

AcceptFilter http none

Чтобы проверить, установлен ли Apache, направьте ваш браузер на IP-адрес вашего сервера (например, http://localhost). Страница должна отображать домашнюю страницу Apache по умолчанию. Также эта команда позволяет проверить корректность работы:

curl localhost| grep 'It works!'

Настройки Apache, принятые серверами тайлов OpenStreetMap, можно найти в соответствующей конфигурации Chef .

Как узнать IP-адрес вашего сервера

Вы можете выполнить следующую команду, чтобы узнать публичный IP-адрес вашего сервера:

wget https://ipinfo.io/ip -qO -

Вы можете протестировать Apache, открыв его через браузер по адресу http://your-server-ip

Установить Mod_tile из пакета

Mod_tile — это модуль Apache для эффективного рендеринга и обслуживания фрагментов карты для www.openstreetmap.org с использованием Mapnik.

Mod_tile/render для Ubuntu 18.04 и Ubuntu 20.04

В Ubuntu 18.04 (bionic) и Ubuntu 20.04 (focal) mod_tile/renderd можно установить, добавив OpenStreetMap PPA , поддерживаемый командой «Администраторы OpenStreetMap»:

sudo add-apt-repository -y ppa:osmadmins/ppa
sudo apt-get update

Также подходит вышеупомянутый таладж PPA .

После добавления PPA mod_tile/renderd можно установить из пакета с помощью следующей команды:

sudo apt-get install -y libapache2-mod-tile # this includes both mod-tile and renderd

Mod_tile/renderd для Ubuntu 21.04

В Ubuntu 21.04 (hirsute) пакет доступен и может быть установлен с помощью

sudo apt-get install -y libapache2-mod-tile renderd

Установить Mod_tile из исходников

В качестве альтернативы установке Mod_tile через PPA, мы можем скомпилировать его из репозитория GitHub.

Чтобы удалить ранее установленный PPA и связанные с ним пакеты:

sudo apt-get purge -y libapache2-mod-tile
sudo apt -y autoremove
sudo add-apt-repository -y --remove ppa:osmadmins/ppa
sudo add-apt-repository -y --remove ppa:talaj/osm-mapnik

Для компиляции Mod_tile:

sudo apt-get install -y autoconf autogen
mkdir -p ~/src ; cd ~/src
git clone https://github.com/openstreetmap/mod_tile.git

# Alternative repository:
# git clone -b switch2osm git://github.com/SomeoneElseOSM/mod_tile.git

cd mod_tile
./autogen.sh && ./configure && make && sudo make install && sudo make install-mod_tile && sudo ldconfig
cd ~/

Проверьте также https://github.com/openstreetmap/mod_tile/blob/master/docs/build/building_on_ubuntu_20_04.md

Процесс рендеринга, реализуемый mod_tile и renderd, подробно описан в соответствующем файле readme на GitHub .

Установка Python

Проверьте, установлен ли Python :

sudo apt-get install -y python3 python3-distutils

# Verify Python installation:
python -V
python3 -V

Установите Yaml и диспетчер пакетов для Python

Это необходимо для запуска скриптов/индексов OpenStreetMap-Carto.

sudo apt-get install -y python-yaml

pip -V # to verify whether pip is already installed
sudo apt-get install -y python3-pip
python3 -m pip install --upgrade pip

Установите утилиты Mapnik

Пакет Mapnik Utilities включает shapeindex.

sudo apt-get install -y mapnik-utils

Установить openstreetmap-carto

mkdir -p ~/src
cd ~/src
git clone https://github.com/gravitystorm/openstreetmap-carto.git
cd openstreetmap-carto

Для получения дополнительной информации прочтите примечания по установке .

Установите шрифты, необходимые для openstreetmap-carto

В настоящее время используются шрифты Noto.

Чтобы установить их (кроме Noto Emoji Regular и Noto Sans Arabic UI Regular/Bold):

sudo apt-get install -y fonts-noto-cjk fonts-noto-hinted fonts-noto-unhinted fonts-hanazono ttf-unifont

Установка шрифтов Noto (при наличии следует использовать шрифты с подсказками):

cd ~/src
git clone https://github.com/googlefonts/noto-emoji.git
git clone https://github.com/googlefonts/noto-fonts.git

sudo cp noto-emoji/fonts/NotoColorEmoji.ttf /usr/share/fonts/truetype/noto
sudo cp noto-emoji/fonts/NotoEmoji-Regular.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansArabicUI/NotoSansArabicUI-Regular.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoNaskhArabicUI/NotoNaskhArabicUI-Regular.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansArabicUI/NotoSansArabicUI-Bold.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoNaskhArabicUI/NotoNaskhArabicUI-Bold.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansAdlam/NotoSansAdlam-Regular.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansAdlamUnjoined/NotoSansAdlamUnjoined-Regular.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansChakma/NotoSansChakma-Regular.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansOsage/NotoSansOsage-Regular.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansSinhalaUI/NotoSansSinhalaUI-Regular.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansArabicUI/NotoSansArabicUI-Regular.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansCherokee/NotoSansCherokee-Bold.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansSinhalaUI/NotoSansSinhalaUI-Bold.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansSymbols/NotoSansSymbols-Bold.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansArabicUI/NotoSansArabicUI-Bold.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/unhinted/ttf/NotoSansSymbols2/NotoSansSymbols2-Regular.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/hinted/ttf/NotoSansBalinese/NotoSansBalinese-Regular.ttf /usr/share/fonts/truetype/noto
sudo cp noto-fonts/archive/hinted/NotoSansSyriac/NotoSansSyriac-Regular.ttf /usr/share/fonts/truetype/noto

mkdir NotoSansSyriacEastern-unhinted
cd NotoSansSyriacEastern-unhinted
wget https://noto-website-2.storage.googleapis.com/pkgs/NotoSansSyriacEastern-unhinted.zip
unzip NotoSansSyriacEastern-unhinted.zip
sudo cp NotoSansSyriacEastern-Regular.ttf /usr/share/fonts/truetype/noto
cd ..

sudo apt install fontconfig

В конце:

sudo fc-cache -fv
fc-list
fc-list | grep Emoji

DejaVu Sans используется как необязательный резервный шрифт для систем без Noto Sans. Если установлены все шрифты Noto, его никогда не следует использовать.

sudo apt-get install -y fonts-dejavu-core

Дополнительную информацию смотрите в примечаниях к шрифтам .

Старый унифонт Средний шрифт

Шрифт unifont Medium (нижняя метка), который был включен в предыдущие версии ОС, теперь больше не доступен и заменен на Unifont Medium (верхняя). Предупреждения, связанные с недоступностью unifont Medium, не актуальны и являются следствием старого решения разработчиков OpenStreetMap поддерживать как старый шрифт Ubuntu 12.04, так и более новую версию (в верхнем регистре).

Один из способов избежать предупреждения — удалить ссылку на «unifont Medium» в openstreetmap-carto/style.xml .

Другой альтернативный способ удаления предупреждения о строчных буквах unifont Medium — установка старого шрифта «unifont Medium» (используется в Ubuntu 12.10):

mkdir -p ~/src ; cd ~/src
mkdir OldUnifont
cd OldUnifont
wget http://http.debian.net/debian/pool/main/u/unifont/unifont_5.1.20080914.orig.tar.gz
tar xvfz unifont_5.1.20080914.orig.tar.gz unifont-5.1.20080914/font/precompiled/unifont.ttf
sudo cp unifont-5.1.20080914/font/precompiled/unifont.ttf /usr/share/fonts/truetype/unifont/OldUnifont.ttf
sudo fc-cache -fv
fc-list | grep -i unifont # both uppercase and lowercase fonts will be listed

Обратите внимание, что описанная выше операция установки бесполезна, она просто удаляет предупреждение.

Установите Node.js

Установите Node.js с Ubuntu 20.04 LTS:

# Check installations:
node -v
nodejs -v
npm -v

# If components needs to be installed, run the following:
sudo apt install -y nodejs npm

Перейдите на страницу проверки версий Node.js.

Дополнительные примечания по Node.js: другие способы его установки:

NodeSource Node.js Двоичные дистрибутивы . Проверьте соответствующие инструкции по установке .
Стандартный режим с помощью Ubuntu Advanced Packaging Tool (APT)
Инструменты управления версиями, такие как:
- n (Интерактивное управление версиями Node.js)
- nvm (менеджер версий узлов)

Список [https://ircama.github.io/osm-carto-tutorials/nodejs-commands|полезных команд]] для управления Node.js доступен на специальной странице.

Указанная выше версия Node.js также поддерживает установку TileMill и Carto.

Версия дистрибутива из менеджера пакетов APT

Последние версии Ubuntu поставляются с Node.js ( пакет nodejs ) и npm ( пакет npm ) в репозиториях по умолчанию. В зависимости от того, какую версию Ubuntu вы используете, эти пакеты могут содержать устаревшие релизы; тот, что идет с Ubuntu 16.04, не будет последним, но он должен быть стабильным и достаточным для запуска Kosmtik и Carto. Вместо этого TileMill требуется nodejs-legacy (или старая версия node, установленная через инструмент управления версиями Node.js).

Для carto мы установим nodejs :

sudo apt-get install -y nodejs npm
node -v 2>/dev/null || sudo ln -fs /usr/bin/nodejs /usr/local/bin/node
nodejs -v
node -v
npm -v

Установите Node.js с помощью инструмента управления версиями

В качестве альтернативы предлагается использовать инструмент управления версиями Node.js, который упрощает интерактивное управление различными версиями Node.js и позволяет выполнять обновление до последней версии. Мы будем использовать n .

Установить n :

mkdir -p ~/src ; cd ~/src
git clone https://github.com/tj/n.git
cd n
sudo make install # To uninstall: sudo make uninstall
cd ..

Некоторые программы (например, Kosmtik и carto ) принимают последнюю версию узла LTS ( sudo n lts), другие (например, Tilemill ) работают с v6.14.1 ( sudo n 6.14.1).

Для carto мы установим последнюю версию LTS:

sudo n lts

Проверьте версии Node.js

Чтобы получить номера установленных версий:

node -v
npm -v

Установите carto и создайте XML-таблицу стилей Mapnik

Carto — это компилятор таблиц стилей, преобразующий проекты CartoCSS в таблицы стилей Mapnik XML.

Согласно текущей документации openstreetmap-carto , минимальная версия carto ( CartoCSS ), которую можно установить, — 0.18 . Поскольку carto компилирует таблицы стилей openstreetmap-carto, рекомендуется сохранить ту же версию, что и в документации openstreetmap-carto (вместо простой установки последней версии carto ).

Последнюю версию carto 1.2.0 можно установить с помощью

sudo npm install -g carto

Это работает с Ubuntu 20.04 LTS.

До Ubuntu 18.04 LTS эта версия выдает предупреждения типа «Стили не соответствуют селектору слоев .text-low-zoom» .

Чтобы избежать этих предупреждений, установите версию 0 carto :

sudo npm install -g carto@0

На момент написания статьи это должна быть версия 0.18.2 .

Если установка не удалась, возможно, это связано с несовместимостью с npm/Node.js. Чтобы исправить это, попробуйте понизить версию Node.js.

Чтобы проверить установленную версию:

carto -v

При запуске carto вам необходимо указать версию API Mapnik через -a опцию. Для принятия версии документация openstreetmap-carto предлагает некоторые рекомендации.

Чтобы вывести список всех известных версий API в установленном программном обеспечении узла , выполните следующую команду:

npm install mapnik-reference
node -e "console.log(require('mapnik-reference'))"

Спецификации для каждой версии API также задокументированы в репозитории carto .

Вам следует использовать версию API, наиболее близкую к установленной у вас версии Mapnik (уточните у mapnik-config -v).

Протестируйте carto и создайте style.xml из стиля openstreetmap-carto :

cd ~/src
cd openstreetmap-carto
carto -a "3.0.22" project.mml > style.xml
ls -l style.xml

При выборе соответствующей версии API вы не должны получить никаких соответствующих предупреждающих сообщений.

Команда sudo apt-get install -y node-carto может установить старую версию Carto , несовместимую с Openstreetmap Carto, и ее следует избегать.

Установите PostgreSQL и PostGIS

PostgreSQL — это реляционная база данных, а PostGIS — ее пространственный расширитель, позволяющий хранить в ней географические объекты, такие как картографические данные; он выполняет функцию, схожую с SDE от ESRI или пространственным расширением Oracle. PostgreSQL + PostGIS используются для широкого спектра функций, таких как рендеринг карт, геокодирование и анализ.

В настоящее время протестированными версиями OpenstreetMap Carto являются PostgreSQL 10 и PostGIS 2.4:

Также должна подойти более старая или более новая версия PostgreSQL .

В Ubuntu имеются предварительно упакованные версии postgis и postgresql, поэтому их можно просто установить через менеджер пакетов Ubuntu.

sudo apt-get update
sudo apt-get install -y postgresql postgis

Дополнительные компоненты:

sudo apt-get install -y postgresql-contrib postgresql-12-postgis-3 postgresql-12-postgis-3-scripts

Вам необходимо запустить базу данных:

sudo service postgresql start

Примечание: используемый порт PostgreSQL — 5432 (по умолчанию).

Создайте экземпляр PostGIS

Теперь вам нужно создать базу данных PostGIS. По умолчанию различные программы, включая openstreetmap-carto (ref. project.mml), предполагают, что база данных называется gis . Вам нужно создать базу данных PostgreSQL и настроить на ней расширение PostGIS.

Схема кодировки символов, которая будет использоваться в базе данных, — UTF8 , а принятый параметр сортировки — en_GB.utf8 . ( U&«…«Экранированный синтаксис Unicode, используемый в project.mml, должен работать только в том случае, если кодировкой сервера является UTF8 . Это также соответствует тому, что указано в коде конфигурации PostgreSQL Chef .)

sudo -u postgres createuser -s $USER
createdb gis --encoding="UTF8" --lc-collate="en_GB.UTF-8" --lc-ctype="en_GB.UTF-8" --template=template0
psql -d gis -c 'CREATE EXTENSION postgis; CREATE EXTENSION hstore;'

Примечание: ERROR: invalid locale name: «en_GB.UTF-8» означает, что локаль en_GB.UTF-8 не установлена. После установки локали необходимо перезапустить базу данных, чтобы загрузить локаль.
Перейти к следующему шагу.
Если на другом хосте:

Установите переменные среды

export PGHOST=localhost
export PGPORT=5432
export PGUSER=postgres
export PGPASSWORD=postgres_007%

HOSTNAME=localhost # set it to the actual ip address or host name
createdb gis --host="$HOSTNAME" --encoding="UTF8" --lc-collate="en_GB.UTF-8" --lc-ctype="en_GB.UTF-8" --template=template0

Если вы получили следующую ошибку:
ERROR: invalid locale name: «en_GB.utf8»
то вам нужно добавить локаль «en_GB.utf8» с помощью следующей команды:

sudo dpkg-reconfigure locales

И выберите «en_GB.UTF-8 UTF-8» на первом экране («Locales to be generated»). После этого будет предложено перезапустить базу данных:

sudo service postgresql restart

Если вы получили следующую ошибку:
ERROR: new collation (en_GB.utf8) is incompatible with the collation of the template database (en_US.UTF-8)
HINT: Use the same collation as in the template database, or use template0 as template.
вам нужно использовать template0 для gis:

psql -U postgres -h $HOSTNAME -c "CREATE DATABASE gis ENCODING 'UTF-8' LC_COLLATE 'en_GB.utf8' LC_CTYPE 'en_GB.utf8' TEMPLATE template0"
# alternative command: createdb -E UTF8 -l en_GB.UTF8 -O postgres  -T template0 gis

Если вы получили следующую ошибку:
ERROR: new encoding (UTF8) is incompatible with the encoding of the template database (SQL_ASCII)
HINT: Use the same encoding as in the template database, or use template0 as template.
(ошибка, которая обычно возникает в Ubuntu на Windows с WSL ), затем добавьте также TEMPLATE template0; например, используйте следующую команду:

psql -U postgres -h $HOSTNAME -c "CREATE DATABASE gis ENCODING 'UTF-8' LC_COLLATE 'en_GB.utf8' LC_CTYPE 'en_GB.utf8' TEMPLATE template0"
# alternative command: createdb -E UTF8 -l en_GB.utf8 -O postgres -T template0 gis

Установите флажок, чтобы создать базу данных в разделе диска, где достаточно свободного места. Если вам необходимо использовать табличное пространство, отличное от используемого по умолчанию, выполните следующие команды вместо предыдущих (пример: табличное пространство имеет местоположение /tmp/db):

sudo mkdir /mnt/db # Suppose this is the tablespace location
sudo chown postgres:postgres /mnt/db
psql -U postgres -h $HOSTNAME -c "CREATE TABLESPACE gists LOCATION '/mnt/db'"
psql -U postgres -h $HOSTNAME -c "ALTER DATABASE gis SET TABLESPACE gists"

Создайте расширения postgis и hstore :

psql -U postgres -h $HOSTNAME -c "\connect gis"
psql -U postgres -h $HOSTNAME -d gis -c "CREATE EXTENSION postgis"
psql -U postgres -h $HOSTNAME -d gis -c "CREATE EXTENSION hstore"

Если вы получили следующую ошибку
ERROR: could not open extension control file »/usr/share/postgresql/9.3/extension/postgis.control»: No such file or directory
то вы, возможно, устанавливаете PostgreSQL 9.3 (вместо 9.5), для чего вам также понадобится:

sudo apt-get install postgis postgresql-9.3-postgis-scripts

Установите его и повторите команды создания расширения. Обратите внимание, что PostgreSQL 9.3 в настоящее время не поддерживается openstreetmap-carto.

Добавьте пользователя и предоставьте доступ к базе данных gis

Для того, чтобы приложение могло получить доступ к базе данных gis , необходим пользователь DB с тем же именем, что и у вашего пользователя UNIX. Предположим, что ваш пользователь UNIX — tileserver .

psql -d gis -c "create user tileserver;grant all privileges on database gis to postgres;"
psql -d gis -c 'create user "www-data";grant all privileges on database gis to "www-data";'

psql -d gis -c 'ALTER TABLE geometry_columns OWNER TO postgres;'
psql -d gis -c 'ALTER TABLE spatial_ref_sys OWNER TO  postgres;'

Включение удаленного доступа к PostgreSQL

Если вы находитесь на другом хосте, для удаленного доступа к PostgreSQL вам необходимо отредактировать pg_hba.conf :

sudo nano /etc/postgresql/*/main/pg_hba.conf

и добавьте следующую строку:

host    all             all             <your IP set>/<your netmask>             md5

host all all 0.0.0.0/0 md5— это правило контроля доступа, которое позволяет любому человеку входить в систему с любого адреса, указав действительный пароль (ключевое слово md5).

Затем отредактируйте postgresql.conf :

sudo vi /etc/postgresql/*/main/postgresql.conf

и установить listen_addresses = '*'

Наконец, необходимо перезапустить БД:

sudo /etc/init.d/postgresql restart

Проверьте, доступна ли база данных gis . Чтобы вывести список всех баз данных, определенных в PostgreSQL, выполните следующую команду:

psql -U postgres -h $HOSTNAME -c "\l+"

Полученный отчет должен включать базу данных ГИС , как показано в следующей таблице:

Name	Owner	Encoding	Collate	Ctype	Access privileges
gis	postgres	UTF8	en_US.utf8	en_US.utf8	=Tc/postgres
					postgres=CTc/postgres
					tileserver=CTc/postgres

Настройка базы данных

Настройки PostgreSQL по умолчанию не очень хороши для очень больших баз данных, таких как OSM. Правильная настройка может просто удвоить производительность.

Минимальные требования к настройке

Установите пользователя postgres для доверия :

sudo vi /etc/postgresql/*/main/pg_hba.conf
# change: local   all             postgres                                peer
# to:     local   all             postgres                                trust

После выполнения вышеуказанных изменений перезапустите БД:

sudo service postgresql restart

Запустите tune-postgis.sh :

export POSTGRES_USER=postgres
export PG_MAINTENANCE_WORK_MEM=256MB
export PG_WORK_MEM=16MB
export psql=psql

cd ~/src
cd openstreetmap-carto
bash scripts/tune-postgis.sh

Если postgres не настроен на доверие , возникает следующая ошибка: psql: error: FATAL: Peer authentication failed for user «postgres» при запуске tune-postgis.sh .

Чтобы очистить каталог данных и снова повторить tune-postgis.sh : rm -rf data.

Необязательные дополнительные требования к настройке

В вики PostgreSQL есть страница, посвященная настройке базы данных.

В блоге Пола Нормана есть интересная заметка об оптимизации базы данных, которая используется ниже.

maintenance_work_memНастройки по умолчанию work_memслишком низкие для рендеринга.11: оба параметра следует увеличить для более быстрой загрузки данных и более быстрых запросов (сканирования индекса).

Консервативные настройки для 4 ГБ ВМ — work_mem=32MB и maintenance_work_mem=256MB. На машине с достаточным объемом памяти вы можете установить их как work_mem=256MB и maintenance_work_mem=1GB.

Кроме того, важными настройками являются shared_buffersи write-ahead-log ( wal ). Есть также некоторые другие настройки, которые вы, возможно, захотите изменить специально для импорта.

Чтобы отредактировать файл конфигурации PostgreSQL с помощью редактора nano :

sudo nano /etc/postgresql/*/main/postgresql.conf

а если вы используете PostgreSQL 9.3 (не поддерживается):

sudo nano /etc/postgresql/9.3/main/postgresql.conf

Рекомендуемые минимальные настройки:

shared_buffers = 128MB
min_wal_size = 1GB
max_wal_size = 2GB
work_mem = 32MB # check comments for better tuning
maintenance_work_mem = 256MB
autovacuum = off
fsync = off

Последние два варианта позволяют ускорить импорт: первый отключает автоматическую очистку во время импорта и позволяет запустить очистку в конце; второй приводит к повреждению данных в случае отключения электроэнергии и опасен. Если во время импорта данных произойдет отключение электроэнергии, вам придется удалить данные из базы данных и выполнить повторный импорт, но это быстрее. Просто не забудьте вернуть эти настройки обратно после импорта. fsync не влияет на время запроса после загрузки данных.

Настройки PostgreSQL, принятые OpenStreetMap, можно найти в книге PostgreSQL Chef Cookbook : специальные настройки PostgreSQL для серверов тайлов OpenStreetMap описаны в соответствующей конфигурации Tileserver Chef .

Для установки dev&test на системе с 16 ГБ ОЗУ предлагаются следующие настройки⁶⁾:

shared_buffers = 2GB
work_mem = 256MB
maintenance_work_mem = 1GB
wal_level = minimal
synchronous_commit = off
min_wal_size = 1GB
max_wal_size = 2GB
checkpoint_segments = 60
checkpoint_timeout = 15min
checkpoint_completion_target = 0.9
default_statistics_target = 1000
autovacuum = off
fsync = off

default_statistics_target можно даже увеличить до 10000.

При выполнении обновлений базы данных периодически запускайте ANALYZE.

Чтобы остановить и запустить базу данных:

sudo /etc/init.d/postgresql stop
sudo /etc/init.d/postgresql start

Вы можете получить ошибку и вам нужно увеличить размер разделяемой памяти. Отредактируйте /etc/sysctl.d/30-postgresql-shm.conf и запустите sudo sysctl -p /etc/sysctl.d/30-postgresql-shm.conf. Параметр типа kernel.shmmax=17179869184и kernel.shmall=4194304 может быть подходящим для размера сегмента 16 ГБ.⁷⁾

Для управления и поддержания конфигурации серверов, работающих под управлением OpenStreetMap, используется инструмент управления конфигурацией Chef .

Для PostgreSQL принята конфигурация postgresql/attributes/default.rb .

Установить Osm2pgsql

Osm2pgsql — это специальное программное обеспечение OpenStreetMap, используемое для загрузки данных OSM в базу данных PostGIS.

По умолчанию пакетные версии Osm2pgsql — 0.88.1-1 на Ubuntu 16.04 LTS и 0.96.0 на Ubuntu 18.04 LTS. Тем не менее, предлагаются более свежие версии, доступные на OpenStreetMap Osmadmins PPA или компиляция программного обеспечения из исходников .

Чтобы установить osm2pgsql:

sudo apt install -y osm2pgsql

Чтобы установить Osm2pgsql из Osmadmins PPA:

sudo add-apt-repository -y ppa:osmadmins/ppa
apt-key adv --keyserver keyserver.ubuntu.com --recv A438A16C88C6BE41CB1616B8D57F48750AC4F2CB
sudo apt-get update
sudo apt-get install -y osm2pgsql

Перейдите в раздел «Получить извлечение данных OpenStreetMap» .

Сгенерировать Osm2pgsql из исходников

Эта альтернативная процедура установки генерирует самый последний исполняемый файл путем компиляции исходных кодов.

Установите необходимые зависимости:

sudo apt-get install -y make cmake g++ libboost-dev libboost-system-dev \
  libboost-filesystem-dev libexpat1-dev zlib1g-dev \
  libbz2-dev libpq-dev libgeos-dev libgeos++-dev libproj-dev lua5.2 \
  liblua5.2-dev

Загрузить osm2pgsql:

mkdir -p ~/src ; cd ~/src
git clone git://github.com/openstreetmap/osm2pgsql.git

Подготовка к компиляции, компиляция и установка:

cd osm2pgsql
mkdir build
cd build
cmake -DCMAKE_BUILD_TYPE=Release ..
make
sudo make install
cd

Получите извлечение данных OpenStreetMap

Вам необходимо загрузить соответствующий файл .osm или .pbf, который затем можно загрузить в ранее созданный экземпляр PostGIS через osm2pgsql.

Существует много способов загрузки данных OSM.

Ссылка — Planet OSM .

Вероятно, проще всего получить PBF-файл данных OSM с сайта geofabrikсайта geofabrik .

Кроме того, BBBike.org предоставляет выдержки из более чем 200 городов и регионов по всему миру в различных форматах.

Примеры:

Картографические данные всей планеты (76G):

wget -c https://planet.openstreetmap.org/pbf/planet-latest.osm.pbf

Картографические данные Великобритании (847M):

wget -c https://download.geofabrik.de/europe/great-britain-latest.osm.pbf

Только для Лихтенштейна:

wget https://download.geofabrik.de/europe/liechtenstein-latest.osm.pbf
wget https://download.geofabrik.de/europe/liechtenstein-latest.osm.pbf.md5

# Optionally, the following will xheck that the download wasn't corrupted:
md5sum -c liechtenstein-latest.osm.pbf.md5

Другой способ загрузки данных — напрямую через браузер. Проверьте эту страницу .

В качестве альтернативы можно использовать JOSM (выберите область для загрузки данных OSM: меню JOSM, Файл, Загрузить из OSM; вкладка Slippy map; перетащите карту правой кнопкой мыши, масштабируйте колесиком мыши или Ctrl + клавиши со стрелками; перетащите рамку левой кнопкой мыши, чтобы выбрать область для загрузки. Также предлагается плагин Continuous Download . Когда нужный регион будет локально доступен, выберите Файл, Сохранить как, <filename>.osm. Дайте ему допустимое имя файла и проверьте также соответствующий каталог, в котором этот файл сохранен.

В любом случае избегайте использования слишком маленьких участков.

OpenStreetMap — это открытые данные . Лицензия OSM — Open Database License.

Загрузить данные в PostGIS

В документации osm2pgsql приведена вся необходимая информация для использования этого инструмента ETL, включая соответствующие параметры командной строки .

osm2pgsql использует overcommit, как и многие научные приложения и приложения для работы с большими данными, что требует корректировки настроек ядра:

sudo sysctl -w vm.overcommit_memory=1

Чтобы загрузить данные из файла .osm или .pbf в PostGIS, выполните следующую команду:

cd ~/src
cd openstreetmap-carto

export OSM2PGSQL_CACHE=${OSM2PGSQL_CACHE:-512}
export OSM2PGSQL_NUMPROC=${OSM2PGSQL_NUMPROC:-1}
export OSM2PGSQL_DATAFILE=${OSM2PGSQL_DATAFILE:-data.osm.pbf}

osm2pgsql \
--cache $OSM2PGSQL_CACHE \
--number-processes $OSM2PGSQL_NUMPROC \
--hstore \
--multi-geometry \
--database gis \
--slim \
--drop \
--style openstreetmap-carto.style \
--tag-transform-script openstreetmap-carto.lua \
[.osm or .pbf file]

[.osm or .pbf file]: замените это на уже загруженный вами файл .osm или .pbf , например, liechtenstein-latest.osm.pbf .

При наличии доступной памяти установите export OSM2PGSQL_CACHE=2500; для процесса импорта будет выделено 2,5 ГБ памяти.

Опция –create загружает данные в пустую базу данных, а не пытается добавить их в существующую.

Ретранслируем на OSM2PGSQL_NUMPROC, если у вас доступно больше ядер, вы можете настроить его соответствующим образом.

В руководстве osm2pgsql подробно описывается использование и все параметры.

Перейти к следующему шагу .

При использовании другого сервера:

cd ~/src
cd openstreetmap-carto
HOSTNAME=localhost # set it to the actual ip address or host name
osm2pgsql -s -C 300 -c -G --hstore --style openstreetmap-carto.style --tag-transform-script openstreetmap-carto.lua -d gis -H $HOSTNAME -U postgres [.osm or .pbf file]

Обратите внимание, что предлагаемый процесс принимает опцию -s( –slim), которая использует временные таблицы, поэтому его выполнение занимает больше места на диске (и очень медленно), при этом используется меньше оперативной памяти. Вы можете добавить –drop опцию с -s( –slim), чтобы также удалить временные таблицы после импорта, в противном случае вы также найдете временные таблицы nodes , ways и rels (эти таблицы изначально были чистыми «вспомогательными» таблицами для систем с малым объемом памяти, но сегодня они широко используются, поскольку они также являются предпосылкой для обновлений).

Если все в порядке, можно переходить к следующему шагу .

Обратите внимание, что используются следующие элементы:

hstore
openstreetmap- carto.стиль
скрипт LUA openstreetmap -carto.lua
Имя базы данных ГИС

В зависимости от размера входного файла команда osm2pgsql может выполняться очень долго. Интересная страница, связанная с бенчмарками Osm2pgsql, связывает размеры систем hw/sw с соответствующими цифрами для импорта данных OpenStreetMap.

Примечание: если вы получили следующую ошибку:

node_changed_mark failed: ERROR:  prepared statement "node_changed_mark" does not exist

выполните следующую команду для вашего оригинального .osm :

sed "s/action='modify' //" < original.osm | > fixedfile.osm

Затем обработайте fixedfile.osm .

Если вы получаете такие ошибки:

Error reading style file line 79 (fields=4)
flag 'phstore' is invalid in non-hstore mode
Error occurred, cleaning up

или этот:

Postgis Plugin: ERROR:  column "tags" does not exist
LINE 8: ...ASE WHEN "natural" IN ('mud') THEN "natural" ELSE tags->'wet...

то вам нужно включить расширение hstore в базу данных с помощью CREATE EXTENSION hstore;и также добавить флаг –hstore в osm2pgsql . Включение расширения hstore и использование его с osm2pgsql исправит эти ошибки.

Создайте папку данных

Для этого шага требуется не менее 18 ГБ HD и соответствующая RAM/swap (лучше 24 ГБ HD). 8 ГБ HD будет недостаточно. При 1 ГБ RAM настройка swap обязательна.

python3 -m pip install psycopg2-binary
cd ~/src
cd openstreetmap-carto
scripts/get-external-data.py

Чтобы очистить процедуру get-external-data.py и перезапустить ее с нуля, удалите каталог данных ( rm -r data).

Настройте подкачку , чтобы предотвратить появление следующего сообщения:

INFO:root:Checking table water_polygons
Killed

Способ загрузки шейп-файлов серверами тайлов OpenStreetMap описан в соответствующей конфигурации Chef .

Для получения дополнительной информации прочтите скрипт загрузки .

Создание индексов и предоставление пользователям

Создайте частичные индексы для ускорения запросов, включенных в project.mml , и предоставьте доступ ко всем таблицам ГИС , чтобы избежать ошибок рендеринга при доступе к таблицам с пользователем tileserver .

Добавьте частичные геометрические индексы, указанные openstreetmap-carto⁸⁾ для обеспечения эффективного улучшения запросов:

cd ~/src
cd openstreetmap-carto
HOSTNAME=localhost # set it to the actual ip address or host name
psql -d gis -f indexes.sql

Альтернативный режим:

cd ~/src
cd openstreetmap-carto
scripts/indexes.py | psql -d gis

При использовании другого хоста:

HOSTNAME=localhost # set it to the actual ip address or host name
cd ~/src
cd openstreetmap-carto
scripts/indexes.py | psql -U postgres -h $HOSTNAME -d gis

Альтернативный режим с другим хостом:

HOSTNAME=localhost # set it to the actual ip address or host name
psql -U postgres -h $HOSTNAME -d gis -f indexes.sql

Создайте пользователя PostgreSQL « tilerserver » (если он еще не существует) и предоставьте права на все таблицы базы данных gis для пользователя « tilerserver » и для всех зарегистрированных пользователей:

psql -d gis <<\eof
REVOKE CONNECT ON DATABASE gis FROM PUBLIC;
GRANT CONNECT ON DATABASE gis TO "www-data";
GRANT CONNECT ON DATABASE gis TO "tileserver";
eof

Чтобы вывести список всех таблиц, доступных в базе данных ГИС , выполните следующую команду:

psql -d gis -c "\dt+"

или:

psql -U postgres -h $HOSTNAME -d gis -c "\dt+"

База данных должна включать таблицы rels , ways и nodes (созданные в –slim режиме osm2pgsql ) для обеспечения возможности обновлений.

В следующем примере вывода использовался –slim режим osm2pgsql :

Schema	Name	Type	Owner
public	planet_osm_line	table	postgres
public	planet_osm_nodes	table	postgres
public	planet_osm_point	table	postgres
public	planet_osm_polygon	table	postgres
public	planet_osm_rels	table	postgres
public	planet_osm_roads	table	postgres
public	planet_osm_ways	table	postgres
public	spatial_ref_sys	table	postgres

Фактически, таблицы planet_osm_rels , planet_osm_ways , planet_osm_nodes доступны, как описано в разделе Структура базы данных Pgsql .

Более подробную информацию можно найти в модели данных OpenStreetMap на сайте Mapbox.

Для получения дополнительной информации ознакомьтесь с пользовательскими индексами .

Настроить рендер

Далее нам нужно подключить renderd и mod_tile к веб-серверу Apache, чтобы он был готов принимать запросы на тайлы.

Получите каталог плагинов Mapnik:

mapnik-config --input-plugins

Это должен быть /usr/local/lib/mapnik/input , или /usr/lib/mapnik/3.0/input , или другой.

Отредактируйте файл конфигурации renderd с помощью предпочитаемого вами редактора:

sudo vi /usr/local/etc/renderd.conf

Примечание: при установке mod_tile из пакета путь будет /etc/renderd.conf .

sudo vi /etc/renderd.conf

В [mapnik] разделе измените значение параметра plugins_dir так, чтобы оно соответствовало значению, возвращаемому функцией mapnik-config –input-plugins:

Пример (при установке Mapnik 3.0 из пакета):

plugins_dir=/usr/lib/mapnik/3.0/input/

С Mapnik 2.2 из пакета:

plugins_dir=/usr/lib/mapnik/2.2/input/

С Mapnik 3.0 из источников:

plugins_dir=/usr/local/lib/mapnik/input/

В [mapnik] разделе также измените значение следующих параметров:

font_dir=/usr/share/fonts
font_dir_recurse=true

В [default] разделе измените значение XML и HOST на следующее.

XML=/home/tileserver/src/openstreetmap-carto/style.xml
HOST=localhost

Обратите внимание, что URI должен быть установлен на /osm_tiles/.

Также замените все ;** на ;xxx=** (например, на vi :1,$s/^;\*\* /;xxx=** /g).

В приведенном выше примере мы предполагаем, что ваш домашний каталог — /home/tileserver . Измените его на ваш фактический домашний каталог.

Пример файла:

[renderd]
stats_file=/var/run/renderd/renderd.stats
;socketname=/var/run/renderd/renderd.sock
num_threads=4
tile_dir=/var/lib/mod_tile

[mapnik]
plugins_dir=/usr/lib/mapnik/3.0/input/
font_dir=/usr/share/fonts
font_dir_recurse=true

[default]
URI=/osm_tiles/
TILEDIR=/var/lib/mod_tile
XML=/home/tileserver/src/openstreetmap-carto/style.xml
HOST=localhost
TILESIZE=256

Сохраните файл.

Проверьте наличие каталога /var/run/renderd, в противном случае создайте его с помощью sudo mkdir /var/run/renderd/renderd.sock.

Проверьте это, чтобы убедиться:

ls -l /home/tileserver/src/openstreetmap-carto/style.xml
grep '^;xxx=\*\*' /usr/local/etc/renderd.conf

В случае ошибки проверьте имя пользователя и повторите попытку /usr/local/etc/renderd.conf.

Установите скрипт инициализации renderd , скопировав пример скрипта инициализации, включенный в его пакет.

sudo cp ~/src/mod_tile/debian/renderd.init /etc/init.d/renderd

Примечание: при установке mod_tile из пакета указанная выше команда не нужна.

Предоставьте разрешение на выполнение.

sudo chmod a+x /etc/init.d/renderd

Примечание: при установке mod_tile из пакета указанная выше команда не нужна.

Отредактируйте файл сценария инициализации

sudo vi /etc/init.d/renderd

Измените следующие переменные:

DAEMON=/usr/local/bin/$NAME
DAEMON_ARGS="-c /usr/local/etc/renderd.conf"
RUNASUSER=tileserver

Важное примечание: при установке mod_tile из пакета сохраните DAEMON=/usr/bin/$NAMEи DAEMON_ARGS=«-c /etc/renderd.conf».

В RUNASUSER=tileserver мы предполагаем, что ваш пользователь — tileserver . Измените его на ваше фактическое имя пользователя.

Сохраните файл.

Создайте следующий файл и установите его владельцем (вашего фактического пользователя).

sudo mkdir -p /var/lib/mod_tile
sudo chown tileserver:tileserver /var/lib/mod_tile

Примечание: при установке mod_tile из пакета указанные выше команды не нужны.

Снова измените его на свое фактическое имя пользователя.

Затем запустите службу renderd.

sudo systemctl daemon-reload
sudo systemctl start renderd
sudo systemctl enable renderd

При использовании WSL renderd необходимо запустить с помощью следующей команды:

sudo service renderd start

Следующий вывод является обычным:

renderd.service is not a native service, redirecting to systemd-sysv-install
Executing /lib/systemd/systemd-sysv-install enable renderd

Если systemctl не установлен (например, Ubuntu 14.4), используйте следующие команды:

sudo update-rc.d renderd defaults
sudo service renderd start

Настроить Apache

Создайте файл загрузки модуля.

sudo vi /etc/apache2/mods-available/mod_tile.load

Вставьте следующую строку в файл.

LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so

Сохраните его. Создайте символическую ссылку.

sudo ln -s /etc/apache2/mods-available/mod_tile.load /etc/apache2/mods-enabled/

Затем отредактируйте файл виртуального хоста по умолчанию.

test -f /etc/apache2/sites-enabled/000-default.conf || sudo ln -s /etc/apache2/sites-available/000-default.conf /etc/apache2/sites-enabled
sudo vi /etc/apache2/sites-enabled/000-default.conf

После строки ниже пропишите следующие строки <VirtualHost *:80>

# Load all the tilesets defined in the configuration file into this virtual host
LoadTileConfigFile /usr/local/etc/renderd.conf
# Socket where we connect to the rendering daemon
ModTileRenderdSocketName /var/run/renderd/renderd.sock
# Timeout before giving up for a tile to be rendered
ModTileRequestTimeout 3
# Timeout before giving up for a tile to be rendered that is otherwise missing
ModTileMissingRequestTimeout 60

Примечание: при установке mod_tile из пакета установите LoadTileConfigFile /etc/renderd.conf.

LoadTileConfigFile /etc/renderd.conf

Сохраните и закройте файл.

Пример:

<VirtualHost *:80>
    LoadTileConfigFile /etc/renderd.conf
    ModTileRenderdSocketName /var/run/renderd/renderd.sock
    ModTileRequestTimeout 3
    ModTileMissingRequestTimeout 60
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog ${APACHE_LOG_DIR}/error.log
    CustomLog ${APACHE_LOG_DIR}/access.log combined
</VirtualHost>

Перезапустите Apache.

sudo systemctl restart apache2

Если systemctl не установлен (например, Ubuntu 14.4):

sudo service apache2 restart

С помощью WSL перезапустите службу Apache с помощью следующих команд:

sudo service apache2 stop; sudo service apache2 start
<code>
Проверьте локальный доступ к плиткам:
<code>
wget --spider http://localhost/osm_tiles/0/0/0.png

У вас должно получиться Remote file exists., если все настроено правильно.

Затем в адресной строке веб-браузера введите

your-server-ip/osm_tiles/0/0/0.png

где вам необходимо изменить your-server-ip на фактический IP-адрес установленного картографического сервера.

Чтобы расширить его, указав публичный IP-адрес вашего сервера, проверьте, например, эту команду (вставьте ее вывод в браузер):

echo "http://`wget http://ipinfo.io/ip -qO -`/osm_tiles/0/0/0.png"

Вы должны увидеть фрагмент карты мира.

Поздравляем! Вы только что успешно создали свой собственный сервер плиток OSM.

Вы можете перейти в OpenLayers , чтобы отобразить скользящую карту.

Предварительный рендеринг тайлов

Предварительная визуализация плиток обычно не нужна (или нежелательна); ее основное применение — обеспечить офлайн-просмотр вместо визуализации плиток на лету. В зависимости от размера БД процедура может занять очень много времени и соответствующих дисковых данных.

Для предварительной визуализации плиток используйте команду render_list . Предварительно визуализированные плитки будут кэшированы в /var/lib/mod_tile каталоге.

Чтобы отобразить все параметры командной строки render_list :

render_list --help

Пример использования:

render_list -a

В зависимости от размера базы данных выполнение этой команды может занять очень много времени.

Следующая команда предварительно визуализирует все плитки от уровня масштабирования 0 до уровня масштабирования 10, используя 1 поток:

render_list -n 1 -z 0 -Z 10 -a

Скрипт командной строки Perl с именем render_list_geo.pl , разработанный alx77, позволяет автоматически предварительно визуализировать плитки в определенной области с использованием географических координат. Соответствующий файл README Github описывает использование и примеры.

Чтобы установить его:

cd ~/src
git clone https://github.com/alx77/render_list_geo.pl
cd render_list_geo.pl

Пример команды для генерации плиток z11 для Великобритании:

./render_list_geo.pl -n 1 -z 11 -Z 11 -x -9.5 -X 2.72 -y 49.39 -Y 61.26

Для render_list и render_list_geo.pl опция -m позволяет выбирать определенные профили, относящиеся к именованным разделам в renderd.conf . Если эта опция не используется, выбирается [default] раздел renderd.conf .

Устранение неполадок Apache, mod_tile и renderd

Для мониторинга сервера плиток, показывающего линию каждый раз при запросе плитки и одну линию каждый раз после завершения соответствующего рендеринга:

tail -f /var/log/syslog | grep " TILE "

Чтобы очистить кэш всех плиток osm, удалите /var/lib/mod_tile/default (используйте rm -rf, если осмелитесь) и перезапустите демон renderd:

sudo rm -rf /var/lib/mod_tile/default
sudo systemctl restart renderd

Не забудьте также очистить кэш браузера.

Если systemctl не установлен (например, Ubuntu 14.4):

sudo service renderd restart

Показать загруженные модули Apache:

apache2ctl -M

Вы должны найтиtile_module (shared)

Показать конфигурацию Apache:

apache2ctl -S

В журнале должны появиться следующие сообщения:

Loading tile config default at /osm_tiles/ for zooms 0 - 20 from tile directory /var/lib/mod_tile with extension .png and mime type image/png

Хвостовой журнал:

tail -f /var/log/apache2/error.log

Большинство проблем с конфигурацией можно обнаружить, проанализировав журнал отладки renderd ; нам нужно остановить демон и запустить renderd в фоновом режиме:

sudo systemctl stop renderd

Если systemctl не установлен (например, Ubuntu 14.4):

sudo service renderd stop

Затем управляйте выводом renderd :

sudo -u tileserver /usr/local/bin/renderd -fc /usr/local/etc/renderd.conf
<code>
Игнорируйте пять ошибок, связанных со //iniparser: syntax error in /usr/local/etc/renderd.conf// с сылками на закомментированные переменные (например, начинающиеся с ;).

Нажмите **Control-C**, чтобы завершить программу. После исправления ошибки демон можно перезапустить с помощью:
<code>
sudo systemctl start renderd

Если systemctl не установлен (например, Ubuntu 14.4):

sudo service renderd start Проверить наличие /var/run/renderd:

ls -ld /var/run/renderd

Проверьте, что разрешение на доступ есть -rw-r–r– 1 tileserver tileserver. Вы можете временно сделать

sudo chmod 777 /var/run/renderd

Проверьте наличие файла style.xml :

ls -l /home/tileserver/src/openstreetmap-carto/style.xml

Если он отсутствует, смотрите выше, как его создать.

Проверить наличие /var/run/renderd/renderd.sock:

ls -ld /var/run/renderd/renderd.sock Убедитесь, что разрешения на доступ есть srwxrwxrwx 1 tileserver tileserver.

В случае неправильного владельца:

sudo chown 'tileserver' /var/run/renderd
sudo chown 'tileserver' /var/run/renderd/renderd.sock
sudo service renderd restart

Если каталог отсутствует:

sudo mkdir /var/run/renderd
sudo chown 'tileserver' /var/run/renderd
sudo service renderd restart

В случае, если renderd завершается с ошибкой сегментации (например, Loading parameterization function forand then Segmentation fault), это может быть связано с несоответствием конфигурации между плагинами Mapnik и конфигурацией renderd; проверьте параметр plugins_dir в /usr/local/etc/renderd.conf .

Ошибка разрешения PostGIS означает, что таблицы БД не были предоставлены пользователю tileserver:

…An error occurred while loading the map layer 'default': Postgis Plugin: ERROR: permission denied for relation…

Чтобы исправить ошибку разрешения, выполните:

sudo ./install-postgis-osm-user.sh gis tileserver

Ошибка, связанная с отсутствием tagsстолбца в журналах renderd , означает, что osm2pgsql не был запущен с этой –hstore опцией.

Если все в конфигурации выглядит нормально, но карта по-прежнему не отображается без какого-либо конкретного сообщения от renderd , попробуйте выполнить перезапуск системы:

sudo shutdown -r now

Если проблема сохраняется, возможно, проблема с пользователем UNIX. Попробуйте отладку снова, установив эти переменные:

export PGHOST=localhost
export PGPORT=5432
export PGUSER=postgres
export PGPASSWORD=postgres_007%

В исключительном случае следующие команды позволяют полностью удалить Apache, mod_tile и renderd и переустановить службу:

sudo rm -r ~/src/mod_tile/
sudo apt-get purge apache2 apache2-dev
sudo rm -r /etc/apache2/mods-available
sudo rm /usr/local/etc/renderd.conf
sudo rm  /etc/init.d/renderd
sudo rm -rf /var/lib/mod_tile
sudo rm -rf /usr/lib/apache2
sudo rm -rf /etc/apache2/
sudo rm -rf /var/run/renderd
sudo apt-get --reinstall install apache2-bin
sudo apt-get install apache2 apache2-dev

Формат имен тайлов сервера тайлов OpenStreetMap

Наименование файлов и формат изображений, используемые mod_tile, описаны в Slippy map tilenames . Похожий формат также используется Google Maps и многими другими поставщиками карт.

TMS и WMS — это другие протоколы для обслуживания карт в виде фрагментов, управляемые различными бэкэндами рендеринга.

Развертывание собственной карты Slippy Map

В терминологии OpenStreetMap мозаичная веб-карта также известна как скользящая карта.

OpenStreetMap не предоставляет «официальную» библиотеку JavaScript, которую вы обязаны использовать. Вместо этого вы можете использовать любую библиотеку, которая соответствует вашим потребностям. Две самые популярные — OpenLayers и Leaflet. Обе с открытым исходным кодом.

Страница Развертывание собственной карты Slippy Map иллюстрирует, как встроить ранее установленный сервер карт в веб-сайт. Упоминается ряд возможных библиотек карт, включая некоторые релевантные ( Leaflet , OpenLayers , Google Maps APIGoogle Maps API ), а также множество альтернатив.

OpenLayers

Чтобы отобразить скользящую карту с помощью OpenLayers, создайте файл с именем ol.html в каталоге /var/www/html.

sudo vi /var/www/html/ol.html

Вставьте следующий HTML-код в файл.

Вы можете настроить долготу, широту и уровень масштабирования в соответствии с вашими потребностями. Проверьте var zoom = 2, center = [0, 0];.

Обратите внимание, что мы используем https для openstreetmap.org .

<!DOCTYPE html>
<html>
<head>
<title>OpenStreetMap with OpenLayers</title>
<link rel="stylesheet" href="https://openlayers.org/en/v4.6.5/css/ol.css" type="text/css">
<script src="https://openlayers.org/en/v4.6.5/build/ol.js"></script>
<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.2.4/jquery.min.js"></script>
  <style>
  html,
  body,
  #map {
    height: 100%;
    margin: 0;
    padding: 0;
  }
  .ol-custom-overviewmap,
  .ol-custom-overviewmap.ol-uncollapsible {
    bottom: auto;
    left: auto;
    right: 0;
    top: 85px;
  }
  .ol-zoom {
    top: 3em;
  }
  .ol-zoom-extent {
      top: 20.6em!important;
  }
  .ol-zoomslider {
      top: 7.7em!important;
  }
  .ol-custom-fullscreen {
    bottom: auto;
    left: auto;
    right: 0;
    top: 50px;
  }
  .ol-custom-mouse-positionXY {
    top: auto;
    bottom: 4em;
    font-family: "Arial";
    font-size: 12px;
    text-shadow: 0 0 0.5em #FFE, 0 0 0.5em #FFE, 0 0 0.5em #FFE;
  }
  .ol-custom-mouse-positionHDMS {
    top: auto;
    bottom: 5em;
    font-family: "Arial";
    font-size: 12px;
    text-shadow: 0 0 0.5em #FFE, 0 0 0.5em #FFE, 0 0 0.5em #FFE;
  }
  .ol-custom-mouse-position3857 {
    top: auto;
    bottom: 6em;
    font-family: "Arial";
    font-size: 12px;
    text-shadow: 0 0 0.5em #FFE, 0 0 0.5em #FFE, 0 0 0.5em #FFE;
  }
  #ZoomElement {
    position: absolute;
    top: auto;
    left: 10px;
    bottom: 2.5em;
    text-decoration: none;
    font-family: "Arial";
    font-size: 10pt;
    text-shadow: 0 0 0.5em #FFE, 0 0 0.5em #FFE, 0 0 0.5em #FFE;
    z-index: 30;
  }
  #TSLabel {
    position: absolute;
    top: 21px;
    right: 0;
    font-family: "Arial";
    font-size: 12px;
    z-index: 30;
  }
  #osmLabel {
    position: absolute;
    top: 21px;
    left: 0;
    font-family: "Arial";
    font-size: 12px;
    z-index: 30;
  }
  #swipe {
    position: absolute;
    top: 0;
    left: -4px;
    z-index: 20;
  }
</style>
</head>
<body>
  <div class="ol-viewport">
  <input class="ol-unselectable ol-control" id="swipe" type="range" style="width: 100%">
  <div class="ol-unselectable ol-control" id="TSLabel"> Tile Server &#9658;</div>
  <div class="ol-unselectable ol-control" id="osmLabel">&#9668; OpenStreetMap </div>
  <a class="ol-unselectable ol-control" id="ZoomElement"></a>
  </div>
  <div tabindex="0" id="map" class="map"></div>
  <script>
    var zoom = 2, center = [0, 0];

    // Set up the Tile Server layer
    var myTileServer = new ol.layer.Tile({
      preload: Infinity,
      source: new ol.source.OSM({
        crossOrigin: null,
        url: 'osm_tiles/{z}/{x}/{y}.png'
      })
    });

    // Set up the OSM layer
    var openStreetMap = new ol.layer.Tile({
      preload: Infinity,
      source: new ol.source.OSM({
        crossOrigin: null,
        url: 'https://{a-c}.tile.openstreetmap.org/{z}/{x}/{y}.png'
      })
    });

    if (window.location.hash !== '') {
      var hash = window.location.hash.replace('#', '');
      var parts = hash.split(';');
      if (parts.length === 3) {
        zoom = parseInt(parts[0], 10);
        center = [
          parseFloat(parts[2]),
          parseFloat(parts[1])
          ];
      }
    }

    // Set up the default view
    var myTileView = new ol.View({
      center: ol.proj.transform(center, 'EPSG:4326', 'EPSG:3857'),
      zoom: zoom
    });

    // Create the map
    var map = new ol.Map({
      layers: [myTileServer, openStreetMap],
      loadTilesWhileInteracting: true,
      target: 'map',
      controls: ol.control.defaults().extend([
        new ol.control.ScaleLine(),
        new ol.control.Zoom(),
        new ol.control.ZoomSlider(),
        new ol.control.ZoomToExtent(),
        new ol.control.FullScreen({
          className: 'ol-fullscreen ol-custom-fullscreen'
        }),
        new ol.control.OverviewMap({
          className: 'ol-overviewmap ol-custom-overviewmap'
        }),
        new ol.control.MousePosition({
          className: 'ol-mouse-position ol-custom-mouse-position3857',
          coordinateFormat: ol.coordinate.createStringXY(4),
          projection: 'EPSG:3857',
          undefinedHTML: '&nbsp;'
        }),
        new ol.control.MousePosition({
          coordinateFormat: function(coord) {
            return ol.coordinate.toStringHDMS(coord);
          },
          projection: 'EPSG:4326',
          className: 'ol-mouse-position ol-custom-mouse-positionHDMS',
          target: document.getElementById('mouse-position'),
          undefinedHTML: '&nbsp;'
        }),
        new ol.control.MousePosition({
          className: 'ol-mouse-position ol-custom-mouse-positionXY',
          coordinateFormat: ol.coordinate.createStringXY(4),
          projection: 'EPSG:4326',
          undefinedHTML: '&nbsp;'
        }),
      ]),
      view: myTileView
    });
    map.on("moveend", function() {
      var view = map.getView();
      var center = ol.proj.transform(view.getCenter(), 'EPSG:3857', 'EPSG:4326');
      var zoom = view.getZoom();
      var zoomInfo = 'Zoom level = ' + zoom;
      document.getElementById('ZoomElement').innerHTML = zoomInfo;
      window.location.hash =
        view.getZoom() + ';' +
          Math.round(center[1]*1000000)/1000000 + ';' +
          Math.round(center[0]*1000000)/1000000;
    });

    var swipe = document.getElementById('swipe');

    openStreetMap.on('precompose', function(event) {
        var ctx = event.context;
        var width = ctx.canvas.width * (swipe.value / 100);

        ctx.save();
        ctx.beginPath();
        ctx.rect(width, 0, ctx.canvas.width - width, ctx.canvas.height);
        ctx.clip();
      });

    openStreetMap.on('postcompose', function(event) {
        var ctx = event.context;
        ctx.restore();
      });

    swipe.addEventListener('input', function() {
        map.render();
    }, false);
  </script>
</body>
</html>

Сохраните и закройте файл. Теперь вы можете просмотреть свою скользящую карту, введя следующий URL в браузере.

http://your-server-ip/ol.html

echo "http://`wget http://ipinfo.io/ip -qO -`/ol.html"

Листовка

Leaflet — это библиотека JavaScript для встраивания карт. Она проще и меньше, чем OpenLayers.

Самый простой пример отображения вашей скользящей карты с помощью Leaflet — создание файла с именем lf.html в каталоге /var/www/html .

sudo vi /var/www/html/lf.html

Вставьте следующий HTML-код в файл. Замените your-server-ip на ваш IP-адрес и настройте долготу, широту и уровень масштабирования в соответствии с вашими потребностями.

<!DOCTYPE html>
<html>
<head>
<title>OpenStreetMap with Leaflet</title>
<link rel="stylesheet" href="http://cdn.leafletjs.com/leaflet-0.6.4/leaflet.css" type="text/css">
<script src="http://cdn.leafletjs.com/leaflet-0.6.4/leaflet.js"></script>
<style>
  html,
  body,
  #map {
    height: 100%;
    margin: 0;
    padding: 0;
  }
</style>
</head>
<body>
  <div id="map" class="map"></div>
  <script>
    // Create the map
    var map = L.map('map').setView([45, 10], 3);

    // Set up the OSM layer
    L.tileLayer(
    'http://your-server-ip/osm_tiles/{z}/{x}/{y}.png'
    ).addTo(map);
  </script>
</body>
</html>

Сохраните и закройте файл. Теперь вы можете просмотреть свою скользящую карту, введя следующий URL в браузере.

http://your-server-ip/lf.html

Быстрый способ протестировать скользящую карту — воспользоваться онлайн-площадкой для изучения исходного кода, например, этим шаблоном JSFiddle.

В следующем примере Leaflet используется для отображения данных OpenStreetMap.

Плитки по умолчанию можно заменить на плитки вашего сервера, изменив

https://{s}.tile.openstreetmap.org/{z}/{x}/{y}.png

к http://your-server-ip/osm_tiles/{z}/{x}/{y}.png.

Чтобы отредактировать образец, нажмите Edit в JSFiddle . Затем на панели Javascript измените строку внутри кавычек, как описано выше. Нажмите Run .

Дополнения и файлы

Упомянутые команды:

sudo apt update — обновляет список пакетов последней информацией из настроенных репозиториев.
sudo apt update — устанавливает доступные обновления для вашей текущей версии Ubuntu.
sudo apt dist-upgrade — выполняет более тщательное обновление, которое более тщательно обрабатывает зависимости пакетов.
sudo apt autoremove — удаляет из системы неиспользуемые или устаревшие пакеты.
sudo restart — перезагружает систему, чтобы все изменения вступили в силу.
sudo apt install update-manager-core — устанавливает основной пакет менеджера обновлений, если он еще не установлен.
sudo do-release-upgrade — запускает процесс обновления выпуска Ubuntu.

Дополнения и Файлы

¹⁾

Более подробную информацию можно найти в описании процесса на сайте mod_tile

²⁾

см. главу «The toolchain»

³⁾

При подготовке настоящего документа использовались следующие источники:

⁴⁾

Развертывание новой версии Mapnik (3.0.19)

⁵⁾

talaj комментарий 8 февр. ↩

⁶⁾

Самый надежный способ импорта больших наборов данных с помощью osm2psq

⁷⁾

Информация из блога Пола Нормана.

⁸⁾

.travis.yml применяет пользовательские индексы через psql -1Xq -v ON_ERROR_STOP=1 -d gis -f indexes.sql. Обратите внимание, что indexes.sql должен поддерживаться в актуальном состоянии с помощью indexes.py , и это также проверяется .travis.yml

ubuntu_server_24.10_install_gitlab

anonymous@undisclosed.example.com (Anonymous) — Sat, 06 Dec 2025 16:56:58 +0000

Установка GitLab в Ubuntu 24.10

Введение

GitLab — это приложение с открытым исходным кодом, которое в основном используется для размещения репозиториев Git, с дополнительными функциями, связанными с разработкой, такими как отслеживание проблем. Он предназначен для размещения с использованием вашей собственной инфраструктуры и обеспечивает гибкость при развертывании в качестве внутреннего хранилища репозитория для вашей команды разработчиков, общедоступного способа взаимодействия с пользователями или средства для участников для размещения своих собственных проектов.

Проект GitLab позволяет вам создать экземпляр GitLab на вашем собственном оборудовании с минимальным механизмом установки. Это руководство научит вас, как установить и настроить GitLab Community Edition на сервере Ubuntu.

Предварительные условия

Если вы используете Ubuntu версии 16.04 или ниже, мы рекомендуем вам обновиться до более последней версии, поскольку Ubuntu больше не поддерживает эти версии. Этот сборник руководств поможет вам обновить версию Ubuntu.

Чтобы следовать этому руководству, вам понадобится:

Сервер под управлением Ubuntu вместе с пользователем без полномочий root с sudo привилегиями и активным брандмауэром. Для получения инструкций по их настройке выберите свой дистрибутив из этого списка и следуйте нашему Руководству по первоначальной настройке сервера.

Опубликованные требования к оборудованию GitLab рекомендуют использовать сервер как минимум с:

4 ядра для вашего процессора
4 ГБ ОЗУ для памяти

Хотя вы можете обойтись заменой оперативной памяти некоторым пространством подкачки, это не рекомендуется. Следующие примеры в этом руководстве будут использовать эти минимальные ресурсы.

Доменное имя, указывающее на ваш сервер. Для получения дополнительной информации прочтите нашу документацию о том, как начать работу с DNS в DigitalOcean. В этом руководстве мы будем использовать его your_domain в качестве примера, но обязательно замените его своим доменным именем.

Установка зависимостей

Перед установкой GitLab важно установить программное обеспечение, которое он использует во время установки и на постоянной основе. Необходимое программное обеспечение можно установить из репозиториев пакетов Ubuntu по умолчанию.

Сначала обновите индекс локального пакета:

sudo apt update

Затем установите зависимости, введя эту команду:

sudo apt install ca-certificates curl openssh-server postfix tzdata perl

Вероятно, часть этого программного обеспечения у вас уже установлена. Для postfix установки выберите Интернет-сайт при появлении запроса. На следующем экране введите доменное имя вашего сервера, чтобы настроить способ отправки почты системой.

Теперь, когда у вас установлены зависимости, вы готовы установить GitLab.

Установка GitLab

Имея зависимости, вы можете установить GitLab. В этом процессе используется сценарий установки для настройки вашей системы с помощью репозиториев GitLab.

Сначала перейдите в /tmp каталог:

cd /tmp

Затем скачайте скрипт установки:

curl -LO https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.deb.sh

Или можно это сделать с помощью test скрипта script.deb.sh этого сайта

curl -LO https://wwoss.ru/test/script.deb.sh

Не стесняйтесь изучить загруженный скрипт, чтобы убедиться, что вам понятны действия, которые он будет выполнять. Вы также можете найти размещенную версию скрипта в инструкции по установке GitLab :

less /tmp/script.deb.sh

Как только вы будете удовлетворены безопасностью скрипта, запустите установщик:

sudo bash /tmp/script.deb.sh

Скрипт настраивает ваш сервер для использования репозиториев, поддерживаемых GitLab. Это позволяет вам управлять GitLab с помощью тех же инструментов управления пакетами, которые вы используете для других системных пакетов. После завершения вы можете установить фактическое приложение GitLab с помощью apt:

sudo apt install gitlab-ce

Либо версии gitlab-ce 16.9.1

sudo apt-get install gitlab-ce=16.9.1-ce.0

Это приведет к установке необходимых компонентов в вашу систему и может занять некоторое время.

Альтернативный способ

cd /tmp

wget --content-disposition https://packages.gitlab.com/gitlab/gitlab-ce/packages/ubuntu/noble/gitlab-ce_17.7.6-ce.0_amd64.deb/download.deb

sudo dpkg -i gitlab-ce_17.7.6-ce.0_amd64.deb

Настройка правил брандмауэра

Прежде чем настраивать GitLab, вам необходимо убедиться, что правила вашего брандмауэра достаточно разрешающие, чтобы разрешать веб-трафик. Если вы следовали руководству, указанному в предварительных условиях, у вас уже ufw включен брандмауэр.

Просмотрите текущий статус вашего активного брандмауэра, выполнив:

sudo ufw status

Текущие правила разрешают трафик SSH, но доступ к другим сервисам ограничен. Поскольку GitLab — это веб-приложение, вам необходимо разрешить доступ по HTTP. Поскольку вы воспользуетесь возможностью GitLab запрашивать и включать бесплатный сертификат TLS/SSL от Let's Encrypt, также разрешите доступ по HTTPS.

Протокол сопоставления портов для HTTP и HTTPS доступен в /etc/service sфайле, поэтому вы можете разрешить этот трафик по имени. Если у вас еще не включен трафик OpenSSH, вам следует разрешить этот трафик:

sudo ufw allow http
sudo ufw allow https
sudo ufw allow OpenSSH

Вы можете проверить ufw status еще раз, чтобы убедиться, что вы предоставили доступ как минимум к этим двум службам:

sudo ufw status

Этот вывод указывает на то, что веб-интерфейс GitLab теперь доступен после настройки приложения.

См. Hастройка брандмауэра с помощью UFW Ubuntu Server

Редактирование файла конфигурации GitLab

Прежде чем вы сможете использовать приложение, обновите файл конфигурации и запустите команду реконфигурации. Сначала откройте файл конфигурации GitLab в предпочитаемом вами текстовом редакторе. В этом примере используется nano:

sudo nano /etc/gitlab/gitlab.rb

Найдите external_url строку конфигурации. Обновите его, чтобы он соответствовал вашему домену:

ip.exsample

Примеры external_url 'http(s)://your_domain':
external_url 'http://192.168.1.145'
external_url 'https://wwoss.ru'
external_url 'http://192.168.1.75:7575'

Если external_url указывается с номером порта отличным от 80, 443, при включенном брандмауэре, то необходимо прописать в настройках брандмауэра этот порт:

sudo ufw allow 7575/tcp

Запустите следующую команду, чтобы перенастроить GitLab:

sudo gitlab-ctl reconfigure

Это инициализирует GitLab, используя информацию, которую он сможет найти о вашем сервере. Это полностью автоматизированный процесс, поэтому вам не придется отвечать ни на какие подсказки.

Проверьте установку с помощью следующей команды:

sudo gitlab-rake gitlab:env:info

Первоначальные настройки через веб-интерфейс

При запущенном GitLab вы можете выполнить первоначальную настройку приложения через веб-интерфейс.

Вход в систему в первый раз

Посетите доменное, указанное вами в external_url, имя вашего сервера GitLab в веб-браузере:

Посетите доменное имя вашего сервера GitLab в веб-браузере:

http://192.168.1.75:7575

При первом посещении вас встретит страница входа:

GitLab генерирует для вас первоначальный безопасный пароль. Он хранится в папке, к которой вы можете получить доступ как администратор sudo:

sudo nano /etc/gitlab/initial_root_password

Вернувшись на страницу входа, введите следующее:

Имя пользователя: root
Пароль: [пароль указан на /etc/gitlab/initial_root_password]

Введите эти значения в поля и нажмите кнопку «Войти» . Вы войдете в приложение и попадете на целевую страницу, на которой вам будет предложено начать добавлять проекты:

Теперь вы можете точно настроить свой экземпляр GitLab.

Обновление вашего пароля

Первое, что вам следует сделать после входа в систему, — это сменить пароль. Чтобы внести это изменение, нажмите значок в правом верхнем углу панели навигации и выберите «Редактировать профиль»:

Затем вы попадете на страницу настроек пользователя. На левой панели навигации выберите «Пароль» , чтобы изменить пароль, сгенерированный GitLab, на безопасный пароль, а затем нажмите кнопку «Сохранить пароль» , когда закончите вносить обновления:

Вы вернетесь на экран входа в систему с уведомлением о том, что ваш пароль был изменен. Введите новый пароль, чтобы снова войти в свой экземпляр GitLab:

Заключение

Теперь у вас есть работающий экземпляр GitLab, размещенный на вашем собственном сервере. Вы можете начать импортировать или создавать новые проекты и настраивать соответствующий уровень доступа для команды. GitLab регулярно добавляет функции и обновляет свою платформу, поэтому обязательно посещайте домашнюю страницу проекта, чтобы быть в курсе любых улучшений или важных уведомлений.

Ссылки и Дополнения

ubuntu / noble

ubuntu_server_directories_structure

anonymous@undisclosed.example.com (Anonymous) — Fri, 01 Mar 2024 04:29:19 +0000

Структура каталогов (папок) файловой системы Linux

Операционные системы на базе Linux имеют определенную структуру каталогов. Существует специальный стандарт Filesystem Hierarchy Standard (FHS, стандарт иерархии файловой системы). Данный стандарт определяет типовые места хранения файлов в файловой системе Linux, он определяет основные каталоги, их названия и предназначение. Корнем файловой системы является корневой каталог, который обозначается как /. Внутри корневого каталога расположены все базовые каталоги, каждый из которых, предназначен для определенных целей. Ниже приводится краткое описание основных стандартных каталогов операционной системы Linux.

В большинстве случаев, когда говорят о каталогах в Linux, используют именно понятие Каталог. Пользователям Windows, наверное, ближе понятие Папка. Будем считать, что понятия Каталог, папка и директория эквивалентны.

Файловая система в ОС Linux, как и в ОС Windows, представляет собой иерархическую структуру каталогов и файлов (в виде дерева), но при этом имеет ряд кардинальных отличий.

Структура каталогов

В ОС Windows жесткие диски называются латинскими буквами (С:, D:, …), и каждый из дисков представляет собой корневой каталог с собственным деревом папок. Подключение же нового устройства приведет к появлению нового корневого каталога со своей буквой (например, F:). В ОС Linux файловая система представлена единым корневым каталогом, обозначаемым как слэш (/). Соответственно, при данной файловой структуре не диски содержат каталоги, а каталог — диски.

Подключение внешних носителей

В ОС Linux имеется процедура монтирования: когда подключается съемный носитель или диск, файл устройства будет виден в каталоге /dev (devices). Чтобы увидеть содержимое этого устройства, его нужно смонтировать в отдельную директорию /mnt. Также файловая система позволяет примонтировать его и в любое другое место, например /home.

Понятие файла

Понятие «файл» в Linux имеет несколько другое значение, нежели в Windows. «Файлом» можно назвать обычный файл, содержащий данные, и интерпретируемый программой. Директория также является «файлом», содержащим в себе ссылки на другие директории или файлы с данными. Файлы устройства указывает на драйвер, благодаря которому система взаимодействует с физическими устройствами. Имеются и многие другие типы файлов.

Принцип установки программ

Если в Windows программы, зачастую, хранят все данные в одной папке, например в «C:Program FilesProgramName», то в Linux файлы программы разделяются по каталогам в зависимости от типа. Например, исполняемые файлы в /bin, библиотеки в /lib, файлы конфигураций в /etc, логи и кэш в /var.

Регистр имен

Также стоит отметить чувствительность файловой системы Linux к регистру. Файлы Temp.txt и temp.txt будут интерпретироваться как разные файлы и могут находиться в одной директории, в отличие от ОС Windows, который не различает регистр имен. То же правило действует и на каталоги — имена в разных регистрах указывают на разные каталоги.

Назначение каждой директории регламентирует «Стандарт иерархии файловой системы» FHS (Filesystem Hierarchy Standard). Ниже опишем основные директории согласно стандарту FHS:

Основные директории

Дерево файлов и каталогов начинается с корня первичной иерархии (/). Единственный пользователь root имеет право на запись в этом каталоге. /root – домашний каталог пользователя root, который не совпадает с корнем /.

Каталог «/»

Корневой каталог, это есть «слэш» — «/». Слэш это самое начало (корень) дерева каталогов (директорий). Аналог в Windows это «c:\».

Каталог «/bin»

Каталог содержит в себе команды, основные команды, которые необходимы пользователю для работы в системе. Например: командные оболочки, команды файловой системы (ls, cp и т.д.). Каталог /bin по сути не должен изменяться, но если изменяется, то только при обновлениях пакетов программ, которые предоставляют разработчики операционной системы. Аналог в Windows это «c:\windows\».

Каталог «/boot»

Каталог содержит файлы, которые использует загрузчик ОС — LInux LOader (LILO). Этот каталог так же как и /bin практически не изменяется после установки. Аналог в Windows это экран в начале загрузки Windows: «безопасный режим, загрузка последней удачной конфигурации и т.д.».

Каталог «/dev»

В Linux всё рассматривается как файл: жёсткие диски (HDD), USB-устройства, последовательные и параллельные порты, сканеры. Описания всех устройств системы находятся в этом каталоге. Чтобы получить доступ к какому либо устройству, необходимо чтобы в каталоге /dev существовал файл device node, описывающий это устройство. Все эти файлы находятся в каталоге /dev. Аналог в Windows отсутствует.

Каталог «/etc»

Этот каталог содержит файлы настроек: всё, от конфигурационных файлов системы X Window, базы данных пользователей и до стартовых сценариев. Аналог в Windows ini-файлы.

Каталог «/home»

В этом каталоге размещены домашние каталоги пользователей. Так как Linux является многопользовательской системой, то и каждому пользователю присваивается имя, а в сел за этим и уникальный каталог для персональных файлов. Это домашний (home) каталог пользователя. Аналог в Windows в первом приблежении это папка «Documents and Settings».

Каталог «/lib»

В этом каталоге находятся системные библиотеки, необходимые для основных программ: библиотека C, динамический загрузчик, библиотека ncurses, модули ядра и другое. Аналог в Windows это «c:\windows\system32».

Каталог «/lost+found»

В этом каталоге сохраняются восстановленные части файловой системы. При загрузке системы происходит проверка файловых систем на наличие ошибок. Для исправления ошибок файловой системы запускается программа fsck. Аналог в Windows это директории «found.000».

Каталог «/media»

Каталог, содержащий в себе подключенные накопители, cd-диски, dvd-диски, usb-накопители. Этот каталог присутствует в Debian-семействах Linux. Аналог в Windows отсутствует.

Каталог «/mnt»

Этот каталог предоставляется как временная точка монтирования для жёстких дисков, дискет, компакт-дисков или отключаемых устройств. То же самое, что и /media. Аналог в Windows отсутствует.

Каталог «/opt»

В этом каталоге размещаются дополнительные пакеты программ. Все пакеты программ, устанавливаются в этот каталог, например /opt/<программный пакет>. В последствии если этот пакет больше не будет нужен, то достаточно всего лишь удалить соответствующий каталог. В дистрибутивах SlackWare некоторые программы изначально поставляются в каталоге /opt (например, KDE — в /opt/kde). Аналог в Windows это «Programm Files».

Каталог «/usr»

Это один из самых больших каталогов в системе. Практически всё остальное расположено здесь. Программы, документация, исходный код ядра и система X Window. Именно в этот каталог, чаще всего, устанавливаются программы. Аналог в Windows это «Programm Files».

Каталог «/proc»

Это специальный каталог не входящий в файловую систему. Каталог /proc представляет собой виртуальную файловую систему, которая предоставляет доступ к информации ядра. Различная информация, которую ядро может сообщить пользователям, находится в «файлах» каталога /proc. Например, в файле /proc/modules находится список загруженных модулей ядра. А в файле /proc/cpuinfo — информация о процессоре компьютера. Аналог в Windows отсутствует.

Каталог «/root»

Это домашний каталог администратора, вместо /home/root. Это потому, что каталог /home может находиться в разделе, отличном от корневого (/) и если по какой-то причине /home не может быть подключён, то пользователь root должен будет войти в систему, чтобы решить проблему. И если его домашний каталог на другом диске, то это усложнит вход в систему. Аналог в Windows находится в папке «Documents and Settings».

Каталог «/sbin»

В этом каталоге хранятся основные программы, выполняемые пользователем root, а так же программы выполняемые в процессе загрузки. Обычные пользователи не могут пользоваться этими программами. Аналог в Windows отсутствует.

Каталог «/srv»

В этом каталоге хранится только данные различных сервисов. Сервисы — это процессы, которые работают в невидимом режиме (фоновом) и сохраняющих работоспособность системы в целом. Аналог в Windows отсутствует.

Каталог «/sys»

В каталоге /sys находятся средства управления настройками и конфигурациями системы. Аналог в Windows отсутствует.

Каталог «/tmp»

Временное хранилище данных. Все пользователи имеют права чтения и записи в этом каталоге. Аналог в Windows папка «Temp».

Каталог «/var»

В этом каталоге хранятся системные лог-файлы, кэш-файлы и файлы-замки программ. Это каталог для часто меняющихся данных. Аналог в Windows отсутствует.

Базовые команды

cd (англ. change directory) – переход в другой каталог.
ls (англ. list) – просмотр содержимого каталога.

Ссылки и Дополнения

ubuntu_server_install_apache

anonymous@undisclosed.example.com (Anonymous) — Fri, 01 Mar 2024 09:05:52 +0000

Установка Apache HTTP Server в Ubuntu 22.04

Введение

Apache HTTP Server является наиболее широко используемым веб-сервером в мире. Он предоставляет множество мощных функций, включая динамически загружаемые модули, надежную поддержку мультимедиа и обширную интеграцию с другим популярным программным обеспечением.

В этом руководстве мы проследим, как установить Apache HTTP Server на сервер Ubuntu 22.04.

Подключимся к нашему серверу через программу PuTTY, введем логин указанный при установке нашего сервера и пароль.

Предварительные условия

Прежде чем приступить к работе с этим руководством, на вашем сервере должен быть настроен обычный пользователь без полномочий root с привилегиями sudo. Кроме того, вам необходимо включить базовый брандмауэр для блокировки несущественных портов. Вы можете узнать, как настроить учетную запись обычного пользователя и настроить брандмауэр для вашего сервера, следуя нашему руководству по начальной настройке сервера для Ubuntu 20.04 .

Если у вас есть доступная учетная запись, для начала войдите в систему как пользователь без полномочий root.

Установка Apache

Apache доступен в репозиториях программного обеспечения Ubuntu по умолчанию, что позволяет установить его с помощью обычных инструментов управления пакетами.

Начнем с обновления локального индекса пакетов, чтобы отразить последние изменения исходного кода:

sudo apt update

Введем повторно пароль и дождемся окончания обновления индекса пакетов.

Установим непосредственно сам пакет Apache HTTP Server

sudo apt install apache2

После подтверждения установки apt install

Do you want to continue? [Y/n] **Y**

будет установлен Apache и все необходимые зависимости.

Настройка брандмауэра

Перед тестированием Apache необходимо изменить настройки брандмауэра, чтобы разрешить внешний доступ к веб-портам по умолчанию. Предполагая, что вы следовали инструкциям, указанным в предварительных требованиях, у вас должен быть настроен брандмауэр UFW, ограничивающий доступ к вашему серверу.

Во время установки Apache регистрируется в UFW, чтобы предоставить несколько профилей приложений, которые можно использовать для включения или отключения доступа к Apache через брандмауэр.

Перечислите ufw профили приложений, набрав:

sudo ufw app list

Как видно из результатов, для Apache доступны три профиля:

Apache : этот профиль открывает только порт 80 (обычный незашифрованный веб-трафик).
Apache Full : этот профиль открывает как порт 80 (обычный незашифрованный веб-трафик), так и порт 443 (зашифрованный трафик TLS/SSL).
Apache Secure : этот профиль открывает только порт 443 (трафик с шифрованием TLS/SSL).

Рекомендуется включить наиболее ограничительный профиль, который по-прежнему будет разрешать настроенный вами трафик. Поскольку в этом руководстве мы еще не настроили SSL для нашего сервера, нам нужно будет разрешить трафик только через порт 80:

sudo ufw allow 'Apache'

Правила обновлены и вы можете проверить изменение, набрав:

sudo ufw status

В результате, при включенном брандмауэре, будет предоставлен список разрешенного HTTP-трафика с уведомлением запись «Status: active» и мы смело переходим к главе Проверка вашего веб-сервера

В случае же отключенного брандмауэра, мы получим запись «Status: inactive»

Включение брандмауэра UFW в Ubuntu

Как только мы обнаружим, что брандмауэр не активен, проверим, добавлены ли к нему какие-либо правила. Эта команда будет работать, даже если брандмауэр неактивен.

sudo ufw show added

Проверим правила и убедимся, что если мы включим брандмауэр, с нашим сервером все будет в порядке. А затем включим брандмауэр с подтверждением наших действий клавишей Y.

sudo ufw enable

Снова проверим статус брандмауэра UFW ранее использованной командой:

sudo ufw status

Брандмауэр успешно активирован.

См. подробную статью о настройке брандмауэра через UFW

Проверка вашего веб-сервера

Наш веб-сервер уже должен быть установлен и запущен. Проверим systemd систему инициализации, чтобы убедиться, что служба работает, набрав:

sudo systemctl status apache2

Как подтверждает этот вывод, служба запущена успешно. Однако лучший способ проверить это — запросить страницу у Apache.

Вы можете получить доступ к целевой странице Apache по умолчанию, чтобы убедиться, что программное обеспечение работает правильно через ваш IP-адрес. Если вы не знаете IP-адрес вашего сервера, вы можете получить его несколькими способами из командной строки.

Попробуйте ввести это в командной строке вашего сервера:

hostname -I

Другой вариант — использовать инструмент Icanhazip, который должен предоставить вам ваш общедоступный IP-адрес, прочитанный из другого места в Интернете:

curl -4 icanhazip.com

Когда у вас есть IP-адрес вашего сервера, введите его в адресную строку браузера (у меня это 192.168.1.145):

http://192.168.1.145

Вы должны увидеть веб-страницу Apache Ubuntu 22.04 по умолчанию:

Эта страница указывает на то, что Apache работает правильно. Он также включает некоторую базовую информацию о важных файлах Apache и расположении каталогов.

Управление процессом Apache

Теперь, когда ваш веб-сервер настроен и работает, давайте рассмотрим некоторые основные команды управления с использованием systemctl.

Чтобы остановить ваш веб-сервер, введите:

sudo systemctl stop apache2

Чтобы запустить веб-сервер, когда он остановлен, введите:

sudo systemctl start apache2

Чтобы перезапустить веб-сервер, когда это необходимо, введите:

sudo systemctl restart apache2

Если вы просто вносите изменения в конфигурацию, Apache часто может перезагрузиться, не разрывая соединения. Для этого используйте эту команду:

sudo systemctl reload apache2

По умолчанию Apache настроен на автоматический запуск при загрузке сервера. Если это не то, что вам нужно, отключите это поведение, набрав:

sudo systemctl disable apache2

Чтобы снова включить запуск службы при загрузке, введите:

sudo systemctl enable apache2

Теперь Apache должен запускаться автоматически при повторной загрузке сервера.

Настройка виртуальных хостов (рекомендуется)

При использовании веб-сервера Apache вы можете использовать виртуальные хосты (аналогично серверным блокам в Nginx) для инкапсуляции деталей конфигурации и размещения более одного домена на одном сервере. Мы создадим домен под названием your_domain, но вам следует заменить его своим собственным доменным именем.

В Apache в Ubuntu 22.04 по умолчанию включен один серверный блок, который настроен для обслуживания документов из /var/www/html каталога. Хотя это хорошо работает для одного сайта, это может стать громоздким, если вы размещаете несколько сайтов. Вместо изменения /var/www/html, давайте создадим структуру каталогов /var/www для сайта your_domain, оставив ее /var/www/html в качестве каталога по умолчанию, который будет обслуживаться, если запрос клиента не соответствует никаким другим сайтам.

Создайте каталог для your_domain следующим образом:

sudo mkdir /var/www/your_domain

Затем назначьте владельца каталога с помощью $USER переменной среды:

sudo chown -R $USER:$USER /var/www/your_domain

Разрешения ваших веб-корней должны быть правильными, если вы не изменили значение umask, которое устанавливает разрешения для файлов по умолчанию. Чтобы убедиться, что ваши разрешения верны и разрешить владельцу читать, записывать и выполнять файлы, одновременно предоставляя разрешения только на чтение и выполнение группам и другим лицам, вы можете ввести следующую команду:

sudo chmod -R 755 /var/www/your_domain

Затем создайте образец index.html страницы, используя nano или ваш любимый редактор:

sudo nano /var/www/your_domain/index.html

Внутри добавьте следующий образец HTML:

index.html

<html>
    <head>
        <title>Welcome to Your_domain!</title>
    </head>
    <body>
        <h1>Success!  The your_domain virtual host is working!</h1>
    </body>
</html>

Сохраните CTRL+O→INTER и закройте CTRL+X файл, когда закончите.

Чтобы Apache мог обслуживать этот контент, необходимо создать файл виртуального хоста с правильными директивами. Вместо того, чтобы изменять файл конфигурации по умолчанию, расположенный по /etc/apache2/sites-available/000-default.conf адресу, давайте создадим новый по адресу :/etc/apache2/sites-available/your_domain.conf

sudo nano /etc/apache2/sites-available/your_domain.conf

Вставьте следующий блок конфигурации, который аналогичен блоку по умолчанию, но обновлен для нашего нового каталога и имени домена:

your_domain.conf

<VirtualHost *:80>
    ServerAdmin webmaster@localhost
    ServerName your_domain
    ServerAlias www.your_domain
    DocumentRoot /var/www/your_domain
    ErrorLog ${APACHE_LOG_DIR}/error.log
    CustomLog ${APACHE_LOG_DIR}/access.log combined
</VirtualHost>

Обратите внимание, что мы обновили DocumentRoot наш новый каталог и ServerAdmin адрес электронной почты, к которому может получить доступ администратор сайта your_domain . Мы также добавили две директивы: ServerName, которая устанавливает базовый домен, который должен соответствовать этому определению виртуального хоста, и ServerAlias, которая определяет дополнительные имена, которые должны совпадать, как если бы они были базовым именем.

Сохраните CTRL+O→INTER и закройте CTRL+X файл, когда закончите.

Давайте активируем файл с помощью a2ensite инструмента:

sudo a2ensite your_domain.conf

Отключите сайт по умолчанию, определенный в 000-default.conf:

sudo a2dissite 000-default.conf

Далее проверим наличие ошибок конфигурации:

sudo apache2ctl configtest

Вы должны получить следующий вывод:

Перезапустите Apache, чтобы изменения вступили в силу:

sudo systemctl restart apache2

Теперь Apache должен обслуживать ваше доменное имя. Вы можете проверить это, перейдя к , где вы должны увидеть что-то вроде этого: http://your_domain (http://192.168.1.145)

Подключение и отключение виртуальных хостов

Для того что-б подключить/отключить виртуальный хост который прописан в файле /etc/apache2/sites-available/mercurial нужно выполнить:

Для подключения

sudo a2ensite mercurial

Для отключения

sudo a2dissite mercurial

Знакомство с важными файлами и каталогами Apache

Теперь, когда вы знаете, как управлять самой службой Apache, вам следует потратить несколько минут на ознакомление с несколькими важными каталогами и файлами.

Содержание

/var/www/html: Фактический веб-контент, который по умолчанию состоит только из страницы Apache по умолчанию, которую вы видели ранее, обслуживается из каталога /var/www/html. Это можно изменить, изменив файлы конфигурации Apache.

Конфигурация сервера

/etc/apache2: каталог конфигурации Apache. Здесь находятся все файлы конфигурации Apache.
/etc/apache2/apache2.conf: основной файл конфигурации Apache. Это можно изменить, чтобы внести изменения в глобальную конфигурацию Apache. Этот файл отвечает за загрузку многих других файлов в каталоге конфигурации.
/etc/apache2/ports.conf: этот файл определяет порты, которые будет прослушивать Apache. По умолчанию Apache прослушивает порт 80 и дополнительно прослушивает порт 443, когда включен модуль, обеспечивающий возможности SSL.
/etc/apache2/sites-available/: каталог, в котором могут храниться виртуальные хосты для каждого сайта. Apache не будет использовать файлы конфигурации, находящиеся в этом каталоге, если они не связаны с этим sites-enabled каталогом. Обычно вся конфигурация блоков сервера выполняется в этом каталоге, а затем включается путем связывания с другим каталогом с помощью команды a2ensite.
/etc/apache2/sites-enabled/: каталог, в котором хранятся включенные виртуальные хосты для каждого сайта. Обычно они создаются путем ссылки на файлы конфигурации, находящиеся в sites-available каталоге с расширением a2ensite. Apache считывает файлы конфигурации и ссылки, найденные в этом каталоге, при запуске или перезагрузке для компиляции полной конфигурации.
/etc/apache2/conf-available/, /etc/apache2/conf-enabled/: Эти каталоги имеют ту же связь, что и каталоги sites-available и sites-enabled, но используются для хранения фрагментов конфигурации, которые не принадлежат виртуальному хосту. Файлы в conf-available каталоге можно включить с помощью a2enconf команды и отключить с помощью a2disconf команды.
/etc/apache2/mods-available/, /etc/apache2/mods-enabled/: Эти каталоги содержат доступные и включенные модули соответственно. Файлы, заканчивающиеся на, .load содержат фрагменты для загрузки определенных модулей, а файлы, заканчивающиеся на, .conf содержат конфигурацию этих модулей. Модули можно включать и отключать с помощью команды a2enmod и a2dismod.

Журналы сервера

/var/log/apache2/access.log: по умолчанию каждый запрос к вашему веб-серверу записывается в этот файл журнала, если Apache не настроен на иное.
/var/log/apache2/error.log: По умолчанию все ошибки записываются в этот файл. Директива LogLevel в конфигурации Apache определяет, насколько подробно будут содержаться журналы ошибок.

Заключение

Теперь, когда у вас установлен веб-сервер, у вас есть множество вариантов типа контента, который вы можете обслуживать, и технологий, которые вы можете использовать для создания более богатого опыта.

Ссылки и Примечания

ubuntu_server_install_gitlab

anonymous@undisclosed.example.com (Anonymous) — Sat, 06 Dec 2025 16:58:44 +0000

Установка GitLab в Ubuntu 22.04

Введение

Предварительные условия

Чтобы следовать этому руководству, вам понадобится:

Опубликованные требования к оборудованию GitLab рекомендуют использовать сервер как минимум с:

4 ядра для вашего процессора
4 ГБ ОЗУ для памяти

Установка зависимостей

Сначала обновите индекс локального пакета:

sudo apt update

Затем установите зависимости, введя эту команду:

sudo apt install ca-certificates curl openssh-server postfix tzdata perl

Теперь, когда у вас установлены зависимости, вы готовы установить GitLab.

Установка GitLab

Сначала перейдите в /tmp каталог:

cd /tmp

Затем скачайте скрипт установки:

curl -LO https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.deb.sh

Или можно это сделать с помощью test скрипта script.deb.sh этого сайта

curl -LO https://wwoss.ru/test/script.deb.sh

less /tmp/script.deb.sh

Как только вы будете удовлетворены безопасностью скрипта, запустите установщик:

sudo bash /tmp/script.deb.sh

sudo apt install gitlab-ce

Либо версии gitlab-ce 16.9.1

sudo apt-get install gitlab-ce=16.9.1-ce.0

Это приведет к установке необходимых компонентов в вашу систему и может занять некоторое время.

Настройка правил брандмауэра

Просмотрите текущий статус вашего активного брандмауэра, выполнив:

sudo ufw status

sudo ufw allow http
sudo ufw allow https
sudo ufw allow OpenSSH

sudo ufw status

Этот вывод указывает на то, что веб-интерфейс GitLab теперь доступен после настройки приложения.

См. Hастройка брандмауэра с помощью UFW Ubuntu Server

Редактирование файла конфигурации GitLab

sudo nano /etc/gitlab/gitlab.rb

Найдите external_url строку конфигурации. Обновите его, чтобы он соответствовал вашему домену:

ip.exsample

Примеры external_url 'http(s)://your_domain':
external_url 'http://192.168.1.145'
external_url 'https://wwoss.ru'
external_url 'http://192.168.1.145:7575'

sudo ufw allow 7575/tcp

Запустите следующую команду, чтобы перенастроить GitLab:

sudo gitlab-ctl reconfigure

Проверьте установку с помощью следующей команды:

sudo gitlab-rake gitlab:env:info

Первоначальные настройки через веб-интерфейс

При запущенном GitLab вы можете выполнить первоначальную настройку приложения через веб-интерфейс.

Вход в систему в первый раз

Посетите доменное, указанное вами в external_url, имя вашего сервера GitLab в веб-браузере:

Посетите доменное имя вашего сервера GitLab в веб-браузере:

http://192.168.1.145:7575

При первом посещении вас встретит страница входа:

sudo nano /etc/gitlab/initial_root_password

Вернувшись на страницу входа, введите следующее:

Имя пользователя: root
Пароль: [пароль указан на /etc/gitlab/initial_root_password]

Теперь вы можете точно настроить свой экземпляр GitLab.

Обновление вашего пароля

Заключение

Ссылки и Дополнения

ubuntu_server_install_nginx

anonymous@undisclosed.example.com (Anonymous) — Sun, 07 Apr 2024 19:51:18 +0000

Установка Nginx в Ubuntu 22.04

Введение

Nginx (engine x — по-русски произносится как энджи́нкс или э́нжин-и́кс — веб-сервер и почтовый прокси-сервер, работающий на Unix-подобных операционных системах (тестировалась сборка и работа на FreeBSD, OpenBSD, Linux, Solaris, macOS, AIX и HP-UX). Начиная с версии 0.7.52 появилась экспериментальная бинарная сборка под Microsoft Windows.

Российский программист Игорь Сысоев начал разработку в 2002 году. Осенью 2004 года вышел первый публично доступный релиз. С июля 2011 работа над nginx продолжается в рамках компании Nginx.

В этом материале вы узнаете, как установить Nginx в системе Ubuntu 22.04 LTS. Это руководство также совместимо с системами Ubuntu 20.04 LTS и Ubuntu 18.04 LTS.

Предварительные условия

Сначала войдите в Ubuntu 22.04 через консоль. Затем обновите кэш Apt и обновите текущие пакеты системы с помощью следующей команды:

sudo apt update && sudo apt upgrade

При появлении запроса нажмите «Y» , чтобы подтвердить установку.

Установите Nginx в Ubuntu 22.04

После окончания процесса обновления пакетов можно установить Nginx на машину:

sudo apt install nginx

Дождемся окончания установки, а после добавим программу в автозагрузку:

sudo systemctl enable nginx

Теперь нужно проверить, что веб-сервер успешно установлен и работает, а также добавлен в автозагрузку. Проверим статус работы веб-сервера:

sudo service nginx status

Строка «Active: active (running)…» указывает на успешную работу сервера. Есть и другой способ проверить его работу. Нужно вставить IP-адрес сервера в адресную строку браузера. Если результат будет таким же, как на картинке ниже, то веб-сервер работает успешно.

Теперь проверим его наличие в автозагрузке:

sudo systemctl is-enabled nginx

В результате система выдаст следующее сообщение:enabled

Если в ответ на выполненную команду получаем «enabled», значит веб-сервер добавлен в автозагрузки.

Базовые команды управления

Для работы с установленным веб-сервером пригодятся базовые команды управления. Они приведены в таблице ниже.

Функция	Команда
Запуск	sudo systemctl start nginx
Отключение	sudo systemctl stop nginx
Перезапуск	sudo systemctl restart nginx
Перезагрузка	sudo systemctl reload nginx
Проверка состояния службы	sudo systemctl status nginx
Тестирование конфигурации	sudo nginx -t

Настройка брандмауэра

Установка и настройка брандмауэра позволит закрыть все порты, кроме необходимых нам — 22 (SSH), 80 (HTTP), 443 (HTTPS). Первый протокол необходим для подключения к удаленному серверу. Второй и третий необходим для связи между клиентом и сайтом. Главное их отличие в том, что HTTPS — это зашифрованный HTTP. Шифрование данных происходит благодаря SSL-сертификату.

Установим утилиту UFW:

sudo apt install ufw

После успешной установки добавим веб-сервер в список доступных приложений брандмауэра:

sudo nano /etc/ufw/applications.d/nginx.ini

Заполним файл следующим образом:

[Nginx HTTP]
title=Web Server
description=Enable NGINX HTTP traffic
ports=80/tcp

[Nginx HTTPS] \
title=Web Server (HTTPS) \
description=Enable NGINX HTTPS traffic
ports=443/tcp

[Nginx Full]
title=Web Server (HTTP,HTTPS)
description=Enable NGINX HTTP and HTTPS traffic
ports=80,443/tcp

Проверим список доступных приложений:

sudo ufw app list

Если среди них есть веб-сервер, значит всё сделано верно. Теперь нужно запустить брандмауэр и разрешить передачу трафика по вышеуказанным портам:

sudo ufw enable
sudo ufw allow 'Nginx Full'
sudo ufw allow 'OpenSSH'

Чтобы проверить изменения, вводим команду:

sudo ufw status

Если всё сделано правильно, то в статусе будут перечислены все порты, которые нам необходимы.

Настройка Nginx

Администрирование веб-сервера представляет из себя изменение и поддержку конфигурационных файлов. Среди них 1 файл конфигурации и 2 каталога. Это nginx.conf, sites-available и sites-enabled соответственно. Все они лежат в директории /etc/nginx.

Файл nginx.conf — это главный конфигурационный файл. Каталог sites-available содержит файлы конфигураций виртуальных хостов. Каждый отдельный файл хранит информацию об определенном сайте. Это его имя, IP-адрес и другие данные. Каталог sites-enabled, в свою очередь, состоит только из конфигураций активных сайтов. Только из директории sites-enabled читаются файлы конфигурации для виртуальных хостов. Также в ней хранятся ссылки на sites-available. Такая структура позволяет временно отключать сайты без потери их конфигураций.

Рассмотрим более детально главный файл конфигурации. Для этого откроем его для просмотра, используя редактор:

sudo nano /etc/nginx/nginx.conf

Каждый отдельный модуль — это директива, которая отвечает за определенные настройки веб-сервера. Они бывают простыми и блочными. Блочные директивы, помимо имени и параметров, хранят набор дополнительных инструкций, размещенных внутри фигурных скобок.

Перечислим некоторую часть директив главного конфигурационного файла:

user — это пользователь, от которого осуществляются все рабочие процессы.
worker_processes — число рабочих процессов сервера. Оно должно быть не больше, чем количество ядер процессора. Параметр auto установит число автоматически.
pid — файл с номером главного процесса.
include — отвечает за подключение иных файлов конфигурации, удовлетворяющих заданной маске.
events — контекст, состоящий из директив, влияющих на работу сетевого соединения.
- worker_connections — максимальное число одновременно работающих соединений одного рабочего процесса.
- multi_accept — флаг, который может быть как включен (on), так и выключен (off). Если он включен, то рабочий процесс будет принимать все новые соединения, иначе только одно.
- use — указывает метод обработки соединений. По умолчанию сервер выбирает наиболее подходящий и эффективный.
http — контекст, состоящий из директив, отвечающих за работу HTTP-сервера.
- sendfile — включает (on) или отключает (off) метод отправки данных sendfile().
- tcp_nopush, tcp_nodelay — параметры, влияющие на производительность. Первый заставляет сервер отправлять заголовки HTTP-ответов одним пакетом, а второй позволяет не буферизировать данные и отправлять их короткими очередями.
- keepalive_timeout — параметр, отвечающий за время ожидания keep-alive соединения до его разрыва со стороны сервера.
- keepalive_requests — максимальное число запросов по одному keep-alive соединению.
- error_log — лог ошибок веб-сервера. Для сбора ошибок в определенной секции (http, server и т.д.) необходимо разместить директиву внутри нее.
- gzip — сжатие контента.

Настройка виртуальных хостов

На сервере может быть расположено множество сайтов. Все запросы приходят на его IP-адрес, а после веб-сервер определяет, какой дать ответ, в зависимости от домена. Виртуальные хосты предназначены для того, чтобы сервер понимал, что и к какому домену относится. В качестве примера создадим сайт testsite.dev.

Создадим папку для сайта:

sudo mkdir -p /var/www/testsite.dev/html

После добавим индексный файл:

sudo nano /var/www/testsite.dev/html/index.html

Заполним его минимальными данными для отображения сайта:

<!DOCTYPE html>
<html lang="ru">
<head>
    <title>testsite.dev</title>
    <meta charset="utf-8">
</head>
<body>
    <h1>Hello, user</h1>
</body>
</html>

После создадим конфигурационный файл сайта в папке sites-available:

sudo nano /etc/nginx/sites-available/testsite.dev.conf

Заполним его простейшей конфигурацией:

server {
    listen 80;
    listen [::]:80;

    server_name testsite.dev www.testsite.dev;
    root /var/www/testsite.dev/html;
    index index.html index.xml;
}

Последнее, что осталось сделать, — это создать ссылку в директории sites-enabled на конфигурацию сайта testsite.dev, чтобы добавить его из доступных во включенные:

sudo ln -s /etc/nginx/sites-available/testsite.dev.conf /etc/nginx/sites-enabled/

После создания виртуального хоста проведем тестирование конфигурации:

sudo nginx -t

Отключим сайт по умолчанию, удалив запись о дефолтном виртуальном хосте:

sudo rm /etc/nginx/sites-enabled/default

Стоит уточнить, что после того, как мы отключим сайт по умолчанию, Nginx будет использовать первый встреченный серверный блок в качестве резервного сайта (то есть по IP-адресу сервера будет открываться самый первый сайт из конфигурации Nginx).

Перезагружаем веб-сервер:

sudo systemctl restart nginx

Проверим, что всё было сделано верно и сайт работает. Для этого можно вставить IP-адрес сервера или домен, если он зарегистрирован, в адресную строку браузера:

Заключение

В данной статье мы разобрали процесс установки Nginx на Linux, а именно на дистрибутив Ubuntu. С помощью этой инструкции можно провести базовую настройку веб-сервера и развернуть на нем свой первый сайт. Кроме этого, сервер подготовлен к переходу на зашифрованный протокол данных. Для этого нужно получить SSL-сертификат и настроить переадресацию с HTTP-протокола на HTTPS. Для настройки защищенного соединения вам будет необходимо сертификат SSL — заказать его можно в панели управления в разделе «SSL-сертификаты».

Ссылки и Дополнения

ubuntu_server_install_php

anonymous@undisclosed.example.com (Anonymous) — Thu, 29 Feb 2024 09:22:13 +0000

Установка PHP в Ubuntu 22.04

Введение

PHP — это язык программирования, используемый для разработки веб-приложений. Вам необходимо установить пакеты PHP в системе Ubuntu, чтобы запустить написанное на ней приложение. Обычно он используется для создания веб-сайтов электронной коммерции, блогов и приложений API. Если вы ищете простой способ установить PHP в Ubuntu 22.04, не ищите дальше. Этот пост в блоге покажет вам, как сделать это быстро и легко.

Мы будем использовать Ondrej PPAа для установки PHP в системе Ubuntu 22.04 LTS. Содержит пакеты PHP 8.3, 8.2, 8.1, 8.0, 7.4, 7.3, 7.2, 7.1, 7.0 и PHP 5.6. Вы можете установить любую из версий, необходимых для вашего приложения. Разработчикам новых приложений рекомендуется использовать последнюю версию PHP, т.е. PHP 8.2.

В этом материале вы узнаете, как установить PHP в системе Ubuntu 22.04 LTS. Это руководство также совместимо с системами Ubuntu 20.04 LTS и Ubuntu 18.04 LTS.

Предварительные условия

sudo apt update && sudo apt upgrade

При появлении запроса нажмите «Y» , чтобы подтвердить установку.

Установите PHP в Ubuntu 22.04

Установка PHP в системах Ubuntu довольно проста. Вам просто нужно добавить необходимый PPA, и вы сможете установить любую версию PHP в системе Ubuntu.

Выполните следующие шаги, чтобы завершить установку PHP в Ubuntu:

1. Установите несколько зависимостей, необходимых для этого руководства, с помощью приведенной ниже команды:

sudo apt install software-properties-common ca-certificates lsb-release apt-transport-https

2. Добавьте в свою систему Ondrej PPA, который содержит все версии пакетов PHP для систем Ubuntu.

LC_ALL=C.UTF-8 sudo add-apt-repository ppa:ondrej/php

3. Теперь обновите кеш менеджера пакетов Apt.

sudo apt update

4. Репозиторий SURY содержит PHP 8.3, 8.2, 8.1, 7.4, 7.3, 7.2 и PHP 5.6. Поскольку последней стабильной версией PHP является 8.2, для большого количества веб-сайтов по-прежнему требуется PHP 7.x. Вы можете установить любую из необходимых версий PHP в свою систему.

Установите PHP 8.2:

sudo apt install php8.3

Установите PHP 8.2:

sudo apt install php8.2

Установите PHP 8.1:

sudo apt install php8.1

Установите PHP 7.4:

sudo apt install php7.4

Установите PHP 5.6 (EOL):

sudo apt install php5.6

Замените версию 8.3, 8.2, 8.1, 7.4 или 5.6 на необходимую версию PHP для установки в Ubuntu. Вы даже можете установить несколько версий PHP в одной системе Ubuntu.

5. Большинство приложений PHP зависят от различных расширений, расширяющих их возможности. Это также можно установить, используя следующий синтаксис:

sudo apt install php8.2-[extension]

Замените [extension] на расширение, которое вы хотите установить. Если вы хотите добавить несколько расширений, включите их в фигурные скобки. Я собираюсь установить «php-mbstring, php-mysql, php-xml и php-curl», запустив приведенная ниже команда:

sudo apt install php8.2-mysql php8.2-mbstring php8.2-xml php8.2-curl

Пользователям, которые установили разные версии PHP, необходимо заменить их 8.2необходимыми версиями PHP.

Проверьте активную версию PHP

Теперь после установки убедитесь, что установлена правильная версия PHP, проверив номер версии с помощью приведенной ниже команды:

php -v

Выход:

Изучите файлы конфигурации PHP

Файлы конфигурации PHP хранятся в каталоге /etc/php с номерами версий. Например, все файлы конфигурации, относящиеся к PHP 8.2, расположены ниже:

Местоположение основного файла конфигурации PHP:
- PHP CLI: /etc/php/8.2/cli/php.ini
- Апач: /etc/php/8.2/apache2/php.ini
- PHP FPM: /etc/php/8.2/fpm/php.ini
Все установленные модули PHP хранятся в каталоге /etc/php/8.2/mods-available.
Расположение каталога конфигурации активных модулей PHP:
- PHP CLI: /etc/php/8.2/cli/conf.d/
- Апач: /etc/php/8.2/apache2/conf.d/
- PHP FPM: /etc/php/8.2/fpm/conf.d/

Чтобы проверить файлы на наличие других версий PHP, просто измените номер версии PHP (8.2 в приведенном выше примере) в файлах и пути к каталогу.

Измените версию PHP по умолчанию

Вы можете использовать команду update-alternatives , чтобы установить версию PHP по умолчанию. Используйте это руководство , чтобы узнать больше о переключении версии PHP для CLI и Apache.

sudo update-alternatives --config php

В приведенном выше выводе показаны все установленные версии PHP в вашей системе. Выбор номер 2 устанавливает PHP 8.1 в качестве версии PHP по умолчанию для командной строки.

Удаление PHP (необязательно)

Если какая-либо версия PHP больше не требуется, ее можно удалить из системы. Это освободит дисковое пространство, а также повысит безопасность системы.

Чтобы удалить любую версию PHP, просто введите:

sudo apt remove php7.4

Также удалите все модули для этой версии с помощью следующей команды:

sudo apt remove php7.4-*

Проверим, что версия php7.4 удалена

sudo update-alternatives --config php

Заключение

В этом руководстве представлены инструкции по установке PHP в Ubuntu 22.04. Ondrej PPA позволяет нам быстро устанавливать PHP в системах Ubuntu. Это также позволяет нам устанавливать несколько версий PHP в одной системе. Вы можете в любое время переключиться на любую версию PHP по умолчанию с помощью альтернативной утилиты обновления.

Ссылки и Дополнения

ubuntu_server_install_ssh

anonymous@undisclosed.example.com (Anonymous) — Sun, 07 Apr 2024 19:01:11 +0000

Установка и настройка SSH в Ubuntu 22.04

Введение

SSH (англ. Secure Shell — «безопасная оболочка»[1]) — сетевой протокол прикладного уровня, позволяющий производить удалённое управление операционной системой и туннелирование TCP-соединений (например, для передачи файлов). Схож по функциональности с протоколами Telnet и rlogin, но, в отличие от них, шифрует весь трафик, включая и передаваемые пароли. SSH допускает выбор различных алгоритмов шифрования. SSH-клиенты и SSH-серверы доступны для большинства сетевых операционных систем.

SSH позволяет безопасно передавать в незащищённой среде практически любой другой сетевой протокол. Таким образом, можно не только удалённо работать на компьютере через командную оболочку, но и передавать по шифрованному каналу звуковой поток или видео (например, с веб-камеры)[2]. Также SSH может использовать сжатие передаваемых данных для последующего их шифрования, что удобно, например, для удалённого запуска клиентов X Window System.

Большинство хостинг-провайдеров за определённую плату предоставляет клиентам доступ к их домашнему каталогу по SSH. Это может быть удобно как для работы в командной строке, так и для удалённого запуска программ (в том числе графических приложений).

В этом материале вы узнаете, как установить и настроить SSH в системе Ubuntu 22.04 LTS. Это руководство также совместимо с системами Ubuntu 20.04 LTS и Ubuntu 18.04 LTS.

Предварительные условия

sudo apt update && sudo apt upgrade

При появлении запроса нажмите «Y» , чтобы подтвердить установку.

Установите SSH в Ubuntu 22.04

OpenSSH не предустанавливается в системе, поэтому выполним его установку вручную. Чтобы это сделать, в окне терминала вводим:

Выполните следующие шаги, чтобы завершить установку SSH в Ubuntu:

Установите несколько зависимостей, необходимых для этого руководства, с помощью приведенной ниже команды:

sudo apt install openssh-server

Как только команда будет выполнена, начнется установка всех необходимых компонентов в систему, как показано на картинке ниже.

На все предложения системы в момент установки отвечаем утвердительно.

Установка прошла успешно. Теперь перейдем к запуску службы

Запуск SSH

sudo systemctl enable --now ssh

При успешном запуске вы увидите следующее системное сообщение.

Ключ –now в команде выше отвечает за одновременный запуск программы и добавление ее в автозагрузку.

Теперь проверим, что служба включена и успешно функционирует. Для этого вводим:

sudo systemctl status ssh

В результате система выдаст следующее сообщение:

Как видно по картинке выше, установленная служба успешно функционирует. Об этом говорит строка Active: active (running).

Если необходимо выключить службу и убрать ее из автозагрузки, в окне терминала введите:

sudo systemctl disable ssh

Настройка брандмауэра

Перед подключением к серверу через протокол SSH проверим состояние брандмауэра. Хотя во время установки службы и происходит настройка файрвола, повторная проверка поможет убедиться, что он настроен правильно.

В нашем случае установлен интерфейс UFW, поэтому воспользуемся следующей командой:

sudo ufw status

Результат команды представлен на картинке ниже.

Как видно по картинке, трафик по протоколу SSH разрешен. Если у вас он отсутствует в списке, то необходимо разрешить входящие SSH-соединения. В этом поможет команда:

sudo ufw allow ssh

Подключение к серверу

После выполнения всех предыдущих шагов можно наконец переходить ко входу на сервер, используя протокол SSH и программу PuTTy.

Для подключения к серверу пользователю понадобятся его IP-адрес или доменное имя.

Настройка конфигурации SSH

Основные настройки OpenSSH-сервера хранятся в главном конфигурационном файле – sshd_config (расположение: /etc/ssh). Перед тем, как приступать к редактированию, необходимо создать резервную копию данного файла:

sudo cp /etc/ssh/sshd_config /etc/ssh/sshd_config.initial

Теперь в случае возникновения ошибок после редактирования конфигурационного файла, пользователь без проблем сможет вернуть его к первоначальному виду.

После создания резервной копии можно переходить непосредственно к редактированию конфигурационного файла. Для этого откроем его, используя терминал и редактор Nano:

sudo nano /etc/ssh/sshd_config

В открывшемся файле сразу изменим значение порта на более безопасное. Лучше всего устанавливать значения из динамического диапазона портов (49152 — 65535), при этом использовать набор отличных друг от друга цифр для дополнительной безопасности. Например, отредактируем значение порта на 49532. Для этого разкомментируем соответствующую строку в файле и изменим значения порта, как показано на картинке ниже.

Кроме данной настройки, необходимо изменить режим аутентификации по паролю на более безопасный по ключу. Для этого раскомментируем соответствующую строку, значение которой должно быть “Yes”, как показано на картинке ниже.

Аутентификацию по ключу разрешена. О том, как сгенерировать и использовать пару SSH-ключей, было подробно рассказано в соответствующей статье.

Теперь запретим вход на сервер под суперпользователем. Для этого также изменим значение соответствующей строки, как показано на рисунке ниже.

Кроме внесенных выше изменений, перечислим ниже основные директивы конфигурационного файла, которые отвечают за безопасность сервера:

UseDNS – отвечает за проверку соответствия имени хоста с его IP -адресом. Значение “Yes” включает этот параметр.
PermitEmptyPasswords – данный параметр запрещает использовать пустые пароли при аутентификации, если в качестве значения указано “No”.
MaxAuthTries – ограничение на количество неудачных попыток подключения к серверу в рамках одного сеанса связи. В качестве значения передается число.
AllowUsers и AllowGroups – данные параметры отвечает за список пользователей и групп соответственно, которым разрешен доступ к серверу.

# AllowUsers Пользователь1, пользователь2, пользователь3
# AllowGroups Группа1, группа2, группа3

Login GraceTime – параметр, отвечающий за время, предоставляемое для успешной авторизации. Рекомендуем уменьшить значение данного параметра в 4 раза.
ClientAliveInterval – ограничение на время бездействия пользователя. При выходе за указанную границу происходит отключение пользователя.

После внесения всех изменений в главный конфигурационный файл, необходимо их сохранить и закрыть редактор. После перезагружаем службу, чтобы все изменения вступили в силу:

sudo systemctl restart ssh

Заключение

В данной статье была продемонстрирована подробная инструкция по установке и настройке SSH в Ubuntu 22.04. Также был описан процесс внесения изменений в главный файл конфигурации для повышения безопасности. Благодаря данной инструкции пользователь сможет выполнить безопасное удаленное подключение к серверу и не беспокоиться о потере или краже передаваемых данных.

Ссылки и Дополнения

ubuntu_server_install_webmin

anonymous@undisclosed.example.com (Anonymous) — Mon, 29 Jul 2024 00:55:17 +0000

Установка Webmin в Ubuntu 22.04

Введение

Webmin — программный комплекс, позволяющий администрировать операционную систему через веб-интерфейс, в большинстве случаев, позволяя обойтись без использования командной строки и запоминания системных команд и их параметров. На данный момент лучше всего поддерживаются системы Solaris, Linux (в частности, Redhat) и FreeBSD.

В этом материале вы узнаете, как установить Webmin в системе Ubuntu 22.04 LTS. Это руководство также совместимо с системами Ubuntu 20.04 LTS .

Предварительные условия

sudo apt update && sudo apt upgrade

При появлении запроса нажмите «Y» , чтобы подтвердить установку.

Загрузка и установка Webmin в Ubuntu 22.04

Самый простой и лучший способ получить Webmin — использовать автоматический setup-repos.sh скрипт (так-же доступен в загрузках этой страницы) для настройки репозиториев в ваших производных системах RHEL или Debian . Это можно сделать в два простых шага:

sudo curl -o setup-repos.sh https://raw.githubusercontent.com/webmin/webmin/master/setup-repos.sh
sh setup-repos.sh

Этот скрипт автоматически настроит наш репозиторий и установит наши ключи GPG на вашу систему, а также предоставит webminпакет для установки и простых обновлений в будущем. Поддерживаемые и протестированные системы: Red Hat Enterprise Linux, Alma, Rocky, Oracle, CentOS Stream, Fedora или Debian, Ubuntu, Kali.
Выполним загруженный скрипт с помощью следующей команды:

sudo sh setup-repos.sh

После выполнения скрипта нажмите клавишу y, yчтобы подтвердить, что вы хотите добавить репозиторий, и он автоматически загрузит и установит ключ и репозиторий Webmin: Чтобы изменения из добавленного репозитория вступили в силу, обновите индекс репозитория с помощью следующей команды:

sudo apt update && apt list --upgradable

Установить

Если репозиторий Webmin был настроен с помощью описанного выше скрипта setup-repos.sh, то Webmin можно установить так же просто:

sudo apt-get install webmin --install-recommends

После этого вы можете проверить установленную версию Webmin с помощью команды awk следующим образом:

dpkg -l | awk '/webmin/ {print $3}'

Консоль выдала Webmin версии 2.201!

Разрешить порт Webmin через брандмауэр

Но если вы используете брандмауэр UFW, он заблокирует порт номер 10000 (порт, используемый Webmin). Чтобы это заработало, вам нужно разрешить порт в UFW, используя следующее:

sudo ufw allow 10000/tcp

получить доступ с любого компьютера из сети , используйте IP-адрес сервера в браузере: https://IP_of_server:10000 Для входа вводим логин и пароль администратора сервера

Ссылки и Дополнения

ubuntu_server_old_releases

anonymous@undisclosed.example.com (Anonymous) — Tue, 01 Apr 2025 15:31:34 +0000

Старые релизы Ubuntu

ubuntu_server_repo_setting

anonymous@undisclosed.example.com (Anonymous) — Fri, 19 Jul 2024 15:46:46 +0000

Настройка репозитория в Ubuntu

Установка ПО в системах Linux выполняется из репозиториев, которые по умолчанию содержат большое количество пакетов. Однако иногда необходимого софта нет в комплекте или его версия устарела. В этом случае вы можете добавить требуемый репозиторий и произвести установку из него. В статье мы подробно рассмотрим, как настроить репозитории в Ubuntu 20.04

Список репозиториев в Ubuntu

Просмотреть все репозитории:

sudo nano /etc/apt/sources.list

Они также могут находиться в одном из файлов в папке /etc/apt/sources.list.d/

Чтобы отключить один репозиторий, добавьте следующий комментарий в его строку:

# deb http://archive.ubuntu.com/ubuntu focal multiverse

Добавление репозиториев в Ubuntu

Чтобы добавить репозиторий, необходимо узнать его адрес у разработчика ПО и использовать команду apt-add-repository с подобным синтаксисом:

sudo apt-add-repository ‘deb http://repository_address version branch’

Иногда требуется сначала установить ключ GPG. В качестве примера возьмем MariaDB.

sudo apt-key adv --fetch-keys 'https://mariadb.org/mariadb_release_signing_key.asc'

Команда, используемая для добавления репозитория:

sudo add-apt-repository 'deb [arch=amd64,arm64,ppc64el] http://mirror.mephi.ru/mariadb/repo/10.5/ubuntu focal main'

Удаление репозиториев

Команда, используемая для удаления:

sudo add-apt-repository --remove 'deb [arch=amd64,arm64,ppc64el] http://mirror.mephi.ru/mariadb/repo/10.5/ubuntu focal main'

PPA-репозиторий в Ubuntu

Во время установки PPA-репозитория система автоматически распознает репозиторий и скачивает необходимые ключи.

sudo apt-add-repository ppa:repository/ppa

Для удаления PPA-репозитория:

sudo apt-add-repository --remove ppa:repository/ppa

После редактирования списка репозиториев не забудьте обновить список пакетов.

sudo apt update

Дополнения

Ubuntu 22.04 LTS (Jammy Jellyfish) complete sources.list

#############################################################
########## Ubuntu 22.04 LTS (Jammy Jellyfish)  ##############
#############################################################

deb http://archive.ubuntu.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-updates main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-security main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ jammy-backports main restricted universe multiverse

deb http://archive.canonical.com/ubuntu/ jammy partner
deb-src http://archive.canonical.com/ubuntu/ jammy partner

ubuntu_server_setting_firewall_ufw

anonymous@undisclosed.example.com (Anonymous) — Fri, 01 Mar 2024 08:40:24 +0000

Hастройка брандмауэра с помощью UFW Ubuntu Server

Введение

Настройка работающего брандмауэра имеет решающее значение для защиты вашего облачного сервера. Раньше настройка брандмауэра выполнялась с помощью сложных или непонятных утилит. Многие из этих утилит (например, iptables) имеют множество встроенных функций, но требуют от пользователя дополнительных усилий для их изучения и понимания.

Другой вариант — UFW , или Несложный межсетевой экран . UFW — это интерфейс, целью iptablesкоторого является обеспечение более удобного интерфейса, чем у других утилит управления брандмауэром. UFW хорошо поддерживается сообществом Linux и обычно устанавливается по умолчанию во многих дистрибутивах.

В этом руководстве вы настроите брандмауэр с помощью UFW для защиты облачного сервера Ubuntu или Debian. Вы также узнаете, как настроить правила UFW по умолчанию, чтобы разрешить или запретить соединения для портов и IP-адресов, удалить созданные вами правила, отключить и включить UFW, а также сбросить все настройки обратно к настройкам по умолчанию, если вы предпочитаете.

Предварительные условия

Чтобы следовать этому руководству, вам понадобится сервер под управлением Ubuntu или Debian. На вашем сервере должен быть пользователь без полномочий root с привилегиями sudo. Чтобы настроить это для Ubuntu, следуйте нашему руководству по начальной настройке сервера с Ubuntu 20.04 . Чтобы настроить это для Debian, следуйте нашему руководству по начальной настройке сервера с Debian 11 . Оба этих руководства по начальной настройке сервера гарантируют, что на вашем компьютере установлен UFW и что у вас есть безопасная среда, которую вы можете использовать для практики создания правил брандмауэра.

Установка UFW

По умолчанию начиная с Ubuntu 18.04 программа поставляется с установленной UFW. Однако, для более ранних систем, вы должны выполнить команду ниже

apt-get install ufw

Для того, чтобы проверить, является ли UFW запущенным:

systemctl status ufw

Чтобы проверить, является ли он активным или неактивным

sudo ufw status

Если он активен, вы получите вывод ниже

Если он неактивен, вы получите вывод ниже

Чтобы включить UFW с набором правил по умолчанию, запустите

sudo ufw enable

Чтобы отключить запуск брандмауэра

sudo ufw disable

Использование IPv6 с UFW

sudo nano /etc/default/ufw

После внесения изменений сохраните и выйдите из файла. Если вы используете nano, нажмите CTRL + X, Y, а затем ENTER.

Теперь перезапустите брандмауэр, сначала отключив его:

sudo ufw disable

Затем включите его снова:

sudo ufw enable

Ваш брандмауэр UFW теперь настроен для настройки брандмауэра как для IPv4, так и для IPv6, когда это необходимо. Далее вы настроите правила по умолчанию для подключений к брандмауэру.

Настройка параметров UFW по умолчанию

Вы можете повысить эффективность своего брандмауэра, определив правила по умолчанию для разрешения и запрета подключений. По умолчанию UFW запрещает все входящие соединения и разрешает все исходящие соединения. Это означает, что любой, кто попытается подключиться к вашему серверу, не сможет подключиться, в то время как любое приложение на сервере может подключиться извне. Чтобы обновить правила по умолчанию, установленные UFW, сначала обратитесь к правилу входящих подключений:

sudo ufw default deny incoming

Затем обратитесь к правилу исходящих соединений:

sudo ufw default allow outgoing

Примечание. Если вы хотите ввести более строгие ограничения, вы можете запретить все исходящие запросы. Этот вариант основан на личных предпочтениях. Например, если у вас есть общедоступный облачный сервер, это может помочь предотвратить любые подключения к удаленной оболочке. Однако это делает ваш брандмауэр более громоздким в управлении, поскольку вам также придется устанавливать правила для всех исходящих соединений. Вы можете установить это значение по умолчанию, выполнив следующие действия:

sudo ufw default deny outgoing

Разрешение подключений к брандмауэру

Разрешение подключений требует изменения правил брандмауэра, что можно сделать, введя команды в терминале. Например, если вы сейчас включите брандмауэр, он запретит все входящие соединения. Если вы подключены к своему серверу через SSH, это будет проблемой, поскольку вы будете заблокированы на своем сервере. Чтобы этого не произошло, включите SSH-подключения к вашему серверу:

sudo ufw allow ssh

Если ваши изменения прошли успешно, вы получите следующий вывод:

UFW поставляется с некоторыми настройками по умолчанию, такими как sshкоманда, использованная в предыдущем примере. Альтернативно вы можете разрешить входящие подключения к порту 22/tcp, который использует протокол управления передачей (TCP) для достижения той же цели:

sudo ufw allow 22/tcp

Если ваш SSH-сервер работает на порту 2222, вы можете разрешить соединения с тем же синтаксисом, но заменить его на порт 2222. Обратите внимание, что если вы используете номер порта сам по себе, это также повлияет tcp на :udp

sudo ufw allow 2222/tcp

Если вы хотите удалить правило, запустите

sudo ufw delete allow 2222/tcp

Чтобы увидеть все услуги, которые могут быть разрешены или запрещены в системе проверьте файл /etc/services.

cat /etc/services | less

Защита веб-серверов

Чтобы защитить веб-сервер с помощью протокола передачи файлов (FTP), вам необходимо разрешить соединения для порта 80/tcp.

Разрешение подключений для порта 80полезно для веб-серверов, таких как Apache и Nginx, которые прослушивают запросы HTTP-соединения. Для этого разрешите подключения к порту 80/tcp:

sudo ufw allow 80/tcp

UFW обычно предоставляет профилям правила, необходимые для работы веб-сервера. В противном случае профили веб-сервера можно сохранить как «WWW» и открыть как ftp или tcp, как в следующих примерах:

sudo ufw allow www

Вы также можете использовать ftp или порт 21, чтобы разрешить FTP-соединения:

sudo ufw allow ftp

sudo ufw allow 21/tcp

Для FTP-подключений вам также необходимо разрешить подключения для порта 20:

sudo ufw allow 20/tcp

Ваши настройки будут зависеть от того, какие порты и службы вам нужно открыть, и может потребоваться тестирование. Не забудьте также оставить разрешенным ваше SSH-соединение.

Указание диапазонов портов

Вы также можете указать диапазоны портов, которые можно разрешить или запретить с помощью UFW. Для этого необходимо сначала указать порт в нижней части диапазона, после него поставить двоеточие ( :), а затем указать верхний конец диапазона. Наконец, вы должны указать, к какому протоколу (или tcpили udp) вы хотите применить правила.

Например, следующая команда разрешит TCP-доступ ко всем портам от 1000 до 2000 включительно:

sudo ufw allow 1000:2000/tcp

Аналогично, следующая команда запретит UDP-подключения к каждому порту от 1234до 4321:

sudo ufw deny 1234:4321/udp

Указание IP-адресов

Вы можете разрешить подключения с определенного IP-адреса, как показано ниже. Обязательно замените IP-адрес своей собственной информацией:

sudo ufw allow from 192.165.1.117

Запрет соединений

Если вы хотите открыть все порты вашего сервера ( что не рекомендуется ), вы можете разрешить все соединения, а затем запретить любые порты, к которым вы не хотите предоставлять доступ. В следующем примере показано, как запретить доступ к порту 80:

sudo ufw deny 80/tcp

Удаление правил

Если вы хотите удалить некоторые правила, которые вы администрировали, используйте delete и укажите правило, которое вы хотите удалить (пример диапазон портов 1000:2000):

sudo ufw delete allow 1000:2000/tcp

Если правила длинные и сложные, существует альтернативный двухэтапный подход. Сначала создайте нумерованный список текущих правил:

sudo ufw status numbered

Затем с помощью этого нумерованного списка просмотрите, какие правила разрешены в данный момент, и удалите правило, сверившись с его номером:

Например, если диапазон портов 1234:4321/udp в списке имеет номер 6, вы должны использовать следующий синтаксис. Вам также может быть задан вопрос, хотите ли вы продолжить операцию. Вы можете решить да Y или нет N:

sudo ufw delete 6

Вывод на экран:

Вы также можете использовать verbose для более полного вывода:

sudo ufw status verbose

Сброс настроек по умолчанию

Если по какой-то причине вам необходимо сбросить правила вашего облачного сервера к настройкам по умолчанию, вы можете сделать это с помощью ufw reset команды. Обратите внимание, что вы получите приглашение написать Y или N перед сбросом всех данных, поскольку это может нарушить существующие соединения SSH:

sudo ufw reset

Сброс настроек по умолчанию отключит UFW и удалит все ранее определенные вами правила. Однако настройки по умолчанию не изменятся на исходные, если вы вообще их измените. Теперь вы можете начать работу с UFW заново и настроить правила и соединения по своему вкусу.

Заключение

В этом руководстве вы узнали, как настроить облачный сервер, чтобы разрешить или ограничить доступ к подмножеству портов или IP-адресов. Кроме того, вы попрактиковались в удалении любых правил, которые вам больше не нужны, и подтверждении того, что эти изменения были учтены, отключив, а затем включив брандмауэр UFW. Наконец, вы узнали, как сбросить настройки брандмауэра UFW до настроек по умолчанию. Чтобы узнать больше о возможностях UFW, ознакомьтесь с нашим руководством «Основы UFW: общие правила и команды брандмауэра».

Ссылки и Дополнения

ubuntu_server

anonymous@undisclosed.example.com (Anonymous) — Tue, 01 Apr 2025 15:34:19 +0000

Ubuntu Server

Как можно понять из названия, это серверная операционная система на базе ядра Linux. Она отличается от настольной другим набором пакетов и отсутствием графического интерфейса. LTS — расширенное время поддержки и не менее 5 лет после выхода.

Что нового в Ubuntu 20.04 LTS Server?

Из значимых обновлений в Ubuntu 20.04 LTS Server (Focal Fossa) хочется прежде всего отметить LTS-ядро версии 5.4, что означает появление ряда нововведений, улучшений безопасности, повышение производительности и добавление новых возможностей.
Например: применён алгоритм сжатия ядра без потерь LZ4, что заметно сократило загрузку ОС; появилась поддержка по умолчанию файловой системы от Microsoft exFAT; задействован режим блокировки ядра Linux Lockdown Kernel, предотвращающий выполнение произвольного кода от UID даже с правами root.
Кроме того, реализована полнофункциональная поддержка Кubernetes 1.18. Продолжается внедрение нового формата установочных пактов SNAP. Полностью прекращена поддержка 32-разрядных версий. Даже если у вас сейчас 32-разрядная Ubuntu 18.04, обновиться до версии 20.04 уже не получится.

Минимальные требования к аппаратуре

По данным с официальной страницы Canonical:
Процессор: одноядерный, 2 ГГц.
ОЗУ: 2 Гб.
Жёсткий диск: 10 Гб.
Рекомендуемые характеристики для получения среды с приемлемым уровнем комфорта по производительности:
Процессор: двухъядерный, 2 ГГц.
ОЗУ: 4 Гб.
Жёсткий диск: 25 Гб.

Установка Ubuntu 20.04 LTS Server (Focal Fossa)

Шаг 1. Загрузка образа

На официальном сайте или внизу страницы скачиваем необходимый образ дистрибутива. Нам предлагается два варианта: Desktop image — с возможностью попробовать его без установки на компьютер в режиме LiveCD и Server install image — для установки сразу: Я загружу постоянный вариант Server install image.

Шаг 2. Запись образа флешку

Загруженный установочный образ записываем на внешний носитель — USB-флешку. Самый простой вариант воспользоваться программой Rufus, которую можно загрузить внизу страницы. Подробнее о том как сделать загрузочную USB-флешку Ubuntu.

Шаг 3. Запуск установщика образа

Подготовленную флешку с записанным образом вставляем в компьютер и загружаемся с неё.

Шаг 4. Выбор языка

Выбор языка… Ну тут все просто. Но все же для сервера предпочтительно английский язык.

Шаг 5. Обновление загрузчика

На этом этапе предложено использовать действительный инсталлятор, или обновить его. Обновление происходит в фоновом режиме и занимает несколько секунд

Шаг 6. Выбор языка раскладки клавиатуры

Выберите раскладку клавиатуры. Оставляем English по умолчанию

Шаг 7. Настройка сети

Настройка сеть. По умолчанию, получение IP адреса настроено по DHCP. Оставим без изменения и запомним одрес для подключения по ssh/ В примере это DHCPv4 192.168.1.213/24

Шаг 8. Настройка прокси

При доступе в интернет через proxy-сервер, укажите его, иначе оставляем без изменения

Шаг 9. Выбор зеркала

Предложение выбрать ближайшее зеркало, исходя из вашего регионального расположения. Оставьте предложенное по умолчанию, или укажите своё:

Шаг 10. Разметка дисков

Разметка дискового пространство. Выбрав «Use an entire disk» установщик сам разметит диски в автоматическом режиме. В зависимости от задач, вы можете выполнить разбивку разделов на собственное усмотрение, создать RAID маcсив и настроить swap, выбрав «Custom storage layout»: конфигурация разбивки диска по умолчанию окно подтверждения с выбранной конфигурацией разбивки диска

Шаг 11. Создание пользователя и настройка имени сервера

Имя пользователя и пароль для доступа к серверу. Можно выбрать любого пользователя кроме «root» и «admin», которые зарезервированы системой.

Шаг 14. Подключение Ubuntu Advantage

Подключение сервисного пакета от компании Canonical для пользователей Ubuntu, включающего коммерческую поддержку и ряд расширенных сервисов направленных на повышение управляемости и безопасности ваших систем. Пропускаем.

Шаг 15. Установка OpenSSH Server

Отметьте установку OpenSSH Server, для возможности удаленного подключения по ssh к нему, и нажмите «Done»

Шаг 16. Выбор и установка приложений

Список того что можно установить «из коробки» при необходимости. Все это же можно установить позже

Шаг 17. Установка системы

Окно установки в интерактивном режиме

Шаг 18. Завершение установки

Окончание установки происходит с появление команды «Reboot». Извлеките носитель с установщиком и выполните перезагрузку сервера.

Шаг 16. Проверка версии Ubuntu Server

Перезагрузка займет более продолжительное время, чем это будет в дальнейшем. Пройдет инициализация служб, устройств и прочее. По окончанию предстанет окно аутентификации в систему. Так же, сервер будет доступен по ssh c ранее указанными логинами и паролем на DHSPv4 192.168.1.213/24.

Дополнения и Файлы

Старые релизы Ubuntu

Ссылки и Примечания

При установке Synology VMM — Ubuntu Server 22.04 при создании виртуальной машины, переключить выбор драйвера дисплея с «vmvga» по умолчанию на «vga»

apt-get install qemu-guest-agent

Установить гостевой агент Qemu для Debian/Ubuntu

upgrade_linux_server

anonymous@undisclosed.example.com (Anonymous) — Thu, 22 Jan 2026 19:45:14 +0000

Обновление Linux Ubuntu Server

Долгосрочная поддержка Ubuntu 20.04 была выпущена в апреле 2020 года, и вы, возможно, захотите обновить Ubuntu 18.04 LTS. Ubuntu 20.04 будет поддерживается в течение пяти лет до апреля 2025 г. Выпуск 18.04 LTS также будет поддерживаться в течение пяти лет с момента выпуска в апреле 2018 г.

Обращаем внимание, что нельзя сделать обновление, например, с Ubuntu 16.04 LTS до Ubuntu 20.04 LTS. Для этого необходимо выполнить обновление два раза: сначала до Ubuntu 18.04 LTS, а затем до Ubuntu 20.04 LTS.

Обновление Ubuntu вручную

Приступая к работе, необходимо, прежде всего, обновить списки пакетов следующим образом:

Пакеты обновления на Ubuntu 18.04 LTS

Обновите пакеты с помощью приведенной ниже команды, затем перезагрузитесь:

sudo apt update; sudo apt upgrade -y; sudo reboot

Затем удалите все ненужные пакеты, используя:

sudo apt --purge autoremove

Установка диспетчера обновлений

Если диспетчер обновлений не установлен, установите его с помощью следующей команды:

sudo apt install update-manager-core

Обновление с помощью do-release-upgrade

Смотрим версию linux из консоли

sudo lsb_release -a

В терминале введите следующую команду, чтобы проверить доступные обновления:

sudo do-release-upgrade -c

Выполнение этой команды позволит узнать, доступно ли обновление для вашей текущей версии Ubuntu.
Если обновление доступно, выполните следующую команду:

sudo do-release-upgrade

Терминал предложит вам подтвердить процесс обновления.

Введите свой пароль администратора и подтвердите начало обновления.
Далее, следуйте инструкциям в терминале.

После завершения процесса обновления Ubuntu перезагрузится, и вы сможете войти в систему с обновленной версией. Проверим версию linux из консоли

sudo lsb_release -a

Процесс обновления операционной системы завершен.

Файлы и Дополнения

См. так же Обновление ядра linux
Ошибка обновления:Please install all available updates for your release befor
С очевидной ошибкой приходит очевидное исправление. Один из моих пакетов был задержан во время обновления

sudo apt upgrade

И apt dist-upgrade тоже не обновлялся.

sudo apt dist-upgrade

Ошибка обновления:Please install all available updates for your release before upgrading
Решением было установить вручную libomp-dev:

sudo apt install libomp-dev

включает версии для разработки

do-release-upgrade -d

https://kodprog.ru/kak-obnovit-ubuntu-2204-do-2404#gsc.tab=0

webmin

anonymous@undisclosed.example.com (Anonymous) — Sun, 28 Jul 2024 23:16:07 +0000

Webmin

Используя любой браузер, администратор сервера может создавать новые учётные записи пользователей, почтовые ящики, изменять настройки служб и сервисов, например, веб-сервера Apache, DNS. Однако, в некоторых случаях необходимо знание операционной системы и редактирование конфигурационных файлов вручную. Кроме того, не все возможности операционной системы и не все программы можно конфигурировать через интерфейс Webmin, например, nginx пока не входит в базовый набор.

Простота, лёгкость и скорость выполнения команд — это одни из главных преимуществ данной панели управления.

Другое важное преимущество — возможность исправлять конфигурационные файлы вручную, так как Webmin не «портит» конфигурационные файлы, в отличие от некоторых других панелей управления, и, как правило, следует политикам дистрибутивов по конфигурированию программ.

Данная панель управления бесплатна на условиях лицензии BSD и распространяется для коммерческого и некоммерческого использования. Авторы этой программы позволяют всем желающим не только бесплатно использовать программу, но и изменять её по своему усмотрению.

Вступление

Webmin — это веб-инструмент системного администрирования для Unix-подобных серверов и служб с более чем 1 000 000 установок по всему миру. Используя его, можно настраивать внутренние параметры операционной системы, такие как пользователи, дисковые квоты, службы или файлы конфигурации, а также изменять и контролировать приложения с открытым исходным кодом, такие как BIND DNS Server, Apache HTTP Server, PHP , MariaDB/MySQL и многие другие.

Webmin состоит из простого веб-сервера и ряда подпрограмм, которые напрямую обновляют системные файлы, такие как /etc/fstabи /etc/passwd. Веб-сервер и все подпрограммы написаны на Perl версии 5 и не используют нестандартные модули Perl.

Интерфейс

Для Webmin доступны несколько десятков тем оформления, многие из которых уже входят в стандартный дистрибутив.

Модули

Webmin состоит из модулей, которые можно подключать или отключать по необходимости. На официальном сайте представлено более 300 модулей. Модули Webmin могут обеспечить настройку и управление почти всем функционалом сервера.

Поскольку Webmin поддерживает концепцию модулей (например, плагинов Photoshop), любой может разрабатывать и распространять свои собственные модули Webmin для любых целей и распространять их по любой лицензии (например, GPL, коммерческая или условно-бесплатная). Доступна дополнительная информация об API Webmin и написании собственных модулей.

Стандартный набор

В стандартный набор дистрибутива Webmin 1.630 входит 127 модулей. Ниже перечислены некоторые модули стандартного набора.

Apache Webserver — настройка веб-сервера Apache, позволяет редактировать почти все инструкции.
Command Shell — позволяет выполнить удаленно команду и просмотреть вывод.
Custom Commands — создание кнопки для часто используемых команд.
DHCP Server — управление общей сетью, хостами, и группами.
Disk Quotas — установка и настройка квот для пользователей или групп пользователей, на данной файловой системе.
File Manager — работа с файлами на сервере.
GRUB Boot Loader — настройка загрузчика GRUB.
Linux Firewall — настройка брандмауэра Linux.
MySQL Database Server — настройка базы данных, таблицы и разрешения на сервере баз данных MySQL.
Perl Modules — просмотр установленных Perl модулей и возможность установить новые.
Running Processes — список запущенных процессов в вашей системе с возможностью убить или изменять приоритет процесса.
SSH Server — настройка SSH сервера.
Software Packages — менеджер пакетов, с возможностью установить новые.
System Logs — настройка сервера системных журналов в вашей системе и просмотр журналов.
Users and Groups — создание и редактирование Unix пользователей и групп пользователей.
Webmin Configuration — настройки Webmin’а.

Загрузка и установка

Настраивать

curl -o setup-repos.sh https://raw.githubusercontent.com/webmin/webmin/master/setup-repos.sh
sh setup-repos.sh

Установить

apt-get install webmin --install-recommends

Доступ

После успешной установки Webmin вы можете получить доступ к его интерфейсу, введя его https://Your-Server-IP:10000 в вашем браузере. Проверьте, что конфигурация вашего брандмауэра разрешает доступ через порт 10000 .

Руководство

Последняя полная версия Webmin доступна для загрузки в различных форматах пакетов:

deb — Производные Debian (Ubuntu, Kali, Parrot, Lite, Devuan)
(так-же доступен в загрузках этой страницы)

Проверка контрольной суммы

Чтобы убедиться, что вы загрузили Webmin полностью и правильно, вы можете использовать команду sha256sumдля загруженного файла и сравнить ее с перечисленными ниже:

Файл	Контрольная сумма SHA256
webmin_2.201_all.deb	cd4cc73b57c323707558b2eef906c86ba8b85610435eb1b40513f2bad4c612c2

Настроить

Если пакет Webmin был загружен вручную, его можно установить:
Debian и производные

apt-get install --install-recommends ./webmin-current.deb

Безопасность

Webmin 2.105 и ниже [15 апреля 2024 г.] Повышение привилегий пользователями, не являющимися пользователями root Пользователь Webmin с меньшими правами может выполнять команды от имени пользователя root через уязвимость в функции автозаполнения оболочки.

Всем администраторам Virtualmin и Webmin, создавшим дополнительные учетные записи, следует как можно скорее обновиться до версии 2.111!

Благодарим Trend Micro's Zero Day Initiative за обнаружение и сообщение об этой проблеме. https://webmin.com/security/

Разработчики

Jamie Cameron — автор и ведущий разработчик.

Ilia Ross — старший разработчик. Автор темы Authentic, скрипта менеджера языков и веб-мастер сайтов webmin.com и virtualmin.com

Лицензия

Все последние версии Webmin лицензированы в соответствии с лицензией BSD-3-Clause, что означает, что их можно свободно распространять и модифицировать для коммерческого и некоммерческого использования.

Файлы для загрузки

Книги ниже доступны в цифровом формате для бесплатной загрузки:

Управление системами Linux с помощью Webmin от Jamie Cameron
Linux Server: от начала до конца с использованием Webmin Kevin Elwood
Webmin kompakt от Holger Reibold

Ссылки и Дополнения

zapusk-i-zavershenie-po-raspisaniyu-v-linux

anonymous@undisclosed.example.com (Anonymous) — Sun, 20 Jul 2025 05:42:58 +0000

Выключение и запуск по расписанию Linux

Операционная система Linux позволяет планировать запуск, завершение или переход компьютера в режим сна в нужное вам время. Например, вы можете запланировать запуск компьютера утром и автоматическое выключение когда ложитесь спать.

Иногда это очень даже полезно, вы экономите время, в место того чтобы ждать пока загрузится операционная система, можно сразу садится и работать, и это просто удобно. Можно запланировать включение компьютера по расписанию, даже после завершения работы скрипта.

Планирование включения в Linux

В Linux для завершения работы или перехода в режим сна и планирования запуска, используется утилита rtcwake. Это встроенный в ядро инструмент, поэтому она уже есть во всех дистрибутивах и устанавливать ничего не придется. Синтаксис команды такой:

$ sudo rtcwake –m режим –s время

Или:

$ sudo rtcwake –m режим –t время

После выполнения команды компьютер сразу выключится. Параметр -s указывает количество секунд до запуска компьютера. Опция -m устанавливает режим выключения. Дело в том что компьютер выключается не полностью, он переходит в сон, при котором питание подается только на несколько самых важных компонентов. Эти компоненты и определяет режим, указанный в этом параметре. Доступные режимы:

standby (S1) – режим с минимальным энергосбережением, компьютер очень быстро засыпает и так же быстро восстанавливается. Этот режим используется по умолчанию;
mem – (S3) – все компоненты системы отключаются кроме памяти;
disk (S4) – Все содержимое памяти записывается на диск;
off (S5) – Аналогично вызову команды shutdown;
on – без отключения, используется для отладки.

А теперь давайте рассмотрим основные опции команды rtcwake Linux:

-a - определить какое время использовать локальное или UTC на основе файла /etc/adjtime;
–date - указать дату включения компьютера, доступны такие варианты: YYYY-MM-DD hh:mm:ss, YYYY-MM-DD (время будет установлено в 00:00), hh:mm:ss (дата будет установлена на сегодня), tomorrow (завтра в 00:00);
-l, –local - использовать локальное время, а не UTC;
–list-modes - вывести доступные режимы планирования включения;
-m, –mode - выбрать режим планирования;
-n, –dry-run - тестовый запуск;
-t - время следующего запуска в формате Unix, в секундах, прошедших с 01-01-1970;
-u, –utc - использовать UTC время вместо локального;
-v - максимально подробный вывод.

Например, следующая команда переводит компьютер в режим сна и планирует включение через 3 минуты:

$  rtcwake -m mem -s 180

Время запуска можно задавать не только в секундах от текущего момента, но и в формате полной даты и времени. Это делается с помощью опции -t, но эта опция принимает время в формате UNIX, поэтому сначала нужно преобразовать наше, обычное время, в этот формат с помощью date.

Например, давайте включим компьютер завтра в 13.00, допустим сегодня 10 сентября 2016. Сначала преобразуем данные:

$   date +%s -d "2016-09-11 13:00"

Выключаем компьютер и планируем запуск по расписанию:

$  rtcwake -m mem -t 1473541200

Чтобы запланировать выключение Linux по расписанию или переход в режим сна будем использовать cron. Просто запланируйте выполнение команды rtcwake через crontab в нужное время для выключения компьютера и планирования последующего включения. Например, выполняем выключение компьютера Linux вечером и выполнить запуск по расписанию linux с утра:

$  crontab –e

0 21 * * * /usr/bin/rtcwake -m mem -s 28800

Если вам не нужно включать компьютер, а только выключить, можете вместо предыдущей команды использовать shutdown:

0 21 * * * /usr/bin/shutdown -h now

Вот и все. Подробнее о том, как настраивается расписание задач в cron смотрите здесь.смотрите здесь.

Дополнения и Файлы

Ссылка на оригинальную статью