|
Rozmiar: 9194
Komentarz:
|
← Wersja 44 z 2015-06-25 14:03:00 ⇥
Rozmiar: 10187
Komentarz: + tytuł
|
| Usunięcia zostały oznaczone w ten sposób. | Dodatki zostały oznaczone w ten sposób. |
| Linia 15: | Linia 15: |
| * http://daemon-notes.com/articles/system/advanced-format * http://daemon-notes.com/articles/system/install-zfs/ * https://calomel.org/zfs_raid_speed_capacity.html - "kalkulator" dla każdego z RAIDZ |
* http://daemon-notes.com/articles/system/ -> Wybierz '''FreeBSD and 4k sector drives''' * http://daemon-notes.com/articles/system/ -> Wybierz '''Install FreeBSD 10 on ZFS mirror (GPT or MBR)''' * https://calomel.org/zfs_raid_speed_capacity.html - "kalkulator" dla każdego z RAIDZ - dodatkowo sporo informacji odnośnie do używania kompresji. Warte lektury. |
| Linia 30: | Linia 30: |
| ### starty spos/ob; obecnie backup/ restore wymaga, aby dysk ada1 by/l pusty | ### stary spos/ob; obecnie backup/ restore wymaga, aby dysk ada1 by/l pusty |
| Linia 51: | Linia 51: |
| Oraz podział na dalsze partycje (swap, ufs, zfs, etc). | === Oraz podział na dalsze partycje (swap, ufs, zfs, etc) === __Komentarz 1:__ |
| Linia 56: | Linia 57: |
| Linia 63: | Linia 65: |
| }}} === Wykonanie partycji ZFS === {{{#!shell numbers=off # wykonanie partycji an potrzeby zlog oraz zacache gpart add -a 4k -t freebsd-zfs -s <_POL_ILOSC_RAM_> -l zlog0 ada0 gpart add -a 4k -t freebsd-zfs -s <_1%_ILOSC_ZFS_STORAGE_> -l zcache0 ada0 # pozostała część dysku na partycję ZFS |
|
| Linia 64: | Linia 75: |
| }}} === Tworzenie systemów plików UFS === Dalsza część instalacji: zdublowanie partycji na kolejny dysk, wykonanie partycji ufs, etc.: {{{#!shell numbers=off |
|
| Linia 68: | Linia 83: |
# w przypadku większej liczny dysków # for i in 1 2 3; do gpart backup ada0 | sed -E "([a-z])0/\1$i/" | gpart restore -l ada$i; done # konieczne wykonanie bootcode: gpart restore tego nie robi # gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada1 |
|
| Linia 76: | Linia 99: |
| for d in root usr var; do gmirror label $d /dev/gpt/${d}0 /dev/gpt/${d}1 ; done | # wykonanie mirror-ów for d in root usr var tmp; do gmirror label $d /dev/gpt/${d}0 /dev/gpt/${d}1 ; done # jeżeli nadal chcemy, aby tmp był w stripe. Chociaż w przypadku padu dysku, są problemy, bo w /tmp nie można nic utworzyć. # |
| Linia 93: | Linia 120: |
| Linia 98: | Linia 126: |
| }}} Można zamontować za pomocą jednolinijkowca: {{{#!shell numbers=off for d in tmp usr var; do mkdir -p /mnt/$d ; done for d in tmp usr var; do mount /dev/mirror/$d /mnt/$d ; done }}} === Wykonanie puli ZFS === ==== Bez oddzielnych partycji zlog/zcache ==== {{{#!shell numbers=off |
|
| Linia 103: | Linia 142: |
| # dla większej liczby dysków # for i in 0 1 2 3; do gnop create -S 4096 /dev/ada${i}p7; done |
|
| Linia 104: | Linia 147: |
| }}} ==== Z oddzielnymi partycjami zlog/zcache ==== {{{#!shell numbers=off # trzeba przejść na sh z tcsh for n in 0 1; do for i in 7 8 9; do gnop create -S 4096 /dev/ada${n}p$i; done ; done zpool create -o altroot=/mnt -O mountpoint=/opt -O atime=off -O setuid=off -O exec=off tank mirror /dev/ada0p9.nop /dev/ada1p9.nop log mirror /dev/ada0p7.nop /dev/ada1p7.nop cache /dev/ada0p8.nop /dev/ada1p8.nop }}} ==== Końcowe porządki tworzenia ZFS pool ==== {{{#!shell numbers=off |
|
| Linia 108: | Linia 164: |
| __Komentarz 2:__ {{{#!wiki comment W celu sprawdzenia poprawności użycia dyskowych klastrów 4k, można wykonać polecenie: <<BR>> zdb -U /var/tmp/zpool.cache | grep ashift <<BR>> W wyniku powinna być wartość 12 }}} |
|
| Linia 110: | Linia 174: |
| {{{#!shell numbers=off | __Komentarz 3__ - włącz komentarze przed podziałem na partycje: {{{#!wiki comment UWAGA! W przypadku systemu 10+ warto skorzystać z kompresji lz4. Jest ona bardzo wydajna, przyjednoczesnym niezadużym obciążeniu procesora. Więcej szczegółów zobacz pod adresem https://calomel.org/zfs_raid_speed_capacity.html }}} {{{#!shell numbers=off # Jeżeli partycje tworzone po pierwszym uruchomieniu po instalacji, to: # rmdir /usr/local /usr/obj /usr/src /usr/home /usr/ports |
| Linia 116: | Linia 190: |
| zfs create -o compress=lzjb -o mountpoint=/usr/obj tank/u/obj zfs create -o compress=gzip -o exec=off -o setuid=off -o mountpoint=/mnt/usr/ports tank/u/ports zfs create -o compress=off -o mountpoint=/usr/ports/distfiles tank/u/ports/distfiles zfs create -o compress=off -o mountpoint=/usr/ports/packages tank/u/ports/packages zfs create -o compress=gzip -o exec=off -o setuid=off -o mountpoint=/mnt/usr/src tank/u/src |
zfs create -o compress=lz4 -o mountpoint=/usr/obj tank/u/obj zfs create -o compress=lz4 -o exec=off -o setuid=off -o mountpoint=/usr/ports tank/u/ports zfs create -o mountpoint=/usr/ports/distfiles tank/u/ports/distfiles zfs create -o mountpoint=/usr/ports/packages tank/u/ports/packages zfs create -o compress=lz4 -o exec=off -o setuid=off -o mountpoint=/usr/src tank/u/src # Jeżeli partycje tworzone po pierwszym uruchomieniu po instalacji, to: # rmdir /var/empty /var/backups /var/db/pkg /var/mail /var/tmp/vi.recover /var/tmp # zmiana nazwy wybranych katalogów for d in audit crash db spool run log; do mv /var/$d /var/${d}.old ; done |
| Linia 124: | Linia 205: |
| zfs create -o canmount=off -o exec=off tank/v zfs create -o compress=lzjb -o mountpoint=/var/audit tank/v/audit |
zfs create -o canmount=off -o compress=lz4 -o exec=off tank/v zfs create -o mountpoint=/var/audit tank/v/audit |
| Linia 127: | Linia 208: |
| zfs create -o compress=gzip -o mountpoint=/var/crash tank/v/crash | zfs create -o mountpoint=/var/crash tank/v/crash |
| Linia 129: | Linia 210: |
| zfs create -o compress=gzip -o exec=on -o mountpoint=/var/db/pkg tank/v/db/pkg | |
| Linia 131: | Linia 211: |
| zfs create -o compress=on -o mountpoint=/mnt/var/log tank/v/log zfs create -o compress=on -o mountpoint=/mnt/var/mail tank/v/mail |
zfs create -o mountpoint=/var/log tank/v/log zfs create -o mountpoint=/var/mail tank/v/mail |
| Linia 135: | Linia 215: |
| zfs create -o mountpoint=/var/www tank/v/www # albo puścić wszystko w pętli # for d in audit backups crash db empty log mail run spool www; do zfs create -o mountpoint=/var/$d tank/v/$d; done # wykonanie katalogów na potrzeby backupów # zfs create -o mountpoint=/opt/backups tank/b zfs create tank/b/bsdbackup zfs create tank/b/dumps # wykonanie katalogów na potrzeby SQUIDa (opcjonalnie) # zfs create -o mountpoint=/opt/squid tank/s zfs create tank/s/cache zfs create tank/s/logs zfs create -o mountpoint=/var/squid tank/v/squid |
|
| Linia 139: | Linia 237: |
| zfs create -o compress=lzjb -o exec=on -o mountpoint=/var/tmp tank/v/tmp }}} == Skopiowanie zpool.cache (postinstall) == Bardzo ważny krok - inaczej po reboocie zfs nie montuje się poprawnie i trzeba wymuszać ponowny import. {{{#!shell numbers=off cp /var/tmp/zpool.cache /mnt/boot/zfs/zpool.cache }}} == Wykonanie /boot/loader.conf (postinstall) == {{{#!shell numbers=off # # loader.conf # # Lokalna konfiguracja bootowania systemu operacyjnego # # --- Za/ladowanie modu/l/ow do obs/lugi system/ow plik/ow ----------------- # geom_mirror_load="YES" geom_stripe_load="YES" opensolaris_load="YES" zfs_load="YES" kern.geom.label.gptid.enable=0 ### ### tutaj dodanie odpowiedniej karty sieciowej ### # --- Za/ladowanie modu/l/o/w odpowiedzialnych za interfejsy sieciowe ------ # ##miibus_load="YES" ##if_igb_load="YES" ##if_re_load="YES" ### potrzebne w celu posiadania klawiatury PS/2 (szczeg/olnie przez KVM via JNLP) ### UWAGA!!! Dopisa/c dopiero przed instalacj/a oraz uruchomieniem w/lasnego kernela! ### Wpisanie poni/zszego dla kernela "instalacyjnego" powoduje problem z bootowaniem ### # --- Za/ladowanie oraz konfiguracja obs/lugi wielu klawiatur --------------- # kbdmux_load="YES" hint.atkbdc.0.at="isa" hint.atkbdc.0.port="0x060" hint.atkbd.0.at="atkbdc" hint.atkbd.0.irq="1" # --- Konfiguracja rozmiaru pami/eci dla kernela oraz ZFS ------------------- # vm.kmem_size="6G" # This should be 150% of your RAM. vfs.zfs.arc_max="3G" # This should be a little less than the amount of your RAM. }}} == Wykonanie /etc/fstab !!! == Należy pamiętać, o wykonaniu /etc/fstab. Inaczej system nie wstanie!!! {{{#!shell numbers=off mount -p | grep 'mnt' | sed -e 's!mnt/!!' > /etc/fstab # re-montowanie ZFSa, aby przy pierwszym restarcie serwera (po instalacji) nie było błędów. # (do sprawdzenia, czy konieczne skoro został skopiowany cache dla zpoola) - być może krok już nie potrzebny zfs umount -a umount /mnt/opt zfs set mountpoint=/opt tank # dopisanie ZFS-a do rc.conf # echo 'zfs_enable="YES"' >> /etc/rc.conf }}} == Modyfikacja (rozbudowa) /etc/fstab == fdescfs jest na potrzeby instalacji bash-a: {{{#!shell numbers=off /dev/gpt/swap0 none swap sw 0 0 /dev/gpt/swap1 none swap sw 0 0 /dev/cd0 /media/cdrom cd9660 ro,noauto 0 0 /dev/da0s1 /media/flash msdosfs rw,sync,noauto,longnames,-Lpl_PL.UTF-8 0 0 fdescfs /dev/fd fdescfs rw 0 0 }}} oraz utworzenie katalogów dla mediów zewnętrznych: {{{#!shell numbers=off mkdir -p /media/cdrom /media/flash }}} |
zfs create -o exec=on -o mountpoint=/var/tmp tank/v/tmp # przypadku migrowania katalogów - ich wcześniejszego usuwania: # mkdir -p /var/tmp/vi.recover/ chmod -R 1777 /var/tmp for d in audit crash db spool run log; do cp -pR /var/${d}.old/ /var/$d/ ; done }}} = Kroki do wykonania po instalacji = <<Include(BsdPostInstall, , to="^----$", editlink)>> ---- {i} ` `<<GetVal(SlownikNewBsd,adm-podpis)>> |
Podział dysków na partycje
Obecnie w instalowanym serwerze są co najmniej dwa dyski, które można wykorzystać jako mirror (zazwyczaj z wykorzystaniem gmirror). Historycznie mirror był budowany z całych dysków. Obecnie dzieli się każdy z dysków na identyczne partycje i wykonuje gmirror dla poszczegónych partycji.
Można skorzystać również z zfsroot, dzięki czemu zyskujemy wiele, wiele możliwości działania. Przykładowe linki:
http://ximalas.info/2012/05/04/when-to-create-a-zfs-filesystem/
http://dan.langille.org/2013/02/07/zfsroot-guides-which-one-to-use/
http://blogs.freebsdish.org/pjd/2010/08/06/from-sysinstall-to-zfs-only-configuration/ - ten wydaje się być najbardziej dopieszczonym i sensownym.
http://savagedlight.me/2012/08/30/freebsd-9-file-server-wiggum-version-2-0/
http://daemon-notes.com/articles/system/ -> Wybierz FreeBSD and 4k sector drives
http://daemon-notes.com/articles/system/ -> Wybierz Install FreeBSD 10 on ZFS mirror (GPT or MBR)
https://calomel.org/zfs_raid_speed_capacity.html - "kalkulator" dla każdego z RAIDZ - dodatkowo sporo informacji odnośnie do używania kompresji. Warte lektury.
Fizyczny podział
Pierwsza rzecz, to należy zidentyfikować dyski twarde w systemie. FreeBSD 9.x przyjęło zasadę, aby dyski nazywać ada0, ada1 itd. Tak więc podziału można dokonać za pomocą shella i dzięki temu wykonać tę operację szybko. Dokładny przepis instalacji jest podany tutaj (chodzi o kolejność przechodzenia przez menu instalatora).
Ważne: od jakiegoś casu dyski wspierają bloki 4kb, zamiast 512b. Warto o tym pamiętać (odpowiednie parametry dla poleceń tworzących partycje oraz same systemu plików) przy podziale dysków.
Skrypty
Dzięki możliwości dzielenia na partycje za pomocą Shell w menu instalacyjnym możemy zrobić następujące rzeczy:
### stary spos/ob; obecnie backup/ restore wymaga, aby dysk ada1 by/l pusty
###
###for i in 0 1; do gpart create -s gpt ada$i; gpart add -a 4k -t freebsd-boot -s 64k -l boot$i ada$i; gpart bootcode -b /boot/pmbr -p /boot/gptboot -i 1 ada$i; done
###
# utworzenie sposobu partycjonowania
gpart create -s gpt ada0
# utworzenie poartycji boot oraz wgranie kodu do bootowania
gpart add -a 4k -t freebsd-boot -s 64k -l boot0 ada0
gpart bootcode -b /boot/pmbr -p /boot/gptboot -i 1 ada0
# pokazanie listy partycji
gpart show ada0
# dodanie partycji boot dla zfs
gpart add -a 4k -b 34 -s 128k -t freebsd-boot ada0
gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada0
gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada1
Oraz podział na dalsze partycje (swap, ufs, zfs, etc)
Komentarz 1:
gpart add -a 4k -t freebsd-ufs -s 1G -l root0 ada0
gpart add -a 4k -t freebsd-swap -s <_POL_ILOSC_RAM_> -l swap0 ada0
gpart add -a 4k -t freebsd-ufs -s 512M -l tmp0 ada0
gpart add -a 4k -t freebsd-ufs -s 8G -l usr0 ada0
gpart add -a 4k -t freebsd-ufs -s 8G -l var0 ada0
Wykonanie partycji ZFS
# wykonanie partycji an potrzeby zlog oraz zacache
gpart add -a 4k -t freebsd-zfs -s <_POL_ILOSC_RAM_> -l zlog0 ada0
gpart add -a 4k -t freebsd-zfs -s <_1%_ILOSC_ZFS_STORAGE_> -l zcache0 ada0
# pozostała część dysku na partycję ZFS
gpart add -a 4k -t freebsd-zfs -l zfs0 ada0
Tworzenie systemów plików UFS
Dalsza część instalacji: zdublowanie partycji na kolejny dysk, wykonanie partycji ufs, etc.:
# wykonanie konfiguracji na dysku lustrzanym
#
gpart backup ada0 | sed -E 's/([a-z])0/\11/' | gpart restore -l ada1
# w przypadku większej liczny dysków
#
for i in 1 2 3; do gpart backup ada0 | sed -E "([a-z])0/\1$i/" | gpart restore -l ada$i; done
# konieczne wykonanie bootcode: gpart restore tego nie robi
#
gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada1
# wgranie modu/l/ow potrzebnych do zbudowania mirrorow, stripes, etc.
#
kldload geom_mirror
kldload geom_stripe
kldload opensolaris
kldload zfs
# wykonanie mirror-ów
for d in root usr var tmp; do gmirror label $d /dev/gpt/${d}0 /dev/gpt/${d}1 ; done
# jeżeli nadal chcemy, aby tmp był w stripe. Chociaż w przypadku padu dysku, są problemy, bo w /tmp nie można nic utworzyć.
#
gstripe label tmp /dev/gpt/tmp0 /dev/gpt/tmp1
# wykonanie systemu plik/ow
newfs -L root -S 4k /dev/mirror/root
newfs -L usr -U -S 4k /dev/mirror/usr
newfs -L var -U -S 4k /dev/mirror/var
newfs -L tmp -U -S 4k /dev/stripe/tmp
# tuning
tunefs -l enable -a enable /dev/mirror/root
tunefs -l enable -a enable /dev/mirror/usr
tunefs -l enable -a enable /dev/mirror/var
tunefs -l enable -a enable /dev/stripe/tmp
# montowanie
mount /dev/mirror/root /mnt
mkdir -p /mnt/opt /mnt/usr /mnt/tmp /mnt/var
mount /dev/stripe/tmp /mnt/tmp
mount /dev/mirror/usr /mnt/usr
mount /dev/mirror/var /mnt/var
Można zamontować za pomocą jednolinijkowca:
for d in tmp usr var; do mkdir -p /mnt/$d ; done
for d in tmp usr var; do mount /dev/mirror/$d /mnt/$d ; done
Wykonanie puli ZFS
Bez oddzielnych partycji zlog/zcache
# zak/ladaj/ac, /ze ostatnia partycja jest ju/z ZFSowa
gnop create -S 4096 /dev/ada0p7
gnop create -S 4096 /dev/ada1p7
# dla większej liczby dysków
#
for i in 0 1 2 3; do gnop create -S 4096 /dev/ada${i}p7; done
zpool create -o altroot=/mnt -o cachefile=/var/tmp/zpool.cache -O mountpoint=/opt -O atime=off -O setuid=off tank mirror /dev/ada0p7.nop /dev/ada1p7.nop
Z oddzielnymi partycjami zlog/zcache
# trzeba przejść na sh z tcsh
for n in 0 1; do for i in 7 8 9; do gnop create -S 4096 /dev/ada${n}p$i; done ; done
zpool create -o altroot=/mnt -O mountpoint=/opt -O atime=off -O setuid=off -O exec=off tank mirror /dev/ada0p9.nop /dev/ada1p9.nop log mirror /dev/ada0p7.nop /dev/ada1p7.nop cache /dev/ada0p8.nop /dev/ada1p8.nop
Końcowe porządki tworzenia ZFS pool
zpool export tank
gnop destroy /dev/ada*.nop
zpool import -d /dev/gpt -o altroot=/mnt -o cachefile=/var/tmp/zpool.cache tank
Komentarz 2:
Wykonanie potrzebnych katalog/ow w ZFS
Komentarz 3 - włącz komentarze przed podziałem na partycje:
# Jeżeli partycje tworzone po pierwszym uruchomieniu po instalacji, to:
#
rmdir /usr/local /usr/obj /usr/src /usr/home /usr/ports
# --- dla partycji /usr -----------------------------------------------
#
zfs create -o canmount=off -o exec=on -o setuid=on tank/u
zfs create -o mountpoint=/usr/home tank/u/home
zfs create -o mountpoint=/usr/local tank/u/local
zfs create -o compress=lz4 -o mountpoint=/usr/obj tank/u/obj
zfs create -o compress=lz4 -o exec=off -o setuid=off -o mountpoint=/usr/ports tank/u/ports
zfs create -o mountpoint=/usr/ports/distfiles tank/u/ports/distfiles
zfs create -o mountpoint=/usr/ports/packages tank/u/ports/packages
zfs create -o compress=lz4 -o exec=off -o setuid=off -o mountpoint=/usr/src tank/u/src
# Jeżeli partycje tworzone po pierwszym uruchomieniu po instalacji, to:
#
rmdir /var/empty /var/backups /var/db/pkg /var/mail /var/tmp/vi.recover /var/tmp
# zmiana nazwy wybranych katalogów
for d in audit crash db spool run log; do mv /var/$d /var/${d}.old ; done
# --- dla partycji /var -----------------------------------------------
#
zfs create -o canmount=off -o compress=lz4 -o exec=off tank/v
zfs create -o mountpoint=/var/audit tank/v/audit
zfs create -o mountpoint=/var/backups tank/v/backups
zfs create -o mountpoint=/var/crash tank/v/crash
zfs create -o mountpoint=/var/db tank/v/db
zfs create -o mountpoint=/var/empty tank/v/empty
zfs create -o mountpoint=/var/log tank/v/log
zfs create -o mountpoint=/var/mail tank/v/mail
zfs create -o mountpoint=/var/run tank/v/run
zfs create -o mountpoint=/var/spool tank/v/spool
zfs create -o mountpoint=/var/www tank/v/www
# albo puścić wszystko w pętli
#
for d in audit backups crash db empty log mail run spool www; do zfs create -o mountpoint=/var/$d tank/v/$d; done
# wykonanie katalogów na potrzeby backupów
#
zfs create -o mountpoint=/opt/backups tank/b
zfs create tank/b/bsdbackup
zfs create tank/b/dumps
# wykonanie katalogów na potrzeby SQUIDa (opcjonalnie)
#
zfs create -o mountpoint=/opt/squid tank/s
zfs create tank/s/cache
zfs create tank/s/logs
zfs create -o mountpoint=/var/squid tank/v/squid
### Ustawienie exec wymagane przez domy/sln/a konfiguracj/e portupgrade
### Ew. zmieni/c ustawienia TMPDIR w pkgtools.conf
###
zfs create -o exec=on -o mountpoint=/var/tmp tank/v/tmp
# przypadku migrowania katalogów - ich wcześniejszego usuwania:
#
mkdir -p /var/tmp/vi.recover/
chmod -R 1777 /var/tmp
for d in audit crash db spool run log; do cp -pR /var/${d}.old/ /var/$d/ ; done
Kroki do wykonania po instalacji
(c) 2004 - 2026 BSD Serwis Krzysztof Stryjek. W przypadku błędów, poprawek proszę kontaktować się z administratorem wiki.
