|
Rozmiar: 9315
Komentarz: + szlifowanie skryptu do produkcji fstab
|
Rozmiar: 11455
Komentarz: + update kopiowania zpool.cache
|
| Usunięcia zostały oznaczone w ten sposób. | Dodatki zostały oznaczone w ten sposób. |
| Linia 51: | Linia 51: |
| Oraz podział na dalsze partycje (swap, ufs, zfs, etc). | === Oraz podział na dalsze partycje (swap, ufs, zfs, etc) === Komentarz 1: |
| Linia 55: | Linia 56: |
| }}} Komentarz 2: {{{#!wiki comment Nie można wyklcuzyć, że z powodu błędnych wpisów przy tworzeniu partycji (zfs create) całość nie chciała uruchamiać się po reboocie... Chociaż, trzeba by przeprowadzić kolejne testowe instalacje, aby sprawdzić, czy czyszczenie skryptów pomogło. |
|
| Linia 63: | Linia 69: |
| }}} === Wykonanie partycji ZFS === {{{#!shell numbers=off # wykonanie partycji an potrzeby zlog oraz zacache gpart add -a 4k -t freebsd-zfs -s <_POL_ILOSC_RAM_> -l zlog0 ada0 gpart add -a 4k -t freebsd-zfs -s <_1%_ILOSC_ZFS_STORAGE_> -l zcache0 ada0 # pozostała część dysku na partycję ZFS |
|
| Linia 64: | Linia 79: |
| }}} === Tworzenie systemów plików UFS === Dalsza część instalacji: zdublowanie partycji na kolejny dysk, wykonanie partycji ufs, etc.: {{{#!shell numbers=off |
|
| Linia 98: | Linia 117: |
| }}} === Wykonanie puli ZFS === ==== Bez oddzielnych partycji zlog/zcache ==== {{{#!shell numbers=off |
|
| Linia 104: | Linia 128: |
| }}} ==== Z oddzielnymi partycjami zlog/zcache ==== {{{#!shell numbers=off # trzeba przejść na sh z tcsh for n in 0 1; do for i in 7 8 9; do gnop create -S 4096 /dev/ada${n}p$i; done ; done zpool create -o altroot=/mnt -O mountpoint=/opt -O atime=off -O setuid=off tank mirror /dev/ada0p9.nop /dev/ada1p9.nop log mirror /dev/ada0p7.nop /dev/ada1p7.nop cache /dev/ada0p8.nop /dev/ada1p8.nop }}} ==== Końcowe porządki tworzenia ZFS pool ==== {{{#!shell numbers=off |
|
| Linia 111: | Linia 148: |
# Jeżeli partycje tworzone po pierwszym uruchomieniu po instalacji, to: # rmdir /usr/local /usr/obj /usr/src /usr/home /usr/ports |
|
| Linia 117: | Linia 159: |
| zfs create -o compress=gzip -o exec=off -o setuid=off -o mountpoint=/mnt/usr/ports tank/u/ports | zfs create -o compress=gzip -o exec=off -o setuid=off -o mountpoint=/usr/ports tank/u/ports |
| Linia 120: | Linia 162: |
| zfs create -o compress=gzip -o exec=off -o setuid=off -o mountpoint=/mnt/usr/src tank/u/src | zfs create -o compress=gzip -o exec=off -o setuid=off -o mountpoint=/usr/src tank/u/src # Jeżeli partycje tworzone po pierwszym uruchomieniu po instalacji, to: # rmdir /var/empty /var/backups /var/db/pkg /var/mail /var/tmp/vi.recover /var/tmp # zmiana nazwy wybranych katalogów for d in audit crash db spool run log; do mv /var/$d /var/${d}.old ; done |
| Linia 131: | Linia 180: |
| zfs create -o compress=on -o mountpoint=/mnt/var/log tank/v/log zfs create -o compress=on -o mountpoint=/mnt/var/mail tank/v/mail |
zfs create -o compress=on -o mountpoint=/var/log tank/v/log zfs create -o compress=on -o mountpoint=/var/mail tank/v/mail |
| Linia 140: | Linia 189: |
# przypadku migrowania katalogów - ich wcześniejszego usuwania: # mkdir -p /var/tmp/vi.recover/ chmod -R 1777 /var/tmp for d in audit crash db spool run log; do cp -pR /var/${d}.old/ /var/$d/ ; done |
|
| Linia 143: | Linia 200: |
| Bardzo ważny krok - inaczej po reboocie zfs nie montuje się poprawnie i trzeba wymuszać ponowny import. | Bardzo ważny krok - inaczej po reboocie zfs nie montuje się poprawnie i trzeba wymuszać ponowny import. '''WAŻNE''': trzeba to zrobić z konsoli nr 4 (ALT-F4). |
| Linia 202: | Linia 260: |
| # sprawdzone: krok nie jest potrzebny w przypadku przekopiowania pliku zpool.cache |
Spis Treści
Podział dysków na partycje
Obecnie w instalowanym serwerze są co najmniej dwa dyski, które można wykorzystać jako mirror (zazwyczaj z wykorzystaniem gmirror). Historycznie mirror był budowany z całych dysków. Obecnie dzieli się każdy z dysków na identyczne partycje i wykonuje gmirror dla poszczegónych partycji.
Można skorzystać również z zfsroot, dzięki czemu zyskujemy wiele, wiele możliwości działania. Przykładowe linki:
http://ximalas.info/2012/05/04/when-to-create-a-zfs-filesystem/
http://dan.langille.org/2013/02/07/zfsroot-guides-which-one-to-use/
http://blogs.freebsdish.org/pjd/2010/08/06/from-sysinstall-to-zfs-only-configuration/ - ten wydaje się być najbardziej dopieszczonym i sensownym.
http://savagedlight.me/2012/08/30/freebsd-9-file-server-wiggum-version-2-0/
https://calomel.org/zfs_raid_speed_capacity.html - "kalkulator" dla każdego z RAIDZ
Fizyczny podział
Pierwsza rzecz, to należy zidentyfikować dyski twarde w systemie. FreeBSD 9.x przyjęło zasadę, aby dyski nazywać ada0, ada1 itd. Tak więc podziału można dokonać za pomocą shella i dzięki temu wykonać tę operację szybko. Dokładny przepis instalacji jest podany tutaj (chodzi o kolejność przechodzenia przez menu instalatora).
Ważne: od jakiegoś casu dyski wspierają bloki 4kb, zamiast 512b. Warto o tym pamiętać (odpowiednie parametry dla poleceń tworzących partycje oraz same systemu plików) przy podziale dysków.
Skrypty
Dzięki możliwości dzielenia na partycje za pomocą Shell w menu instalacyjnym możemy zrobić następujące rzeczy:
### starty spos/ob; obecnie backup/ restore wymaga, aby dysk ada1 by/l pusty
###
###for i in 0 1; do gpart create -s gpt ada$i; gpart add -a 4k -t freebsd-boot -s 64k -l boot$i ada$i; gpart bootcode -b /boot/pmbr -p /boot/gptboot -i 1 ada$i; done
###
# utworzenie sposobu partycjonowania
gpart create -s gpt ada0
# utworzenie poartycji boot oraz wgranie kodu do bootowania
gpart add -a 4k -t freebsd-boot -s 64k -l boot0 ada0
gpart bootcode -b /boot/pmbr -p /boot/gptboot -i 1 ada0
# pokazanie listy partycji
gpart show ada0
# dodanie partycji boot dla zfs
gpart add -a 4k -b 34 -s 128k -t freebsd-boot ada0
gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada0
gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada1
Oraz podział na dalsze partycje (swap, ufs, zfs, etc)
Komentarz 1:
Komentarz 2:
gpart add -a 4k -t freebsd-ufs -s 1G -l root0 ada0
gpart add -a 4k -t freebsd-swap -s <_POL_ILOSC_RAM_> -l swap0 ada0
gpart add -a 4k -t freebsd-ufs -s 512M -l tmp0 ada0
gpart add -a 4k -t freebsd-ufs -s 8G -l usr0 ada0
gpart add -a 4k -t freebsd-ufs -s 8G -l var0 ada0
Wykonanie partycji ZFS
# wykonanie partycji an potrzeby zlog oraz zacache
gpart add -a 4k -t freebsd-zfs -s <_POL_ILOSC_RAM_> -l zlog0 ada0
gpart add -a 4k -t freebsd-zfs -s <_1%_ILOSC_ZFS_STORAGE_> -l zcache0 ada0
# pozostała część dysku na partycję ZFS
gpart add -a 4k -t freebsd-zfs -l zfs0 ada0
Tworzenie systemów plików UFS
Dalsza część instalacji: zdublowanie partycji na kolejny dysk, wykonanie partycji ufs, etc.:
# wykonanie konfiguracji na dysku lustrzanym
#
gpart backup ada0 | sed -E 's/([a-z])0/\11/' | gpart restore -l ada1
# wgranie modu/l/ow potrzebnych do zbudowania mirrorow, stripes, etc.
#
kldload geom_mirror
kldload geom_stripe
kldload opensolaris
kldload zfs
for d in root usr var; do gmirror label $d /dev/gpt/${d}0 /dev/gpt/${d}1 ; done
gstripe label tmp /dev/gpt/tmp0 /dev/gpt/tmp1
# wykonanie systemu plik/ow
newfs -L root -S 4k /dev/mirror/root
newfs -L usr -U -S 4k /dev/mirror/usr
newfs -L var -U -S 4k /dev/mirror/var
newfs -L tmp -U -S 4k /dev/stripe/tmp
# tuning
tunefs -l enable -a enable /dev/mirror/root
tunefs -l enable -a enable /dev/mirror/usr
tunefs -l enable -a enable /dev/mirror/var
tunefs -l enable -a enable /dev/stripe/tmp
# montowanie
mount /dev/mirror/root /mnt
mkdir -p /mnt/opt /mnt/usr /mnt/tmp /mnt/var
mount /dev/stripe/tmp /mnt/tmp
mount /dev/mirror/usr /mnt/usr
mount /dev/mirror/var /mnt/var
Wykonanie puli ZFS
Bez oddzielnych partycji zlog/zcache
# zak/ladaj/ac, /ze ostatnia partycja jest ju/z ZFSowa
gnop create -S 4096 /dev/ada0p7
gnop create -S 4096 /dev/ada1p7
zpool create -o altroot=/mnt -o cachefile=/var/tmp/zpool.cache -O mountpoint=/opt -O atime=off -O setuid=off tank mirror /dev/ada0p7.nop /dev/ada1p7.nop
Z oddzielnymi partycjami zlog/zcache
# trzeba przejść na sh z tcsh
for n in 0 1; do for i in 7 8 9; do gnop create -S 4096 /dev/ada${n}p$i; done ; done
zpool create -o altroot=/mnt -O mountpoint=/opt -O atime=off -O setuid=off tank mirror /dev/ada0p9.nop /dev/ada1p9.nop log mirror /dev/ada0p7.nop /dev/ada1p7.nop cache /dev/ada0p8.nop /dev/ada1p8.nop
Końcowe porządki tworzenia ZFS pool
zpool export tank
gnop destroy /dev/ada*.nop
zpool import -d /dev/gpt -o altroot=/mnt -o cachefile=/var/tmp/zpool.cache tank
Wykonanie potrzebnych katalog/ow w ZFS
# Jeżeli partycje tworzone po pierwszym uruchomieniu po instalacji, to:
#
rmdir /usr/local /usr/obj /usr/src /usr/home /usr/ports
# --- dla partycji /usr -----------------------------------------------
#
zfs create -o canmount=off -o exec=on -o setuid=on tank/u
zfs create -o mountpoint=/usr/home tank/u/home
zfs create -o mountpoint=/usr/local tank/u/local
zfs create -o compress=lzjb -o mountpoint=/usr/obj tank/u/obj
zfs create -o compress=gzip -o exec=off -o setuid=off -o mountpoint=/usr/ports tank/u/ports
zfs create -o compress=off -o mountpoint=/usr/ports/distfiles tank/u/ports/distfiles
zfs create -o compress=off -o mountpoint=/usr/ports/packages tank/u/ports/packages
zfs create -o compress=gzip -o exec=off -o setuid=off -o mountpoint=/usr/src tank/u/src
# Jeżeli partycje tworzone po pierwszym uruchomieniu po instalacji, to:
#
rmdir /var/empty /var/backups /var/db/pkg /var/mail /var/tmp/vi.recover /var/tmp
# zmiana nazwy wybranych katalogów
for d in audit crash db spool run log; do mv /var/$d /var/${d}.old ; done
# --- dla partycji /var -----------------------------------------------
#
zfs create -o canmount=off -o exec=off tank/v
zfs create -o compress=lzjb -o mountpoint=/var/audit tank/v/audit
zfs create -o mountpoint=/var/backups tank/v/backups
zfs create -o compress=gzip -o mountpoint=/var/crash tank/v/crash
zfs create -o mountpoint=/var/db tank/v/db
zfs create -o compress=gzip -o exec=on -o mountpoint=/var/db/pkg tank/v/db/pkg
zfs create -o mountpoint=/var/empty tank/v/empty
zfs create -o compress=on -o mountpoint=/var/log tank/v/log
zfs create -o compress=on -o mountpoint=/var/mail tank/v/mail
zfs create -o mountpoint=/var/run tank/v/run
zfs create -o mountpoint=/var/spool tank/v/spool
### Ustawienie exec wymagane przez domy/sln/a konfiguracj/e portupgrade
### Ew. zmieni/c ustawienia TMPDIR w pkgtools.conf
###
zfs create -o compress=lzjb -o exec=on -o mountpoint=/var/tmp tank/v/tmp
# przypadku migrowania katalogów - ich wcześniejszego usuwania:
#
mkdir -p /var/tmp/vi.recover/
chmod -R 1777 /var/tmp
for d in audit crash db spool run log; do cp -pR /var/${d}.old/ /var/$d/ ; done
Skopiowanie zpool.cache (postinstall)
Bardzo ważny krok - inaczej po reboocie zfs nie montuje się poprawnie i trzeba wymuszać ponowny import. WAŻNE: trzeba to zrobić z konsoli nr 4 (ALT-F4).
cp /var/tmp/zpool.cache /mnt/boot/zfs/zpool.cache
Wykonanie /boot/loader.conf (postinstall)
#
# loader.conf
#
# Lokalna konfiguracja bootowania systemu operacyjnego
#
# --- Za/ladowanie modu/l/ow do obs/lugi system/ow plik/ow -----------------
#
geom_mirror_load="YES"
geom_stripe_load="YES"
opensolaris_load="YES"
zfs_load="YES"
kern.geom.label.gptid.enable=0
###
### tutaj dodanie odpowiedniej karty sieciowej
###
# --- Za/ladowanie modu/l/o/w odpowiedzialnych za interfejsy sieciowe ------
#
##miibus_load="YES"
##if_igb_load="YES"
##if_re_load="YES"
### potrzebne w celu posiadania klawiatury PS/2 (szczeg/olnie przez KVM via JNLP)
### UWAGA!!! Dopisa/c dopiero przed instalacj/a oraz uruchomieniem w/lasnego kernela!
### Wpisanie poni/zszego dla kernela "instalacyjnego" powoduje problem z bootowaniem
###
# --- Za/ladowanie oraz konfiguracja obs/lugi wielu klawiatur ---------------
#
kbdmux_load="YES"
hint.atkbdc.0.at="isa"
hint.atkbdc.0.port="0x060"
hint.atkbd.0.at="atkbdc"
hint.atkbd.0.irq="1"
# --- Konfiguracja rozmiaru pami/eci dla kernela oraz ZFS -------------------
#
vm.kmem_size="6G" # This should be 150% of your RAM.
vfs.zfs.arc_max="3G" # This should be a little less than the amount of your RAM.
Wykonanie /etc/fstab !!!
Należy pamiętać, o wykonaniu /etc/fstab. Inaczej system nie wstanie!!!
mkdir -p /tmp/bsdinstall_etc/
touch /tmp/bsdinstall_etc/fstab
mount -p | egrep '(mnt|proc)' | sed -E 's!mnt/?!!' > /etc/fstab
# re-montowanie ZFSa, aby przy pierwszym restarcie serwera (po instalacji) nie było błędów.
# (do sprawdzenia, czy konieczne skoro został skopiowany cache dla zpoola) - być może krok już nie potrzebny
# sprawdzone: krok nie jest potrzebny w przypadku przekopiowania pliku zpool.cache
zfs umount -a
umount /mnt/opt
zfs set mountpoint=/opt tank
zpool set cachefile=/boot/zfs/zpool.cache tank
# dopisanie ZFS-a do rc.conf
#
echo 'zfs_enable="YES"' >> /etc/rc.conf
Modyfikacja (rozbudowa) /etc/fstab
fdescfs jest na potrzeby instalacji bash-a:
/dev/gpt/swap0 none swap sw 0 0
/dev/gpt/swap1 none swap sw 0 0
/dev/cd0 /media/cdrom cd9660 ro,noauto 0 0
/dev/da0s1 /media/flash msdosfs rw,sync,noauto,longnames,-Lpl_PL.UTF-8 0 0
fdescfs /dev/fd fdescfs rw 0 0
oraz utworzenie katalogów dla mediów zewnętrznych:
mkdir -p /media/cdrom /media/flash
