====== ZFS ======
===== Vytvoření zpool =====
Zpool je tvořen jen jedním diskem, může se použít např. pro zálohy na USB disk.\\
Disky mohou rotovat.
zpool create -f poolz3bck /dev/sdg
zfs create poolz3bck/backup
zfs set compression=lz4 poolz3bck/backup
==== Vytvoření ZFS pool dle id disků ====
(''/dev/disk/by-id'')
Mapování mezi ID a jménem lze zjistit příkazem ''lsblk''.\\
Konkrétně např. pro disk ''sda''\\
lsblk -O /dev/sda
===== Vytvoření raid pool =====
https://calomel.org/zfs_raid_speed_capacity.html
Create RAIDZ2 - ladění výkonu.\\
https://www.svennd.be/create-zfs-raidz2-pool/
Vytvoření mirror pool:\\
zpool create -f vspool mirror
Vytvoření **raidz1** pool:\\
zpool create -f vspool raidz1 /dev/disk/by-id/ata-WDC_WD2004FBYZ-01YCBB1_WD-WMC6N0D3UY36 /dev/disk/by-id/ata-WDC_WD2004FBYZ-01YCBB1_WD-WMC6N0D004T6 /dev/disk/by-id/ata-WDC_WD2004FBYZ-01YCBB1_WD-WMC6N0D4Z3LT /dev/disk/by-id/ata-WDC_WD2004FBYZ-01YCBB1_WD-WMC6N0D9SRC6
Vytvoření **raidz2** pool:\\
zpool create backup raidz2 /dev/disk/by-id/ata-TOSHIBA_HDWD240_X9M1S05PS5HH /dev/disk/by-id/ata-TOSHIBA_HDWD240_X9M1S045S5HH /dev/disk/by-id/ata-TOSHIBA_HDWD240_X9M1S05TS5HH /dev/disk/by-id/ata-TOSHIBA_HDWD240_X9M1S05GS5HH /dev/disk/by-id/ata-TOSHIBA_HDWD240_X9M1S03RS5HH /dev/disk/by-id/ata-TOSHIBA_HDWD240_X9M1S043S5HH /dev/disk/by-id/ata-TOSHIBA_HDWD240_X9M1S046S5HH /dev/disk/by-id/ata-TOSHIBA_HDWD240_X9M1S03QS5HH
===== Vytvoření block device - dataset =====
Např. pro Xen VM
zfs create -V 40G vspool/vision
==== Rozšíření prostoru pro block device - rozšíření datasetu - resize ====
Zjištění stávající velikosti\\
zfs get volsize vspool/vision
Nstavení nvé velikosti
zfs set volsize=45G vspool/vision
http://thegeekdiary.com/the-ultimate-zfs-interview-questions/
http://zfsonlinux.org/example-zvol.html
Pro rozšíření je nutné vypnout/zapnout virtuální počítač a následně rozšířit prostor prostředky v rámci OS(Windows/Linux)\\
Pro Windows systémy je diskový prostor možné rozšířit online v rámci nástroje **Správa disků**.\\
Pro Linux systémy by měl být funkční následující postup:\\
- Vypnout virtuální počítač
- Pomocí nástroje fdisk odstranit obkast pro swap (např. ''fdisk -l /dev/zvol/vspool/keo'', smazat oblast 2)
- Smazat oblast 1 a následně vytvořit novou oblast. Ponechte prostor pro swap.
- Proveďte kontrolu nové oblasti 1 - ''e2fsck -f /dev/zvol/vspool/keo-part1''
- Po úspěšně kontrole proveďte resize - ''resize2fs /dev/zvol/vspool/keo-part1''
==== Kopie block device do img souboru ====
Block device(např. virtuální PC) lze zkopírovat pomocí příkazu ''%%dd%%''
Např.: ''%%dd if=/dev/zvol/vspool/vm/CONFLUENCE of=/mnt/backup/zfstestbck/confluence_dev.img%%''
===== ZIL log a L2ARC cache =====
ZFS with SSDs: Am I asking for a headache in the near future?\\
https://forum.proxmox.com/threads/zfs-with-ssds-am-i-asking-for-a-headache-in-the-near-future.25967/\\
I have no idea how the lack of TRIM in ZFS affects cache performance in the long term, but all SSDs have automatic garbage collection / maintenance routines, so I think the most important thing is to set aside some decent OP (over provision = unpartitioned space) area, like 15-20% of the capacity, and I reckon everything should be fine.
On 250 GB TLC drives, I would leave about 40-50 GB unpartitioned, so partition table would look like this:
- 10 GB SWAP (mirrored on other drive)
- 10 GB ZIL (mirrored on other drive)
- 180 GB L2ARC (striped with other drive)
Používaji se SSD disky. Pro ZIL log stačí menší prostor ideálně miror, pro L2ARC cache nemirorovaný.\\
SSD disky se rozdělí na partition. Např pro 128GB SSD se nechá 8GB pro log a zbytek pro cache.\\
zpool add vspool log mirror /dev/disk/by-id/ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part1 /dev/disk/by-id/ata-Samsung_SSD_850_PRO_128GB_S24ZNXAGA14082B-part1
zpool add vspool cache /dev/disk/by-id/ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part2 /dev/disk/by-id/ata-Samsung_SSD_850_PRO_128GB_S24ZNXAGA14082B-part2
Výsledek pak vypadá podobně jako na výpisu:
debian:~# zpool status
pool: vspool
state: ONLINE
scan: resilvered 0 in 0h33m with 0 errors on Tue May 17 14:41:08 2016
config:
NAME STATE READ WRITE CKSUM
vspool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
ata-WDC_WD7500BPKX-00HPJT0_WD-WXG1A95HA0A8 ONLINE 0 0 0
ata-WDC_WD7500BPKX-00HPJT0_WD-WXG1A95HAH3C ONLINE 0 0 0
logs
mirror-1 ONLINE 0 0 0
ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part1 ONLINE 0 0 0
ata-Samsung_SSD_850_PRO_128GB_S24ZNXAGA14082B-part1 ONLINE 0 0 0
cache
ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part2 ONLINE 0 0 0
ata-Samsung_SSD_850_PRO_128GB_S24ZNXAGA14082B-part2 ONLINE 0 0 0
errors: No known data errors
===== Zálohování pomocí snashotů =====
Je použitý externí skrip zfSnap\\
https://github.com/zfsnap/zfsnap/wiki/zfSnap
Pro Debian a Ubuntu existuje balíček ''zfsnap''
apt-get install zfsnap
''%%zfSnap%%'' vytváří standardní snapshoty pomocí příkazu ''%%zfs snapshot%%''
např: ''%%zfs snapshot tank/test@tuesday%%''
0 8-22/1 * * * /usr/sbin/zfSnap -a 1d poolz1/VM/BITBUCKET -a 1d poolz1/VM/CONFLUENCE -a 1d poolz1/VM/VSSQL01 -a 1d poolz1/VM/VALKYRA -a 1d poolz1/VM/HPLAPP01 -a 1d poolz1/VM/HPLAPP02 -a 1d poolz1/VM/BAMBOO -a 1d poolz1/VM/JIRA
0 23 * * 1-5 /usr/sbin/zfSnap -a 2w poolz1/VM/BITBUCKET -a 2w poolz1/VM/CONFLUENCE -a 2w poolz1/VM/VSSQL01 -a 2w poolz1/VM/VALKYRA -a 2w poolz1/VM/HPLAPP01 -a 2w poolz1/VM/HPLAPP02 -a 2w poolz1/VM/BAMBOO -a 2w poolz1/VM/JIRA
0 23 * * 6 /usr/sbin/zfSnap -a 2m poolz1/VM/BITBUCKET -a 2m poolz1/VM/CONFLUENCE -a 2m poolz1/VM/VSSQL01 -a 2m poolz1/VM/VALKYRA -a 2m poolz1/VM/HPLAPP01 -a 2m poolz1/VM/HPLAPP02 -a 2m poolz1/VM/BAMBOO -a 2m poolz1/VM/JIRA
45 23 1 * * /usr/sbin/zfSnap -a 1y poolz1/VM/BITBUCKET -a 1y poolz1/VM/CONFLUENCE -a 1y poolz1/VM/VSSQL01 -a 1y poolz1/VM/VALKYRA -a 1y poolz1/VM/HPLAPP01 -a 1y poolz1/VM/HPLAPP02 -a 1y poolz1/VM/BAMBOO -a 1y poolz1/VM/JIRA
0 1 * * * /usr/sbin/zfSnap -d
10 */1 * * * /usr/local/sbin/zxfer -dFkPv -g 376 -R poolz1/VM poolz3bck
===== Obnova ze snapshotu =====
Lze použít buď příkaz **rollback** nebo **clone**
==== Rolback ====
**POZOR**, rollback snapshotu se vrátí do stavu pořízení snapshotu. Časově následující snapshoty jsou smazány.
zfs rollback -r vspool/VM/srv01@2016-10-13_20.26.26--1d
==== Clone, promote ====
zfs clone vspool/vm/FI-SYS-DISK@2016-11-21_13.31.16--1d vspool/vm/FI-SYS-DISK_clone01
debian:/etc/xen# zfs list -t all|more
NAME USED AVAIL REFER MOUNTPOINT
vspool 309G 366G 96K /vspool
vspool/vm 309G 366G 96K /vspool/vm
vspool/vm/FI-SYS-DISK 155G 520G 152G -
vspool/vm/FI-SYS-DISK@2016-11-21_13.18.38--1d 0 - 152G -
vspool/vm/FI-SYS-DISK@2016-11-21_13.28.36--1d 5.52M - 152G -
vspool/vm/FI-SYS-DISK@2016-11-21_13.30.28--1d 2.48M - 152G -
vspool/vm/FI-SYS-DISK@2016-11-21_13.31.16--1d 12.1M - 152G -
vspool/vm/FI-SYS-DISK_clone 153G 366G 152G -
vspool/vm/FI-SYS-DISK_clone@2016-11-21_13.16.51--1d 724M - 152G -
vspool/vm/FI-SYS-DISK_clone01 477M 366G 152G -
Byl vytvořen zapisovatelný snapshot ''vspool/vm/FI-SYS-DISK_clone01'', nyní je možné zkontrolovat jestli se na něm nachází očekávaná data. Pokud se jedná jako v tomto případě o disk virtuálního serveru, lze snapshot standardně použít v konfiguračním souboru xenu jako virtuální disk.
disk = [ 'phy:/dev/zvol/vspool/vm/FI-SYS-DISK_clone01,ioemu:hda,w']
Jestliže jsou na disku očekávaná data, lze použít příkaz ''promote'' a převést do stavu běžného zvool.
zfs promote vspool/vm/FI-SYS-DISK_clone01
debian:/etc/xen# zfs list -t all|more
NAME USED AVAIL REFER MOUNTPOINT
vspool 309G 366G 96K /vspool
vspool/vm 309G 366G 96K /vspool/vm
vspool/vm/FI-SYS-DISK 155G 520G 152G -
vspool/vm/FI-SYS-DISK_clone 153G 366G 152G -
vspool/vm/FI-SYS-DISK_clone@2016-11-21_13.16.51--1d 724M - 152G -
vspool/vm/FI-SYS-DISK_clone01 1.11G 366G 152G -
vspool/vm/FI-SYS-DISK_clone01@2016-11-21_13.18.38--1d 0 - 152G -
vspool/vm/FI-SYS-DISK_clone01@2016-11-21_13.28.36--1d 5.52M - 152G -
vspool/vm/FI-SYS-DISK_clone01@2016-11-21_13.30.28--1d 2.48M - 152G -
vspool/vm/FI-SYS-DISK_clone01@2016-11-21_13.31.16--1d 11.7M - 152G -
===== Replikace pomocí zxfer =====
**Pozor** skript standardně nepoužívá sysstémovou proměnou PATH, což může být problém při použití v cronu.\\
V logu se objevovala hláška: //Failed to retrieve datasets from the destination//
''*/2 * * * * /usr/local/sbin/zxfer -dFkPv -g 376 -R vspool/VM zfsbck >> /tmp/zxfer01.txt''
Po přidání ''PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin'' na začátek skriptu **zxfer** probíhá replikace v pořádku.
Opět se jedná o externí skript.\\
''%%zxfer%%'' používá příkaz ''%%zfs send%%'' a ''%%zfs receive%%''
zxfer -dFkPv -g 376 -R vspool/vm/vision zfsbck/backup/vision
http://www.manualpages.de/FreeBSD/FreeBSD-ports-9.0-RELEASE/man8/zxfer.8.html\\
https://zpool.org/zfs-snapshots-and-remote-replication/\\
https://blogs.confusticate.com/jeremy/tag/zfs/\\
===== Záloha na vyměnitelná média - USB disk =====
zpool list
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
vspool 696G 290G 406G - 28% 41% 1.00x ONLINE -
zfsbck 928G 26.9G 901G - 2% 2% 1.00x ONLINE -
zpool export zfsbck
zpool list
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
vspool 696G 290G 406G - 28% 41% 1.00x ONLINE -
zpool import zfsbck
Pokud se použije příkaz ''zpool import'' bez parametru, pak se vypíše seznam pool, které lze naimportovat.
zpool list
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
vspool 696G 290G 406G - 28% 41% 1.00x ONLINE -
zfsbck 928G 26.9G 901G - 2% 2% 1.00x ONLINE -
===== Obnova ze zálohy =====
Před obnovou můžeme ověřit zálohu příkazem
zstreamdump < confluence.img
V rámci dvou zfs uložišť lze použít ''%%zfs%%'' send a ''%%zfs receive%%''. Např. při restoru z USB disku.\\
Ale pokud např. uložíme zfs snapshot na Ext4 souborový systém příkazem\\ ''%%zfs send poolz3bck/backup/Confluence/Confluence > /mnt/backup/zfstestbck/confluence.img%%''\\
Zde jsem chvíli tápal, domníval jsem se, že soubor cnfluence.img je již obraz virtuálního serveru. Ale není tomu tak.Jedná se o uložený dataset a jeden konkrétní snapshot.
Pro obnovu je potřeba příkazem ''%%zfs receive%%'' nahrát soubor do připraveného datasetu.
Např.: ''%%zfs receive -F vspool/vm/confluence < /mnt/backup/zfstestbck/confluence.img%%''
zfs list -t all|grep vspool
vspool/vm/confluence 5.88G 494G 5.76G /vspool/vm/confluence
vspool/vm/confluence@2016-06-09_11.00.01--1d
===== Výměna vadného disku =====
http://askubuntu.com/questions/305830/replacing-a-dead-disk-in-a-zpool
Pomocí příkazu zdb zjistíme disk GUID a následně převedeme disk do stavu offline.
zpool offline vspool 8908311146390156902
Následně vyměníme vadný disk za nový a pak pomocí příkazu replace zařadíme do pool.
zpool replace vspool 8908311146390156902 /dev/disk/by-id/ata-Samsung_SSD_850_PRO_128GB_S24ZNXAGA14082B
===== Odstranění Logs a Cache device z pool =====
Na serveru docházelo k chybám disku v Log a Cache
NAME STATE READ WRITE CKSUM
vspool DEGRADED 0 0 0
raidz1-0 ONLINE 0 0 0
ata-WDC_WD7500BPKX-00HPJT0_WD-WXA1A25RKPVC ONLINE 0 0 0
ata-WDC_WD7500BPKX-00HPJT0_WD-WXG1A95HA0A8 ONLINE 0 0 0
ata-WDC_WD7500BPKX-00HPJT0_WD-WXG1A95HAH3C ONLINE 0 0 0
logs
mirror-1 DEGRADED 0 0 0
6032371930805775579 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part1
ata-Samsung_SSD_850_PRO_128GB_S24ZNXAGA14082B-part1 ONLINE 0 0 0
cache
ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part2 UNAVAIL 0 0 0
ata-Samsung_SSD_850_PRO_128GB_S24ZNXAGA14082B-part2 ONLINE 0 0 0
Proto bylo nutné zrušit Logs a Cache.\\
Vadný disk není možné odebrat, je nutné nejdříve provést detach.
zpool remove vspool ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part1
cannot remove ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part1: operation not supported on this type of pool
zpool detach vspool ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part1
Partititon zařazenou v Cache nebylo možné detach, ale bylo možné jí odebrat\\
zpool detach vspool ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part2
cannot detach ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part2: device is in use as a cache
zpool remove vspool ata-Samsung_SSD_850_PRO_128GB_S24ZNWAG942247J-part2
zpool status pak vypadá následovně\\
root@ubuntu:~# zpool status
pool: vspool
state: ONLINE
scan: scrub repaired 0 in 0h0m with 0 errors on Sun Feb 12 00:24:13 2017
config:
NAME STATE READ WRITE CKSUM
vspool ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
ata-WDC_WD7500BPKX-00HPJT0_WD-WXA1A25RKPVC ONLINE 0 0 0
ata-WDC_WD7500BPKX-00HPJT0_WD-WXG1A95HA0A8 ONLINE 0 0 0
ata-WDC_WD7500BPKX-00HPJT0_WD-WXG1A95HAH3C ONLINE 0 0 0
logs
ata-Samsung_SSD_850_PRO_128GB_S24ZNXAGA14082B-part1 ONLINE 0 0 0
cache
ata-Samsung_SSD_850_PRO_128GB_S24ZNXAGA14082B-part2 ONLINE 0 0 0
errors: No known data errors
Nyní je možné odstranit z pool dvě funkční partition
zpool remove vspool ata-Samsung_SSD_850_PRO_128GB_S24ZNXAGA14082B-part1
zpool remove vspool ata-Samsung_SSD_850_PRO_128GB_S24ZNXAGA14082B-part2
root@ubuntu:~# zpool status
pool: vspool
state: ONLINE
scan: scrub repaired 0 in 0h0m with 0 errors on Sun Feb 12 00:24:13 2017
config:
NAME STATE READ WRITE CKSUM
vspool ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
ata-WDC_WD7500BPKX-00HPJT0_WD-WXA1A25RKPVC ONLINE 0 0 0
ata-WDC_WD7500BPKX-00HPJT0_WD-WXG1A95HA0A8 ONLINE 0 0 0
ata-WDC_WD7500BPKX-00HPJT0_WD-WXG1A95HAH3C ONLINE 0 0 0
errors: No known data errors
==== Odkazy ====
https://wiki.archlinux.org/index.php/ZFS
https://zpool.org/zfs-snapshots-and-remote-replication/
http://wiki.complete.org/ZFSAutoSnapshots
http://changelog.complete.org/archives/9168-backing-up-every-few-minutes-with-simplesnap\\
http://breden.org.uk/2008/05/12/home-fileserver-backups-from-zfs-snapshots/\\
http://community.riocities.com/xen_storage_driver_domain.html
http://mehdi.me/setting-up-a-windows-server-2012-r2-virtual-machine-with-xen-on-ubuntu/
Xen domu storage\\
http://wiki.xenproject.org/wiki/Storage_driver_domains
Ubuntu ZFS install\\
http://www.jamescoyle.net/how-to/478-create-a-zfs-volume-on-ubuntu
Ubuntu 16.4 ZFS install\\
https://wiki.ubuntu.com/Kernel/Reference/ZFS
https://wiki.archlinux.org/index.php/Experimenting_with_ZFS
https://pve.proxmox.com/wiki/Storage:_ZFS#Administration
ZFS Raidz Performance, Capacity and Integrity\\
https://calomel.org/zfs_raid_speed_capacity.html\\
http://louwrentius.com/zfs-performance-and-capacity-impact-of-ashift9-on-4k-sector-drives.html\\
ZVOL storage for VMs\\
https://www.quernus.co.uk/2015/08/30/cloning-zvol-for-vm/\\
http://justinholcomb.me/blog/2016/05/23/zfs-volume-manipulations.html\\
===== Zapracovat do dokumentu =====
zfs send tank/test@tuesday | zfs receive pool/test
===== Scrub =====
https://utcc.utoronto.ca/~cks/space/blog/solaris/ZFSScrubsOurSpeedup\\
Na cca 3TB poli jsem spustil ''zfs scrub pool''. Na serveru bylo spuštěno cca 10 VS.
Servery přestali reagovat a celý systém měl hrozně dlouhé odezvy. Nakonec jsem musel scrub ukončit ''scrub -s pool''. Čekal jsem cca 15 hodin než se scrub zastaví, nezastavil se. Server jsem restartoval(init 6). Po restartu proběhla obnova soubor. systémů na VS.