Dtrace и немного магии

и немного магии

Saturday, September 28, 13

Dtrace: что за зверь?

• Инструмент• Язык• Образ мыслей• Сообщество

У нас есть проблемы...

• Отладка• Профилирование• Трассировка• Сбор статистики

И есть инструменты...

• Отладка: gdb, mdb

• Профилирование: oprofile

• Трассировка: truss, strace

• Сбор статистики: kstats, statfs

Много инструментов...

• Отладка: gdb, mdb

• Профилирование: oprofile

• Трассировка: truss, strace

• Сбор статистики: kstats, statfs

• Отладка• Профилирование• Трассировка• Сбор статистики

One tool to rule them all

Dtrace

• Язык D

• Язык D• Consumers

• Библиотека

• Библиотека• Фреймворк

• Библиотека• Фреймворк• Точки инструментирования

• Библиотека• Фреймворк• Точки инструментирования• Провайдеры

Среда обитания

Software stack

Среда обитания

Software stack

Probes% sudo dtrace -l ID PROVIDER MODULE FUNCTION NAME 1 dtrace BEGIN 2 dtrace END 3 dtrace ERROR 4 fbt fcsm fcsm_job_cache_constructor entry 5 fbt fcsm fcsm_job_cache_constructor return 6 fbt fcsm fcsm_job_cache_destructor entry 7 fbt fcsm fcsm_job_cache_destructor return... 5759 syscall read entry 5760 syscall read return 5761 syscall write entry 5762 syscall write return...6518 proc genunix cfork create 6519 sysinfo genunix cfork sysfork 6520 proc genunix proc_exit exit 6521 proc genunix lwp_exit lwp-exit 6522 proc genunix proc_exit lwp-exit

Format: provider:module:function:nameExample: proc:genunix:cfork:create

Язык D

Переменная

ПробаПредикат

Действие

#!/usr/sbin/dtrace -s

BEGIN {! c = 0;! printf("How many times does ls call read?");}

syscall::read:entry/execname == "ls"/{

END {! printf("\t%d times", c);}

% ./test.ddtrace: script './test.d' matched 3 probesCPU ID FUNCTION:NAME 0 1 :BEGIN How many times does ls call read?^C 0 2 :END ! 6 times

Переменная

Проба

Предикат

Тело

Язык D#!/usr/sbin/dtrace -s

BEGIN {! c = 0;! printf("How many times does ls call read?");}

syscall::read:entry/execname == "ls"/{

END {! printf("\t%d times", c);}

% ./test.ddtrace: script './test.d' matched 3 probesCPU ID FUNCTION:NAME 0 1 :BEGIN How many times does ls call read?^C 0 2 :END ! 6 times

Not thread safe!

Отладка

Отладка: волшебный printf

• printf(...);

• std::cout << ... << std::end;

• System.out.println(...);

• echo “...”;

• log(loglevel, message)

Отладка: проблема останова

• make CFLAGS=-DDEBUG

• rmmod; insmode

• Не останавливаем приложение

• Не перекомпилируем• Не запускаем его в дебагере

• Подключаемся на лету когда угодно и куда угодно• Почти не теряем в производительности

Отладка: dtrace

Дебажим: кто сказал мяу?Дано: некий демон zpool_worker активно дергает функции библиотеки libzfs.Одна из библиотечных функций, zpool_vdev_attach(), по непонятной причиневозвращает ошибку.

Задача: Залезть в дебри libzfs и понять откуда именно и почему возвращаетсяошибка

Дебажим: кто сказал мяу?#!/usr/sbin/dtrace -s

pid$target::zpool_vdev_attach:entry{ self->trace = 1;}

pid$target:libzfs::return/self->trace && (int)arg1 == -1/{ ustack(); exit(0);}

Провайдер pid, развернется в pid<ARG>

Модуль, нету модуля

Имя пробы

Thread local variable

Цепляемся ко всем функциям из libzfs

Выполнить только если:a) Мы пришли из zpool_vdev_attach()b) Код возврата (arg1) == -1

Распечатать стэк и выйти

Дебажим: кто сказал мяу?% ./who_said_meow.d -p 373dtrace: script './who_said_meow.d' matched 478 probesCPU ID FUNCTION:NAME 0 52733 zfs_ioctl:return libzfs.so.1`zfs_ioctl+0x2c zpool_worker`do_zpool_attach_or_replace+0x154 zpool_worker`zpool_rpc_attach+0x9f zpool_worker`attach_invoke+0x70 zpool_worker`rpc_invoke+0xbb zpool_worker`rpc_server_loop+0x9d zpool_worker`rpc_worker_main_mode+0xc9 zpool_worker`rpc_worker_main+0x20 zpool_worker`main+0x6c zpool_worker`_start+0x83

Дебажим: кто сказал мяу?

% dtrace -n 'fbt::zfs_ioc_vdev_attach:return /execname=="zpool_worker"/ {trace(arg1);}'dtrace: description 'fbt::zfs_ioc_vdev_attach:return ' matched 1 probeCPU ID FUNCTION:NAME 0 60612 zfs_ioc_vdev_attach:return 16

Проделаем то же самое в пространстве ядра.Для начала узнаем код ошибки...

FBT: провайдер точек инструментирования ядерных функций

Запускать пробу только если функцию дернул zpool_worker

fbt::zfs_ioc_vdev_attach:entry/execname == "zpool_worker"/{ self->trace = 1;}

fbt:zfs::return/self->trace && arg1 == 16/{ stack(); exit(0);}

Дебажим: кто сказал мяу?% ./who_said_meow_kern.ddtrace: script './who_said_meow_kern.d' matched 2439 probesCPU ID FUNCTION:NAME 0 61288 spa_open_ref:return zfs`spa_open_common+0x279 zfs`spa_open+0x23 zfs`zfs_ioc_vdev_attach+0x32 zfs`zfsdev_ioctl+0x327 genunix`cdev_ioctl+0x45 specfs`spec_ioctl+0x5a genunix`fop_ioctl+0x7b genunix`ioctl+0x18e unix`_sys_sysenter_post_swapgs+0x149

Flowindent: что делает redis?

#!/usr/sbin/dtrace -s#pragma D option flowindent

pid$target:::entry{}

pid$target:::return{}

Flowindent: что делает redis?% ./trace_redis.d -p 17926 ... 0 -> aeProcessEvents 0 -> gettimeofday 0 -> __commpage_gettimeofday 0 -> mach_absolute_time 0 <- mach_absolute_time 0 <- __commpage_gettimeofday 0 <- gettimeofday 0 -> kevent 0 <- kevent 0 -> time 0 -> fegetenv 0 -> bzero$VARIANT$sse42 0 <- bzero$VARIANT$sse42 0 <- fegetenv 0 -> gettimeofday 0 -> __commpage_gettimeofday 0 -> mach_absolute_time 0 <- mach_absolute_time 0 <- __commpage_gettimeofday 0 <- gettimeofday 0 -> fesetenv 0 <- fesetenv 0 <- time 0 -> gettimeofday 0 -> __commpage_gettimeofday 0 -> mach_absolute_time 0 <- mach_absolute_time 0 <- __commpage_gettimeofday 0 <- gettimeofday

Статистика

• Dtrace - прекрасный инструмент для сбора статистики

• Dtrace умеет считать

• Dtrace умеет измерять

• Dtrace даже умеет визуализировать

Статистика: quantize#!/usr/sbin/dtrace -s

pid$target::malloc:entry{! @a = quantize(arg0)}

Aggregation

Aggregation:@a.append(arg0)quantize(@a)

Статистика: quantize

% ./showmalloc.d -p 17926 # Redis... value ------------- Distribution ------------- count 4 | 0 8 |@@@@@@@@ 70 16 |@@@@@@@@@@@@@@@@@@@@@ 187 32 |@@@ 23 64 |@@@@@ 47 128 |@@@ 23 256 | 0

Статистика: quantize% ./showmalloc.d -p 17926 # Safari... value ------------- Distribution ------------- count -1 | 0 0 | 2 1 | 4 2 | 0 4 | 72 8 |@@@@@ 1362 16 |@@@@@@@@@ 2395 32 |@@@@@@ 1604 64 |@@@@@@ 1663 128 |@@@ 840 256 |@@ 401 512 |@@@@ 1128 1024 |@ 295 2048 |@ 252 4096 |@ 150 8192 | 2 16384 | 7 32768 | 32 65536 | 80 131072 | 1 262144 | 0 524288 | 0 1048576 | 1Saturday, September 28, 13

Кто стучится в порт ко мне?#!/usr/sbin/dtrace -s

tcp:::receive/args[4]->tcp_dport == 80/{ @pkts[args[2]->ip_saddr] = count();}

struct tcpinfo (TCP header fields)

struct ipinfo (IP information)

Императивная запись:@pkts[<ip_daddr>]++

tcp:::receive/args[4]->tcp_dport == 80/{ @pkts[args[2]->ip_daddr] = count();}

% ./port.d... 192.168.0.50 34 192.168.0.102 11 192.168.0.12 2

Trace disk I/O size

io:::start{ printf("%d %s %d", pid, execname, args[0]->b_bcount);}

Trace disk I/O size

struct bufinfo (абстракция, описывающаяI/O request)

Trace disk I/O size

% ./iostat.ddtrace: description 'io:::start ' matched 1 probeCPU ID FUNCTION:NAME 0 1031 buf_strategy:start 183 cfprefsd 4096 2 1031 buf_strategy:start 183 cfprefsd 4096 0 1031 buf_strategy:start 222 iTerm 24576 0 1031 buf_strategy:start 222 iTerm 4096 0 1031 buf_strategy:start 7098 Keynote 4096 0 1031 buf_strategy:start 7098 Keynote 4096 2 1031 buf_strategy:start 78602 Mail 4096 2 1031 buf_strategy:start 78602 Mail 4096 2 1031 buf_strategy:start 78602 Mail 4096

Покажи свои файлы

syscall::open:entry{ printf("%s %s", execname, copyinstr(arg0));}

% ./trace_opens.ddtrace: description 'syscall::open*:entry ' matched 4 probesCPU ID FUNCTION:NAME 4 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/data.data 4 141 open:entry ocspd /private/var/db/crls/crlcache.db 5 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/window_142.data 5 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/.DS_Store 6 141 open:entry mds . 6 141 open:entry Safari /Users/dk/Library/Saved Application State/com.apple.Safari.savedState/data.data 6 141 open:entry Safari /Users/dk/Library/Saved Application State/com.apple.Safari.savedState/windows.plist

Покажи свои файлы

syscall::open:entry{ printf("%s %s", execname, copyinstr(arg0));}

% ./trace_opens.ddtrace: description 'syscall::open*:entry ' matched 4 probesCPU ID FUNCTION:NAME 4 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/data.data 4 141 open:entry ocspd /private/var/db/crls/crlcache.db 5 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/window_142.data 5 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/.DS_Store 6 141 open:entry mds . 6 141 open:entry Safari /Users/dk/Library/Saved Application State/com.apple.Safari.savedState/data.data 6 141 open:entry Safari /Users/dk/Library/Saved Application State/com.apple.Safari.savedState/windows.plist

не забываем, что мы в пространстве ядра

Профайлим

Где самые горячие функции?#!/usr/sbin/dtrace -s

profile-997/arg1/{ @a[execname, ufunc(arg1)] = count();}

tick-60s{ trunc(@a, 5); exit(0);}

провайдер profile

user mode

составной ключ

% ./hotfuncs.dCPU ID FUNCTION:NAME 4 288995 :tick-60s Aquamacs Aquamacs`Fassoc WebProcess JavaScriptCore`JSC::SlotVisitor::copyAndAppend WebProcess JavaScriptCore`JSC::Structure::visitChildren Aquamacs Aquamacs`assq_no_quit Skype libobjc.A.dylib`objc_msgSend

Волшебный timestamp

nfsv3:::op-write-start{ self->write_start_time = timestamp;}

nfsv3:::op-write-done{ this->diff = timestamp - self->write_start_time; @a1["avg"] = avg(this->diff); @a2["min"] = min(this->diff); @a3["max"] = max(this->diff); @plot = quantize(this->diff);}

tick-60s{ exit(0);}

Используем thread localпеременную

tick-60s{ exit(0);}

avg(all diffs in @a1)min(all diffs in @a2)max(all diffs in @a3)

% ./nfsv3_write_perf.d avg 31157 min 8472 max 19504129

value ------------- Distribution ------------- count 4096 | 0 8192 |@@@@@@@@@@ 2472 16384 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ 6610 32768 |@@ 536 65536 | 36 131072 | 1 262144 | 9 524288 | 69 1048576 | 13 2097152 | 3 4194304 | 0 8388608 | 1 16777216 | 0

Flamegraphs

Flamegraphs% dtrace -x ustackframes=100 -n ‘profile-997 /execname == “mysqld”/ {@[ustack()] = count();} tick-60s {exit(0);}’ > out.user_stacks

% ./stackcollapse.pl out.user_stacks | ./flamegraph.pl > graph.svg

Dtrace в разных ОС

• OpenSolaris/Illumos

• FreeBSD

• NetBSD

• MacOSX

• Oracle Solaris

• Oracle Linux?

What about GNU/Linux

We don’t take kindly dtrace guyslike you

Есть ли жизнь вне C?

• С++: name mangling

• Java: USDT

• node.js, perl, ruby: libusdt based providers

• libusdt: github.com/chrisa/libusdt/

Полезные ссылки• http://www.brendangregg.com/dtrace.html

• http://www.dtracebook.com/index.php/Main_Page

• https://wiki.freebsd.org/DTrace

• https://blogs.oracle.com/rweisner/entry/dtrace_and_c_objects

• http://www.joyent.com/blog/bruning-questions-debugging-node-apps-with-dtrace

• https://github.com/chrisa/libusdt

• http://dtrace.org/blogs/brendan/2011/12/16/flame-graphs/

Вопросы

Dtrace и немного магии

Technology

DTrace - netways.de · DTrace, MUCOSUG DTrace Eigenschaften Kein Effekt wenn deaktiviert Beliebig (“arbitrary”) nutzbar Datenintegrität Skalierbar Skriptbarkeit Benutzerdefinierte

Немного из истории…

Dynamic Tracing with DTrace & SystemTap - GitHub Pagesmyaut.github.io/dtrace-stap-book/dtrace-stap-book.pdf · Thanks DTrace SystemTap community for creating such great instruments,

Немного о глазах

The DTrace backend on Solaris for x86/x64sergey/cs258/2009/... · DTrace architecture overview dtrace(1M), others – DTrace consumers libdtrace(3lib) – D compiler Results User

Немного о лендингах

немного о мебели

Раз облачение облачной магии

Dtrace Overview

СЛОВАРЬ ПО МАГИИ

еще немного фото

Размышления о магии, религии и здоровье11³ит_1.pdf · 2013-10-30 · xxi ВЕК – ВЕК МАГИИ... ГОТОВЬТЕСЬ! ... кой Книги,

Немного о целомудрии

немного цвета

Пятьдесят оттенков магии - Knigopoisk.com · 2016. 9. 21. · 2016 — (Пятьдесят оттенков магии) Тяжело единственной

DTrace and Samba - · PDF file4 Philosophy of DTrace ! DTrace is production safe. ! DTrace has no impact when not in use. ! DTrace has very minimal impact when in use

Немного о программе:

Dtrace in netbsd

Баяния и магии

Dtrace Tips