嵌入式ARM Linux應(yīng)用程序項(xiàng)目問(wèn)題定位

一、現(xiàn)象

業(yè)務(wù)線反饋，單板只要一跑我們的通訊軟件appA，CPU就變得很高，即使沒(méi)有任何通訊，空跑時(shí)CPU利用率同樣的高，難得業(yè)務(wù)會(huì)關(guān)注CPU性能，好久沒(méi)更新博客了，小記一下（又是debug一兩天，最后改一行代碼解決的問(wèn)題o(╯□╰)o）。

啟動(dòng)appA?前，top看一下CPU使用情況，如下，9%還算正常（有其他業(yè)務(wù)應(yīng)用）。

Mem: 49320K used, 202284K free, 0K shrd, 0K buff, 27420K cached
CPU:  3.0% usr  6.0% sys  0.0% nic 91.0% idle  0.0% io  0.0% irq  0.0% sirq
Load average: 1.79 2.79 2.98 1/86 1721
  PID  PPID USER     STAT   VSZ %VSZ CPU %CPU COMMAND
 1721  1376 root     R     2272  0.9   0  1.6 top -d 1
  917     1 root     S    38936 15.4   0  1.1 ...
  908     1 root     S    38936 15.4   0  0.5 ...
  915     1 root     S    38936 15.4   0  0.5 ...
  896     1 root     S    38936 15.4   0  0.5 ...
  914     1 root     S    38936 15.4   0  0.5 ...
  857     1 root     S     4396  1.7   0  0.5 /usr/sbin/telnetd
    3     2 root     SW       0  0.0   0  0.5 [ksoftirqd/0]
 1376   857 root     S     2272  0.9   0  0.0 -sh
  929     1 root     S     2272  0.9   0  0.0 /sbin/getty -L ttyO2 115200 vt100
    1     0 root     S     2268  0.9   0  0.0 init
  ...

我們的應(yīng)用啟動(dòng)后，CPU使用率很高，65%左右，是什么讓CPU占用高？

$top -d1
Mem: 54604K used, 197000K free, 0K shrd, 0K buff, 27220K cached
CPU: 14.6% usr 38.5% sys  0.0% nic 36.2% idle  0.0% io  0.0% irq 10.5% sirq
Load average: 3.26 2.22 1.58 1/107 1470
  PID  PPID USER     STAT   VSZ %VSZ CPU %CPU COMMAND
 1444  1376 root     S    28008 11.1   0  5.8 {Thread_start} ./appA
    3     2 root     SW       0  0.0   0  4.0 [ksoftirqd/0]
 1445  1376 root     S    28008 11.1   0  2.9 {Task_OS_Timer} ./appA
 1470  1376 root     R     2272  0.9   0  2.3 top -d 1
  917     1 root     S    38936 15.4   0  1.7 ...
 1450  1376 root     S    28008 11.1   0  1.7 ...
  896     1 root     S    38936 15.4   0  1.1 ...
 1449  1376 root     S    28008 11.1   0  0.5 {CycleIO} ./appA
  857     1 root     S     4396  1.7   0  0.5 /usr/sbin/telnetd
  ......

TOP各指標(biāo)含義

簡(jiǎn)單介紹下top各指標(biāo)含義。top 命令顯示了 us、sy、nic、idle 、io、hi、si 和 st 這幾個(gè)指標(biāo)(不同版本的top顯示簡(jiǎn)寫有所不同)，各指標(biāo)含義如下，這幾個(gè)指標(biāo)之和為 100。

us, user    : time running un-niced user processes
sy, system  : time running kernel processes
ni, nice    : time running niced user processes
id, idle    : time spent in the kernel idle handler
wa, IO-wait : time waiting for I/O completion
hi : time spent servicing hardware interrupts
si : time spent servicing software interrupts
st : time stolen from this vm by the hypervisor

CPU指標(biāo)	含義
us	CPU執(zhí)行用戶代碼消耗的CPU時(shí)間比例，這個(gè)比例越高，說(shuō)明CPU的利用率越好，因?yàn)槲覀兊哪康木褪菫榱俗孋PU將更多的時(shí)間用在執(zhí)行用戶代碼上，如果這個(gè)指標(biāo)過(guò)高影響了你的業(yè)務(wù)，那就需要去分析業(yè)務(wù)代碼了。
sy	CPU執(zhí)行內(nèi)核代碼消耗的CPU時(shí)間比例，這個(gè)比例要越低越好，因?yàn)镃PU不應(yīng)該把時(shí)間浪費(fèi)在執(zhí)行內(nèi)核函數(shù)上，如內(nèi)核函數(shù)浪費(fèi)了很多時(shí)間，那說(shuō)明內(nèi)核可能需要優(yōu)化了。
ni	Nice值被調(diào)大的線程執(zhí)行用戶態(tài)代碼消耗的CPU百分比。對(duì)于非實(shí)時(shí)任務(wù)，通過(guò)調(diào)整線程的Nice值可以控制它的CPU時(shí)間，當(dāng)我們?cè)龃笠粋€(gè)線程的Nice值時(shí)，我們期望它可以少占用一些CPU時(shí)間，CPU利用率里的ni這個(gè)值就給我們一個(gè)參考指標(biāo)來(lái)觀察我們的調(diào)整效果。運(yùn)行一個(gè)進(jìn)程后，它的默認(rèn)Nice值為0，通過(guò)renice來(lái)增加該進(jìn)程的Nice值（正數(shù)），該進(jìn)程的CPU利用率就會(huì)在ni中顯示，而減少進(jìn)程的Nice值（負(fù)數(shù)）則不會(huì)在這里面顯示。
id	CPU空閑時(shí)間，我們通常說(shuō)的整體CPU利用率就是（100-idl）這個(gè)值，也是其他幾項(xiàng)的和。為了提升系統(tǒng)的資源利用率，目標(biāo)就是盡量降低idl。
wa	CPU阻塞在I/O上的時(shí)間，比如CPU從磁盤讀取文件內(nèi)容，由于磁盤I/O太慢，導(dǎo)致CPU不得不等待數(shù)據(jù)就緒，然后才能繼續(xù)執(zhí)行下一步操作，這就wai時(shí)間，這個(gè)值越高，說(shuō)明I/O處理能力出現(xiàn)了問(wèn)題。
hi	CPU消耗在硬中斷里的時(shí)間，正常情況下這個(gè)值都很低，因?yàn)橹袛嗟奶幚砗芸?，即使有大量?a href="http://www.wenjunhu.com/v/tag/1751/" target="_blank">硬件中斷，也不會(huì)消耗很多的CPU時(shí)間。
si	CPU消耗在軟中斷里的時(shí)間，系統(tǒng)中常見的軟中斷有網(wǎng)絡(luò)收發(fā)包軟中斷、寫文件落盤產(chǎn)生的軟中斷、高精度定時(shí)器軟中斷等。所以網(wǎng)絡(luò)吞吐量較高的系統(tǒng)中，這個(gè)值也會(huì)高一些。

在上面這幾項(xiàng)中，idle 和 wait 是 CPU 不工作的時(shí)間，其余的項(xiàng)都是 CPU 工作的時(shí)間。idle 和 wait 的主要區(qū)別是，idle 是 CPU 無(wú)事可做，而 wait 則是 CPU 想做事卻做不了。你也可以將 wait 理解為是一類特殊的 idle，即該 CPU 上有至少一個(gè)線程阻塞在 I/O 時(shí)的 idle。

二、分析

由CPU: 14.6% usr 38.5% sys 0.0% nic 36.2% idle 0.0% io 0.0% irq 10.5% sirq可以看出，CPU 利用率飆高是由 sys 利用率和sirq利用率變高導(dǎo)致的，也就是說(shuō) sys 利用率會(huì)忽然飆高一下，比如在 usr 低于 15% 的情況下，sys 會(huì)高于 40%，同時(shí)sirq會(huì)高于10%，持續(xù)不到一秒后又恢復(fù)正常。

CPU 的 sys 利用率高，說(shuō)明內(nèi)核函數(shù)執(zhí)行花費(fèi)了太多的時(shí)間，同樣，CPU 的 sirq利用率高，說(shuō)明內(nèi)核處理軟中斷執(zhí)行花費(fèi)了太多的時(shí)間，先對(duì)比應(yīng)用啟動(dòng)前后系統(tǒng)各部分信息，看看能否推斷出CPU執(zhí)行哪部分的的內(nèi)核函數(shù)花費(fèi)的時(shí)間長(zhǎng)。

啟動(dòng)應(yīng)用前

我們先通過(guò)pidstat看看appA啟動(dòng)前,系統(tǒng)中每個(gè)進(jìn)程usr、system、guest、wait各部分CPU使用情況：

$ pidstat 1 3  #每秒打印一次 打印3次
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

0944      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
0944        0        47    0.00    0.96    0.00    0.00    0.96     0  kworker/0:1
0944        0       894    2.88    3.85    0.00    0.00    6.73     0  cpu_mem_task
0944        0       968    0.00    1.92    0.00    0.00    1.92     0  pidstat

0944      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
0945        0       857    0.00    1.00    0.00    0.00    1.00     0  telnetd
0945        0       881    0.00    1.00    0.00    0.00    1.00     0  xxxx
0945        0       894    2.00    5.00    0.00    0.00    7.00     0  xxxx
0945        0       968    1.00    2.00    0.00    0.00    3.00     0  pidstat

0945      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
0946        0         3    0.00    1.00    0.00    0.00    1.00     0  ksoftirqd/0
0946        0       894    1.00    6.00    0.00    0.00    7.00     0  xxxx
0946        0       968    1.00    2.00    0.00    0.00    3.00     0  pidstat

可以看到，各進(jìn)程正常，CPU使用率低，接下來(lái)通過(guò)mpstat查看內(nèi)核各部分詳細(xì)。

]# mpstat --help
Usage: mpstat [ options ] [  [  ] ]
Options are:
[ -A ] [ -n ] [ -T ] [ -u ] [ -V ]
[ -I { SUM | CPU | SCPU | ALL } ] [ -N {  | ALL } ]
[ --dec={ 0 | 1 | 2 } ] [ -o JSON ] [ -P {  | ALL } ]

-A: 等同于-u -I ALL -P ALL

-I:指定SUM CPU SCPU ALL四個(gè)參數(shù),SUM表示每個(gè)處理器的中斷總數(shù)，CPU表示每個(gè)核的每秒中斷數(shù)量， SCPU表示每個(gè)核每秒的軟中斷數(shù)量。

-P: 統(tǒng)計(jì)的CPU編號(hào)，一般用ALL

-u: 輸出列的信息

-V: 查看版本號(hào)

CPU利用率

每秒輸出1次，輸出5次：

[root@/tmp]# mpstat 1 5
0951     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
0952     all    1.01    0.00    5.05    0.00    0.00    2.02    0.00    0.00    0.00   91.92
0953     all    2.15    0.00    1.08    0.00    0.00    0.00    0.00    0.00    0.00   96.77
0954     all    0.00    0.00    0.00    0.00    0.00    1.09    0.00    0.00    0.00   98.91
0955     all    2.04    0.00    3.06    0.00    0.00    2.04    0.00    0.00    0.00   92.86
0956     all    0.00    0.00    2.15    0.00    0.00    0.00    0.00    0.00    0.00   97.85
Average:     all    1.05    0.00    2.32    0.00    0.00    1.05    0.00    0.00    0.00   95.58

軟中斷

軟中斷每秒輸出1次, 輸出6次：

# mpstat -I SCPU 1 6
0922     CPU       HI/s    TIMER/s   NET_TX/s   NET_RX/s    BLOCK/s BLOCK_IOPOLL/s  TASKLET/s    SCHED/s  HRTIMER/s      RCU/s
0923       0       0.00      25.00       1.00       3.00       0.00           0.00       0.00       0.00     200.00       0.00
0924       0       0.00      31.00       0.00       4.00       0.00           0.00       0.00       0.00     200.00       0.00
0925       0       0.00      26.00       0.00       4.00       0.00           0.00       0.00       0.00     199.00       0.00
0926       0       0.00      36.00       0.00       4.00       0.00           0.00       0.00       0.00     200.00       0.00
0927       0       0.00      31.00       0.00       3.00       0.00           0.00       0.00       0.00     199.00       0.00
0928       0       0.00      31.00       1.00       3.00       0.00           0.00       0.00       0.00     200.00       0.00
Average:       0       0.00      30.00       0.33       3.50       0.00           0.00       0.00       0.00     199.67       0.00

對(duì)應(yīng)的軟中斷信息：

# cat /proc/softirqs 
                    CPU0       
          HI:          0
       TIMER:    7778445
      NET_TX:       7244
      NET_RX:     293406
       BLOCK:          0
BLOCK_IOPOLL:          0
     TASKLET:          1
       SCHED:          0
     HRTIMER:  522165833
         RCU:          0

硬中斷

處理器硬中斷總數(shù)：

# mpstat -I SUM 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

0950     CPU    intr/s
0951     all   3000.00
0952     all   3151.00
0953     all   3229.00
0954     all   3129.00
0955     all   3049.00
0956     all   3210.00
Average:     all   3127.79

每個(gè)硬中斷產(chǎn)生速率：

# mpstat -I CPU 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

0946     CPU       20/s       28/s       30/s       33/s       34/s       35/s       68/s       80/s       84/s       86/s       87/s       90/s       94/s      116/s      125/s      127/s      173/s      230/s      233/s      255/s      261/s      Err/s
0947       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3151.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00       5.00       0.00       0.00       0.00       0.00       0.00
0948       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3140.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00       7.00       0.00       0.00       0.00       0.00       0.00
0949       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3355.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00       6.00       0.00       0.00       0.00       0.00       0.00
0950       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3031.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00
0951       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3288.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00       6.00       0.00       0.00       0.00       0.00       0.00
0952       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3155.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00       6.00       0.00       0.00       0.00       0.00       0.00
Average:       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3186.67       0.00       2.00       0.00       0.00       0.00       0.00       0.00       5.67       0.00       0.00       0.00       0.00       0.00

對(duì)應(yīng)的中斷信息：

# cat /proc/interrupts 
           CPU0       
 84: 1583852200      INTC  68  gp_timer
 86:        108      INTC  70  44e0b000.i2c
 87:     483682      INTC  71  4802a000.i2c
 90:         59      INTC  74  UART2
173:     701497      GPIO  29  eth0
230:          6      GPIO  22  button_int
233:          0      GPIO  25  fpga_int
255:          0      GPIO  15  mmc0
261:          0      GPIO  21  power_int
Err:          0
......

啟動(dòng)appA應(yīng)用前，可以看出irq為84的中斷gp_timer中斷比較高， 3155次/S左右。

啟動(dòng)應(yīng)用后

先啟動(dòng)應(yīng)用，然后再看一下這些指標(biāo)的變化。

# mpstat 1 5
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1045     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
1046     all    7.95    0.00   18.18    0.00    0.00    3.41    0.00    0.00    0.00   70.45
1047     all    6.17    0.00   16.05    0.00    0.00    1.23    0.00    0.00    0.00   76.54
1048     all    4.94    0.00   17.28    0.00    0.00    2.47    0.00    0.00    0.00   75.31
1049     all    8.05    0.00   17.24    0.00    0.00    4.60    0.00    0.00    0.00   70.11
1050     all   11.76    0.00   12.94    0.00    0.00    2.35    0.00    0.00    0.00   72.94
Average:     all    7.82    0.00   16.35    0.00    0.00    2.84    0.00    0.00    0.00   72.99

usr，sys 升高明顯，soft有所升高，什么導(dǎo)致的sys升高？下面看硬中斷處理信息：

# mpstat -I SUM 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1011     CPU    intr/s
1012     all   6571.00
1013     all   6597.00
1014     all   6574.00
1015     all   6566.00
1016     all   6592.00
1017     all   6583.00
Average:     all   6580.50

對(duì)比啟動(dòng)應(yīng)用前3000/s，每秒中斷產(chǎn)生次數(shù)增長(zhǎng)了120%。繼續(xù)查看哪些中斷變高了？

# mpstat -I CPU 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1004     CPU       20/s       28/s       30/s       33/s       34/s       35/s       68/s       80/s       84/s       86/s       87/s       90/s       94/s      116/s      125/s      127/s      173/s      230/s      233/s      255/s      261/s      Err/s
1005       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6552.00       0.00       3.00       0.00       0.00       0.00       0.00       0.00      28.00       0.00       0.00       0.00       0.00       0.00
1006       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6552.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00      30.00       0.00       0.00       0.00       0.00       0.00
1007       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6637.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00      27.00       0.00       0.00       0.00       0.00       0.00
1008       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6543.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00      28.00       0.00       0.00       0.00       0.00       0.00
1010       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6579.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00      30.00       0.00       0.00       0.00       0.00       0.00
1011       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6561.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00      29.00       0.00       0.00       0.00       0.00       0.00
Average:       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6570.67       0.00       1.83       0.00       0.00       0.00       0.00       0.00      28.67       0.00       0.00       0.00       0.00       0.00

# mpstat -I SCPU 1 6
Linux 3.12.10      08/22/22        _armv7l_        (1 CPU)

1029     CPU       HI/s    TIMER/s   NET_TX/s   NET_RX/s    BLOCK/s BLOCK_IOPOLL/s  TASKLET/s    SCHED/s  HRTIMER/s      RCU/s
1030       0       0.00      41.58       0.00       9.90       0.00           0.00       0.00       0.00    2172.28       0.00
1031       0       0.00      43.00       0.00      12.00       0.00           0.00       0.00       0.00    2187.00       0.00
1032       0       0.00      38.00       0.00      11.00       0.00           0.00       0.00       0.00    2191.00       0.00
1033       0       0.00      34.00       1.00      10.00       0.00           0.00       0.00       0.00    2190.00       0.00
1034       0       0.00      37.00       0.00      11.00       0.00           0.00       0.00       0.00    2190.00       0.00
1035       0       0.00      40.00       0.00      10.00       0.00           0.00       0.00       0.00    2184.00       0.00
Average:       0       0.00      38.94       0.17      10.65       0.00           0.00       0.00       0.00    2185.69       0.00

可以看irq為84的中斷gp_timer中斷相比應(yīng)用啟動(dòng)前變?yōu)?倍，?3155.00次/S左右。相應(yīng)的高精度定時(shí)器軟中斷HRTIMER從之前的200/S上升到2100/S，到此基本可以確定應(yīng)用瘋狂定時(shí)操作引起的，進(jìn)一步看內(nèi)核執(zhí)行的函數(shù)來(lái)確認(rèn)。

采集內(nèi)核函數(shù)的方法

目前基本清楚因?yàn)槎〞r(shí)器中斷變高導(dǎo)致的內(nèi)核函數(shù)執(zhí)行時(shí)間變長(zhǎng)，接下來(lái)采集 CPU 在 sys 飆高的瞬間所執(zhí)行的內(nèi)核函數(shù)，同時(shí)看看應(yīng)用執(zhí)行什么引起的定時(shí)器中斷，再做相應(yīng)的優(yōu)化。采集內(nèi)核函數(shù)的方法有很多，比如：

通過(guò) perf（ perf 是內(nèi)核自帶的性能剖析工具）可以采集 CPU 的熱點(diǎn)，看看 sys 利用率高時(shí)，哪些內(nèi)核耗時(shí)的 CPU 利用率高；

通過(guò) perf 的?call-graph?功能可以查看具體的調(diào)用棧信息，也就是線程是從什么路徑上執(zhí)行下來(lái)的；

通過(guò) perf 的?annotate?功能可以追蹤到線程是在內(nèi)核函數(shù)的哪些語(yǔ)句上比較耗時(shí)；

通過(guò) ftrace 的?function-graph?功能可以查看這些內(nèi)核函數(shù)的具體耗時(shí)，以及在哪個(gè)路徑上耗時(shí)最大。

針對(duì)一些瞬時(shí)sys 利用率高問(wèn)題，還可以通過(guò)系統(tǒng)快照sysrq，把當(dāng)前 CPU 正在做的工作記錄下來(lái)，然后結(jié)合內(nèi)核源碼分析為什么 sys 利用率會(huì)高。

sysrq常用來(lái)分析內(nèi)核問(wèn)題的工具，用它可以觀察當(dāng)前的內(nèi)存快照、任務(wù)快照，可以構(gòu)造 vmcore 把系統(tǒng)的所有信息都保存下來(lái)，甚至還可以在內(nèi)存緊張的時(shí)候用它殺掉內(nèi)存開銷最大的那個(gè)進(jìn)程。

用 sysrq 來(lái)分析問(wèn)題，首先需要使能 sysyrq,使能sysrq后沒(méi)有任何開銷，使能方式如下：

$ sysctl -w kernel.sysrq=1

sysrq 的功能被使能后，使用它的 -t 選項(xiàng)來(lái)把當(dāng)前的任務(wù)快照保存下來(lái)，看看系統(tǒng)中都有哪些任務(wù)，以及這些任務(wù)都在干什么。使用方式如下：

$ echo t > /proc/sysrq-trigger

執(zhí)行后，任務(wù)快照會(huì)被打印到內(nèi)核緩沖區(qū)，這些任務(wù)快照信息通過(guò)?dmesg?命令來(lái)查看：

$ dmesg

內(nèi)核采集分析

這里使用perf?對(duì)appA進(jìn)程進(jìn)行采樣，輸出內(nèi)核整個(gè)調(diào)用鏈上的匯總信息。

# 采樣10s后退出
$ perf record -a -g -p `pidof appA` -- sleep 10

采樣完成后，繼續(xù)執(zhí)行?perf report命令，得到 perf 的匯總報(bào)告。

額。。。屏幕太小、ARM 串口來(lái)打印，這打印很難看。

火焰圖分析

針對(duì) perf 匯總數(shù)據(jù)的展示問(wèn)題，Brendan Gragg 發(fā)明了火焰圖，通過(guò)矢量圖的形式，更直觀展示匯總結(jié)果。

（圖片來(lái)自 Brendan Gregg?博客）

橫軸表示采樣數(shù)和采樣比例。一個(gè)函數(shù)占用的橫軸越寬，就代表它的執(zhí)行時(shí)間越長(zhǎng)。同一層的多個(gè)函數(shù)，則是按照字母來(lái)排序。

縱軸表示調(diào)用棧，由下往上根據(jù)調(diào)用關(guān)系逐個(gè)展開。換句話說(shuō)，上下相鄰的兩個(gè)函數(shù)中，下面的函數(shù)，是上面函數(shù)的父函數(shù)。這樣，調(diào)用棧越深，縱軸就越高。

另外，要注意圖中的顏色，并沒(méi)有特殊含義，只是用來(lái)區(qū)分不同的函數(shù)。

火焰圖是動(dòng)態(tài)的矢量圖格式，所以它還支持一些動(dòng)態(tài)特性。比如，鼠標(biāo)懸停到某個(gè)函數(shù)上時(shí)，就會(huì)自動(dòng)顯示這個(gè)函數(shù)的采樣數(shù)和采樣比例。而當(dāng)你用鼠標(biāo)點(diǎn)擊函數(shù)時(shí)，火焰圖就會(huì)把該層及其上的各層放大，方便你觀察這些處于火焰圖頂部的調(diào)用棧的細(xì)節(jié)。

如果我們根據(jù)性能分析的目標(biāo)來(lái)劃分，火焰圖可以分為下面這幾種。

on-CPU 火焰圖：表示 CPU 的繁忙情況，用在 CPU 使用率比較高的場(chǎng)景中。

off-CPU 火焰圖：表示 CPU 等待 I/O、鎖等各種資源的阻塞情況。

內(nèi)存火焰圖：表示內(nèi)存的分配和釋放情況。

熱 / 冷火焰圖：表示將 on-CPU 和 off-CPU 結(jié)合在一起綜合展示。

差分火焰圖：表示兩個(gè)火焰圖的差分情況，紅色表示增長(zhǎng)，藍(lán)色表示衰減。差分火焰圖常用來(lái)比較不同場(chǎng)景和不同時(shí)期的火焰圖，以便分析系統(tǒng)變化前后對(duì)性能的影響情況。

如何生成火焰圖？首先，下載幾個(gè)能從?perf record記錄生成火焰圖的工具，這些工具都放在 https://github.com/brendangregg/FlameGraph 。

$ git clone https://github.com/brendangregg/FlameGraph
$ cd FlameGraph

安裝好工具后，要生成火焰圖，其實(shí)主要需要三個(gè)步驟：

執(zhí)行?perf script?，將?perf record?的記錄轉(zhuǎn)換成可讀的采樣記錄；

執(zhí)行?stackcollapse-perf.pl?腳本，合并調(diào)用棧信息；

執(zhí)行?flamegraph.pl?腳本，生成火焰圖。

如果你的機(jī)器安裝了完整的系統(tǒng)，通過(guò)管道簡(jiǎn)化這三個(gè)步驟的執(zhí)行如下：

$ perf script -i /root/perf.data | ./stackcollapse-perf.pl --all |  ./flamegraph.pl > hsys.svg

因?yàn)槲业哪繕?biāo)系統(tǒng)是在ARM busybos上，先在目標(biāo)機(jī)器上執(zhí)行步驟1，在將中間文件上傳到X86系上完成步驟2和3。

$ perf script -i perf.data > perf-temp
$ tftp -p 192.168.1.55 -l perf-temp

X86機(jī)器上完成步驟2和3.

$ cat perf-temp| ./stackcollapse-perf.pl --all |  ./flamegraph.pl > hsys.svg

使用瀏覽器打開hsys.svg如下。

從下往上看，沿著調(diào)用棧中最寬的函數(shù)來(lái)分析執(zhí)行次數(shù)最多的函數(shù)?？吹降慕Y(jié)果跟的?perf report?類似，但直觀了很多，這幾團(tuán)系統(tǒng)調(diào)用的火焰，就是我們關(guān)注的地方。

可以看到，應(yīng)用發(fā)起的幾個(gè)系統(tǒng)調(diào)用后，內(nèi)核sys_rt_sigtimedwait、sys_mq_timedsend、sys_mq_timedreceive分別占總執(zhí)行時(shí)間的22.69%、（13.71%+6.15%）、（8.53%+8.89%）。

到這里，找出了內(nèi)核執(zhí)行最頻繁的函數(shù)調(diào)用堆棧，而這個(gè)堆棧中的各層級(jí)函數(shù)，就是潛在的性能瓶頸來(lái)源。對(duì)比同一cpu高版本內(nèi)核，該問(wèn)題并不明顯，如果想深入了解linux時(shí)間子系統(tǒng)，請(qǐng)移步時(shí)間子系統(tǒng)-蝸窩科技?？磥?lái)內(nèi)核是動(dòng)不了，不好下手，那回到應(yīng)用看看。

三、解決

既然已經(jīng)清楚原因是應(yīng)用定時(shí)相關(guān)操作引起的，回到應(yīng)用排查相關(guān)代碼。

這個(gè)應(yīng)用是一個(gè)協(xié)議棧，整個(gè)協(xié)議棧有多個(gè)不同優(yōu)先級(jí)的實(shí)時(shí)線程，每個(gè)線程負(fù)責(zé)各部分通訊處理，其中兩個(gè)線程為整個(gè)協(xié)議棧提供timers處理機(jī)制，線程Thread_start向操作系統(tǒng)注冊(cè)一個(gè)周期timer，該周期timer的間隔就是協(xié)議棧軟件timer的基準(zhǔn)時(shí)間，線程A周期等待操作系統(tǒng)timer超時(shí)信號(hào)。

當(dāng)超時(shí)信號(hào)到達(dá)時(shí)，線程Thread_start遍歷所有上層應(yīng)用注冊(cè)的timer，判斷時(shí)間是否到期，如果該timer到期，通過(guò)消息隊(duì)列mq將該timer發(fā)送給另一個(gè)線程OS_timer進(jìn)行timer處理，線程OS_timer接收到該timer后，執(zhí)行該timer注冊(cè)的超時(shí)回調(diào)函數(shù)callbalk_timeout。

排查后發(fā)現(xiàn)，問(wèn)題出在線程Thread_start向操作系統(tǒng)注冊(cè)的這個(gè)周期timer，它的觸發(fā)間隔為500us，由于觸發(fā)頻率太高，導(dǎo)致操作系統(tǒng)處理定時(shí)器軟硬中斷消耗大部分CPU，表現(xiàn)就是系統(tǒng)cpu飆高，但是檢索整個(gè)協(xié)議棧，并沒(méi)有發(fā)現(xiàn)上層應(yīng)用注冊(cè)小于1ms的timer，協(xié)議棧根本用不到這么小基準(zhǔn)的timer。

所以，解決的辦法很簡(jiǎn)單，就修改一行代碼，將線程Thread_start向操作系統(tǒng)注冊(cè)的周期timer間隔500us調(diào)整為1ms，問(wèn)題解決。

優(yōu)化后，時(shí)鐘軟硬中斷降低。系統(tǒng)sys CPU利用率下降，如下：

$ pidstat  1 5 -p `pidof appA` #目標(biāo)應(yīng)用指標(biāo)
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1745      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
1746        0      1112    8.91    0.99    0.00    0.00    9.90     0  appA
1747        0      1112    3.00    8.00    0.00    0.00   11.00     0  appA
1748        0      1112    8.00    3.00    0.00    0.00   11.00     0  appA
1749        0      1112   10.00    1.00    0.00    0.00   11.00     0  appA

$mpstat  -A   1 1 #系統(tǒng)整體詳細(xì)指標(biāo)
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1724     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
1725     all    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95
1725       0    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95

1724     CPU    intr/s
1725     all   6821.69
1725       0   6820.48

1724     CPU      20/s      28/s      30/s      33/s      34/s      35/s      68/s      80/s      84/s      86/s      87/s      90/s      94/s     116/s     125/s     127/s     173/s     230/s     233/s     255/s     261/s     Err/s
1725       0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00   6792.77      0.00      3.61      0.00      0.00      0.00      0.00      0.00     24.10      0.00      0.00      0.00      0.00      0.00

1724     CPU      HI/s   TIMER/s  NET_TX/s  NET_RX/s   BLOCK/s BLOCK_IOPOLL/s TASKLET/s SCHED/s HRTIMER/s  RCU/s
1725       0      0.00     30.12      1.20     13.25      0.00      0.00      0.00      0.00   1443.37      0.00

Average:     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
Average:     all    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95
Average:       0    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95

上面的火焰圖，看到?sys_rt_sigtimedwait、sys_mq_timedsend、sys_mq_timedreceive明顯降低.

?	sys_rt_sigtimedwait	sys_mq_timedsend	sys_mq_timedreceive
前	22.69%	19.86%(13.71%+6.15%)	17.51%(8.53%+8.89%)
后	14.94%	9.84%(5.84%+4%)	11.47%(5.67%+5.8%)

真是debug一兩天，最后改一行代碼解決問(wèn)題o(╯□╰)o）。。。

　　審核編輯：湯梓紅

閱讀全文

ARM(361233) ARM(361233)
嵌入式(286111) 嵌入式(286111)
cpu(206161) cpu(206161)
Linux(206514) Linux(206514)
應(yīng)用程序(56174) 應(yīng)用程序(56174)

評(píng)論

相關(guān)推薦

ARM9嵌入式系統(tǒng)設(shè)計(jì)與開發(fā)教程

嵌入式Linux應(yīng)用程序開發(fā)..5.1 開發(fā)環(huán)境的建立5.1.1 嵌入式Linux的開發(fā)環(huán)境5.1.2 利用Cygwin建立模擬環(huán)境5.1.3 交叉編譯環(huán)境的建立5.2 Linux及開發(fā)工具

2013-01-05 15:01:02

ARM嵌入式Linux系統(tǒng)開發(fā)詳解

建立和第一個(gè)Linux應(yīng)用程序；第2篇介紹了Linux應(yīng)用程序編程基礎(chǔ)、開發(fā)多進(jìn)程/線程程序、網(wǎng)絡(luò)通信應(yīng)用、串行口通信編程、嵌入式GUI程序開發(fā)和軟件項(xiàng)目管理；第3篇介紹ARM體系結(jié)構(gòu)及開發(fā)實(shí)例、深入

2018-09-14 08:57:17

ARM與嵌入式Linux的入門建議

也許你會(huì)注意到，現(xiàn)在做嵌入式的人中，做linux研究的人遠(yuǎn)比做WinCE的人多，很多產(chǎn)家提供的資料也是以linux為主。我一直很難理解，其實(shí)WinCE的界面比linux的界面好看多了，使用起來(lái)也很

2018-08-13 17:40:55

ARM與嵌入式Linux，有什么入門建議嗎？

的電子廠商已經(jīng)開始使用linux開發(fā)產(chǎn)品。所以，linux更受人歡迎咯！以下是我總結(jié)的一些入門建議，不喜勿噴啦，歡迎評(píng)論ARM與嵌入式Linux的入門建議第一、學(xué)習(xí)基本的裸機(jī)編程對(duì)于學(xué)硬件的人而言

2021-09-16 14:31:16

ARM與嵌入式linux入門學(xué)習(xí)方法

ARM與嵌入式linux入門學(xué)習(xí)方法 http://www.arm8.net/thread-542-1-1.htmlarm是嵌入式開發(fā)應(yīng)用的硬件，嵌入式linux是嵌入式開發(fā)應(yīng)用的軟件。我們所謂

2015-10-11 10:27:42

ARM與嵌入式linux入門建議

由于很多人總問(wèn)這個(gè)問(wèn)題，所以這里做一個(gè)總結(jié)供大家參考。這里必須先說(shuō)明，以下的步驟都是針對(duì)Linux系統(tǒng)的，并不面向WinCE。也許你會(huì)注意到，現(xiàn)在做嵌入式的人中，做linux研究的人遠(yuǎn)比

2017-05-20 11:10:45

ARM與嵌入式linux入門建議

嵌入式linux的書籍第六，研究應(yīng)用程序的編寫。做作品做項(xiàng)目除了編寫驅(qū)動(dòng)程序，最后還要編寫應(yīng)用程序?，F(xiàn)在的趨勢(shì)是圖形應(yīng)用程序的開發(fā)，而圖形應(yīng)用程序中用得最多的還是qt/e函數(shù)庫(kù)。我一直就使用這個(gè)函數(shù)庫(kù)來(lái)

2017-11-14 11:39:08

ARM與嵌入式linux入門建議

2017-06-03 15:42:36

ARM與嵌入式linux入門建議

2016-10-27 15:26:18

ARM與嵌入式linux的入門建議

分的推薦書籍可以參考另一篇文章《推薦幾本學(xué)習(xí)嵌入式linux的書籍》。　　第六，研究應(yīng)用程序的編寫。　　做作品做項(xiàng)目除了編寫驅(qū)動(dòng)程序，最后還要編寫應(yīng)用程序。現(xiàn)在的趨勢(shì)是圖形應(yīng)用程序的開發(fā)，而圖形應(yīng)用程序中用

2017-06-14 10:14:22

ARM與嵌入式linux的入門建議

文章《推薦幾本學(xué)習(xí)嵌入式linux的書籍第六，研究應(yīng)用程序的編寫。　　做作品做項(xiàng)目除了編寫驅(qū)動(dòng)程序，最后還要編寫應(yīng)用程序?，F(xiàn)在的趨勢(shì)是圖形應(yīng)用程序的開發(fā)，而圖形應(yīng)用程序中用得最多的還是qt/e函數(shù)庫(kù)。我

2016-12-12 16:21:02

ARM菜鳥跪求嵌入式ARM+Linux的學(xué)習(xí)路線？

ARM菜鳥跪求嵌入式ARM+Linux的學(xué)習(xí)路線？該如何學(xué)習(xí)嵌入式ARM+linux？學(xué)習(xí)路線是什么？路過(guò)的朋友可否簡(jiǎn)單說(shuō)下？

2014-04-27 14:00:41

Linux作為嵌入式操作系統(tǒng)的優(yōu)勢(shì)是什么？如何建立嵌入式Linux？

Linux作為嵌入式操作系統(tǒng)的優(yōu)勢(shì)是什么如何建立嵌入式Linux？當(dāng)前流行的幾種嵌入式Linux系統(tǒng)

2021-04-27 06:34:40

arm與嵌入式linux的入門建議

arm與嵌入式linux的入門建議說(shuō)明，以下的步驟都是針對(duì)Linux 系統(tǒng)的，并不面向WinCE。也許你會(huì)注意到，現(xiàn)在做嵌入式的人中，做 linux 研究的人遠(yuǎn)比做WinCE 的人多，很多產(chǎn)家提供

2020-04-20 10:34:39

linux應(yīng)用程序開發(fā)與linux系統(tǒng)移植

，kernel移植，rootfs制作）5.linux驅(qū)動(dòng)開發(fā)從事嵌入式應(yīng)具備的能力　　嵌入式開發(fā)本身也有高下之分，至少包含嵌入式應(yīng)用程序工程師和底層的驅(qū)動(dòng)內(nèi)核工程師兩種?！　∨e例：比如月...

2021-12-20 08:19:12

嵌入式 Linux C 語(yǔ)言應(yīng)用程序設(shè)計(jì)

嵌入式 Linux C 語(yǔ)言應(yīng)用程序設(shè)計(jì)（超清PDF版）

2016-04-28 13:18:29

嵌入式ARM+Linux的學(xué)習(xí)方法是什么？

ARM菜鳥跪求嵌入式ARM+Linux的學(xué)習(xí)方法是什么？學(xué)習(xí)嵌入式ARM+linux有什么方法么？學(xué)習(xí)路線是什么？路過(guò)的朋友可否簡(jiǎn)單說(shuō)下？?

2020-07-16 08:09:29

嵌入式ARM9培訓(xùn)

，培訓(xùn)老師均是從事多年電子產(chǎn)品、ARM項(xiàng)目開發(fā)、嵌入式Linux項(xiàng)目開發(fā)的資深高級(jí)工程師，擁有豐富的實(shí)際工作經(jīng)驗(yàn)，能讓你高起點(diǎn)入門，快速學(xué)會(huì)ARM、學(xué)會(huì)嵌入Linux。 1．小班授課（3-6人）、保證

2010-04-28 11:30:38

嵌入式ARM開發(fā)板學(xué)習(xí)路線指引

及如何成為一位合格的嵌入式工程師，一、首先要掌握基礎(chǔ)架構(gòu)嵌入式Linux系統(tǒng)從軟件角度看可以分為四個(gè)部分：引導(dǎo)加載程序（Bootloader），Linux內(nèi)核，文件系統(tǒng)，應(yīng)用程序。開發(fā)編譯環(huán)境的搭建

2018-11-07 13:57:42

嵌入式LINUX應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程

嵌入式LINUX應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程-華清遠(yuǎn)見《嵌入式LINUX應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程》作者：華清遠(yuǎn)見第6 章文件I/O 編程掌握Linux 中系統(tǒng)調(diào)用的基本概念掌握Linux 中用戶編程接口

2021-11-04 06:58:19

嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程

#《嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程》電子書連載#第3章 Linux下C編程基礎(chǔ)，本章將帶領(lǐng)讀者熟悉Linux系統(tǒng)下的開發(fā)環(huán)境、熟悉vi的基本操作、熟練emacs的基本操作、熟悉gcc編譯器

2013-05-27 09:48:07

嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程

嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程

2020-05-02 12:05:49

嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程

嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程

2014-01-03 16:41:54

嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程

嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程

2016-10-10 16:58:01

嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程

內(nèi)容簡(jiǎn)介：隆重申明：本書為嵌入式與移動(dòng)開發(fā)系列，國(guó)家信息技術(shù)緊缺人才培養(yǎng)工程系列叢書，內(nèi)容末尾提供免費(fèi)下載嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程這本書，在業(yè)內(nèi)有著非常多的贊美，非常適合嵌入式初學(xué)者在

2018-05-07 15:40:22

嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程（第二版）

《嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程(第2版)》主要分為3個(gè)部分，包括Linux基礎(chǔ)、搭建嵌入式Linux環(huán)境和嵌入式Linux的應(yīng)用開發(fā)。Linux基礎(chǔ)部分從Linux基礎(chǔ)、基本操作命令講起，為

2016-08-30 15:03:11

嵌入式Linux應(yīng)用程序開發(fā)詳解

本帖最后由 cxw3506 于 2011-8-13 16:53 編輯華清遠(yuǎn)見—|“黑色經(jīng)典”系列之《嵌入式Linux應(yīng)用程序開發(fā)詳解》！{:soso_e100:}

2011-08-13 16:52:32

嵌入式Linux應(yīng)用程序開發(fā)詳解

嵌入式Linux應(yīng)用程序開發(fā)詳解

2018-01-24 16:58:29

嵌入式Linux應(yīng)用程序開發(fā)詳解

只是推廣一下嵌入式Linux應(yīng)用程序開發(fā)詳解

2012-12-20 14:17:34

嵌入式Linux下的LCD驅(qū)動(dòng)程序怎么編寫？

底層，在內(nèi)核源代碼中占較大比例，驅(qū)動(dòng)程序開發(fā)逐漸成為嵌入式軟件開發(fā)中一項(xiàng)重要工作。應(yīng)項(xiàng)目設(shè)計(jì)的需要完成了嵌入式Linux下的LCD驅(qū)動(dòng)程序設(shè)計(jì)。

2019-11-11 07:33:32

嵌入式Linux學(xué)習(xí)步驟

編譯并下載U-boot 編譯并下載Linux內(nèi)核編譯并下載Linux應(yīng)用程序 5、嵌入式系統(tǒng)移植 Linux內(nèi)核代碼平臺(tái)相關(guān)代碼分析 ARM平臺(tái)介紹平臺(tái)移植的關(guān)鍵技術(shù) 移植Linux內(nèi)核到

2018-07-03 00:56:23

嵌入式Linux學(xué)習(xí)步驟

Linux內(nèi)核編譯并下載Linux應(yīng)用程序　　5、 嵌入式系統(tǒng)移植　　Linux內(nèi)核代碼平臺(tái)相關(guān)代碼分析 ARM平臺(tái)介紹平臺(tái)移植的關(guān)鍵技術(shù) 移植Linux內(nèi)核到 ARM平臺(tái) 了解移植的概念能夠移植

2011-05-04 15:01:53

嵌入式Linux學(xué)習(xí)步驟

下載Linux內(nèi)核編譯并下載Linux應(yīng)用程序5、嵌入式系統(tǒng)移植Linux內(nèi)核代碼平臺(tái)相關(guān)代碼分析 ARM平臺(tái)介紹平臺(tái)移植的關(guān)鍵技術(shù) 移植Linux內(nèi)核到 ARM平臺(tái) 了解移植的概念能夠移植

2015-03-24 10:41:29

嵌入式Linux怎么學(xué)？給大家推薦幾本學(xué)習(xí)嵌入式系統(tǒng)的書籍

，那么肯定有讀寫硬盤的能力。這個(gè)能力我們稱之為驅(qū)動(dòng)程序。當(dāng)然不僅僅是操作硬盤，還有網(wǎng)卡、USB等等其他硬件。嵌入式Linux能從Flash上讀出并執(zhí)行應(yīng)用程序，肯定也得有Flash的驅(qū)動(dòng)程序啊，當(dāng)然也

2017-09-18 16:03:06

嵌入式Linux操作系統(tǒng)

ARM+LINUX路線，主攻嵌入式Linux操作系統(tǒng)及其上應(yīng)用軟件開發(fā)目標(biāo)：（1）掌握主流嵌入式微處理器的結(jié)構(gòu)與原理（初步定為arm9）（2）必須掌握一個(gè)嵌入式操作系統(tǒng) （初步定為uclinux或

2021-10-27 10:22:58

嵌入式Linux系統(tǒng)開發(fā)學(xué)習(xí)步驟，深圳嵌入式Linux培訓(xùn)高薪一路相伴

基礎(chǔ)　　Linux操作系統(tǒng)的概念、安裝方法，詳細(xì)了解Linux下的目錄結(jié)構(gòu)、基本命令、編輯器VI ,編譯器GCC，調(diào)試器GDB和 Make 項(xiàng)目管理工具, Shell Makefile腳本編寫等知識(shí)，嵌入式開發(fā)環(huán)境

2015-11-25 17:23:50

嵌入式Linux網(wǎng)絡(luò)驅(qū)動(dòng)程序的實(shí)現(xiàn)原理是什么？

嵌入式Linux網(wǎng)絡(luò)驅(qū)動(dòng)程序的結(jié)構(gòu)是如何構(gòu)成的？嵌入式Linux網(wǎng)絡(luò)驅(qū)動(dòng)程序的實(shí)現(xiàn)原理是什么？如何將設(shè)備驅(qū)動(dòng)模塊編譯進(jìn)內(nèi)核里？

2021-06-04 06:25:40

嵌入式linux+ARM項(xiàng)目實(shí)踐班

課程描述　　2010年3月20日，廣嵌教育震撼推出嵌入式Linux項(xiàng)目實(shí)戰(zhàn)就業(yè)班，全脫產(chǎn)封閉式教學(xué)管理，蟄伏兩個(gè)月，全程12大項(xiàng)目實(shí)戰(zhàn)訓(xùn)練，助您成就人生職業(yè)生涯夢(mèng)想！　　嵌入式Linux項(xiàng)目實(shí)戰(zhàn)班

2010-01-21 13:09:48

嵌入式linux、arm嵌入式操作系統(tǒng)的相關(guān)資料分享

嵌入式linux、arm嵌入式操作系統(tǒng)嵌入式系統(tǒng)應(yīng)用領(lǐng)域嵌入式系統(tǒng)特點(diǎn)嵌入式實(shí)時(shí)系統(tǒng)嵌入式系統(tǒng)組成ARM相關(guān)知識(shí)arm尋址方式ARM 微處理器的工作狀態(tài)、工作模式ARM寄存器linux系統(tǒng)linux

2021-12-27 07:35:35

嵌入式linux學(xué)***匯總

://www.embedu.org/xuexi/books/3294.html?lcg-openedv　　2.《嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程》　　內(nèi)容簡(jiǎn)介：　　隆重申明：本書為嵌入式與移動(dòng)開發(fā)系列，國(guó)家

2020-06-08 08:31:35

嵌入式linux學(xué)習(xí)步驟

嵌入式Linux應(yīng)用軟件開發(fā)流程熟悉嵌入式系統(tǒng)概念以及開發(fā)流程建立嵌入式系統(tǒng)開發(fā)環(huán)境制作cross_gcc工具鏈編譯并下載U-boot 編譯并下載Linux內(nèi)核編譯并下載Linux應(yīng)用程序4

2021-09-08 11:51:06

嵌入式linux學(xué)習(xí)步驟

和內(nèi)核 嵌入式Linux應(yīng)用軟件開發(fā)流程熟悉嵌入式系統(tǒng)概念以及開發(fā)流程建立嵌入式系統(tǒng)開發(fā)環(huán)境制作cross_gcc工具鏈編譯并下載U-boot 編譯并下載Linux內(nèi)核編譯并下載Linux應(yīng)用程序4

2017-10-25 10:12:39

嵌入式linux學(xué)習(xí)步驟

應(yīng)用軟件開發(fā)流程熟悉嵌入式系統(tǒng)概念以及開發(fā)流程建立嵌入式系統(tǒng)開發(fā)環(huán)境制作cross_gcc工具鏈編譯并下載U-boot 編譯并下載Linux內(nèi)核編譯并下載Linux應(yīng)用程序4、嵌入式系統(tǒng)移植

2016-09-12 14:23:18

嵌入式linux系統(tǒng)與應(yīng)用開發(fā)就業(yè)班

  課程描述參加嵌入式linux系統(tǒng)與應(yīng)用開發(fā)就業(yè)班可以使學(xué)員快速掌握嵌入式系統(tǒng)開發(fā)的流程，系統(tǒng)移植的方法，編寫B(tài)ootloader等。學(xué)習(xí)本課程的學(xué)員能夠從事嵌入式系統(tǒng)相關(guān)的項(xiàng)目

2010-04-13 20:26:35

嵌入式學(xué)習(xí)-嵌入式名詞

嵌入式學(xué)習(xí)-嵌入式名詞簡(jiǎn)單的理解和定義嵌入式系統(tǒng)、嵌入式Linux、嵌入式軟件工程師、嵌入式學(xué)習(xí)、嵌入式系統(tǒng)學(xué)習(xí)、嵌入式ARM、單片機(jī)我對(duì)嵌入式一些概念名詞簡(jiǎn)單的理解通常我們都有這么一個(gè)模糊的概念

2016-07-01 14:51:06

嵌入式開發(fā)入門之旅

、文件系統(tǒng)制作與移植、圖形化Linux應(yīng)用程序的開發(fā)入門這幾個(gè)角度，將學(xué)員帶入嵌入式開發(fā)這個(gè)技術(shù)新領(lǐng)域，讓學(xué)員領(lǐng)略嵌入式技術(shù)的魅力，使學(xué)員對(duì)嵌入式開發(fā)過(guò)程有一個(gè)大致的了解，了解嵌入式開發(fā)所需要的知識(shí)及學(xué)習(xí)方法

2009-07-10 15:59:01

嵌入式開發(fā)入門之旅

環(huán)境搭建、嵌入式Linux內(nèi)核編譯、基于ARM硬件平臺(tái)的嵌入式Linux系統(tǒng)引導(dǎo)和固化、Boot Loader的編譯與移植、文件系統(tǒng)制作與移植、圖形化Linux應(yīng)用程序的開發(fā)入門這幾個(gè)角度，將學(xué)員帶入

2009-07-09 16:57:31

嵌入式是不是把linux的內(nèi)核代碼修改好了再燒入arm處理器中？

嵌入式是不是把linux的內(nèi)核代碼修改好了燒入arm處理器中，再把編寫好的應(yīng)用程序的代碼燒入arm處理器中？還是系統(tǒng)和應(yīng)用程序一起做好，一起寫入到arm處理器中？

2022-05-31 09:33:56

嵌入式的經(jīng)驗(yàn)鞏固

階段的主要目的是掌握帶有操作系統(tǒng)的嵌入式系統(tǒng)的構(gòu)建和燒寫過(guò)程，以及對(duì)嵌入式系統(tǒng)軟件的總體構(gòu)成有個(gè)整體認(rèn)識(shí)，為我們接下來(lái)學(xué)習(xí)嵌入式應(yīng)用和驅(qū)動(dòng)開發(fā)打下堅(jiān)實(shí)的基礎(chǔ)。4、學(xué)習(xí)嵌入式Linux應(yīng)用程序開發(fā) 這一

2021-11-26 10:34:16

Holer外網(wǎng)訪問(wèn)ARM嵌入式Linux系統(tǒng)的方法

公網(wǎng)訪問(wèn)ARM嵌入式Linux系統(tǒng)實(shí)驗(yàn)室里的ARM嵌入式Linux系統(tǒng)，只能在局域網(wǎng)內(nèi)訪問(wèn)，怎樣從公網(wǎng)也能訪問(wèn)內(nèi)網(wǎng)ARM嵌入式Linux系統(tǒng)？本文將介紹使用holer實(shí)現(xiàn)的具體步驟。1. 準(zhǔn)備工作

2021-12-16 07:18:51

[分享資料]嵌入式Linux應(yīng)用程序開發(fā)詳解

Linux的環(huán)境搭建，以及嵌入式Linux的I/O與文件系統(tǒng)的開發(fā)、進(jìn)程控制開發(fā)、進(jìn)程間通信開發(fā)、網(wǎng)絡(luò)應(yīng)用開發(fā)、基于中斷的開發(fā)、設(shè)備驅(qū)動(dòng)程序的開發(fā)以及嵌入式圖形界面的開發(fā)等，并且還安排了豐富的實(shí)驗(yàn)內(nèi)容與課后

2015-09-11 23:25:38

《從實(shí)踐中學(xué)習(xí)嵌入式Linux操作系統(tǒng)》高清PDF資源分享！

內(nèi)容簡(jiǎn)介：《從實(shí)踐中學(xué)嵌入式linux應(yīng)用程序開發(fā)》結(jié)合大量實(shí)例，講解了嵌入式linux應(yīng)用程序設(shè)計(jì)各個(gè)方面的基本方法及必要的核心概念。主要內(nèi)容包括搭建嵌入式linux開發(fā)環(huán)境、嵌入式文件i/o編程

2019-11-01 16:23:06

【嵌入式】基于ARM的嵌入式Linux開發(fā)總結(jié) 精選資料推薦

前言嵌入式知識(shí)點(diǎn)復(fù)習(xí)一嵌入式知識(shí)點(diǎn)復(fù)習(xí)二 --體系結(jié)構(gòu)嵌入式知識(shí)點(diǎn)復(fù)習(xí)三 --ARM-LINUX嵌入式開發(fā)環(huán)境嵌入式知識(shí)點(diǎn)復(fù)習(xí)四 --arm-linux文件編程嵌入式知識(shí)點(diǎn)復(fù)習(xí)五

2021-07-16 07:13:12

【AWorks280試用申請(qǐng)】嵌入式Linux應(yīng)用程序學(xué)習(xí)與開發(fā)

申請(qǐng)理由：已經(jīng)學(xué)習(xí)過(guò)飛思卡爾的ARM-M0和M3系類芯片，熟悉飛思卡爾芯片的編程模式與風(fēng)格，正在入門嵌入式Linux，希望有一塊開發(fā)板來(lái)進(jìn)行實(shí)際的學(xué)習(xí)，在學(xué)習(xí)的過(guò)程中，也會(huì)對(duì)這塊開發(fā)板的各個(gè)功能模塊

2015-10-23 10:08:56

【下載】《ARM9 嵌入式系統(tǒng)設(shè)計(jì)與開發(fā)教程》

`編輯推薦　　本書以ARM920T微處理器為硬件平臺(tái)，結(jié)合Linux操作系統(tǒng)，詳細(xì)介紹了嵌入式應(yīng)用系統(tǒng)的設(shè)計(jì)、調(diào)試方法，以及嵌入式驅(qū)動(dòng)程序開發(fā)。全書內(nèi)容豐富，語(yǔ)言通俗易懂，具有很強(qiáng)的可讀性。內(nèi)容簡(jiǎn)介

2017-12-25 17:33:32

什么是嵌入式Linux？

Linux到底是什么呢？ 嵌入式linux 是將日益流行的Linux操作系統(tǒng)進(jìn)行裁剪修改，使之能在嵌入式計(jì)算機(jī)系統(tǒng)上運(yùn)行的一種操作系統(tǒng)。簡(jiǎn)單來(lái)說(shuō)，是除了電腦之外可以運(yùn)行程序的設(shè)備，將CPU嵌入一個(gè)設(shè)備，使

2023-10-11 13:47:49

從實(shí)踐中學(xué)嵌入式Linux應(yīng)用程序開發(fā)

《從實(shí)踐中學(xué)嵌入式Linux應(yīng)用程序開發(fā)》內(nèi)容簡(jiǎn)介：《從實(shí)踐中學(xué)嵌入式linux應(yīng)用程序開發(fā)》結(jié)合大量實(shí)例，講解了嵌入式linux應(yīng)用程序設(shè)計(jì)各個(gè)方面的基本方法及必要的核心概念。主要內(nèi)容包括搭建

2021-11-04 06:36:26

從實(shí)踐中學(xué)嵌入式linux應(yīng)用程序開發(fā)

本帖最后由 lee_st 于 2017-12-8 14:13 編輯《從實(shí)踐中學(xué)嵌入式linux應(yīng)用程序開發(fā)》結(jié)合大量實(shí)例，講解了嵌入式linux應(yīng)用程序設(shè)計(jì)各個(gè)方面的基本方法及必要的核心概念

2017-12-08 10:49:10

公網(wǎng)訪問(wèn)ARM嵌入式Linux系統(tǒng)的方法

公網(wǎng)訪問(wèn)ARM嵌入式Linux系統(tǒng)實(shí)驗(yàn)室里的ARM嵌入式Linux系統(tǒng)，只能在局域網(wǎng)內(nèi)訪問(wèn)，怎樣從公網(wǎng)也能訪問(wèn)ARM嵌入式Linux系統(tǒng)？本文將介紹具體的實(shí)現(xiàn)步驟。1. 準(zhǔn)備工作1.1 安裝并啟動(dòng)

2021-12-16 07:07:46

典型ARM嵌入式Linux設(shè)備啟動(dòng)流程是怎樣的？

典型ARM嵌入式Linux設(shè)備啟動(dòng)流程是怎樣的？

2021-12-23 06:25:00

初學(xué)者嵌入式linux系統(tǒng)的學(xué)習(xí)步驟

2019-01-18 10:34:44

基于ARM怎么搭建嵌入式Linux系統(tǒng)？

。Linux操作系統(tǒng)作為一種源代碼開放、同時(shí)可支持多種處理器結(jié)構(gòu)的多任務(wù)操作系統(tǒng)，具有內(nèi)核小、易裁剪、可移植性好等優(yōu)點(diǎn)，是目前嵌入式系統(tǒng)應(yīng)用與開發(fā)的主流操作系統(tǒng)。本文主要研究在ARM9平臺(tái)上搭建嵌入式Linux系統(tǒng)的實(shí)現(xiàn)方法。

2020-04-17 06:56:08

基于QT的嵌入式linux圖形應(yīng)用軟件設(shè)計(jì)

嵌入式linux開發(fā)環(huán)境搭建、嵌入式linux開發(fā)模型、linux內(nèi)核移植和文件系統(tǒng)、嵌入式linux應(yīng)用程序移植、嵌入式linux 多進(jìn)程，多線程應(yīng)用程序設(shè)計(jì)、嵌入式linux網(wǎng)絡(luò)編程，如果

2021-11-05 08:11:52

基于lrzsz嵌入式linux傳輸應(yīng)用程序

嵌入式linux與pc串口傳輸文件基于lrzsz嵌入式linux傳輸應(yīng)用程序通常用nfs、tftp等比較麻煩，一般小應(yīng)用也就幾k用串口就行，這里給出一種串口傳輸文件的方式lrzszlzsz需要

2021-12-16 06:05:03

好東東！《嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程》完整版PDF

本帖最后由華清遠(yuǎn)見2014 于 2014-9-28 10:26 編輯《嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程》圖書簡(jiǎn)介：主要分為3個(gè)部分，包括linux基礎(chǔ)、搭建嵌入式linux環(huán)境和嵌入式

2014-09-28 10:24:05

如何利用linux來(lái)開發(fā)屬于自己的嵌入式項(xiàng)目

如何利用linux來(lái)開發(fā)屬于自己的嵌入式項(xiàng)目？有哪些流程？

2021-09-28 07:39:34

如何去實(shí)現(xiàn)嵌入式linux設(shè)備中應(yīng)用運(yùn)行日志呢

嵌入式linux設(shè)備中應(yīng)用運(yùn)行日志的實(shí)現(xiàn)最近在做一個(gè)項(xiàng)目時(shí),需要記錄設(shè)備運(yùn)行中情況,以方便對(duì)故障進(jìn)行跟蹤定位,完善.所以決定采用記錄程序運(yùn)行日志,經(jīng)過(guò)在網(wǎng)上搜索,采用Log4cplus+BOA方案

2021-11-04 08:24:43

如何去實(shí)現(xiàn)一種嵌入式Linux應(yīng)用程序開發(fā)呢

如何去實(shí)現(xiàn)一種嵌入式Linux應(yīng)用程序開發(fā)呢？如何去實(shí)現(xiàn)在ARM開發(fā)板的嵌入式linux系統(tǒng)上運(yùn)行的QT程序呢？

2021-12-27 06:53:01

如何學(xué)習(xí)ARM與嵌入式linux？

ARM與嵌入式linux入門建議

2021-03-15 07:51:19

如何對(duì)嵌入式應(yīng)用程序進(jìn)行調(diào)試

如何對(duì)嵌入式應(yīng)用程序進(jìn)行調(diào)試

2021-12-24 07:36:55

如何搭建嵌入式arm-linux開發(fā)環(huán)境

嵌入式arm-linux開發(fā)環(huán)境搭建開發(fā)環(huán)境模型：arm-linux開發(fā)板+Ubuntu物理/虛擬機(jī)+windows模型功能搭建參考開發(fā)環(huán)境模型：arm-linux開發(fā)板+Ubuntu物理/虛擬機(jī)

2021-12-27 07:13:28

如何設(shè)計(jì)嵌入式ARM Linux步進(jìn)電機(jī)驅(qū)動(dòng)程序？

，是未來(lái)經(jīng)濟(jì)型激光雕刻機(jī)發(fā)展的趨勢(shì)。而嵌入式ARM(Advanced RISC Machines)Linux步進(jìn)電機(jī)驅(qū)動(dòng)是實(shí)現(xiàn)激光雕刻的核心。如何設(shè)計(jì)嵌入式ARM Linux步進(jìn)電機(jī)驅(qū)動(dòng)程序？我們具體該怎么做呢？

2019-08-13 07:31:19

成為嵌入式Linux工程師需要懂什么？

的linux開發(fā)課程，最重要的是很多的階段性的大項(xiàng)目來(lái)自企業(yè)的真實(shí)開發(fā)案例，這樣才能真正掌握企業(yè)需要的嵌入式系統(tǒng)開發(fā)知識(shí)。為回饋新老客戶，我司舉辦免費(fèi)學(xué)習(xí)月的活動(dòng)，活動(dòng)時(shí)間每周六、周日可選擇的課程有：嵌入式C語(yǔ)言程序設(shè)計(jì)電子電路硬件設(shè)計(jì)PCB線路板設(shè)計(jì)單片機(jī)開發(fā)linux驅(qū)動(dòng)開發(fā)想學(xué)技術(shù)的朋友可加微信***

2018-10-16 15:32:45

蔡琰老師手把手教學(xué)，ARM-LINUX嵌入式項(xiàng)目實(shí)戰(zhàn)資料

`看完蔡琰老師的直播—— 資深單片機(jī)研發(fā)工程師教學(xué)：玩轉(zhuǎn)Modbus通訊就這么簡(jiǎn)單！相信不少朋友想要挑戰(zhàn)一下實(shí)戰(zhàn)項(xiàng)目，現(xiàn)特此分享老師的ARM-LINUX嵌入式項(xiàng)目實(shí)戰(zhàn)資料，有需要的朋友可以回帖獲取

2021-07-21 11:12:22

請(qǐng)問(wèn)如何成為嵌入式高手？

編程并且深刻體會(huì)整個(gè)嵌入式Linux項(xiàng)目開發(fā)流程，強(qiáng)化學(xué)員對(duì)Linux應(yīng)用開發(fā)的能力。1、Linux系統(tǒng)中的進(jìn)程的概念，在應(yīng)用程序中線程與父子進(jìn)程的創(chuàng)建與應(yīng)用2、線程之間、進(jìn)程之間的通信3、進(jìn)程間通信

2020-08-30 11:28:25

轉(zhuǎn)：嵌入式Linux應(yīng)用程序開發(fā)詳解

。接著系統(tǒng)地講解了嵌入式linux的環(huán)境搭建，以及嵌入式linux的i／o與文件系統(tǒng)的開發(fā)、進(jìn)程控制開發(fā)、進(jìn)程間通信開發(fā)、網(wǎng)絡(luò)應(yīng)用開發(fā)、基于中斷的開發(fā)、設(shè)備驅(qū)動(dòng)程序的開發(fā)以及嵌入式圖形界面的開發(fā)等，并且還

2016-06-12 11:11:45

韋東山嵌入式Linux應(yīng)用開發(fā)完全手冊(cè).pdf電子版

`【整理】韋東山視頻教程集合整理出來(lái)，一起學(xué)習(xí)ARM裸機(jī)開發(fā)實(shí)戰(zhàn)嵌入式Linux驅(qū)動(dòng)篇——深度開發(fā)之現(xiàn)場(chǎng)從零編寫工作中的驅(qū)動(dòng)嵌入式Linux項(xiàng)目篇：數(shù)碼相框&視頻監(jiān)控&amp

2017-09-18 17:08:56

嵌入式Linux NFS方式下應(yīng)用程序的實(shí)現(xiàn)

嵌入式Linux NFS方式下應(yīng)用程序的實(shí)現(xiàn):本文在以ARM9 內(nèi)核芯片，處理器為S3C2410 構(gòu)造的開發(fā)板系統(tǒng)上，詳細(xì)討論了如何配置嵌入式Linux NFS 開發(fā)環(huán)境，并通過(guò)一個(gè)具體實(shí)例來(lái)介紹應(yīng)用

2009-08-02 14:48:54

ARM的嵌入式Linux應(yīng)用程序開發(fā)設(shè)計(jì)

嵌入式系統(tǒng)已經(jīng)滲透到人們工作、生活中的各個(gè)領(lǐng)域，嵌入式處理器已占分散處理器市場(chǎng)份額的94％。而嵌入式Linux系統(tǒng)也蓬勃發(fā)展，不僅繼承了Linux

2008-12-12 17:17:15

993

嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程

2011-09-29 17:02:02

嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程_第二版

很好的嵌入式Linux應(yīng)用程序開發(fā)標(biāo)準(zhǔn)教程，可以學(xué)習(xí)學(xué)習(xí)

2016-02-25 16:07:36

嵌入式Linux應(yīng)用程序開發(fā)詳解

2016-06-17 17:24:54

ARM嵌入式應(yīng)用程序架構(gòu)設(shè)計(jì)工具-DLTools

ARM嵌入式應(yīng)用程序架構(gòu)設(shè)計(jì)實(shí)例精講--ARM嵌入式應(yīng)用程序架構(gòu)設(shè)計(jì)工具-DLTools

2016-07-08 11:08:19

ARM嵌入式應(yīng)用程序架構(gòu)設(shè)計(jì)工具-字庫(kù)

ARM嵌入式應(yīng)用程序架構(gòu)設(shè)計(jì)實(shí)例精講--ARM嵌入式應(yīng)用程序架構(gòu)設(shè)計(jì)工具-字庫(kù)

2016-07-08 11:08:19

基于嵌入式Linux應(yīng)用程序開發(fā)詳解

基于嵌入式Linux應(yīng)用程序開發(fā)詳解

2017-10-25 14:17:31

如何使用ARM進(jìn)行嵌入式linux的系統(tǒng)設(shè)計(jì)

本文簡(jiǎn)要介紹了ARM處理器的特點(diǎn)及其基本結(jié)構(gòu)，詳細(xì)論述了基于ARM的嵌入式linux系統(tǒng)的關(guān)鍵技術(shù)，包括引導(dǎo)加載程序、Linux內(nèi)核、文件系統(tǒng)、用戶應(yīng)用程序。對(duì)linux系統(tǒng)的各部分開發(fā)設(shè)計(jì)做了較深入清晰地分析，總結(jié)了linux系統(tǒng)的特點(diǎn)，及其在嵌入式操作系統(tǒng)競(jìng)爭(zhēng)中的優(yōu)勢(shì)。

2019-05-06 18:22:00

已全部加載完成

搜索歷史

嵌入式ARM Linux應(yīng)用程序項(xiàng)目問(wèn)題定位

評(píng)論