Hi,
When apache2 is stopped (or restarted) using systemd it segfaults on stop. It doesn't "break" apache, it restarts happily but the kernel log is filled with lines like this:
[ 83.576692] apache2[899]: segfault at 7f9474f207a0 ip 00007f9474f207a0 sp 00007ffcfee9d8c8 error 14 in libexpat.so.1.6.2[7f94771a2000+27000]
[ 120.753963] apache2[1160]: segfault at 7f5464e317a0 ip 00007f5464e317a0 sp 00007fff18fdc988 error 14 in libexpat.so.1.6.2[7f54670b3000+27000]
[ 137.910455] apache2[1470]: segfault at 7fbde4ec17a0 ip 00007fbde4ec17a0 sp 00007ffd6b1707c8 error 14 in libexpat.so.1.6.2[7fbde7143000+27000]
[ 323.749818] apache2[2283]: segfault at 7f39dcf3d7a0 ip 00007f39dcf3d7a0 sp 00007ffe9fd89fc8 error 14 in libexpat.so.1.6.2[7f39df1bf000+27000]
[ 495.645108] apache2[2655]: segfault at 7fd732ac37a0 ip 00007fd732ac37a0 sp 00007fff67f2aa08 error 14 in libexpat.so.1.6.2[7fd734d45000+27000]
[ 533.366032] apache2[3182]: segfault at 7f86f97dc7a0 ip 00007f86f97dc7a0 sp 00007ffe87db5848 error 14 in libexpat.so.1.6.2[7f86fba5e000+27000]
[ 597.376546] apache2[3503]: segfault at 7fe2a4c657a0 ip 00007fe2a4c657a0 sp 00007ffd60d77d48 error 14 in libexpat.so.1.6.2[7fe2a6ee7000+27000]
[ 634.959089] apache2[3611]: segfault at 7fdfc830d7a0 ip 00007fdfc830d7a0 sp 00007ffc10a50588 error 14 in libexpat.so.1.6.2[7fdfca58f000+27000]
[ 669.017042] apache2[3905]: segfault at 7fa1ecfe07a0 ip 00007fa1ecfe07a0 sp 00007ffe3828cb48 error 14 in libexpat.so.1.6.2[7fa1ef262000+27000]
[ 672.555998] apache2[4060]: segfault at 7f70965ca7a0 ip 00007f70965ca7a0 sp 00007ffd9b8ace08 error 14 in libexpat.so.1.6.2[7f709884c000+27000]
[ 710.488092] apache2[4159]: segfault at 7fa0157817a0 ip 00007fa0157817a0 sp 00007fffadadd588 error 14 in libexpat.so.1.6.2[7fa017a03000+27000]
[ 725.332089] apache2[4417]: segfault at 7f1bd74587a0 ip 00007f1bd74587a0 sp 00007ffcb3b57288 error 14 in libexpat.so.1.6.2[7f1bd96da000+27000]
[ 862.356568] apache2[4515]: segfault at 7fd5fc4297a0 ip 00007fd5fc4297a0 sp 00007ffd15457d48 error 14 in libexpat.so.1.6.2[7fd5fe6ab000+27000]
(this happens once on each stop or restart)
It segfaulted differently once but I couldn't trigger it again:
[ 1925.829637] apache2[7364]: segfault at 7fc3e0c40bf0 ip 00007fc3e0c40bf0 sp 00007ffd5c9660c8 error 14 in libz.so.1.2.8[7fc3e165b000+19000]
Core dump backtrace is as follows:
-----
(gdb) bt full
#0 0x00007f1bd74587a0 in ?? ()
No symbol table info available.
#1 0x0000561179fae15e in ap_run_mpm_query (query_code=query_code@entry=2, result=result@entry=0x7ffcb3b572ec, _rv=_rv@entry=0x7ffcb3b572c4) at mpm_common.c:97
pHook = <optimized out>
n = 0
rv = -1
#2 0x0000561179faeeee in ap_mpm_query (query_code=query_code@entry=2, result=result@entry=0x7ffcb3b572ec) at mpm_common.c:419
rv = 0
#3 0x0000561179fceeb4 in log_tid (info=<optimized out>, arg=<optimized out>, buf=0x7ffcb3b5743e "", buflen=8130) at log.c:612
result = 22033
#4 0x0000561179fcfdd6 in do_errorlog_default (buflen=8192, args=0x7ffcb3b5b480, errstr_fmt=0x561179ff67d8 "AH00060: seg fault or similar nasty error detected in the parent process",
errstr_end=<synthetic pointer>, errstr_start=<synthetic pointer>, buf=0x7ffcb3b57400 "[Wed Dec 12 11:15:35.532750 2018] [core:notice] [pid 4417:tid ", info=0x7ffcb3b573b0) at log.c:944
len = 62
field_start = 57
item_len = <optimized out>
scratch = '\000' <repeats 560 times>...
#5 log_error_core (file=0x561179ff66ac "mpm_unix.c", line=989, module_index=0, level=<optimized out>, status=0, s=<optimized out>, c=<optimized out>, r=0x0, pool=0x0,
fmt=0x561179ff67d8 "AH00060: seg fault or similar nasty error detected in the parent process", args=0x7ffcb3b5b480) at log.c:1270
log_format = <optimized out>
len = 0
errstr_start = 0
errstr_end = 0
errstr = "[Wed Dec 12 11:15:35.532750 2018] [core:notice] [pid 4417:tid ", '\000' <repeats 98 times>, "\253\000\000\000\000\000\000\000\300\236\377\332\033\177\000\000?\000\000\000\000\000\000\000\360+r\332\033\177\000\000\000\000\000\000\000\000\000\000"...
logf = 0x7f1bdafed0a0
level_and_mask = 5
rmain = 0x0
sconf = 0x0
info = {s = 0x0, c = 0x0, r = 0x0, rmain = 0x0, pool = 0x0, file = 0x561179ff66ac "mpm_unix.c", line = 989, module_index = 0, level = 5, status = 0, using_syslog = 0, startup = 0,
format = 0x561179ff67d8 "AH00060: seg fault or similar nasty error detected in the parent process"}
log_conn_info = <optimized out>
log_req_info = 0
lines = 0x0
done = <optimized out>
line_number = 0
#6 0x0000561179fd02b7 in ap_log_error_ (file=file@entry=0x561179ff66ac "mpm_unix.c", line=line@entry=989, module_index=module_index@entry=0, level=level@entry=5, status=status@entry=0,
s=<optimized out>, fmt=0x561179ff67d8 "AH00060: seg fault or similar nasty error detected in the parent process") at log.c:1319
args = {{gp_offset = 48, fp_offset = 48, overflow_arg_area = 0x7ffcb3b5b568, reg_save_area = 0x7ffcb3b5b4a0}}
#7 0x0000561179fd7080 in sig_coredump (sig=11) at mpm_unix.c:986
No locals.
#8 <signal handler called>
No locals.
#9 0x00007f1bd74588d0 in ?? ()
No symbol table info available.
#10 <signal handler called>
No locals.
#11 0x00007f1bda22e3a3 in __select_nocancel () at ../sysdeps/unix/syscall-template.S:84
No locals.
#12 0x00007f1bda731245 in apr_sleep (t=t@entry=46875) at ./time/unix/time.c:246
---Type <return> to continue, or q <return> to quit---
tv = {tv_sec = 0, tv_usec = 32787}
#13 0x00007f1bda724ea3 in free_proc_chain (procs=0x7f1bdaf250b8) at ./memory/unix/apr_pools.c:2483
pc = 0x0
need_timeout = 1
timeout_interval = 46875
#14 0x00007f1bda725b90 in apr_pool_destroy (pool=0x7f1bdafeb028) at ./memory/unix/apr_pools.c:817
active = <optimized out>
allocator = <optimized out>
#15 0x00007f1bda725b55 in apr_pool_destroy (pool=0x7f1bdafed028) at ./memory/unix/apr_pools.c:811
active = <optimized out>
allocator = <optimized out>
#16 0x0000561179fa6ed8 in destroy_and_exit_process (process_exit_value=0, process=<optimized out>) at main.c:264
No locals.
#17 0x0000561179fa6c97 in main (argc=<optimized out>, argv=<optimized out>) at main.c:796
c = 0 '\000'
showcompile = 0
showdirectives = 0
confname = 0x561179fed03f "apache2.conf"
def_server_root = 0x561179fed032 "/etc/apache2"
temp_error_log = <optimized out>
error = <optimized out>
pconf = 0x7f1bdafeb028
plog = 0x7f1bdafbf028
ptemp = 0x7f1bdafc1028
pcommands = 0x7f1bdafc9028
opt = 0x7f1bdafc9118
rv = <optimized out>
mod = <optimized out>
opt_arg = 0x7f1bdafed028 "(`\377\332\033\177"
signal_server = <optimized out>
rc = 0
-------
I have tried stripping down configuration, removing virtual hosts, removing modules and mod fcgid seems to be the trigger.
It does NOT happen every time (as annoying as it is) but when it does, it consistently does segfault on every successive stop/restart. Maybe it depends on process alignment in memory or solar flares.
I have also tried switching MPMs, it happens with event/worker/prefork
I could reproduce this consistently on two machines (both latest debian stretch), one bare metal and one VM.
To reproduce, please enable mod-fcgid on a stock apache install and try restarting apache using /etc/init.d/apache2 restart or systemctl restart apache2
Directly calling apache2ctl never causes segfaults.
Sometimes it does not happen until stars align, basically disabling-enabling modules or switching mpms and restarting apache in various ways eventually triggers it
My only custom configuration is CoreDumpDirectory in apache2.conf and a "ulimit -c unlimited" in envvars to enable core dumps - these make no difference otherwise.
thanks,
Mark
Dear Maintainer, hello Mark Buranyi,
tried to reproduce inside a Stretch amd64 qemu VM.
I assume the first <signal handler called> is calling the
SIGTERM handler [frame #9].
Unfortunately it looks like the module containing sig_term was already
unloaded at that time (mod_mpm_event.so).
Therefore executing that now unloaded memory causes now a signal 11-SIGSEGV
to be received, that I guess ends up executing some function pointer whose
shared library is already gone (and just by "accident" contained most
of the time in libexpat.so).
So the main problem seems to be executing a signal handler residing
in an already unloaded module.
That signal handler does not exist in testing version 2.4.37-1 of apache.
It looks like it get moved in upstream commit [1], released with 2.4.26:
MPMs unix: Place signals handlers and helpers out of DSOs to avoid
a possible crash if a signal is caught during (graceful) restart.
PR 60487.
This bug looks like an duplicate of #867565.
Kind regards,
Bernhard
[1] https://github.com/apache/httpd/commit/c6ca4f85b722f0abab183c94a8e550eeb87934c6#diff-895d7e9f8add746606c82027dabc04d4
#867565 https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=867565
(gdb) bt
#0 0x00007ff5fd64b7a0 in ?? ()
#1 0x000055d899cbf15e in ap_run_mpm_query (query_code=query_code@entry=2, result=result@entry=0x7fff2c8361ec, _rv=_rv@entry=0x7fff2c8361c4) at mpm_common.c:97
#2 0x000055d899cbfeee in ap_mpm_query (query_code=query_code@entry=2, result=result@entry=0x7fff2c8361ec) at mpm_common.c:419
#3 0x000055d899cdfeb4 in log_tid (info=<optimized out>, arg=<optimized out>, buf=0x7fff2c83633e "", buflen=8130) at log.c:612
#4 0x000055d899ce0dd6 in do_errorlog_default (buflen=8192, args=0x7fff2c83a380, errstr_fmt=0x55d899d077d8 "AH00060: seg fault or similar nasty error detected in the parent process", errstr_end=<synthetic pointer>, errstr_start=<synthetic pointer>, buf=0x7fff2c836300 "[Sat Dec 29 14:57:57.340512 2018] [core:notice] [pid 2517:tid ", info=0x7fff2c8362b0) at log.c:944
#5 log_error_core (file=0x55d899d076ac "mpm_unix.c", line=989, module_index=0, level=<optimized out>, status=0, s=<optimized out>, c=<optimized out>, r=0x0, pool=0x0, fmt=0x55d899d077d8 "AH00060: seg fault or similar nasty error detected in the parent process", args=0x7fff2c83a380) at log.c:1270
#6 0x000055d899ce12b7 in ap_log_error_ (file=file@entry=0x55d899d076ac "mpm_unix.c", line=line@entry=989, module_index=module_index@entry=0, level=level@entry=5, status=status@entry=0, s=<optimized out>, fmt=0x55d899d077d8 "AH00060: seg fault or similar nasty error detected in the parent process") at log.c:1319
#7 0x000055d899ce8080 in sig_coredump (sig=11) at mpm_unix.c:986
#8 <signal handler called>
#9 0x00007ff5fd64b8d0 in ?? ()
#10 <signal handler called>
#11 0x00007ff6004213a3 in __select_nocancel () at ../sysdeps/unix/syscall-template.S:84
#12 0x00007ff600924245 in apr_sleep (t=t@entry=46875) at ./time/unix/time.c:246
#13 0x00007ff600917ea3 in free_proc_chain (procs=0x7ff60113b718) at ./memory/unix/apr_pools.c:2483
#14 0x00007ff600918b90 in apr_pool_destroy (pool=0x7ff6011de028) at ./memory/unix/apr_pools.c:817
#15 0x00007ff600918b55 in apr_pool_destroy (pool=0x7ff6011e0028) at ./memory/unix/apr_pools.c:811
#16 0x000055d899cb7ed8 in destroy_and_exit_process (process_exit_value=0, process=<optimized out>) at main.c:264
#17 0x000055d899cb7c97 in main (argc=<optimized out>, argv=<optimized out>) at main.c:796
(gdb) info share
0x00007ff5fd64b080 0x00007ff5fd651ce5 Yes /usr/lib/apache2/modules/mod_mpm_event.so
(gdb) disassemble 0x00007ff5fd64b8d0,0x00007ff5fd64b8d0+0x30
Dump of assembler code from 0x7ff5fd64b8d0 to 0x7ff5fd64b900:
0x00007ff5fd64b8d0 <sig_term+0>: mov 0x20a7fe(%rip),%eax # 0x7ff5fd8560d4 <shutdown_pending>
Dear Maintainer, hello Mark Buranyi,
tried to reproduce inside a Stretch amd64 qemu VM.
I assume the first <signal handler called> is calling the
SIGTERM handler [frame #9].
Unfortunately it looks like the module containing sig_term was already
unloaded at that time (mod_mpm_event.so).
Therefore executing that now unloaded memory causes now a signal 11-SIGSEGV
to be received, that I guess ends up executing some function pointer whose
shared library is already gone (and just by "accident" contained most
of the time in libexpat.so).
So the main problem seems to be executing a signal handler residing
in an already unloaded module.
That signal handler does not exist in testing version 2.4.37-1 of apache.
It looks like it get moved in upstream commit [1], released with 2.4.26:
MPMs unix: Place signals handlers and helpers out of DSOs to avoid
a possible crash if a signal is caught during (graceful) restart.
PR 60487.
This bug looks like an duplicate of #867565.
Kind regards,
Bernhard
[1] https://github.com/apache/httpd/commit/c6ca4f85b722f0abab183c94a8e550eeb87934c6#diff-895d7e9f8add746606c82027dabc04d4
#867565 https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=867565
(gdb) bt
#0 0x00007ff5fd64b7a0 in ?? ()
#1 0x000055d899cbf15e in ap_run_mpm_query (query_code=query_code@entry=2, result=result@entry=0x7fff2c8361ec, _rv=_rv@entry=0x7fff2c8361c4) at mpm_common.c:97
#2 0x000055d899cbfeee in ap_mpm_query (query_code=query_code@entry=2, result=result@entry=0x7fff2c8361ec) at mpm_common.c:419
#3 0x000055d899cdfeb4 in log_tid (info=<optimized out>, arg=<optimized out>, buf=0x7fff2c83633e "", buflen=8130) at log.c:612
#4 0x000055d899ce0dd6 in do_errorlog_default (buflen=8192, args=0x7fff2c83a380, errstr_fmt=0x55d899d077d8 "AH00060: seg fault or similar nasty error detected in the parent process", errstr_end=<synthetic pointer>, errstr_start=<synthetic pointer>, buf=0x7fff2c836300 "[Sat Dec 29 14:57:57.340512 2018] [core:notice] [pid 2517:tid ", info=0x7fff2c8362b0) at log.c:944
#5 log_error_core (file=0x55d899d076ac "mpm_unix.c", line=989, module_index=0, level=<optimized out>, status=0, s=<optimized out>, c=<optimized out>, r=0x0, pool=0x0, fmt=0x55d899d077d8 "AH00060: seg fault or similar nasty error detected in the parent process", args=0x7fff2c83a380) at log.c:1270
#6 0x000055d899ce12b7 in ap_log_error_ (file=file@entry=0x55d899d076ac "mpm_unix.c", line=line@entry=989, module_index=module_index@entry=0, level=level@entry=5, status=status@entry=0, s=<optimized out>, fmt=0x55d899d077d8 "AH00060: seg fault or similar nasty error detected in the parent process") at log.c:1319
#7 0x000055d899ce8080 in sig_coredump (sig=11) at mpm_unix.c:986
#8 <signal handler called>
#9 0x00007ff5fd64b8d0 in ?? ()
#10 <signal handler called>
#11 0x00007ff6004213a3 in __select_nocancel () at ../sysdeps/unix/syscall-template.S:84
#12 0x00007ff600924245 in apr_sleep (t=t@entry=46875) at ./time/unix/time.c:246
#13 0x00007ff600917ea3 in free_proc_chain (procs=0x7ff60113b718) at ./memory/unix/apr_pools.c:2483
#14 0x00007ff600918b90 in apr_pool_destroy (pool=0x7ff6011de028) at ./memory/unix/apr_pools.c:817
#15 0x00007ff600918b55 in apr_pool_destroy (pool=0x7ff6011e0028) at ./memory/unix/apr_pools.c:811
#16 0x000055d899cb7ed8 in destroy_and_exit_process (process_exit_value=0, process=<optimized out>) at main.c:264
#17 0x000055d899cb7c97 in main (argc=<optimized out>, argv=<optimized out>) at main.c:796
(gdb) info share
0x00007ff5fd64b080 0x00007ff5fd651ce5 Yes /usr/lib/apache2/modules/mod_mpm_event.so
(gdb) disassemble 0x00007ff5fd64b8d0,0x00007ff5fd64b8d0+0x30
Dump of assembler code from 0x7ff5fd64b8d0 to 0x7ff5fd64b900:
0x00007ff5fd64b8d0 <sig_term+0>: mov 0x20a7fe(%rip),%eax # 0x7ff5fd8560d4 <shutdown_pending>
Good day, My associate from China wants to discuss a business investment deal with you. I awaiting your response to enable us discuss about this business investment Nael M. Al Homoud Executive Director & High Investment Committee Member@ The Arab Investment Co www.taic.com [1] Links: ------ [1] http://www.taic.com
Good day, My associate from China wants to discuss a business investment deal with you. I awaiting your response to enable us discuss about this business investment Nael M. Al Homoud Executive Director & High Investment Committee Member@ The Arab Investment Co www.taic.com [1] Links: ------ [1] http://www.taic.com
Dzień dobry, kontaktuję się z Państwem, ponieważ dostrzegam możliwość redukcji opłat za prąd. Odpowiednio dobrana instalacja fotowoltaiczna to rozwiązanie, które pozwala wygenerować spore oszczędności w skali roku. Chciałbym porozmawiać z Państwem o tego typu rozwiązaniu, a także przedstawić wstępne kalkulacje. Czy są Państwo zainteresowani? Pozdrawiam, Dorian Kwiatkowski
Dzień dobry, kontaktuję się z Państwem, ponieważ dostrzegam możliwość redukcji opłat za prąd. Odpowiednio dobrana instalacja fotowoltaiczna to rozwiązanie, które pozwala wygenerować spore oszczędności w skali roku. Chciałbym porozmawiać z Państwem o tego typu rozwiązaniu, a także przedstawić wstępne kalkulacje. Czy są Państwo zainteresowani? Pozdrawiam, Dorian Kwiatkowski
Dzień dobry, jakiś czas temu zgłosiła się do nas firma, której strona internetowa nie pozycjonowała się wysoko w wyszukiwarce Google. Na podstawie wykonanego przez nas audytu SEO zoptymalizowaliśmy treści na stronie pod kątem wcześniej opracowanych słów kluczowych. Nasz wewnętrzny system codziennie analizuje prawidłowe działanie witryny. Dzięki indywidualnej strategii, firma zdobywa coraz więcej Klientów. Czy chcieliby Państwo zwiększyć liczbę osób odwiedzających stronę internetową firmy? Mógłbym przedstawić ofertę? Pozdrawiam serdecznie, Patryk Górecki
Dzień dobry, jakiś czas temu zgłosiła się do nas firma, której strona internetowa nie pozycjonowała się wysoko w wyszukiwarce Google. Na podstawie wykonanego przez nas audytu SEO zoptymalizowaliśmy treści na stronie pod kątem wcześniej opracowanych słów kluczowych. Nasz wewnętrzny system codziennie analizuje prawidłowe działanie witryny. Dzięki indywidualnej strategii, firma zdobywa coraz więcej Klientów. Czy chcieliby Państwo zwiększyć liczbę osób odwiedzających stronę internetową firmy? Mógłbym przedstawić ofertę? Pozdrawiam serdecznie, Patryk Górecki
Dzień dobry, jakiś czas temu zgłosiła się do nas firma, której strona internetowa nie pozycjonowała się wysoko w wyszukiwarce Google. Na podstawie wykonanego przez nas audytu SEO zoptymalizowaliśmy treści na stronie pod kątem wcześniej opracowanych słów kluczowych. Nasz wewnętrzny system codziennie analizuje prawidłowe działanie witryny. Dzięki indywidualnej strategii, firma zdobywa coraz więcej Klientów. Czy chcieliby Państwo zwiększyć liczbę osób odwiedzających stronę internetową firmy? Mógłbym przedstawić ofertę? Pozdrawiam serdecznie, Patryk Górecki
Dzień dobry! Czy mógłbym przedstawić rozwiązanie, które umożliwia monitoring każdego auta w czasie rzeczywistym w tym jego pozycję, zużycie paliwa i przebieg? Dodatkowo nasze narzędzie minimalizuje koszty utrzymania samochodów, skraca czas przejazdów, a także tworzenie planu tras czy dostaw. Z naszej wiedzy i doświadczenia korzysta już ponad 49 tys. Klientów. Monitorujemy 809 000 pojazdów na całym świecie, co jest naszą najlepszą wizytówką. Bardzo proszę o e-maila zwrotnego, jeśli moglibyśmy wspólnie omówić potencjał wykorzystania takiego rozwiązania w Państwa firmie. Z poważaniem, Dawid Rowicki
Dzień dobry, czy interesuje Państwa wymiana niezapłaconych przez Klientów faktur na gotówkę? Pomagamy wszystkim przedsiębiorcom, którzy szukają gwarancji bezpieczeństwa i płynności finansowej. Jeśli są Państwo otwarci na wstępną rozmowę w tym temacie proszę o odpowiedź. Pozdrawiam, Adrian Ostojski Dyrektor Finansowy
Dzień dobry! Czy mógłbym przedstawić rozwiązanie, które umożliwia monitoring każdego auta w czasie rzeczywistym w tym jego pozycję, zużycie paliwa i przebieg? Dodatkowo nasze narzędzie minimalizuje koszty utrzymania samochodów, skraca czas przejazdów, a także tworzenie planu tras czy dostaw. Z naszej wiedzy i doświadczenia korzysta już ponad 49 tys. Klientów. Monitorujemy 809 000 pojazdów na całym świecie, co jest naszą najlepszą wizytówką. Bardzo proszę o e-maila zwrotnego, jeśli moglibyśmy wspólnie omówić potencjał wykorzystania takiego rozwiązania w Państwa firmie. Z poważaniem, Dawid Rowicki
Dzień dobry, czy interesuje Państwa wymiana niezapłaconych przez Klientów faktur na gotówkę? Pomagamy wszystkim przedsiębiorcom, którzy szukają gwarancji bezpieczeństwa i płynności finansowej. Jeśli są Państwo otwarci na wstępną rozmowę w tym temacie proszę o odpowiedź. Pozdrawiam, Adrian Ostojski Dyrektor Finansowy
Dzień dobry, zapoznałem się z Państwa ofertą i z przyjemnością przyznaję, że przyciąga uwagę i zachęca do dalszych rozmów. Pomyślałem, że może mógłbym mieć swój wkład w Państwa rozwój i pomóc dotrzeć z tą ofertą do większego grona odbiorców. Pozycjonuję strony www, dzięki czemu generują świetny ruch w sieci. Możemy porozmawiać w najbliższym czasie? Pozdrawiam Adam Furgalski