fix-gnulib: Fix order-only hack with HP-UX make.

HP-UX make gets confused by the space in $(findstring ...,$(...))
syntax: instead of expanding to the empty string as desired, it
mismatches the parentheses and we are left with a single ).  E.g.:

  % cat >Makefile <<'EOF'
  all:
@echo '$(a $(b))'
EOF
  % make
  )

Since $(x) and ${x} are equivalent in Make, a neat solution is to
just replace one set of parentheses with braces; now there are no
nested parentheses to mismatch in the first place.

Fix glconfig depfiles generation with non-GNU makes.

Just like with Autotest, the generation depends on $MAKE set at
configure time, and this was never tried.  Apply the same fix to
glconfig.mk.

Avoid nonportable ${x##y} substitutions in program tests.

Using ${x##y} is not portable: in particular it is not supported by
Solaris /bin/sh (or heirloom-sh).  Define a new macro DX_BASENAME
which implements the particular substitution in a compatible way,
then use it in the flex, bison and gob2 tests.

Moreover, apparently heirloom-sh does not support "command" either,
so let's suppress the error message it generates (the tests will
still produce a usable result), and adjust the test cases to the
correct expected output in this scenario.

Fix DX_COMMAND_OUTPUT backslash-newline on heirloom-sh.

It seems that heirloom-sh (and presumably Solaris /bin/sh) read just
silently eats backslash-newlines, and escaping the backslash does
nothing useful, the shell just eats both backslashes and the newline.

Attempt to avoid this problem by appending a magic string to
troublesome lines, and stripping it after reading.  This will
obviously fail if the input _actually_ has this sequence but
hopefully that will not be an issue in practice.

Avoid nonportable ${x%%y} substitutions in DX_LINGUAS.

Using ${x%%y} substitutions is not portable: in particular it is
not supported by Solaris /bin/sh (or heirloom-sh).  Let's use a
more portable construct instead.

Allow testsuite to run configure with alternate shells.

For portability testing of autoconf macros, it is useful to be able
to have the tests run configure with different shells.  Add a global
knob to do this: just run make check with TEST_SHELL=whatever and
the testsuite will set CONFIG_SHELL in testcases appropriately.

Or configure the whole package with CONFIG_SHELL and that will get
passed down too.

However, avoid running the testsuite itself by default with such a
shell because that's not actually what we're trying to test.

Fix Autotest depfiles generation with non-GNU makes.

Depfiles generation uses the $MAKE value set at configure time, and
apparently I never actually tried this with non-GNU makes.  So of
course it does not work.  Let's try to improve the situation.

Fix off-by-one error in gen-options.awk.

When an option has no help text, the lopt_get_help function is returning
a description pointer which is one past the end of the help text array,
rather than a pointer to the final 0 byte as intended.  The results are
unpredictable.

Fix DX_BASEDIR substitution test.

We changed the DX_BASEDIR substitution but the test case was not updated
to reflect that, oops.  Easily fixed.

Add script for generating miscellaneous string tables.

When building constant C data structures it is often better to
store offsets to a string table rather than pointers.  This is
usually smaller and requires less startup time when programs
are built in PIC mode.

This script helps to generate such string tables from an input
specification, and define constants for each string offsets.

Add a script for generating getopt_long option tables.

Maintaining tables of long options, short options, help text and whatnot
in C code is a little bit tedious, and the simpler ways tend to cause
annoying results on modern systems that build everything in PIC mode.

So let's automate the process of building these tables from a simple
description file format, using big string arrays to reduce the amount
of relocations needed in PIC code.

Include ${top_srcdir} in substituted DX_BASEDIR.

As far as I can tell I've never used this feature.  When I tried to
use this value in a makefile it quickly failed in VPATH builds for
obvious reasons.  So it seems reasonable to include this make
variable in the substitution so things just work.

Add a basic usage test for DX_LINGUAS.

In an effort to avoid more obvious bugs down the road, let's get some
sanity checks to cover very basic use cases of this macro.

Fix multiple language substitution in DX_LINGUAS.

For some reason this macro inserts newlines between successive values
in the calculated POFILES/MOFILES settings.  This causes syntax errors
when these get substituted into makefiles and is very, very broken.

So this macro has basically never worked except for trivial cases.  This
happens when you don't bother to test things.  So let's fix that up and
add a test case to expose this issue.

Fix redundant MOFILES entries computed by DX_LINGUAS.

The DX_LINGUAS macro transforms a LINGUAS setting of, for example,
"en_CA" to also include "en".  However, if LINGUAS also includes
"en", this addition results in "en" being output twice.

Add a test case that exposes this issue, and correct the problem.

fix-gnulib: Unbreak symbol renaming feature.

Unifying the libtool and non-libtool variable names in fix-gnulib
inadvertently broke glconfig.mk, which references the previous
gnulib_lt_objects variable name.  Restore the old variable name
in the libtool case.

Add AC_CANONICAL_HOST to configure.ac.

This will ensure Automake brings in config.guess and config.sub, in case
they are needed by test cases, although I am not aware of any actual
problems with these being missing at the moment.

Add Bison-related configure tests.

Recent versions of Bison have made a bunch of incompatible behaviour
changes.  Implement configure tests to identify some issues, so that
build compatibility with multiple versions can be achieved.

As part of this, we introduce a basic macro for finding Bison in the
first place, which will verify support for "modern" features like %code
blocks which are needed by all my Bison-using projects.

fix-gnulib: Improvements for program-only packages.

When building a program, we do not generally need the Gnulib symbol
renaming support and we do not need to build a libtool convenience
library (which typically takes twice as long).

It appears the object dependencies are incomplete when not using
libtool with Gnulib, so fix that, and add a new "program" mode which
omits the default call to GLSYM_PREFIX (and thus the DX_EXPORTED_SH
machinery does not not pulled in).

In all cases, switch noinst_(LT)LIBRARIES to EXTRA_(LT)LIBRARIES
which should have no negative impact -- but a program can link in
$(gnulib_objects) instead of the library to save a build step and
possibly increase opportunity for parallelism.

When using libtool, library mode is the default, otherwise program
mode is the default.  The script can be forced one way or the other
based on command-line options.

Try an additional workaround for GLib inline issue.

It seems there are a range of GLib versions which #define G_INLINE_FUNC
unconditionally and thus we cannot work around the headers reliance on
obsolete GNU inline semantics by predefining this macro.

On these versions, we can define G_IMPLEMENT_INLINES to disable inline
function usage altogether.  This is less ideal but it will at least
allow compilation to proceed.

Improve distribution of Autotest testsuite dependencies.

A fresh distribution tarball includes a generated testsuite, but
does not have the benefit of rules from automatic dependency tracking.

This means if a file included by the testsuite is modified in the
tarball, the build will not detect that testsuite is out of date
and will not try to rebuild it.

A similar scenario occurs if 'make distclean' is run after building
the test suite.

Since modern Automake uses make rules to generate the dependency stubs,
we can use the distributed testsuite dependencies record to produce
an accurate initial list of prerequisites.  And by ensuring that this
file is updated whenever the testsuite is built, we can handle the
'make distclean' case too.

Improve GLib probe against old GLib versions.

The glib_check_version function was not available in older versions
of glib2, so this is a bad choice for the link test.  Let's use
g_get_prgname instead, which is available at least as far back
as glib 2.0.0.

More importantly, with gcc these old glib versions use 'extern inline'
in header files and expect GNU inline semantics.  This generally does
not work with modern gcc, so add an additional configure test which
will detect this problem and work around it.

Add flex detection macro.

Fix comment typo in DX_PROG_GOB2 implementation.

Add GOBject Builder detection macro.

Add configure as a prerequisite for Autotest package.m4.

The information put in package.m4, for example the package version,
comes from the configure script.  When these are updated in the
source tree we want to update this too so that the testsuite gets
updated information.

Add library test for libdiscid

And establish a basic scheme to cover these macros in the test suite.

Import and adapt GLib test macros from upkg.

Apply AS_TR_SH to variable names in library helpers.

This should help writing tests for libraries with hyphens in the
names, by automatically translating hyphens in computed varible
names to underscores.

Normalize whitespace on detected library flags.

It seems that pkg-config sometimes spits out a bunch of trailing
whitespace.  This gets into the substituted variables and makes
them a bit annoying to work with.  Add a step to the library helper
which normalizes the spaces: in addition to removing leading and
trailing spaces this will also remove internal spaces, which I
think should be harmless as there does not appear to be any way
for the user to usefully get quoted spaces into these variables.

Fix depfiles compatibility with modern Automake.

Automake 1.16 changes how depfiles are created.  It is now necessary
to define a rule which creates the stub and additionally we must clean
them explicitly.  This is a bit annoying to do but that's the price of
relying on undocumented internal behaviour, I guess.

The extra rule should be harmless when using Automake 1.15.

Add simple detection macros for libcneartree and libgerbv.

Fix underquoting issue in DX_DO.

The m4_map macro takes a "quoted list of argument descriptions ...
[which are] in turn a quoted list of quoted elements, suitable for
m4_apply."  This is not what actually is being passed in DX_DO,
which is underquoted resulting in various problems.

Add a test case to expose this issue, and switch DX_DO to use
m4_map_args which is a better fit.

Thanks to Eric Blake.

Add libevdev detection macro.

Import libmodplug detection from upkg.

Change include to <libmodplug/modplug.h>, as required by newer versions
(and should work the same on older ones...)

Fix testsuite VPATH builds.

Need to add -I$(srcdir) to all autom4te invocations, otherwise it will
try to find input files only in builddir.

Ensure that all testsuite dependencies are distributed.

Failing to distribute all testsuite dependencies will cause failures
if the testsuite is modified.  Unfortunately, this is not caught by
distcheck because the testsuite is not rebuilt normally.  Therefore,
it is desirable for the dependencies to be picked up automatically
to reduce the possibility of omission.

We could check the M4 traces in a dist-hook, but then Autotest becomes
a dependency for "make dist", even when the testsuite is not modified.
Instead, distribute a record of all dependencies, and use that to
implement the dist-hook.

Fix testsuite issues caught by distcheck.

Handle VPATH builds properly by dealing with testsuite in either
builddir or srcdir.  Also clean out configure-generated files on
distclean.

Move Autotest makefile bits into includable snippet.

This all seems reasonably generic, so let's make it available for use
elsewhere.

Update DX_COMMAND_OUTPUT to handle newlines and backslashes.

The 'read' builtin eats backslashes from the input, so this macro fails
to properly handle output containing backslashes.  Since the -r option
is not portable according to the Autoconf manual, fix up the input by
escaping all backslashes.

While we're at it, remove the "feature" which converts newlines to
spaces because it seems rather silly.

Import integer packing library.

This simple library is used in a couple projects, better to maintain
it in one place.

Hook it into the newfangled test suite too.

Fix DX_BASEDIR hoisting problems in base.m4.

Currently, DX_INIT expands to a bunch of text, mostly whitespace.
This is not normally a serious problem, except when DX_BASEDIR
is called at the top level without previously expanding DX_INIT.
Since DX_BASEDIR is intended to be expanded during argument
collection, the result is that DX_INIT's output ends up as part
of the argument where DX_BASEDIR appears.

Fixing this turns out to be somewhat non-trivial.  Both DX_INIT and
DX_BASEDIR need to be changed.

  - First, avoid using AC_REQUIRE in DX_BASEDIR.  This relies on
    diversions which do not work correctly during argument collection.

  - Rewrite DX_INIT so that it expands to no text whatsoever.

  - Finally, the AC_DEFUN_ONCE mechanism appears to insert newlines
    where the macros are called for the first time.  Use m4_ignore
    to eat that inside DX_BASEDIR.

Fix distribution of dx-stamp.m4.

The automatic distribution of dx-stamp.m4 depends on m4_include
appearing in the m4 traces.  Normally aclocal does that but it
seems to not be entirely reliable.  The reason we do not simply
use m4_include is because this produces warnings about multiple
inclusion.

Fortunately, this is pretty easy to work around.  Just use m4_pushdef
to redefine m4_include to what we need, so the traces show the file
needs to be distributed.

fix-ltdl: Fix order-only hack with FreeBSD make.

FreeBSD make does not work well when undefined variables are used in
nested expansions.  When such an expansion appears in the prerequisites
of a target, FreeBSD make exits with a fatal error.  For example:

  A = $(var$(B))
  foo : $(A)

  % make
  Error expanding embedded variable.

This causes the order-only hack to fail because FreeBSD make does not
define .FEATURES.  The workaround is simple: add another variable which
is assigned the value of .FEATURES.  That variable can be used in the
nested expansion to avoid the error.

fix-gnulib: Fix order-only hack with FreeBSD make.

FreeBSD make does not work well when undefined variables are used in
nested expansions.  When such an expansion appears in the prerequisites
of a target, FreeBSD make exits with a fatal error.  For example:

  A = $(var$(B))
  foo : $(A)

  % make
  Error expanding embedded variable.

This causes the order-only hack to fail because FreeBSD make does not
define .FEATURES.  The workaround is simple: add another variable which
is assigned the value of .FEATURES.  That variable can be used in the
nested expansion to avoid the error.

Implement initial test suite.

First stab at a new autotest-based test suite for dxcommon.  Start with
a simple test case to expose a longstanding problem in DX_BASEDIR.

fix-gnulib: Eliminate dependency on List::Compare.

This library was hardly needed; the code is shorter without it.  Now the
script can run on a stock perl installation.

Import GTK2 detection macro.

Now that we have this support we can start bringing in
other library tests.

Add libpng detection macro.

I've been carrying around library detection in individual projects for
too long.  This is a from-scratch rewrite of the core probing code but
the actual libpng test is basically the same as before.

The idea is to better leverage M4 macros to reduce duplication, so it
should be easy to add more libraries in the future.

fix-gnulib: Improve filename mangling.

This corrects a problem with some of the make rules in the localcharset
module.  Some filenames were not being properly prefixed with lib/ while
others were, leading to some files not being built.

fix-gnulib: Add a call to AC_CONFIG_LIBOBJ_DIR

For some reason, the alloca module uses Autoconf's stock LIBOBJ
machinery and things explode if AC_CONFIG_LIBOBJ_DIR is not set
correctly, because the Gnulib macros sure don't.

Add such a call to the included m4 fragment to fix things up.

The amount of magic and poor documentation around this feature is
astounding.

fix-gnulib: Strip out useless SUFFIXES assignments.

These are useless because Automake handles trivial cases automatically.

Add some backwards-compatibility helpers for silent-rules.

The silent-rules support in Automake has changed over the ages.  Most
glaringly, the output alignment changed between 1.11 and 1.12.  Add a
new macro, DX_AUTOMAKE_COMPAT, which is intended to capture the
compatibility hacks needed to support multiple versions of Automake.
Currently, this means that it will define a variable to help print
silent-rule output that maintains alignment, and it will AC_SUBST
compatible versions, if necessary, of variables substituted in later
versions of Automake's silent-rule support.

Update glconfig.mk to make use of the new feature.

Fix DX_EXPORTED_SH to AC_SUBST required variables.

The exported.sh support wasn't really usable as-is since it was relying
on a symbol defined by cdecl99's configure.ac.  Bring that configuration
into the common macro.

exported.sh: Improve error handling.

Use the eval trick to handle errors from commands in the pipeline other
than the last.  In particular, we now detect if nm failed and return an
error status in this case.  While we're rewriting this code, replace
sort | uniq with sort -u as the latter should be fine according to
POSIX.  We can re-add the two-command version if it actually causes
problems.

Import exported.sh from cdecl99.

This script is required for the glconfig.mk snippet to actually
work, but it somehow got forgotten when that snippet was imported.

Bring in the script, and add M4 plumbing to support finding auxilliary
files in the dxcommon source directory.  The result should be totally
automatic, although this unfortunately means that users of fix-gnulib.pl
that don't need or want to use glconfig.mk are stuck with some extra
dependencies (including libtool) to generate the exported.sh script.

Currently, I can't think of a way to keep the automatic glconfig.mk
support (i.e., the only thing users really have to do is include the
snippet for it to work) without this spurious dependency.  So things
may need to change later, but let's just get the support in for now.

Import gettext m4/automake bits from cdecl99.

These are pretty package-agnostic, and can be shared pretty easily.

fix-gnulib: Handle MOSTLYCLEANDIRS.

Usage of this variable suffers from similar problems as xxxCLEANFILES,
so fix it up in the same way by moving it to the end of the makefile
fragment.  The check needs to be improved a bit as the fragment contains
actual references to this variable, and only want to move the
assignments.

The variable also needs to be set before use, which strangely doesn't
actually happen in the fragment, even though this is a totally internal
thing...

fix-ltdl: Move all convenience libs to EXTRA_LTLIBRARIES only.

There's no reason to list these in noinst_LTLIBRARIES in a non-recursive
build, as they will be picked up correctly by ordinary prerequisites.

fix-ltdl: Delete libobj symlink before attempting to create it.

There seems to be a (rare) race in parallel builds where make for some
reason decides to update the libobj symlink after it already exists,
which fails.  I can't reproduce the failure, but deleting the symlink
(if one exists) before creating it should avoid the issue.

fix-ltdl: New script to fix up nonrecursive libltdl.

Similar in spirit to fix-gnulib, this one improves the nonrecursive
libltdl integration.

fix-gnulib: Fix up $(MKDIR_P) paths as well.

Otherwise it will create the directory at the top level rather than
where it's going to write the output...

Merge branch 'fix-gnulib' of /home/nbowler/projects/cdecl99

Import the fix-gnulib history from cdecl99.

* 'fix-gnulib' of /home/nbowler/projects/cdecl99:
  Better document fix-gnulib.
  Make fix-gnulib only need a single output file.
  Simplify glconfig include mechanism.
  Mangle spliced makefile lines in Gnulib correctly.
  Avoid gratuitous library dependencies linking gnulib.
  Rewrite Gnulib symbols to be in libcdecl's namespace.
  Split gnulib_headers into 3 variables.
  Move all Gnulib CLEANFILES variables to the end of the makefile.
  Handle gl_LIBOBJS/gl_LTLIBOBJS correctly.
  Eliminate use of BUILT_SOURCES from Gnulib.
  Integrate Gnulib non-recursively.

Initial commit

Better document fix-gnulib.

Add a big blurb in the comments describing the main bits required to use
the script in a project.  Also rename the header variables a bit so we
can ensure future compatibility with the documented behaviour.

Make fix-gnulib only need a single output file.

We combine the Automake and M4 bits into a single polyglot that can be
interpreted by either, so all one needs to do is include the makefile
fragment in configure.ac.  I've created a monster.

Simplify glconfig include mechanism.

Instead of relying on include order to select the right config.h, modify
config.h to include the glconfig header conditionally.

This allows the use of Automake's default include paths again, and is
conceptually simpler.

Mangle spliced makefile lines in Gnulib correctly.

Otherwise, target and variable mangling may only apply to the first
line.

Avoid gratuitous library dependencies linking gnulib.

libcdecl doesn't use the readline module at all, but libtool happily
pulls it in as a dependency.  Handle library dependencies manually to
avoid this problem.

Rewrite Gnulib symbols to be in libcdecl's namespace.

The gnulib symbols are not properly prefixed for libcdecl internal
symbols (e.g. cdecl__blah).  This *will* cause problems when statically
linking against both libcdecl and another library that uses the same
gnulib modules.

Unfortunately, there's no simple way to determine what symbols need
prefixing without compiling all the gnulib objects.  The results can't
be distributed either, because they depend on the configuration.  So,
limited to simple tools and portable make rules, we hack together a
"new" config.h at build time that defines object-like macros to rewrite
the symbols, carefully ensuring that header dependencies are correct.

Split gnulib_headers into 3 variables.

This will be useful for symbol mangling, where additional header files
may need to be added to various points in the dependency chain.

Move all Gnulib CLEANFILES variables to the end of the makefile.

This makes the clean procedure independent of the configuration.

Handle gl_LIBOBJS/gl_LTLIBOBJS correctly.

These AC_SUBSTed variables reference objects whose sources are located
in lib, thus they need to be rewritten like other AC_SUBSTed variables.

These objects also need the header dependencies like other objects.

Eliminate use of BUILT_SOURCES from Gnulib.

As with recursive make, BUILT_SOURCES is harmful because of inadequate
dependency information.  We can achieve a similar effect with by using
order-only dependencies:  These force the headers to be up-to-date
before anything that might require them is built: but rebuilds are only
triggered based on the accurate dependency information generated by the
normal mechanisms.

Unfortunately, order-only dependencies are a GNU make feature, so we use
a hack which should fall back to ordinary dependencies on other make
implementations.  The worst effect of using ordinary dependencies will
be that files might be needlessly rebuilt when a header changes.

Integrate Gnulib non-recursively.

With a little bit of mangling, it's possible to make the makefile
fragment produced by gnulib-tool suitable for use in our non-recursive
makefile.