libcdecl: Fully remove snprintf requirement from the library.

There is only one remaining unconditional snprintf usage in the library,
which implements the cdecl__strlcpy function.  Replacing this with an
alternate implementation means we no longer need snprintf at all except
when NLS is enabled (in that case, we assume snprintf is available --
possibly provided by GNU libintl).

So we can drop quite a lot of gnulib code potentially going into the
library.  The usual gnulib behaviour is to substitute complete re-
implementations for almost any possible problem, even ones that are
totally irrelevant to the usage at hand.

Bumping dxcommon removes snprintf from the applications too so we can
drop all of this nonsense.  On systems that used the snprintf fallback,
this reduces the overall library size by about 30%.

libcdecl: reduce snprintf reliance for error reporting.

Add a fallback formatting method using the main libcdecl rendering
functions which works in the NLS-disabled case.

We don't need to avoid snprintf if NLS is enabled, as GNU libintl
will provide a usable snprintf if the system does not.

libcdecl: Simplify loop in cdecl__normalize_specs.

Restructure the code a bit to make this loop a bit more straightforward.

libcdecl: Avoid snprintf for integer conversions.

To reduce the library dependency on gnulib replacements, implement the
conversion of uintmax_t to decimal by simple repeated division.  This
way avoids any need to worry about whether the C library can actually
perform 64-bit decimal conversions properly.

tests: Add sanity check for truncated output.

Nothing really verifies that output truncation of the cdecl_declare
and cdecl_explain functions actually works as expected.

Add a new test program and a couple invocations to at least cover
the basic functionality.

Expand some sections of the libcdecl manual.

- Clarify that the memory management details wrt. cdecl_parse_decl and
  cdecl_parse_english are unspecified.

- Add more detail to the description of cdecl_explain and cdecl_declare.

- Clarify that it is allowed to pass a 'struct cdecl' with a NULL
  specifiers list to cdecl_declare.

cdecl99: Combine all the main command implementations.

The explain, simplify and declare (or type) commands are all virtually
identical.  The primary difference is just which parser mode to use,
and which output mode to use, with the various combinations giving
the various commands.

Other than some very slight tweak to the formatting to handle "simplify"
with multiple full declarators, we can just implement one function that
does all three operations: a pretty nice cleanup.

libcdecl: Fix output regression with multiple declarators.

It turns out that the cdecl99 program implemented the simplify command
using the undocumented behaviour of calling cdecl_declare with NULL
specifiers to output just the declarator part.

Recent changes to the library partially broke that usage by printing an
extra space in this case.  This went unnoticed as the simplify command
is only lightly tested and nothing checks its behaviour with multiple
declarators.

Fortunately it is very easy to restore the old behaviour in the library,
and to add a test case to verify this behaviour.

libcdecl: Work around GNU libc snprintf bug.

Apparently, with GNU libc (even contemporary versions), you cannot simply
pass an arbitrarily-large length.  It appears that glibc internally adds
the provided length to the provided destination pointer, and if that
calculation overflows, then the actual output is silently truncated.

I believe this to be an error in glibc; the only thing the specification
for snprintf says about the length n is that output characters beyond
the "n-1st" are discarded, which doesn't imply that it is invalid to
for a program to pass large length values.  But it doesn't really
matter, we just have to deal with this behaviour since it exists.

This only affects the parser syntax error path, since 41ff7ec97691
("libcdecl: Simplify Bison error message reporting.") changed that to
use cdecl__strlcpy with a large size (INT_MAX).  The normal output path
always passes an actual buffer length.  The bison-generated syntax error
code does not track buffer lengths, but it does ensure the buffer is
large enough so we can use strlen to infer a suitable length.

A new test case is added to sortof directly test the issue, without
the fix it reliably fails for me on 32-bit x86, as the stack above 2G.
The invalid character test also fails because of this issue, but for a
subtly different reason.

libcdecl: Perform all parser allocations via cdecl__alloc_item.

The cdecl__alloc_item function internally does some basic initialization
and handles error reporting, so by using it consistently we can avoid
some of this stuff being repeated throughout the parser actions, which
gives a slight reduction in the size of the parser.

As this function allocates a fixed-sized union of all the parse tree
structures, this means a small amount of runtime memory may be wasted
for the smaller ones, but it should be less than 12 bytes per allocation.

libcdecl: Replace ALLOC_STRUCT with specialized macros.

While there is some appeal to this generic "do everything" macro,
it depends on a bunch of modern C syntax (variadic macros, compound
literals, designated initializers) which is not always correctly
implemented.  We've already had to work around at least one compiler
bug in the code directly related to this macro.

Using specialized macros for each kind of allocation works better
on older implementations, and moreover we seem to get more compact
code out of modern ones too, probably because compound literals
initialize all members and we don't always need that.

libcdecl: Factor out toplevel parser actions.

Using a separate rule so there is just one semantic action for the
start symbol seems to give a slight code size improvement.

libcdecl: Fix memory leak when parsing e.g., int () int.

After the parser reduces the start symbol, it can still fail if the
scanner returns additional tokens.  In this case, nobody frees the
parse tree that was already output by the previously-executed parser
actions.

Solve this by simply freeing the output tree in the caller on error.

We make a slight adjustment to the "interactive" test case so that it
will tickle this particular issue.  When using "leak sanitizer", the
leak will be found and a nonzero exit status will be substituted,
failing the test.

The existing "command error messages" test also notices the problem when
using "leak sanitizer", but not because of the exit status: it only sees
text printed to stderr in the wrong format.

libcdecl: Don't dynamically allocate null declarators.

Since identifiers now come with their own declarator allocations,
nothing actually modifies any part of an allocated null declarator.

And since null declarators are always the same (with all members zero),
we don't even need to allocate them at all.  Just use a single static
allocation and make every reference to a null declarator point to that.

Then we just need to not free null declarators in the various places
where that currently happens.

libcdecl: Combine identifier and struct allocation.

Whenever the parser uses an identifier token, it is always to stuff
it into a newly-allocated declarator or declspec structure.

So we can reduce the amount of work that needs to be done in the
parser actions by by pre-allocating a declarator structure in the
scanner.  By using a union, we can also use this same allocation
for the declspec case.

And by happy accident, some of the structure members are identical
between both cases, and GCC at least recognizes that it doesn't need
to do anything to copy e.g., declarator.u.ident to declspec.ident
within the union.

Free working memory in crossparse test.

When reading from a file, the getline buffer is not explicitly freed by
the test application, which shows up as leaked memory in memory debugging
tools.  Let's fix that so we don't mistake that for an actual leak in
the library.

cdecl99: Remove some unused variable declarations.

Avoid warnings about unused scanner functions.

We don't use input or unput in the scanner, so we can define some
macros to disable them which avoids some compiler warnings.

Solve Bison conflicts using precedence declarations.

We can use a precedence declaration to directly inform Bison of how
to resolve the specific conflict at hand, rather than just saying
"it is ok to have N conflicts."

There is no significant change to the generated output but this way
keeps things more straightforward when modifying the parser.

tests: Add sanity test for variable-length arrays.

The random crossparse test generates these quite frequently but
it's nice to have the basics covered by simpler inputs.

libcdecl: Remove magic T_ENGLISH token.

This token is pointless, all english syntax is already sufficiently
distinguished by the T_DECLARE and T_TYPE tokens, which are only
returned by the scanner in english mode.

libcdecl: Simplify Bison error message reporting.

Bison emits a bunch of code to pretty print token names for error
messages, doing things like removing quotes and backslashes.

But this is all totally pointless: all of the relevant strings are
already correctly formatted (in part because fix-yytname.awk does
some of this at compile time), and the process will not alter them.
They simply need to be copied as-is.

Fortunately, Bison provides a simple mechanism to replace this with
our own function, and wouldn't you know it we already have a suitable
copying function in the library, so let's use that.

libcdecl: Sidestep some possible snprintf issues.

Adjust cdecl__emit to avoid some known problems with snprintf
implementations:

 * some implementations (e.g., newlib 1.8.2) write to the destination
   when the size is zero.
 * some implementations (e.g., HP-UX 11) return -1 when the string is
   truncated.
 * some implementations (e.g., the replacement provided by gnulib!)
   allocate memory even for trivial conversions and return -1 on malloc
   failure.

Since we currently use gnulib, only the last one is presently a concern,
but the plan is to eventually remove the library dependency on gnulib
snprintf since in reality we barely need any snprintf functionality.

Adjust the cdecl__emit implementation to simply avoid tripping over these
sorts of problems.  Other snprintf calls in the library remain as before.

libcdecl: Combine tag/typedef identifier rules.

There are actually no conflicts to add an empty production alongside
the rule for "struct", "union" and "enum", which allows the subsequent
reductions for "tag identifier" and "[nothing] identifier" to be done
with just one rule.

This replaces a relatively large action from the eliminated rule with
a very simple one.

libcdecl: Avoid using strcpy w/ empty strings.

The parser is currently using strcpy to copy constant empty strings; it
is just as easy to explicitly assign the single zero byte instead.

Since these are the only use of strcpy in the library, and for whatever
reason GCC is not optimizing out these strcpy calls, on ELF hosts this
saves a PLT entry in the shared library and everything associated with
that too.

libcdecl: Combine array length parser rules.

Some of the parser rules to handle incomplete array types versus arrays
with explicit length (not VLAs) are duplicated between the regular and
english parsers.

As this is the same in both cases we can use a new symbol and drop some
duplicate actions to simplify things a bit.

libcdecl: Parse function parameters in order.

Currently the parser collects function parameters in reverse order,
then reverses them at the end.

There is no reason to do this.  It is only a slight restructuring of
the rules to collect parameters in the right order from the get go,
which means we can delete the duplicated list reversal code.

The grammar itself is also simpler this way, using two less nonterminals.

libcdecl: Factor out open-coded identifier patchup.

There are two parser rules which handle english declarations of the
form "identifier as type", these have to traverse the type name
to replace the "null" declarator with the identifier.

Instead of duplicating the code for this traversal, let's use a
helper function to do it.

libcdecl: Factor out open-coded list concatenation.

The parser has two rules which join two lists.  Let's add a helper
to do that instead of duplicating the code for list concatenation.
Furthermore, in both cases one of the lists is known to be nonempty;
the implementation can be slightly simplified with that assumption.

libcdecl: Fix crash when bootstrapped w/ old Bison.

We are comparing the packed token value to check whether this is an
identifier or a keyword against the true value.  This happens to work
on new Bison (when using api.token.raw) as these values are the same,
but on old Bison the result is never true.

Thus, the scanner fails to assign the "strval" for identifier tokens
and the result fails very badly.  Easy enough to fix.

libcdecl: Avoid redundant string literal in yyerror.

The T_LEX_ERROR string literal in yyerror won't be merged with the
now-duplicate string in the token name table; use the appropriate
indirection to shave off some bytes.

libcdecl: Don't propagate specifier lists more than once.

The very first thing the library does with the parse tree is normalize
the top-level specifiers, and then propagate the resulting list across
all top-level declarators.

So it is completely redundant for the parser itself to propagate the
un-normalized specifier list.

Add an explanation for declaration specifier rules.

It took me a while to wrap my head around WTF the declaration specifier
parser rules were trying to accomplish.  Let's add a big explanation so
hopefully, if I try to read them again after another decade or so, they
will make sense more easily.

libcdecl: Move specifier type determination into scanner.

Instead of having a parser action for every keyword which sets the
appropriate specifier type, the scanner can just directly assign
the semantic value for the returned specifier tokens.

This reduces the size of the generated parser quite a bit, without
needing any change to the tokens.

libcdecl: Use macros for packing tokens into bytes.

Instead of coding the same structures everywhere, move the logic to
drop/restore the upper bits of tokens into helper macros.

Should be no functional change.

Update .gitmodules URI for Gnulib.

Apparently the https://git.savannah.gnu.org/r/gnulib.git location
doesn't support the smart protocol over HTTP, but /git/gnulib.git
does.  Weird.

libcdecl: Avoid duplicating keyword strings w/ gperf.

The string table generated by gperf is quite redundant: since we already
resolved to the parser token, we can easily get the string from the
parser's token name table.

Unfortunately gperf provides no options to customize the string table
generation to the extent needed, so let's continue our theme of post-
processing everything in awk.

libcdecl: Combine scanner rules for punctuation.

Use a single rule to match all punctuation, with a lookup table to
return the correct token.  This gives a small size reduction for
the scanner.

libcdecl: Use gperf to identify keywords during scanning.

Instead of having a flex rule for each keyword, we can use a catch-all
rule for identifiers and then use gperf to distinguish keywords from
ordinary identifiers.

This reduces the size of the scanner much more than the addition of
gperf-generated code increases it.

tests: Fix interactive test without libreadline.

When using actual readline, the user's input is echoed internally, so
the test case sees the actual input commands in the captured standard
output.  But in the getline-based fallback, the input is not reflected
to the output.  This is expected behaviour, but confuses the test case.

Rewrite the check to accept either form.

libcdecl: Use Bison's api.token.raw feature.

By default, Bison numbers user-defined tokens starting from 257.
If the scanner never returns plain characters (which is the case
for libcdecl), this is inefficient.

Recent versions of Bison provide the api.token.raw option to improve
things.  Let's turn it on, if configure detects that it is supported.

This requires a very minor tweak to spec_string in order for the
encoding of tokens into single-byte values to work regardless of
which mode Bison is run in.

libcdecl: Re-use strings from parser in spec_string.

With the fixups applied by fix-yytname, we now have two distinct string
tables containing the same strings.  To avoid this duplication, add a
new internal function to allow spec_string to access the parser's token
name table.

libcdecl: Replace yytname array in the Bison parser.

Bison generates a list of symbol names as a static array of char pointers
initialized with string literals, which is simply horrible.  These pointers
are two to four times larger than necessary, but with position-independent
code this also forces them into an unshareable, writeable segment since
they are not compile-time constants and must be initialized by the dynamic
loader at runtime.

Furthermore, the names of nonterminal symbols are always included but they
are not always needed; they should only be output by tracing code which
is disabled by default at compile time.

Fix this by adding a new build script which postprocesses the output,
replacing the yytname array with a function implementing the same lookup
with truly constant tables.  Inclusion of nonterminals is now conditional
on YYDEBUG.

This is a big win, reducing the overall library size about 5 to 10 percent
(64-bit hosts see the most improvement).

tests: Ensure that English keywords can be parsed.

We don't want to reject words like "declare" in identifiers, at least
when parsing C code, so add test cases to make sure that works.

tests: Don't pull output routines into normalize testcase.

This program isn't about testing the output routines, and it's simple
enough to just have the test program do its own printing, so linking
in the output routines to this testcase is just causing more trouble
than it's worth.

libcdecl: Combine error and i18n init.

We can just do the gettext initialization at the same time as error
initialization, which lets us use a single "glthread_once" invocation
for everything.

libcdecl: Fix regression in function parsing.

Merging the reduce_parentheses and simplify_functions step missed a case
where the function simplification could pull a fake function declarator
up to the current tree position.  Continuing the tree traversal will miss
this, leaving the fake parameter in the tree (which is then rejected as
a syntax error later).

The fix is easy enough, just repeat the whole reduction step until no
changes are needed at the current position before continuing traversal.

Add a new test case that targets this behaviour.

libcdecl: Remove "too many parentheses" error check.

It is simply not the case that "int ((int))" is invalid.

Since "int (x(int))" declares x as a function returning int, it follows
that "int ((int))" is simply a type name for function returning int.
Likewise, "int (((int)))" is equivalent, etc.

Rejecting these type names is longstanding broken behaviour.  I think
the entire error check can simply be deleted outright, along with its
associated error message.  The bogus negative test cases are replaced
with new positive tests.

Furthermore, rewrite the big comment that suggests this was reasonable
behaviour, replacing it with a (hopefully) better explanation that
covers how this particular case should be interpreted.

cdecl99: Simplify main loops a bit.

Convert the calls to repl/repl_execute to tail calls from main.

cdecl99: Reverse sense of "interactive" global variable.

Instead of a default-true "interactive" global variable, we can use
a default-false "batch" global variable, reversing the sense of all
the tests.

This moves the variable from the initialized data segment into bss,
which is more efficient.

cdecl99: Don't check blank lines if no history support.

Move the whole "if not blank, then add history" logic under the #ifdef,
so it can be eliminated completely if add_history is not available at
compile time.

This probably makes no major difference on GNU/Linux, since GCC knows
that strspn has no side effects and can drop the call as dead code, but
this may help with less sophisticated toolchains.

cdecl99: Fall back to getline, instead of Gnulib's readline.

When building without readline, instead of using Gnulib's readline
replacement, use getline directly.  We can combine most of the batch
and interactive mode processing loops which saves a bunch of pointless
extra code in the readline-disabled case.

To actually do this, we prepare a Gnulib "local dir" to implement
a cut-down readline module that includes the configure tests only.

Add test for interactive mode.

We currently don't have any tests which actually run cdecl99 in the
interactive mode.  Let's fix that, shall we?

libcdecl: Simplify mixed type name error condition.

"List item X is either not the first or not the last item" is just a
very complicated way to say "the list has more than one item".

tests: Add more coverage for parenthesis handling.

Add a couple extra test cases which cover some special behaviours
that are apparently missed by the existing tests.

libcdecl: Simplify reduce_parentheses implementation.

Simplify the reduce_parentheses implementation so it operates in a
much more straightforward way.  We can also just call simplify_functions
directly during the same tree traversal, instead of trying to predict
what simplify_functions will do to a node on a later traversal.

libcdecl: Combine several postprocessing steps into one.

We currently have 5 postprocessing steps common to both parse variants,
four of which don't do any modification at all (just syntax checks).
This is overkill.  We can easily combine all five of these operations
into one function which does everything in a single tree traversal.

libcdecl: Simplify declarator traversal logic.

It seems unnecessary to handle the case where the traversal function
modifies the subtree differently from the case where the function does
not modify the subtree.

So we only have to deal with two cases for the traversal function's
return value, which allows us to simplify a bit.

libcdecl: Merge both parser function implementations.

The only remaining meaningful difference between the cdecl_parse_decl
and cdecl_parse_english implementations is the function-simplification
passes are only done for cdecl_parse_decl.

We can easily just make those conditional in a common parser function,
to reduce code duplication.

libcdecl: Simplify sorting in cdecl__normalize_specs.

Rewrite the merge sort helper in a simpler way, which not only
simplifies the source code but also helps reduce the library size.

Fix TEST_NEED_PROGRAM to work on old Solaris /bin/sh.

Solaris /bin/sh does not support ${x##y} expansions.  For this macro
we can almost as easily use a case statement instead.

Pull in Solaris /bin/sh testsuite fixes from dxcommon.

Work around Solaris 8 nawk issue in the test suite.

Apparently "nawk" on Solaris 8 does not understand -f- to mean "read
program from standard input", we must spell it as two arguments: -f -

Add missing errmsg.str source file.

Oops, forgot to commit this file.

libcdecl: Avoid vsnprintf for error reporting.

Using vsnprintf is overkill here.  We only need to handle a single %s
conversion, which can be done by direct call to snprintf.

As this is the only caller of vsnprintf, dropping it means we can drop
the vsnprintf gnulib module.  Also, at least with gcc, using va_start
and such is fairly expensive.  The direct-snprintf version is quite
a bit more compact.

libcdecl: Make cdecl__emit_specs return value usable directly.

Since there is now only one caller of cdecl__emit_specs that cares
about its return value, let's adjust this function to return exactly
what that caller wants, so it doesn't have to do any extra calculation.

libcdecl: Accumulate output length in structure.

Instead of cascading the lengths back via function return values, since
we now have a state structure we can just track the total length in one
place.  This is quite a lot conceptually simpler and cuts out a good
chunk of code.

libcdecl: Simplify cdecl__advance.

It seems unnecessary to set the dst pointer to null here, nothing
cares if this pointer is null or not null, only the length matters.

libcdecl: Use a structure for dst/dstlen in output routines.

Since pretty much all the output functions now just directly pass the
dst and dstlen pointers around without touching them in any other way,
it is more efficient to use a structure so there is only one pointer.

libcdecl: Rework specifier output logic.

With both the explain and declare code paths using cdecl__emit, we
can give the same treatment to cdecl__explain_specs (now called
cdecl__emit_specs) to simplify things a bit.

This removes the last caller of cdecl__advance, so we can remove
that function (and use this better name for cdecl__advance_).

libcdecl: Rework cdecl_declare output logic.

Instead of adjusting the output pointer/length values after each
internal call, tweak all the functions in declare.c to take an extra
level of indirection so they can just directly adjust the destination
as they go.

libcdecl: Rework cdecl_explain output logic.

Instead of adjusting the output pointer/length values after each
internal call, tweak all the functions in explain.c to take an
extra level of indirection so they can just directly adjust the
destination as they go.

A new helper, cdecl__emit, is provided to simplify the common pattern
of "print a single C string" followed by "advance pointer/length."

tests: Add canned test case for incomplete arrays.

I messed up the whitespace for this while experimenting with the output
routines, and none of the existing test cases noticed.

libcdecl: Simplify cdecl__explain_specs.

A bunch of conditions in the specifier printing loop are meaningless,
since all valid specifier types take idenical execution paths through
this function.  So much of this can just be deleted.

libcdecl: Improve specifier to string conversions.

Instead of a big switch statement, we can generate some compact lookup
tables to convert specifiers to strings, which appears to produce much
better results with gcc at least.

tests: Adjust positive tests to verify both parse directions.

We don't actually have any canned tests of the "declare" or "type"
commands to produce C syntax from pseudo-English.  While the randomized
crossparse test does provide some coverage of this, failures here
are difficult to understand compared to more simple, standalone test
cases.

So to start, let's just expand the existing "positive" tests to check
in both directions.

libcdecl: Simplify explain_decl -> explain_prologue.

Rather than threading a flag through this function just to print
"declare" or "type" at the toplevel, we can just directly print
that in the one place where it is needed, which simplifies the
implementation a bit.

libcdecl: Simplify internal specifier printing functions.

Since reworking how specifiers are printed, the "pre"/"post" specifier
printing functions are pretty much pointless, and can (mostly) be
deleted, which reduces the library size somewhat.

cdecl99: Avoid passing uninitialized value to help_print_option.

For options that do not take arguments, the "arg" member of the help
structure is not assigned by lopt_get_help.  Since the structure
is not otherwise initialized, it is technically undefined to even
evaluate this member in order to pass it to the help_print_option
function.

In this case, the argument is not actually used, and I'm not aware
of any actual failures as a result, but it easy enough to avoid.

tests: Eliminate random floating-point generation.

The only use of test_rng_uniform in the test suite is to do 50/50 coin
toss type checks, add a simple helper based on test_rng_uniform_int to
do this, instead of bringing in all this floating-point machinery for
no real reason.

libcdecl: Avoid stray semicolon after gl_once_define.

For some weird reason the gnulib gl_once_define function-like macro
expansion includes the semicolon.  Thus, the extra semicolon after
the macro invocation is technically a syntax error, although most
compilers seem to not care too much.

libcdecl: Tweak invalid character error from scanner.

By adjusting how we format the error message, the format string is
changed to be completely identical to a format string used by the
parser error reporting, which avoids some wasted code space in
the library.

Furthermore, make some tweaks to the invalid character pretty-printing
which seems to let GCC generate a bit more compact code.

libcdecl: Consolidate most error messages.

Almost every error message returned by the library is a fixed
string describing some particular syntax problem.  Keep this
list of strings in one place, and add a new internal helper
to report one of these errors.

Furthermore, reduce the amount of distinct error codes returned
to the user to (once again) just two, as the current plethora of
codes seems completely pointless.

Use gnulib's vsnprintf module.

The snprintf module provides only snprintf, not vsnprintf.  As we
currently depend on both functions in the library, it is necessary
to use both modules.

This fixes failures in the new cdeclerr test on HP-UX 11, which has
vsnprintf but it is not entirely C99-like (wrong return value).

Fix library error state allocation.

The assignment to the thread-local state is missing both from the
failed-allocation and the resize paths of the library error reporting.

Fix that up, and add a new test case which provides coverage of at
least the realloc path.

Rename "test" directory to "t".

It's been bugging me to be using "test" in this project but "t" in
others.  So let's try to standardise on "t".

Add more type specifier tests.

Add some more coverage of invalid type specifier combinations to
support possible future changes in this area.

Factor out common parser invocation.

The two main parsing functions have nearly identical parser invocation
sequences, with the only difference being the flag passed to the scanner
init.  Split that off into a separate function, to simplify the code.

Additionally, if the code is compiled with YYDEBUG, enable parser
debugging.

Restore gperf-related definitions to makefile.

Previously, gnulib was providing definitions for GPERF and other
variables in the makefile indirectly via the striconv module.  But
since we removed that module, the definitions disappeared, leading
to build failures after maintainer-clean.

Easy enough to just do the same thing explicitly.  In the future
we might want to use configure to locate gperf but for now this
will do.

cdecl99: Use packed option format from gen-options.awk.

This feature uses a compact, fully constant array to generate the
real struct option array at runtime.  This allows the full-sized array
to be dropped after command-line processing is finished, and with
position-independent executables, reduces the amount of relocation
processing needed.

Ensure all headers are distributed.

The copysym.h and xtra.h files need to be listed as a source file
somewhere otherwise the distribution will not include them.  Fix
that up.

Replace Gnulib striconv with copyright_symbol from dxcommon.

The only use of the striconv module is to produce the copyright symbol
for --version output and at the start of an interactive session.  Using
the new, single-purpose function reduces code size quite a bit.

Stop using gnulib's flexmember module.

The only thing we're actually using from this module is provided
directly by Autoconf, via AC_C_FLEXIBLE_ARRAY_MEMBER, so we can
just use that macro instead.

cdecl99: Fix some improper error message formatting.

Errors opening the file specified by a --file option are printed with
two newlines, and errors generated by actual commands are not properly
prefixed with the program name.

Add test cases to catch these specific problems and fix them.

Avoid POSIX character classes in the test suite.

Instead of [[:alnum:]] and friends, expand to an explicit list of
characters, which is a bit more portable usage (and also avoids
unneeded locale dependency).  We can use macros to make this
just as convenient to write.

Fix configuration on Solaris 8.

There is an quoting error in Gnulib's threadlib.m4 which causes
incorrect configuration settings on old Solaris.  We can repeat
the simple check with correct quoting to workaround the problem.

Additionally, pull in DX_LINGUAS fixes from dxcommon to avoid
tripping on Solaris' pre-POSIX /bin/awk.

cdecl99: Drop locale-sensitive isblank usage.

The intention of this function is to avoid recording no-op command lines
in the history.  This is exactly the set of commands containing just
regular tabs and spaces.

It is inappropriate to use the locale-sensitive isblank for this, as
this may be a little bit different.  In practice there is probably no
meaningful difference, but as isblank is a C99 feature losing this call
also helps when building against older C libraries that lack it.

Provide strtoumax fallback in the scanner.

We already do something similar in the test suite.  We don't really care
about the full range of uintmax_t, we just prefer the widest type that
is available to us.  It is no real problem to fall back to a narrower
conversion function.

Don't parse command-line options more than once.

Instead of parsing the options a second time to collect the --execute
option arguments, we can easily permute the argv array on the first
pass through, which simplifies the subsequent evaluation.

Avoid Gnulib std-gnu11 module.

It has come to my attention that this module rewrites AC_PROG_CC in
a way that actually breaks Automake's AM_PROG_CC_C_O functionality.
This results in the "compile" script not being included or used in
packages bootstrapped with Autoconf 2.69.

With later versions of Autoconf things work because this module
doesn't touch things and thus disables itself.

I don't care about building with C11 one way or the other.  Let's
just skip the module.