Avoid warnings about unused scanner functions.

We don't use input or unput in the scanner, so we can define some
macros to disable them which avoids some compiler warnings.

Solve Bison conflicts using precedence declarations.

We can use a precedence declaration to directly inform Bison of how
to resolve the specific conflict at hand, rather than just saying
"it is ok to have N conflicts."

There is no significant change to the generated output but this way
keeps things more straightforward when modifying the parser.

tests: Add sanity test for variable-length arrays.

The random crossparse test generates these quite frequently but
it's nice to have the basics covered by simpler inputs.

libcdecl: Remove magic T_ENGLISH token.

This token is pointless, all english syntax is already sufficiently
distinguished by the T_DECLARE and T_TYPE tokens, which are only
returned by the scanner in english mode.

libcdecl: Simplify Bison error message reporting.

Bison emits a bunch of code to pretty print token names for error
messages, doing things like removing quotes and backslashes.

But this is all totally pointless: all of the relevant strings are
already correctly formatted (in part because fix-yytname.awk does
some of this at compile time), and the process will not alter them.
They simply need to be copied as-is.

Fortunately, Bison provides a simple mechanism to replace this with
our own function, and wouldn't you know it we already have a suitable
copying function in the library, so let's use that.

libcdecl: Sidestep some possible snprintf issues.

Adjust cdecl__emit to avoid some known problems with snprintf
implementations:

 * some implementations (e.g., newlib 1.8.2) write to the destination
   when the size is zero.
 * some implementations (e.g., HP-UX 11) return -1 when the string is
   truncated.
 * some implementations (e.g., the replacement provided by gnulib!)
   allocate memory even for trivial conversions and return -1 on malloc
   failure.

Since we currently use gnulib, only the last one is presently a concern,
but the plan is to eventually remove the library dependency on gnulib
snprintf since in reality we barely need any snprintf functionality.

Adjust the cdecl__emit implementation to simply avoid tripping over these
sorts of problems.  Other snprintf calls in the library remain as before.

libcdecl: Combine tag/typedef identifier rules.

There are actually no conflicts to add an empty production alongside
the rule for "struct", "union" and "enum", which allows the subsequent
reductions for "tag identifier" and "[nothing] identifier" to be done
with just one rule.

This replaces a relatively large action from the eliminated rule with
a very simple one.

libcdecl: Avoid using strcpy w/ empty strings.

The parser is currently using strcpy to copy constant empty strings; it
is just as easy to explicitly assign the single zero byte instead.

Since these are the only use of strcpy in the library, and for whatever
reason GCC is not optimizing out these strcpy calls, on ELF hosts this
saves a PLT entry in the shared library and everything associated with
that too.

libcdecl: Combine array length parser rules.

Some of the parser rules to handle incomplete array types versus arrays
with explicit length (not VLAs) are duplicated between the regular and
english parsers.

As this is the same in both cases we can use a new symbol and drop some
duplicate actions to simplify things a bit.

libcdecl: Parse function parameters in order.

Currently the parser collects function parameters in reverse order,
then reverses them at the end.

There is no reason to do this.  It is only a slight restructuring of
the rules to collect parameters in the right order from the get go,
which means we can delete the duplicated list reversal code.

The grammar itself is also simpler this way, using two less nonterminals.

libcdecl: Factor out open-coded identifier patchup.

There are two parser rules which handle english declarations of the
form "identifier as type", these have to traverse the type name
to replace the "null" declarator with the identifier.

Instead of duplicating the code for this traversal, let's use a
helper function to do it.

libcdecl: Factor out open-coded list concatenation.

The parser has two rules which join two lists.  Let's add a helper
to do that instead of duplicating the code for list concatenation.
Furthermore, in both cases one of the lists is known to be nonempty;
the implementation can be slightly simplified with that assumption.

libcdecl: Fix crash when bootstrapped w/ old Bison.

We are comparing the packed token value to check whether this is an
identifier or a keyword against the true value.  This happens to work
on new Bison (when using api.token.raw) as these values are the same,
but on old Bison the result is never true.

Thus, the scanner fails to assign the "strval" for identifier tokens
and the result fails very badly.  Easy enough to fix.

libcdecl: Avoid redundant string literal in yyerror.

The T_LEX_ERROR string literal in yyerror won't be merged with the
now-duplicate string in the token name table; use the appropriate
indirection to shave off some bytes.

libcdecl: Don't propagate specifier lists more than once.

The very first thing the library does with the parse tree is normalize
the top-level specifiers, and then propagate the resulting list across
all top-level declarators.

So it is completely redundant for the parser itself to propagate the
un-normalized specifier list.

Add an explanation for declaration specifier rules.

It took me a while to wrap my head around WTF the declaration specifier
parser rules were trying to accomplish.  Let's add a big explanation so
hopefully, if I try to read them again after another decade or so, they
will make sense more easily.

libcdecl: Move specifier type determination into scanner.

Instead of having a parser action for every keyword which sets the
appropriate specifier type, the scanner can just directly assign
the semantic value for the returned specifier tokens.

This reduces the size of the generated parser quite a bit, without
needing any change to the tokens.

libcdecl: Use macros for packing tokens into bytes.

Instead of coding the same structures everywhere, move the logic to
drop/restore the upper bits of tokens into helper macros.

Should be no functional change.

Update .gitmodules URI for Gnulib.

Apparently the https://git.savannah.gnu.org/r/gnulib.git location
doesn't support the smart protocol over HTTP, but /git/gnulib.git
does.  Weird.

libcdecl: Avoid duplicating keyword strings w/ gperf.

The string table generated by gperf is quite redundant: since we already
resolved to the parser token, we can easily get the string from the
parser's token name table.

Unfortunately gperf provides no options to customize the string table
generation to the extent needed, so let's continue our theme of post-
processing everything in awk.

libcdecl: Combine scanner rules for punctuation.

Use a single rule to match all punctuation, with a lookup table to
return the correct token.  This gives a small size reduction for
the scanner.

libcdecl: Use gperf to identify keywords during scanning.

Instead of having a flex rule for each keyword, we can use a catch-all
rule for identifiers and then use gperf to distinguish keywords from
ordinary identifiers.

This reduces the size of the scanner much more than the addition of
gperf-generated code increases it.

tests: Fix interactive test without libreadline.

When using actual readline, the user's input is echoed internally, so
the test case sees the actual input commands in the captured standard
output.  But in the getline-based fallback, the input is not reflected
to the output.  This is expected behaviour, but confuses the test case.

Rewrite the check to accept either form.

libcdecl: Use Bison's api.token.raw feature.

By default, Bison numbers user-defined tokens starting from 257.
If the scanner never returns plain characters (which is the case
for libcdecl), this is inefficient.

Recent versions of Bison provide the api.token.raw option to improve
things.  Let's turn it on, if configure detects that it is supported.

This requires a very minor tweak to spec_string in order for the
encoding of tokens into single-byte values to work regardless of
which mode Bison is run in.

libcdecl: Re-use strings from parser in spec_string.

With the fixups applied by fix-yytname, we now have two distinct string
tables containing the same strings.  To avoid this duplication, add a
new internal function to allow spec_string to access the parser's token
name table.

libcdecl: Replace yytname array in the Bison parser.

Bison generates a list of symbol names as a static array of char pointers
initialized with string literals, which is simply horrible.  These pointers
are two to four times larger than necessary, but with position-independent
code this also forces them into an unshareable, writeable segment since
they are not compile-time constants and must be initialized by the dynamic
loader at runtime.

Furthermore, the names of nonterminal symbols are always included but they
are not always needed; they should only be output by tracing code which
is disabled by default at compile time.

Fix this by adding a new build script which postprocesses the output,
replacing the yytname array with a function implementing the same lookup
with truly constant tables.  Inclusion of nonterminals is now conditional
on YYDEBUG.

This is a big win, reducing the overall library size about 5 to 10 percent
(64-bit hosts see the most improvement).

tests: Ensure that English keywords can be parsed.

We don't want to reject words like "declare" in identifiers, at least
when parsing C code, so add test cases to make sure that works.

tests: Don't pull output routines into normalize testcase.

This program isn't about testing the output routines, and it's simple
enough to just have the test program do its own printing, so linking
in the output routines to this testcase is just causing more trouble
than it's worth.

libcdecl: Combine error and i18n init.

We can just do the gettext initialization at the same time as error
initialization, which lets us use a single "glthread_once" invocation
for everything.

libcdecl: Fix regression in function parsing.

Merging the reduce_parentheses and simplify_functions step missed a case
where the function simplification could pull a fake function declarator
up to the current tree position.  Continuing the tree traversal will miss
this, leaving the fake parameter in the tree (which is then rejected as
a syntax error later).

The fix is easy enough, just repeat the whole reduction step until no
changes are needed at the current position before continuing traversal.

Add a new test case that targets this behaviour.

libcdecl: Remove "too many parentheses" error check.

It is simply not the case that "int ((int))" is invalid.

Since "int (x(int))" declares x as a function returning int, it follows
that "int ((int))" is simply a type name for function returning int.
Likewise, "int (((int)))" is equivalent, etc.

Rejecting these type names is longstanding broken behaviour.  I think
the entire error check can simply be deleted outright, along with its
associated error message.  The bogus negative test cases are replaced
with new positive tests.

Furthermore, rewrite the big comment that suggests this was reasonable
behaviour, replacing it with a (hopefully) better explanation that
covers how this particular case should be interpreted.

cdecl99: Simplify main loops a bit.

Convert the calls to repl/repl_execute to tail calls from main.

cdecl99: Reverse sense of "interactive" global variable.

Instead of a default-true "interactive" global variable, we can use
a default-false "batch" global variable, reversing the sense of all
the tests.

This moves the variable from the initialized data segment into bss,
which is more efficient.

cdecl99: Don't check blank lines if no history support.

Move the whole "if not blank, then add history" logic under the #ifdef,
so it can be eliminated completely if add_history is not available at
compile time.

This probably makes no major difference on GNU/Linux, since GCC knows
that strspn has no side effects and can drop the call as dead code, but
this may help with less sophisticated toolchains.

cdecl99: Fall back to getline, instead of Gnulib's readline.

When building without readline, instead of using Gnulib's readline
replacement, use getline directly.  We can combine most of the batch
and interactive mode processing loops which saves a bunch of pointless
extra code in the readline-disabled case.

To actually do this, we prepare a Gnulib "local dir" to implement
a cut-down readline module that includes the configure tests only.

Add test for interactive mode.

We currently don't have any tests which actually run cdecl99 in the
interactive mode.  Let's fix that, shall we?

libcdecl: Simplify mixed type name error condition.

"List item X is either not the first or not the last item" is just a
very complicated way to say "the list has more than one item".

tests: Add more coverage for parenthesis handling.

Add a couple extra test cases which cover some special behaviours
that are apparently missed by the existing tests.

libcdecl: Simplify reduce_parentheses implementation.

Simplify the reduce_parentheses implementation so it operates in a
much more straightforward way.  We can also just call simplify_functions
directly during the same tree traversal, instead of trying to predict
what simplify_functions will do to a node on a later traversal.

libcdecl: Combine several postprocessing steps into one.

We currently have 5 postprocessing steps common to both parse variants,
four of which don't do any modification at all (just syntax checks).
This is overkill.  We can easily combine all five of these operations
into one function which does everything in a single tree traversal.

libcdecl: Simplify declarator traversal logic.

It seems unnecessary to handle the case where the traversal function
modifies the subtree differently from the case where the function does
not modify the subtree.

So we only have to deal with two cases for the traversal function's
return value, which allows us to simplify a bit.

libcdecl: Merge both parser function implementations.

The only remaining meaningful difference between the cdecl_parse_decl
and cdecl_parse_english implementations is the function-simplification
passes are only done for cdecl_parse_decl.

We can easily just make those conditional in a common parser function,
to reduce code duplication.

libcdecl: Simplify sorting in cdecl__normalize_specs.

Rewrite the merge sort helper in a simpler way, which not only
simplifies the source code but also helps reduce the library size.

Fix TEST_NEED_PROGRAM to work on old Solaris /bin/sh.

Solaris /bin/sh does not support ${x##y} expansions.  For this macro
we can almost as easily use a case statement instead.

Pull in Solaris /bin/sh testsuite fixes from dxcommon.

Work around Solaris 8 nawk issue in the test suite.

Apparently "nawk" on Solaris 8 does not understand -f- to mean "read
program from standard input", we must spell it as two arguments: -f -

Add missing errmsg.str source file.

Oops, forgot to commit this file.

libcdecl: Avoid vsnprintf for error reporting.

Using vsnprintf is overkill here.  We only need to handle a single %s
conversion, which can be done by direct call to snprintf.

As this is the only caller of vsnprintf, dropping it means we can drop
the vsnprintf gnulib module.  Also, at least with gcc, using va_start
and such is fairly expensive.  The direct-snprintf version is quite
a bit more compact.

libcdecl: Make cdecl__emit_specs return value usable directly.

Since there is now only one caller of cdecl__emit_specs that cares
about its return value, let's adjust this function to return exactly
what that caller wants, so it doesn't have to do any extra calculation.

libcdecl: Accumulate output length in structure.

Instead of cascading the lengths back via function return values, since
we now have a state structure we can just track the total length in one
place.  This is quite a lot conceptually simpler and cuts out a good
chunk of code.

libcdecl: Simplify cdecl__advance.

It seems unnecessary to set the dst pointer to null here, nothing
cares if this pointer is null or not null, only the length matters.

libcdecl: Use a structure for dst/dstlen in output routines.

Since pretty much all the output functions now just directly pass the
dst and dstlen pointers around without touching them in any other way,
it is more efficient to use a structure so there is only one pointer.

libcdecl: Rework specifier output logic.

With both the explain and declare code paths using cdecl__emit, we
can give the same treatment to cdecl__explain_specs (now called
cdecl__emit_specs) to simplify things a bit.

This removes the last caller of cdecl__advance, so we can remove
that function (and use this better name for cdecl__advance_).

libcdecl: Rework cdecl_declare output logic.

Instead of adjusting the output pointer/length values after each
internal call, tweak all the functions in declare.c to take an extra
level of indirection so they can just directly adjust the destination
as they go.

libcdecl: Rework cdecl_explain output logic.

Instead of adjusting the output pointer/length values after each
internal call, tweak all the functions in explain.c to take an
extra level of indirection so they can just directly adjust the
destination as they go.

A new helper, cdecl__emit, is provided to simplify the common pattern
of "print a single C string" followed by "advance pointer/length."

tests: Add canned test case for incomplete arrays.

I messed up the whitespace for this while experimenting with the output
routines, and none of the existing test cases noticed.

libcdecl: Simplify cdecl__explain_specs.

A bunch of conditions in the specifier printing loop are meaningless,
since all valid specifier types take idenical execution paths through
this function.  So much of this can just be deleted.

libcdecl: Improve specifier to string conversions.

Instead of a big switch statement, we can generate some compact lookup
tables to convert specifiers to strings, which appears to produce much
better results with gcc at least.

tests: Adjust positive tests to verify both parse directions.

We don't actually have any canned tests of the "declare" or "type"
commands to produce C syntax from pseudo-English.  While the randomized
crossparse test does provide some coverage of this, failures here
are difficult to understand compared to more simple, standalone test
cases.

So to start, let's just expand the existing "positive" tests to check
in both directions.

libcdecl: Simplify explain_decl -> explain_prologue.

Rather than threading a flag through this function just to print
"declare" or "type" at the toplevel, we can just directly print
that in the one place where it is needed, which simplifies the
implementation a bit.

libcdecl: Simplify internal specifier printing functions.

Since reworking how specifiers are printed, the "pre"/"post" specifier
printing functions are pretty much pointless, and can (mostly) be
deleted, which reduces the library size somewhat.

cdecl99: Avoid passing uninitialized value to help_print_option.

For options that do not take arguments, the "arg" member of the help
structure is not assigned by lopt_get_help.  Since the structure
is not otherwise initialized, it is technically undefined to even
evaluate this member in order to pass it to the help_print_option
function.

In this case, the argument is not actually used, and I'm not aware
of any actual failures as a result, but it easy enough to avoid.

tests: Eliminate random floating-point generation.

The only use of test_rng_uniform in the test suite is to do 50/50 coin
toss type checks, add a simple helper based on test_rng_uniform_int to
do this, instead of bringing in all this floating-point machinery for
no real reason.

libcdecl: Avoid stray semicolon after gl_once_define.

For some weird reason the gnulib gl_once_define function-like macro
expansion includes the semicolon.  Thus, the extra semicolon after
the macro invocation is technically a syntax error, although most
compilers seem to not care too much.

libcdecl: Tweak invalid character error from scanner.

By adjusting how we format the error message, the format string is
changed to be completely identical to a format string used by the
parser error reporting, which avoids some wasted code space in
the library.

Furthermore, make some tweaks to the invalid character pretty-printing
which seems to let GCC generate a bit more compact code.

libcdecl: Consolidate most error messages.

Almost every error message returned by the library is a fixed
string describing some particular syntax problem.  Keep this
list of strings in one place, and add a new internal helper
to report one of these errors.

Furthermore, reduce the amount of distinct error codes returned
to the user to (once again) just two, as the current plethora of
codes seems completely pointless.

Use gnulib's vsnprintf module.

The snprintf module provides only snprintf, not vsnprintf.  As we
currently depend on both functions in the library, it is necessary
to use both modules.

This fixes failures in the new cdeclerr test on HP-UX 11, which has
vsnprintf but it is not entirely C99-like (wrong return value).

Fix library error state allocation.

The assignment to the thread-local state is missing both from the
failed-allocation and the resize paths of the library error reporting.

Fix that up, and add a new test case which provides coverage of at
least the realloc path.

Rename "test" directory to "t".

It's been bugging me to be using "test" in this project but "t" in
others.  So let's try to standardise on "t".

Add more type specifier tests.

Add some more coverage of invalid type specifier combinations to
support possible future changes in this area.

Factor out common parser invocation.

The two main parsing functions have nearly identical parser invocation
sequences, with the only difference being the flag passed to the scanner
init.  Split that off into a separate function, to simplify the code.

Additionally, if the code is compiled with YYDEBUG, enable parser
debugging.

Restore gperf-related definitions to makefile.

Previously, gnulib was providing definitions for GPERF and other
variables in the makefile indirectly via the striconv module.  But
since we removed that module, the definitions disappeared, leading
to build failures after maintainer-clean.

Easy enough to just do the same thing explicitly.  In the future
we might want to use configure to locate gperf but for now this
will do.

cdecl99: Use packed option format from gen-options.awk.

This feature uses a compact, fully constant array to generate the
real struct option array at runtime.  This allows the full-sized array
to be dropped after command-line processing is finished, and with
position-independent executables, reduces the amount of relocation
processing needed.

Ensure all headers are distributed.

The copysym.h and xtra.h files need to be listed as a source file
somewhere otherwise the distribution will not include them.  Fix
that up.

Replace Gnulib striconv with copyright_symbol from dxcommon.

The only use of the striconv module is to produce the copyright symbol
for --version output and at the start of an interactive session.  Using
the new, single-purpose function reduces code size quite a bit.

Stop using gnulib's flexmember module.

The only thing we're actually using from this module is provided
directly by Autoconf, via AC_C_FLEXIBLE_ARRAY_MEMBER, so we can
just use that macro instead.

cdecl99: Fix some improper error message formatting.

Errors opening the file specified by a --file option are printed with
two newlines, and errors generated by actual commands are not properly
prefixed with the program name.

Add test cases to catch these specific problems and fix them.

Avoid POSIX character classes in the test suite.

Instead of [[:alnum:]] and friends, expand to an explicit list of
characters, which is a bit more portable usage (and also avoids
unneeded locale dependency).  We can use macros to make this
just as convenient to write.

Fix configuration on Solaris 8.

There is an quoting error in Gnulib's threadlib.m4 which causes
incorrect configuration settings on old Solaris.  We can repeat
the simple check with correct quoting to workaround the problem.

Additionally, pull in DX_LINGUAS fixes from dxcommon to avoid
tripping on Solaris' pre-POSIX /bin/awk.

cdecl99: Drop locale-sensitive isblank usage.

The intention of this function is to avoid recording no-op command lines
in the history.  This is exactly the set of commands containing just
regular tabs and spaces.

It is inappropriate to use the locale-sensitive isblank for this, as
this may be a little bit different.  In practice there is probably no
meaningful difference, but as isblank is a C99 feature losing this call
also helps when building against older C libraries that lack it.

Provide strtoumax fallback in the scanner.

We already do something similar in the test suite.  We don't really care
about the full range of uintmax_t, we just prefer the widest type that
is available to us.  It is no real problem to fall back to a narrower
conversion function.

Don't parse command-line options more than once.

Instead of parsing the options a second time to collect the --execute
option arguments, we can easily permute the argv array on the first
pass through, which simplifies the subsequent evaluation.

Avoid Gnulib std-gnu11 module.

It has come to my attention that this module rewrites AC_PROG_CC in
a way that actually breaks Automake's AM_PROG_CC_C_O functionality.
This results in the "compile" script not being included or used in
packages bootstrapped with Autoconf 2.69.

With later versions of Autoconf things work because this module
doesn't touch things and thus disables itself.

I don't care about building with C11 one way or the other.  Let's
just skip the module.

Define GNULIB_MBRTOWC_SINGLE_THREAD.

As the mbrtowc replacement module is not used by the library,
there is no need for multithreaded mbrtowc (all programs are
single threaded).

This fixes a build failure on DJGPP when NLS is enabled.

Bump dxcommon to improve builds with DJGPP.

Explicitly require gnulib getline module.

Currently, the gnulib getline module is only pulled in indirectly via
the readline module.  As a result, when configuring for a system that
has GNU readline installed (and readline is enabled), the readline
replacement is not used and therefore the getline replacement is
never included.

But on systems that lack getline in the C library, without the gnulib
replacement the build will fail.  Simply listing getline as a needed
module suffices to allow such configurations to build successfully.

Release 1.2.

tests: Correct RNG implementation.

Due to a mistake in the adaptation, the output of the generator was
not done correctly.  Correct that, and add a little test program that
would have caught this mistake by directly comparing against the
reference implementation.

Bump dxcommon to fix builds using --disable-dependency-tracking.

Some build rules were inadvertently depending on directory creation that
happens as a side effect of depfiles generation.  This does not happen
when configuring with --disable-dependency-tracking, leading to issues
with both VPATH builds and the gnulib symfiles machinery.

Failures are easily observed with a command like

  make DISTCHECK_CONFIGURE_FLAGS=--disable-dependency-tracking distcheck

Using parallel make can hide problems since it seems Automake also
generates make rules that incidentally create these directories.

Fix regressions caused by symbol renaming changes.

A bug in dxcommon was causing VPATH builds to continue to apply symbol
renaming to all gnulib sources.  Fixing this revealed that dependency
tracking was broken for the non-renamed objects (distcheck noticed that
the dependency products were not being cleaned).

To fix dependency tracking Automake needs to be aware of all the source
files going into the statically-linked version of the library.

Unfortunately, Automake complains if we just add the same sources to a
non-libtool library, even though there is no real conflict since only
one will actually be built.  The issue can be worked around by using
Automake's object renaming facilities, which complicates things slightly
but is straightforward enough to implement.

Fix gen-typegen.awk incompatibility with busybox awk.

It seems that busybox awk does not support * in printf conversions.
There is only one use of this feature in the scripts and we can use
the substr function instead.

Improve gnulib build times.

Use the new dxcommon features in an attempt to avoid the expensive
symbol renaming and PIC build steps for the portions of gnulib that
are not actually needed by the libcdecl library.

Plug memory leak in declgen.

When a void typespec is generated in a context where it is invalid,
gen_typespecs just rolls the dice again.  Unfortunately, the typespec
is not freed in this case, leaking memory.  Easily fixed.

Portability improvements for new random number generator.

On HP-UX 11, the ldexp function requires linking against libm.
Moreover, instead of strtoull declared in <stdlib.h> we have
__strtoull declared in <inttypes.h>.  Add configure tests to
find these.

Clean up declgen a bit.

Use wrapper functions to perform the "allocate a structure and
initialize its members" sequence which is a common sequence here,
and avoid the use of compound literals for this which improves
portability to older compilers.

Simplify and improve randomdecl sanity test.

We don't need to do any weird shell variable stuff here, we can just
directly compute the expected output and verify against that.  As a
bonus, when the test fails this gives a much better description of
which expected forms are missing in the testsuite log.

Remove randomdecl test dependency on GSL.

It's a bit silly for a test application to depend on this huge library
just for random number generation.  We can just directly incorporate
a simple RNG implementation which should be plenty good enough for
this purpose.

Use common help formatting in test cases.

There apparently was a copy of the help formatter hidden in the
test suite, let's port that over to the shared code too.

Bump dxcommon to improve portability to systems without "join"

cdecl99: Remove unused printf argument.

This harmless extra argument was presumably left over from some code
shuffle, we can just remove it.