Experiments on keepalive handling

Update NEWS

zoom: proxy error returns diagnostic Bib-1:1014 / SRU:3

zoom: return addinfo="proxy failure" for proxy failures

This commit also changes the scheme for dealing with proxies a bit.
zoom now always do "proxy-check", even if there's no failover.
Fortunately, that's not very expensive.

zoom: implement cunning scheme for retry/proxy failover

session_shared: disable session retry by default

Can be enabled by restart="true" in resultset section.

zoom: guess if invalid response was an auth failure

zoom: Init rejected wo diagnostics maps to Bib-1:1014

Bib-1 1014, "Init/AC: Authentication System error", seems pretty
generic. We don't know why the init would fail; IP, user, block IP, etc.
sru_z3950 filter maps this to SRU diagnostic 3: "Authentication error".

Version 1.3.29

zoom: update zoom info on contentProxy

Update NEWS

zoom: may read cf-proxy's config settings

This reduces manual configuration of the content proxy server host.
The %s notation for server is no longer supported. The ZOOM module will
use the old style session.proxyhost if "server" is given (deprecated)
and use the new style proxyhost/session if "config_file" is in use.

Minor updates to config zoom example

zoom: more configurable format for contentProxy@server

The proxy attribute of contentProxy element may include a %s magic,
which will be substituted by the session ID. For example
server="proxy.indexdata.com/%s"

zoom: simplify cproxyhost XSLT parm passing

Remove incoming requests that can not be handled

Requests in queue for filter frontend_net are removed if client
closes connection for the session and request is not yet handled.

sru_z3950: serialize requests

This is to ensure that pipelined HTTP requests are handled
properly.

sru_z3950: reformat; remove useless comments

Fix metaproxy.prerm: missing /bin/sh header

Version 1.3.28

zoom: remove 'xslt successful' message

New WRBUF wrapper mp::wrbuf

Version 1.3.27

Metaproxy conflicts with CF 2.12.5 and earlier

This is because Metaproxy is running as a different user now -
and old lock files etc, previously created as "nobody" would cause
permission problems for CF.

User info in /etc/metaproxy/metaproxy.user

Debian compat 5

RPM: metaproxy running as user "metaproxy"

Debian: metaproxy running as user "metaproxy"

New scripts to create and remove this user during installation
and removal.

Version 1.3.26

Update NEWS

RPM metaproxy.xml: add comment about logging

in the frontend net filter.

Sort module documentation, schema, fixes

sort: cache sorted records

So they can be refetched invidually for example.

Sort filter using xpath result for sort criteria

Sort order may be given in configuration.

Further work on sort filter .

Using x-path for getting score, but this is not yet in use.

sort: add skeleton for new sort filter

template: Use full configure for Impl configure

Remove useless comment

multi: adjust mediumSetPresentNumber to disable piggyback

The value was adjusted from 1 to 0.. It should not make a difference,
but still.

Protect the two Usemarcon handles

Multiple threads may use these. Allow only one at a time.

Update scheme for XSLT parms

This is actually supported in next YAZ version

virt_db: remove query-encoding facility

It's not in use and not documented.

multi: allow backend-auth to be given for target element

configure: fix check for YAZ version

use outputcharset in example

update retrievalinfo schema

Allow outputcharset (missing and supported for quite some time)
and leaderspec (new in YAZ 4.2.29).

multi: empty route pattern uses route as default

That is
 <target route="z3950.indexdata.com">z3950.indexdata.com</route>
may use the shorter notation
 <target route="z3950.indexdata.com"/>

query_rewrite: use config path to locate XSLT

Add include of sstream header

Filter frontend_net may log statistics

If a custom message element in frontend_net configuration it makes
the frontend_net filter produce a log entry whenever an operation
is completed. The log is always written using yaz_log with the
custom message given, the package ID (session ID) , the time
the operation has been active (end-to-end) , the threads currently
active/total and the size of the request input/output queues.

Require YAZ 4.2.28

This is because record_transform uses yaz_retrieval_configure_t
introduced in YAZ 4.2.28.

zoom: re-connect when database is reused

Re-connect is necessary if a connection is lost or a timeout occurs.
If not, we'll be seeing zero hits, when we shouldn't.

Minor documentation updates.

Update doc/common

record_transform: doc updates

record_transform: new step usemarcon

For calling USEMARCON to convert record(s).

Update m4

record_transform: honor piggyback searches

record_transform: remove some dead code

Reformat

query_rewrite: charset conversion of query terms

This is an optional feature. Enabled by element <charset> in
configuration with attribute 'from' and 'to' that specifies
from/to encodings. The default 'from' encoding is UTF-8.

Version 1.3.25

zoom: ccl_err_msg may return 0

So use odr_strdup_null. Just in case.

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/metaproxy

zoom: doc updates WRT content proxy host

RPM/Deb: compile with 4.2.27 or later

This is to ensure CCL_ERR_TRUNC_NOT_.. defines that appeared in YAZ
4.2.27 are checked.

Update NEWS

zoom: Only base database as additional info

When 'Database does not exist' is returned.

Merge branch 'hide_errors'

multi: document hideerrors

multi: adjust schema for hideerrors

multi: hideerrors functional

zoom: urlRecipe by default disabled

Merge branch 'master' into hide_errors

zoom: insert generated-url before common XSLT

zoom: content-proxy no longer part of generated-url

multi: initial work on hide_errors tweak

zoom: mention record_xsl

zoom: tweak element set rules

If element is not pz2/raw, use explain_xsp if present; if explain_xsp
is not present don't do any pz2 retrievals (old behavior).

zoom: extra XSLT with cproxyhost param

The extra XSLT enabled by if record_xsl attribute is specified
for zooom configuration. This will make a final transform
(after pz2 transform) and will be passed parameter cproxyhost
if content proxy is enabled; not passed otherwise.

zoom: document timeout setting.

zoom: timeout is configurable

Set as value of attribute 'timeout' in element 'zoom' of configuration.

zoom: fix spelling for a few errors

zoom: tune CCL to Z39.50 diagnostics mapping

Throw Bib-1: 108 "Malformed query" for syntax errors and related ones;
throw Bib-1: 3 "Unsupported search" for everything else. Details from
the CCL parser is provided as additional-info.

Version 1.3.24

Update NEWS

Swap elements resultset and session in example config

To make our schema checking happy.

Avoid re-using backends for Explain searches

This fixes a bug where re-used IR-Explain---1 searches would
result in an empty response.

Reduce resultset ttl in config-zoom.xml example

Slightly different sample URL

Skip missing ccl_map values

Update doc/common

Version 1.3.23

Update NEWS

Describe new configuration for zoom WRT ZeeRex.

zoom: warn if %query is not defined and Explain is used

Update zoom schema: new explain_xsl attribute

zoom: present and search operational for ZeeRex.

Note that recordSchema is not set at the moment. serverInfo host+port
is not changed either. Could be set in explain XSL.

zoom: further work on ZeeRex service

Document session_shared configuration