Windows: use Boost 1.59, msvc 14.0
[metaproxy-moved-to-github.git] / NEWS
1 --- 1.11.0 2015/11/17
2
3 frontend_net: connect-max anx http-req-max may be specified
4 based on originating IP. MP-632
5
6 frontend_net: fix leaks that would occur if http-req-max takes effect.
7
8 Report file descriptor limit (RLIMIT_NOFILE) upon startup MP-631 
9
10 --- 1.10.0 2015/10/01
11
12 Fix sort: does not sort during leading present MP-630
13
14 Filter frontend_net: dynamic thread pool. max-threads and stack-size
15 may be configured MP-629
16
17 Fix boost not found on debian-testing MP-628
18
19 --- 1.9.3 2015/09/04
20
21 Fix virt_db creates result-set for failed search MP-627
22
23 --- 1.9.2 2015/09/04
24
25 Fix load_balance: does not retry dead target MP-626
26
27 Provide example of target auth MP-625
28 Also update schema, becuase route is optional for target element.
29
30 Replace indexdata.dk/gils with z3950.indexdata.com MP-624
31
32 Describe auth attribute for multi filter
33
34 --- 1.9.1 2015/08/19
35
36 Avoid naked ptr in filter configure MP-623
37
38 Update to debhelper 9 MP-622
39
40 --- 1.9.0 2015/08/06
41
42 Fix incorrect diagnostic for reverse cql2pqf MP-619
43 The cql_transform_rpn2cql_stream_r returns Bib-1 diagnostics; not
44 SRU diagnostics.
45
46 deb: deprecated substitution ${Source-Version} MP-621
47
48 Fix systemd: reload stops metaproxy MP-620
49 Detect systemd and just do nothing when reload/force-reload is
50 used. Log, however, that it really is not reloading.
51
52 Add http-req-max to frontend_net MP-617
53
54 --- 1.8.10 2015/06/24
55
56 Fix multi: hideunavailable don't hide target that timeout MP-615
57
58 --- 1.8.9 2015/06/01
59
60 Fix race condition in MP log output MP-522
61
62 Fix 'Group' is duplicated twice in RPM spec
63
64 Fix crash in log filter when record syntax is omitted MP-613
65
66 Change target z3950.loc.gov:7090/voyager -> lx2.loc.gov:210/LCDB_MARC8
67 in examples.
68
69 Fix Control-C does not stop Metaproxy spawned by shell MP-610
70 Check for fork mode instead (-D) - rather than debug (-X)
71
72 --- 1.8.8 2015/04/14
73
74 sru_z3950: allow CCL in SRU search MP-606
75 Makes the sru_z3950 filter convert to CCL queries if query type
76 "ccl" is used, eg ?query=water&queryType=ccl&... for SRU 2.0.
77
78 --- 1.8.7 2015/04/01
79
80 Fix dead lock in session_shared (init) MP-605
81
82 --- 1.8.6 2015/04/01
83
84 Fix session_shared caches set with diagnostic MP-604
85
86 Fix assertion failed in session_shared filter MP-603
87
88 Make /usr/share/metaproxy be part of metaproxy RPM MP-601
89
90 Log YAZ version upon start MP-599
91
92 --- 1.8.5 2015/03/17
93
94 sru_z3950: undo Serialize identical SRU GET requests MP-598
95 Now much more elegantly handled by session_shared.
96
97 session_shared: anticipated init and search MP-597
98
99 z3950_client: separate init timeout MP-596
100 Both init-timeout and connect-timeout are configurable by this change.
101 Default is 10 seconds.
102
103 --- 1.8.4 2015/03/16
104
105 zoom: support cf_-params MP-595
106
107 http_client: returns 404 if no destination URI is given
108
109 --- 1.8.3 2015/02/10
110
111 zoom: allow / in user and password db args MP-592
112
113 --- 1.8.2 2015/02/02
114
115 Log rotate no longer reloads configuration - instead Metaproxy just
116 re-opens log files when SIGHUP is received. MP-485
117
118 Debian : init.d metaproxy reload should check configuration MP-591
119
120 Fix Metaproxy stops logging after check config failed MP-590
121
122 --- 1.8.1 2015/01/19
123
124 Fix double free in log filter (with incorrect config) MP-589
125
126 zoom: Add allow_ip feature - fixes MP-588
127 Allow a list of IPs to be given separated by blanks
128 <allow auth_url="http://mkc-admin.indexdata.com/..."
129    allow_ip="127.0.0.1 ::1" .. >
130
131 cql2pqf.txt: Maps dc.subject to Bib-1 21 rather than 47
132
133 zoom: fix CS write-check
134
135 --- 1.8.0 2015/01/08
136
137 zoom: handle contentAuthentication MP-587
138
139 --- 1.7.2 2014/12/16
140
141 Destroy router and filters in parent process MP-584
142
143 Update NMAKE makefile to use Visual Studio 2013 along with Boost 1.57,
144 ICU 54.1, Libxml2 2.9.2, Libxslt 1.1.28.
145
146 --- 1.7.1 2014/12/02
147
148 Use YAZ backtrace facility MP-582
149
150 Fix libmetaproxy-dev depends on libgnutls-dev - MP-580
151 libgnutls-dev is unavailable on jessie.
152
153 Update template filter to avoid Pimpl MP-579
154
155 cgi: POSTed content - part of MP-562
156
157 Fix filter cgi does not relay session close MP-577
158
159 --- 1.7.0 2014/10/28
160
161 Add support for binding outgoing IP for http_client and z3950_client
162 This is enabled by bind_host setting. MP-575
163
164 --- 1.6.0 2014/10/21
165
166 z3950_client: allows negotiation charset to be set MP-574
167
168 cgi: more functional but no support for POSTed content yet (part of MP-564)
169
170 --- 1.5.11 2014/10/20
171
172 http_file: add include of sys/stat.h fixes MP-576
173
174 Fix documentation about SRU client support MP-572
175
176 Initialize Libxml2 - for threaded operation MP-571
177
178 --- 1.5.10 2014/08/26
179
180 On SIGTERM shut down connection+listening sockets MP-568
181 This fixes a problem with 'metaproxy stop' sometimes taking a long time.
182
183 --- 1.5.9 2014/08/15
184
185 zoom: make retry on failure configurable MP-565
186 The default and existing behavior is that backend failures (any
187 diagnostic) makes the module re-search once. The behavior may
188 be changed by db parameter 'retry'. If given value '0' disables
189 retry and '1' enables it. If not given, the Torus record may
190 specify with element retryOnFailure (value '0'/'1').
191
192 --- 1.5.8 2014/08/01
193
194 Fix race condition in SIGTERM handling. Could terminate whole metaproxy
195 instead of just a child process. Extremely rare in real life, hit me with
196 CF stress testing. MP-559.
197
198 --- 1.5.7 2014/07/15
199
200 http_file: passthru option MP-557
201 New facility for http_file to passthru - even if an area is matched. The
202 default behavior (passthru=false) is to return 404: Not found. With
203 passthru=false, next filter is consulted.
204
205 --- 1.5.6 2014/07/14
206
207 Fix ref to freed memory in log filter 1line - MP-556
208
209 echoedSearchRetrieveRequest support MP-555
210
211 --- 1.5.5 2014/06/06
212
213 zoom: allow hostname to be given for ipauth MP-552
214 The Torus setting for that is called auth_hostname.
215
216 --- 1.5.4 2014/06/04
217
218 zoom: IP auth use field "ipRanges" rather than "ip" MP-551
219
220 --- 1.5.3 2014/06/03
221
222 session_shared: close in ~BackendInstance MP-549
223 This fixes a serious issue where some MP would leak sockets.
224
225 session_shared: mutex lock in BackendClass::release_backend MP-550
226 Fixes a SEGV that could occur (in rare cases).
227
228 --- 1.5.2 2014/05/22
229
230 zoom: Do not include ZOOM C's fake surrogate diag recs MP-547
231
232 zoom: fix invalid present response in some cases MP-546
233
234 zoom: Relay Torus HTTP error message
235
236 --- 1.5.1 2014/04/28
237
238 Check for proper limits before using RecordCache functions MP-544
239
240 --- 1.5.0 2014/04/24
241
242 Build packages for Ubuntu Trusty Tahr 14.04 LTS
243
244 sort: crash / invalid_read in filter sort MP-541
245
246 sru_z3950: facet should be stored in additionalSearchInfo MP-533
247
248 doc: fix missing man pages MP-542
249
250 cql_rpn: fix threading problem with CQL to RPN conversion MP-497
251
252 cql_rpn: allow conversion from RPN to CQL (reverse) MP-537
253
254 --- 1.4.8 2014/04/02
255
256 sru_z3950: fix facet response (memory corruption) MP-532
257
258 log: fix crash idPass user is omitted MP-530
259
260 --- 1.4.7 2014/03/25
261
262 query_rewrite: pass-thru non Type-1 queries MP-527
263
264 metaproxy stop (SIGTERM) kills all child processes spanwed by
265 filter (if any) before invoking filter destructors. MP-525
266
267 --- 1.4.6 2014/03/21
268
269 http_file: only supports HTTP GET MP-523
270
271 session_shared: shut down expire thread in destructor
272 This ensures that expire thread is not running after destruction
273 and does bad memory references, etc.
274
275 frontend_net: fix segfault on startup MP-524
276 Would happen if MP was listening on multiple ports and one
277 of the ports was already in use (and MP would exit).
278
279 frontend_net: fix memory leak MP-521
280 This leak would occur if all sessions were in use and the input
281 queue was cleared when a client would close connection (socket).
282
283 frontend_net: fix compilation on Windows (SIGUSR1 does not exist)
284
285 --- 1.4.5 2014/03/14
286
287 http_rewrite: use local skiplist; fixes memory corruption. MP-520
288
289 http_client: x-forwarded-for controls X-Forwarded-For presence
290 If x-forwarded-for setting (boolean) is enabled, http_client will
291 generate an X-Forwarded-For header entry which includes existing
292 X-Forwarded-For (if any) and current peer address (immediate client
293 of Metaproxy). By default x-forwarded-for disabled and X-Forwarded-For
294 will not be generated.
295
296 z3950_client: client_ip controls client-IP presence
297 If client_ip setting (boolean) is enabled, z3950_client will
298 generate a client_ip OID as part of init request which includes
299 previous client_ip (if any) and current peer address (immediate
300 client of Metaproxy). By default client_ip is disabled and client_ip
301 will not be generated.
302
303 HTTP X-Forwarded-For/Z39.50 Client-IP support
304 virt_db, multi: relays Z39.50 client-IP.
305 sru_z3950: converts X-Forwarded-For header to Z39.50 client-IP.
306 zoom: uses Client-IP or origin address (prefer Client-IP).
307 frontend_net: Strips tcp: from peer address (so that it is no longer
308 printed and stripped in zoom filter).
309 z3950_client: builds client-IP list - combining immediate peer address
310 as returned by COMSTACK and existing client-IP list (if avaiable).
311 The Origin only printes first X-Forwarded address.
312
313 --- 1.4.4 2014/02/18
314
315 Log when SIG{TERM,USR1} is received ASAP MP-513
316 Do it in frontend_net event loop rather than in place for metaproxy
317 main, which only exits when all sessions are terminated for SIGUSR1
318 at graceful stop.
319
320 metaproxy-config: quote some RHS values (that might include blanks)
321
322 Fix leak in sru_z3950 filter - when explain is returned MP-511
323
324 Allow stylesheet to be given for sru_z3950 filter MP-510
325 This is based on a patch by Sven Porst and the functionality
326 of the YAZ Generic Frontend Server.
327
328 Allow base attribute in configuration file tags - the attributes are
329 inserted by XInclude usage as mentioned on
330 yazlist: http://lists.indexdata.dk/pipermail/yazlist/2012-Au
331 and noted in a gist: https://gist.github.com/3551094
332
333 Package metaproxy provides virtual package metaproxy6 MP-508
334 This allows module packages to depend on a metaproxy server
335 with version 6 API.
336
337 Filter destructors called upon daemon termination MP-505
338 When metaproxy daemon receives SIGTERM the stop method of each filter
339 is called. The stop method existed before, but did not take any
340 arguements (void).. The frontend_net filter can now distinguish
341 between SIGUSR1 (stop bind, but keep sessions running) and SIGTERM
342 (stop immediately). Note that this changes the API+ABI of Metaproxy
343 filters.
344
345 zoom: sync up with Pazpar2 WRT authentication handling MP-492
346
347 Router: use shared_ptr rather than naked one - to avoid leak if an
348 exception is thrown in configure.
349
350 --- 1.4.3 2013/12/10
351
352 zoom: Add nocproxy=1 for contentConnector sessions MP-501
353
354 Doc: mention proper versions; fix link to Boost win binaries.
355
356 Windows: update for Boost 1.55
357
358 Windows: avoid warning when using boost::split. Done by defining
359 _SCL_SECURE_NO_WARNINGS for Visual Studio.
360
361 Fix LSB conformance for /etc/init.d/metaproxy MP-500
362 Debian: add support for /etc/init.d/metaproxy status
363
364 sort: Add const to Record less than operator in order to compile on
365 OS X Maverick.
366
367 --- 1.4.2 2013/11/15
368
369 session_shared: fix element-set handling in record caching. MP-499
370
371 document http_rewrite. MP-468
372
373 http_write: Honor X-Metaproxy-SkipLink MP-479 . Filter understands and
374 respects the header (which will normally come from the cproxy filter)
375
376 --- 1.4.1 2013/10/31
377
378 RPM: fix dependency for libmetaproxy5-devel MP-496. The libmetaproxy5-devel
379 RPM was unsable in version 1.4.0.
380
381 Remove log message about "backend classes". Appeared in version 1.4.0.
382
383 --- 1.4.0 2013/10/04
384
385 Build RPM/Deb packages with YAZ 5 and yazpp 1.5. Metaproxy still compiles
386 with older version from source, but packages now use YAZ 5 that supports
387 SRU 2.0.
388
389 sru_z3950: Fix SEGV for decoding invalid SRU requests
390 Incorrect reference to union (was explain response rather than
391 search response).
392
393 session_shared: match additionalSearchInfo (includes facets). In
394 layman's terms means that means that facets are properly handled
395 by this filter. Eg a change in requested facets will issue new
396 search and facets from exisiting result set are cached.
397
398 --- 1.3.62 2013/09/11
399
400 http_rewrite: better handling of <script> content in HTML parser. MP-486
401
402 http_rewrite: fix threading issue with regex. MP-482
403
404 bounce: don't use strdup for fixed length content. Error occurred in echo
405 mode only.
406
407 session_shared: expire backend class when no instances left. This
408 means memory clean up, but not really a leak fix.
409
410 virt_db: fix leak for naked ptr.
411
412 cql_rpn: use config relative path for cql2rpn file. MP-481
413
414 Updates for upcoming YAZ 5.
415
416 --- 1.3.61 2013/08/29
417
418 New configuration directories ports.d/routes.d for metaproxy
419 configuration. This allows 3rd party packages to install config
420 for ports and new routes. MP-477
421
422 --- 1.3.60 2013/08/21
423
424 Fix metaproxy-config --libs to return non-mt over mt libs.
425 The -mt versions do not exist as shared objects and cause
426 linker errors for applications linking with Metaproxy.
427 Problem present in versions 1.3.56 - 1.3.59. MP-475
428
429 HTML: clean up char checks. Add ptr to HTML parse spec
430
431 HTML parser stops eating tag when <-char is met  MP-473
432
433 rewrite: do not even compare content types, if we don't have any
434 the regex_match caused a segfault if we had no content-type in the
435 headers. MP-471
436
437 rewrite: within header=... matches only the header value
438 Used to match the whole header line, but we need to use
439 ^$ anchoring for host-relative regexps, and they need to
440 anchor at the ends of the value. MP-470.
441
442 rewrite: Ruleset functional MP-469
443
444 --- 1.3.59 2013/07/12
445
446 session_shared: negotiate init sz parameters.
447 By default, session_shared will honor the paramters given by client.
448 An alternative, but not implemented, algorithm would be to only
449 re-use sessions with same sz parameters. This however, could reduce
450 re-use of sessions a lot. Hence this, simple algorithm instead. The
451 negotiation to a maximum sz values can be enabled by using
452    <init maximum-record-size="sz1" preferred-message-size="sz2"/>
453 in configuration. This will make session_shared send those values
454 to backends and use returned init values in negotaition to
455 client before session_shared.
456
457 session_shared: resolve result-set references.
458 The reference is substitued with the query for old set if database
459 match and query type is Type-1. If not the reference will issue a
460 diagnostic.
461
462 sort filter: relays RecordComposition including elementSet in use for
463 search.
464
465 http_client: better diagnostics
466
467 http_client: disables HTTP redirect handling by default.
468 It can be configured with max-redirects in configuration.
469
470 --- 1.3.58 2013/06/12
471
472 Fix loading of filters cql_rpn and sru_z3950 . Was broken by 1.3.57.
473
474 --- 1.3.57 2013/06/12
475
476 Make RouterChain and RouterXML part of public API (libmetaproxy).
477
478 http_client: honor X-Metaproxy-Proxy as an alternative to
479 the "proxy" configuration. Allows proxy to be set per HTTP request.
480
481 sru_z3950: For SRU requests recognize x-client prefixes as a way
482 to ingest "database parameters".. The suffix of x-client- serves
483 as database argument name. Multiple may be given. For example:
484   http://path/db/?operation=searchRetrieve&x-client-user=a&x-client-password=b
485 is turned into Z39.50 database
486   db,user=a&password=b
487
488 --- 1.3.56 2013/05/27
489
490 New filter present_chunk. This filter allows splitting of present requests into smaller chunks.
491
492 New filter sd_remove, which replaces surrogate diagnostics with
493 SUTRS records. This filter tries to deal with clients that breaks
494 when receiving surrogate diagnostics.
495
496 new filter http_client. Same role as z3950_client, but just for
497 HTTP. Allows Metaproxy to operate as a HTTP proxy.
498
499 New filter http_rewrite1, which serves as purpose on how to rewrite
500 HTTP content with Metaproxy.
501
502 Use libboost-system if available, because newer versions of libboost-threads
503 requires libboost-system.
504
505 Allow frontend_net to serve SSL/HTTPS, because we can specify a server
506 certificate now.
507
508 --- 1.3.55 2013/04/10
509
510 zoom: Torus setting: authenticationMode which may hold values "basic"
511 and "url".
512
513 --- 1.3.54 2013/03/27
514
515 configure: check for Libxslt support in YAZ and rely on definitions
516 from yaz-config, rather than doing own xslt/xml2 checks.
517
518 Allow timestamp format for log lines to be given with option -m
519 for metaproxy. Similar to yaz-ztest/GFS option -m.
520
521 Document log category 'line' for log filter.
522
523 Solr configuration example in etc/config-solr.xml
524
525 multi: do not mess with request package. For scan and search,
526 database-names were modified and the request package was left with
527 dangling pointers that caused a log filter to fail (request package
528 inspected after multi was invoked).
529
530 Documentation: fix id of metaproxy-config ref .
531
532 Documentation: update for USEMARCON support.
533
534 --- 1.3.53 2013/01/31
535
536 record_transform: allow OPACXML to OPAC conversion
537
538 zoom: document content-proxy
539
540 zoom: document db parm content-{user,password}, torus_url. Also
541 <torus auth_url="..> which makes zoom operate in authenticated mode
542 via Torus lookup.
543
544 --- 1.3.52 2012/11/30
545
546 zoom: fix http://-check. SRU search broken in 1.3.51.
547
548 --- 1.3.51 2012/11/15
549
550 zoom: only append http:// for SRU if not already given . Makes it
551 possible to use https-URLs.
552
553 Use yazpp 1.4 or later due to new ABI.
554
555 frontend_net: allow max package size to be specified. Controlled by
556 attribute 'max_recv_bytes' of element 'port'.
557
558 --- 1.3.50 2012/10/29
559
560 For most generated diagnostics by filters, typically temporary
561 system error, augment addinfo message with filter name.
562
563 Add support for CentOS 6 packages.
564
565 sru_z3950: interpret Z39.50 diagnostics part of Init Response.
566
567 Add man page for metaproxy-config.
568
569 --- 1.3.49 2012/10/18
570
571 zoom: new config element passthru. This defines an element set that is
572 passed verbatim to the backend in pz2 mode.
573
574 auth_simple: allow both idPass and open auth. Also fix SEGV that could
575 occur for open auth.
576
577 --- 1.3.48 2012/10/08
578
579 z3950_client: fix string handling for init diagnostics in the case where
580 addinfo was absent.
581
582 query_rewrite: no charset conversion for error queries. Avoid performing
583 charset conversion for query conversion errors. The resulting Type-1
584 query is invalid in this case.
585
586 --- 1.3.47 2012/10/04
587
588 For graceful stop (SIGUSR1), metaproxy will kill children processes.
589
590 Log when metaproxy is invoked in test mode (-t).
591
592 Log PID for each log message.
593
594 multi: combine both NSDs and multiple NSDs into one (diagnostics).
595
596 z3950_client: fixup multiple NSD's too. Like surrogate diagnostics,
597 a (backend=target) is appended for each diagnostic so that can be
598 determined the origin of error.
599
600 multi: hideerrors also in use for present response.
601
602 Solr example in zoom man page.
603
604 Fix typo in query_rewrite config example.
605
606 Log at least first non surrogate diagnostic. Instead of
607 "Z_Records_multipleNSD"
608
609 multi: Fix check for opt Records in present response. A SEGV could occur
610 if a target did not return records and no diagnostics.
611
612 --- 1.3.46 2012/09/24
613
614 Yet another fix for graceful stop.
615
616 --- 1.3.45 2012/09/12
617
618 sru_z3950: relay surrogate diagnostics.
619
620 --- 1.3.44 2012/09/10
621
622 zoom: Honor extraArgs, strip # in zurl.
623
624 multi: fix SEGV for scan. Reported by Rustam T. Usmanov.
625
626 zoom: url_recipe allow %{var[reg]} substitutions.
627 It's like ${var[reg]} but does URI component encoding as well.
628
629 --- 1.3.43 2012/08/22
630
631 RPM/Deb: require yazpp 1.3.2, because it fixes a missing close of
632 non-keepalive HTTP sessions.
633
634 http_file: allow zero size files (bug fix)
635
636 Fix zoom schema: auth_url is optional
637
638 --- 1.3.42 2012/08/20
639
640 zoom: fix un-init memory (could result in SEGV at session close)
641
642 frontend_net: handle X-Forwarded-For. This is stored in package.origin()
643 and may be used in filters as usual.
644
645 zoom: authentication via Torus lookup
646 Enabled by new configuration setting: auth_url . If this is defined,
647 the zoom module will contact Torus for auth/IP lookup and that will
648 define realm to be used in session.
649
650 --- 1.3.41 2012/08/10
651
652 virt_db: Fix database name - first character we removed by mistake.
653 Bug introduced in 1.3.40.
654
655 --- 1.3.40 2012/08/06
656
657 virt_db: Don't use "unix path" as database for Unix sockets.
658
659 --- 1.3.39 2012/08/02
660
661 z3950_client: Don't tamper with / in zurl - fixes problems
662 using Unix sockets for backends.
663
664 session_shared: fix integer overflow problem with hit count.
665
666 session_shared: avoid long usage of cached queries.
667
668 zoom: New database argument , torus_url to set URL of Torus
669 record to be fetched.
670
671 --- 1.3.38 2012/07/04
672
673 Fixes for 'metaproxy reload' for RPM/Debian packages. 
674
675 zoom: Allow rpn2cql conversion to be augmented with a properties file.
676 Element rpn2cql can be specified per-target for the zoom filter.
677
678 log: New category "line" which is a single-line log message with
679 most important parts of a HTTP/Z39.50 request/response.
680
681 --- 1.3.37 2012/06/01
682
683 frontend_net: add facility to report live statistics about response
684 times and current thread usage. The report is an XML document
685 and is triggered for a specific URL path. This is set by <stat-req>
686 in the configuration of frontend_net. By default this report is
687 disabled (same as empty value for <stat-req>).
688
689 Fix reload problem in init.d script for RPM/Debian. 
690 The '/etc/init.d/metaproxy reload' in some cases would stop but not
691 start metaproxy - effectively stopping the service.
692
693 Don't display start log message when config testing (-t).
694
695 zoom: avoid CCL message limit of 1K in ZOOM filter.
696
697 --- 1.3.36 2012/05/10
698
699 metaproxy init script reacts to reload which does graceful stop +
700 start and is used by logrorate script.
701
702 --- 1.3.35 2012/05/09
703
704 Fixes for Windows compilation.
705
706 Metaproxy daemon reacts to SIGUSR1 in which case it will leave
707 existing sessions running but terminate the monitor process that is
708 used in keepalive mode.
709
710 Change start log message to 'metaproxy start'. Was 'Metaproxy start'
711 before. Consistent with 'metaproxy stop' message.
712
713 zoom: document zoom's proxy_timeout
714
715 z3950_client: fixup addinfo for init response
716
717 virt_db: return other diagnostic if init is rejected. Diagnostic 236:
718 "Access to specified database denied" is returned, but only if init
719 response from backend does not carry diagnostics already.
720
721 multi: relays user info for first rejected target. The other-information
722 field for init response for first rejected target is in common init
723 response. This ensures that some backend init diagnostics are returned to
724 the frontend.
725
726 --- 1.3.34 2012/04/25
727
728 frontend_log: extend logging (when message is given in config).
729
730 --- 1.3.33 2012/04/25
731
732 zoom: Fix check for proxy. Use diagnostic 1074 for proxy failures.
733
734 --- 1.3.32 2012/04/24
735
736 sru_z3950 filter passes through incoming Z39.50 requests again. Was
737 not handled by mistake in Metaproxy versions 1.3.29, 1.3.30 and 1.3.31.
738
739 --- 1.3.31 2012/04/24
740
741 zoom: fixes for retry/proxy failover logic. More logging.
742
743 --- 1.3.30 2012/04/23
744
745 zoom: return addinfo="proxy failure" for proxy failures. This also
746 changes the scheme for dealing with proxies a bit.  zoom now always
747 do proxy check, even if there's no failover. Fortunately, that's not
748 very expensive.
749
750 zoom: Init rejected wo diagnostics maps to Bib-1:1014.
751 Bib-1 1014, "Init/AC: Authentication System error", seems pretty
752 generic. We don't know why the init would fail; IP, user, block IP, etc.
753 sru_z3950 filter maps this to SRU diagnostic 3: "Authentication error".
754
755 zoom: guess if invalid SRU response was an auth failure
756
757 session_shared: disable session retry by default . Can be enabled by
758 restart="true" in resultset section.
759
760 --- 1.3.29 2012/04/18
761
762 zoom: may read cf-proxy's config settings.
763 This reduces manual configuration of the content proxy server host.
764 The ZOOM module will use the old style session.proxyhost if "server"
765 is given (deprecated) and use the new style proxyhost/session if
766 "config_file" is in use.
767
768 frontend_net: remove incoming requests that can not be handled
769 Requests in queue for filter frontend_net are removed if client
770 closes connection for the session and request is not yet handled.
771
772 sru_z3950: serialize requests. This is to ensure that pipelined
773 HTTP requests are handled properly.
774
775 --- 1.3.28 2012/04/04
776
777 New class, wrbuf, that wraps YAZ' WRBUF.
778
779 --- 1.3.27 2012/03/30
780
781 Metaproxy daemon is now running as user "metaproxy". This user is
782 managed by package maintainer scripts. The user information is stored
783 in /etc/metaproxy/metaproxy.user . 
784
785 --- 1.3.26 2012/03/20
786
787 New filter, sort, that allows sorting of XML records via Z39.50
788 retrieval.
789
790 Filter record_transform: USEMarcon support. For example:
791   <retrieval syntax="usmarc">
792      <backend syntax="unimarc" name="F">
793        <usemarcon stage1="/etc/usemarcon/uni2us/uni2us.ini"/>
794      </backend>
795   </retrieval>
796
797 Filter multi: empty route pattern uses route as default.
798   That is
799    <target route="z3950.indexdata.com">z3950.indexdata.com</route>
800   may use the shorter notation
801    <target route="z3950.indexdata.com"/>
802
803 Filter query_rewrite: use config path to locate XSLT.
804
805 Filter frontend_net:  log statistics.
806 If a custom message element in frontend_net configuration it makes
807 the frontend_net filter produce a log entry whenever an operation
808 is completed. The log is always written using yaz_log with the
809 custom message given, the package ID (session ID) , the time
810 the operation has been active (end-to-end) , the threads currently
811 active/total and the size of the request input/output queues.
812
813 query_rewrite: charset conversion of query terms.
814 This is an optional feature. Enabled by element <charset> in
815 configuration with attribute 'from' and 'to' that specifies
816 from/to encodings. The default 'from' encoding is UTF-8.
817
818 Filter record_transform: honor piggyback searches.
819
820 Filter zoom: re-connect when database is reused.
821 Re-connect is necessary if a connection is lost or a timeout occurs.
822 If not, we'll be seeing zero hits, when we shouldn't.
823
824 --- 1.3.25 2012/02/29
825
826 zoom: Change scheme for dealing with content proxy URLs. The module
827 now has its own common XSL transform that is enabled by record_xsl
828 attribute in the configuration. This XSL gets parameter cproxyhost
829 that holds the host for the content proxy session . The genearted-url
830 is created only if urlRecipe is enabled. In previous version default
831 value of urlRecipe was ${md-electronic-url}; it is now empty and
832 disabled by default. Also generated-url no longer includes the content
833 proxy host. Content proxying URLs is supposed to the handle in the record_xsl
834 stylesheet.
835
836 zoom: new setting timeout that specifies timeout for outgoing Z39.50/SRU
837 connections. Default value is 40 (seconds).
838
839 zoom: tune CCL to Z39.50 diagnostics mapping. Throw Bib-1: 108
840 "Malformed query" for syntax errors and related ones; throw
841 Bib-1: 3 "Unsupported search" for everything else. Details from
842 the CCL parser is provided as additional-info.
843
844 multi: new setting hideerrors that makes multi only relay diagnostics
845 to a client if all backends fail.
846
847 --- 1.3.24 2012/02/23
848
849 zoom: empty ccl_map field-mappings disables CCL map.
850
851 zoom: fix Explain search that could return error if session was
852 re-used.
853
854 --- 1.3.23 2012/02/10
855
856 zoom: returns Explain records for database IR-Explain---1. The
857 target profile records are converted to Explain records via XSLT.
858
859 session_shared: make error recovery configurable. Whether a search
860 is restarted on errors or not, is configurable by attribute "restart"
861 in element "resultset" in configuration.
862
863 session_shared: only relay init for first request. session_shared, for
864 each backend class, now only relays first init request (rather than all).
865 The module only needs to save init response info once. This avoids the
866 need to check for session max.
867
868 --- 1.3.22 2012/02/02
869
870 zoom: fix memory leaks.
871
872 session_shared: maximum number of sessons is configurable. Default
873 value is 100. Result-sets for backends without named result sets are
874 only re-used if databases is identical for a search. This is under the
875 assumption that performance may suffer for those backends when
876 changing the database for each search.
877
878 multi: combines diagnostics from all backends. All diagnostics from
879 backends are combined into multiple non-surrogate diagnostics; rather
880 than just one diagnostic from first backend.
881
882 --- 1.3.21 2011/12/27
883
884 zoom: relay realm to cproxy parameter file.
885
886 Configuration: Allow filter collection element inside route. This
887 makes it possible to include multiple filters at once.
888
889 zoom: nocproxy also disables urlRecipe.
890
891 --- 1.3.20 2011/12/21
892
893 zoom: return diagnostic if CQL sortby conv fails.  Diagnostic Bib-1 214
894 "Illegal sort relation" is returned. Gets translated to SRU diagnostic
895 90: "Unsupported direction value".
896
897 zoom: honor database argument nocproxy. This disables creating a content
898 connector session (for non-CF targets, usually) and also relays nocproxy
899 as database argument to a CF target.
900
901 --- 1.3.19 2011/12/16
902
903 zoom: Multiple proxy hosts may be given for proxy rich database 
904 parameter. List is comma separated.
905
906 http_file: decodes URI paths properly. Does not return 404: not found
907 if no prefix are matches. Instead packages are passed on.
908
909 --- 1.3.18 2011/12/08
910
911 zoom: content-{user,password,proxy} are passed on to content proxy
912 system and takes precedence over user,password,proxy .
913
914 sru_z3950: SRU extra argument x-log-enable=1 enables a search response
915 with a log element including log material from children filters. At
916 this point, only the zoom filter uses this log facility. It will
917 eventually be used by other filters as well. In particular it might be
918 useful for this feature to track all filters in used during a search.
919
920 zoom: for x-log-enable=1, APDUs sent by ZOOM C, records as received
921 and queries as they are manipulated are logged.
922
923 zoom:  extend addinfo with native diagnostics. Diagnostics as received
924 by ZOOM C are put into addinfo - including ZOOM, HTTP, SRU and Bib-1
925 diagnostics. This indicates both a backend diagnostic and the original
926 form.
927
928 zoom: default urlRecipe value is ${md-electronic-url}
929
930 zoom: target profile setting sruVersion is recognized.
931
932 --- 1.3.17 2011/11/17
933
934 zoom: log target profile record fetched (AKA Torus).
935
936 --- 1.3.16 2011/11/17
937
938 Change target profile parameter CfSubDb to CfSubDB.
939
940 --- 1.3.15 2011/11/12
941
942 zoom: bug fix: realm was relayed to CF targets by mistake (realm only
943 makes sense to the zoom module itself).
944
945 --- 1.3.14 2011/11/11
946
947 zoom: realm may be given as part of database.
948
949 --- 1.3.13 2011/10/26
950
951 Fix Origin class assigment method; was removd by mistake in 1.3.12.
952
953 --- 1.3.12 2011/10/26
954
955 zoom: database args x-name=value are passed through to backend database.
956
957 SRU filter: user may specify session ID that is passed to log entries
958 that follows. It is specified by using x-session-id in the SRU arguments.
959
960 zoom: fix null pointer reference which would occur for bad url parameter
961 inside "torus" or if url was not given.
962
963 --- 1.3.11 2011/09/09
964 Fix bug in filter session_shared where sessions would not expire
965 properly (session ttl). This in turn could make the target close the
966 connection before expected and session_shared would return diagnostic
967 2: system temporarily available.
968
969 --- 1.3.10 2011/09/09
970
971 zoom: new target profile setting: sortmap_field. If sortmap_field is given
972 the field is mapped to the value for the sortmap. Values not matching
973 sortmap_field are passed verbatim.
974   
975 zoom: new target profile setting: sortStrategy. One of: "z3950", "type7",
976 "cql", "sru11" or "embed". The "embed" chooses type-7 or CQL sortby
977 depending on whether RPN or CQL is actually sent to the target.
978
979 --- 1.3.9 2011/08/25
980
981 zoom: urlRecipe result is stored in <pz:metadata type="generated-url">.
982
983 zoom: For content proxy authentication is stored in param name
984 "auth", instead of "authentication".
985
986 --- 1.3.8 2011/08/22
987
988 zoom: relay schema in SRU mode. Previously recordSchema was not affected
989 by elementSet.
990
991 --- 1.3.6 2011/08/22
992
993 zoom: new target profile element literalTransform that holds XSLT
994 (encoded as string) for target. Only if present and non-zero length it is
995 considered present. This takes precedence over transform.
996
997 Don't rely on trang anymore for Git checkout builds. Configuration in etc
998 will only be properly validated if trang is available. From now on only
999 relax NC files are bundled with the source dist.
1000
1001 Updates to check for Boost unit test (autoconf stuff). On MacOSX this
1002 component was not detected when it should be.
1003
1004 --- 1.3.5 2011/08/12
1005
1006 z3950_client: mark non-surrogate diagnostics from backend.
1007
1008 zoom: a proxy may be specified for HTTP fetch of target profiles.
1009
1010 --- 1.3.4 2011/08/01
1011
1012 Honor piggyback. Makes some SRU targets behave that insist on
1013 maximumRecords > 0, but also increases performance.
1014
1015 --- 1.3.3 2011/08/01
1016
1017 Fix dlpath in installed metaproxy.xml for RPM/Deb package. The
1018 file was not update for libdir/metaproxy4 in version 1.3.2.
1019
1020 --- 1.3.2 2011/08/01
1021
1022 Change location of Metaproxy modules from libdir/metaproxy to
1023 libdir/metaproxy4. Directory libdir/metaproxy is also owned by 
1024 libmetaproxy3 and, thus, should not be used by libmetaproxy4.
1025
1026 New facility to dump APDUs from zoom filter. Enabled by 
1027 <log apdu="true"/> in the zoom filter configuation.
1028
1029 zoom filter bug fix: SRU diagnostics received from backend was
1030 not properly converted to Bib-1 diagnostics.
1031
1032 Package metaproxy depends on libmetaproxy4, same version.
1033
1034 --- 1.3.1 2011/07/28
1035
1036 zoom: fix a bug WRT passing authentication parameters to backends.
1037
1038 --- 1.3.0 2011/07/27
1039
1040 Fixes for windows Makefile.
1041
1042 --- 1.2.10 2011/07/25 
1043
1044 Change major version of metaproxy library from 3 to 4. This in turn
1045 makes new package names for Debian and RPM.
1046
1047 --- 1.2.9 2011/06/27
1048
1049 zoom: enable marc-8 encoding by default for usmarc and opac (in pz2
1050 transforn mode).
1051
1052 zoom: configurable element sets for record transforms.
1053     
1054 zoom: the target profile based transform is specified by element_transform
1055 in element torus of of the ZOOM filter configuration ; default value
1056 is "pz2". Target profile based retrieval is specified by element_raw
1057 in configuration. It will perform same steps, but omit the XSL transform.
1058 Default value is "raw".
1059
1060 zoom: element set is omitted if not set in profile. But only if pz2
1061 transform is in effect. Previously the default element set was to "F".
1062
1063 zoom: For non-CF targets database arguments are parsed. User may supply
1064 db,user=myuser&password=mypass for non-CF targets. These values override
1065 what's given the authentication from the target profile.
1066
1067 session_shared: fix reference to freed memory. Would occur if a search
1068 response had non-surrogate diagnostics.
1069
1070 --- 1.2.8 2011/06/22
1071
1072 Route may be given for each port in frontend_net.
1073
1074 --- 1.2.7 2011/06/22
1075
1076 Documentation for zoom filter. Local target profiles may be specified.
1077
1078 Fixes for zoom filter.
1079
1080 --- 1.2.6 2011/06/15
1081
1082 First version with zoom filter.
1083
1084 --- 1.2.5 2011/05/06
1085
1086 Filter z3950_client may be configured to always send a close APDU
1087 to backend target when connection/session is closed. This will only
1088 happen if close APDU is not already sent. Enabled by configuration
1089 for z3950_client (force_close).
1090
1091 Filter virt_db and multi: relay close APDU.
1092
1093 Filter virt_db and multi: relay init size parameters 
1094 preferredMessageSize and maximumRecordSize.
1095
1096 Filter sru_z3950: increase init sz parameters from 1MB to 10 MB.
1097
1098 --- 1.2.4 2011/01/27
1099
1100 RPM package for Metaproxy works for both SLES11 and Centos 5.5.
1101
1102 metaproxy-config: exec_prefix, libdir, includedir. Use these variables
1103 as determined by configure.
1104
1105 RPM: Release includes 'indexdata' name. Use indexdata in release name so
1106 this package can be distinguished from other vendors.
1107
1108 --- 1.2.3 2010/10/04
1109
1110 Fix filter multi: relay idAuthentication parameters.
1111
1112 --- 1.2.2 2010/09/15
1113
1114 Add metaproxy-config for returning compiler flags, libraries.
1115
1116 --- 1.2.1 2010/08/18
1117
1118 Fix --with-boost=PREFIX .
1119
1120 --- 1.2.0 2010/07/09
1121
1122 session_shared: fix use of maintenance thread.
1123
1124 Introduce 'start' method for filters and routers. It gets called after
1125 configure and after fork, but before processing. This changes API -
1126 from libmetaproxy2 to libmetaproxy3.
1127
1128 --- 1.1.7 2010/06/30
1129
1130 session_shared: ensure backend session is closed if init rejected
1131 is received.
1132
1133 z3950_client: fix NULL ptr reference that could occur if two clients
1134 connected concurrently and if max-sockets was in effect.
1135
1136 --- 1.1.6 2010/06/21
1137
1138 Fix bug 3497 - Metaproxy unstable while stopping.
1139
1140 Fix bug 3495 - SEGV in SRU filter.
1141
1142 --- 1.1.5 2010/06/15
1143
1144 Filter multi throws diagnostic 'Present Out of Range' when
1145 appropriate - rather than returning 0 records.
1146
1147 Filter virt_db: fix bad result reuse. Could happen if a result
1148 was overriden and a backend did not supported named result sets.
1149
1150 --- 1.1.4 2010/05/11
1151
1152 Filter log: category access logs diagnostics even if searchStatus
1153 or presentStatus is 'success'.
1154
1155 --- 1.1.3 2010/04/21
1156
1157 The SRU to Z39.50 filter does repeated Z39.50 present requests
1158 to fetch all records. Needed when a Z39.50 server returns partial
1159 results (due to message size limits).
1160
1161 --- 1.1.2 2010/03/18
1162
1163 Metaproxy now kills all child processes that are spawned by
1164 modules (in case of fork, exec).
1165
1166 --- 1.1.1 2010/01/28
1167
1168 Debian package now installs /etc/metaproxy/metaproxy.xml which
1169 includes all XML files /etc/metaproxy/filters-enabled .
1170 The include facility uses YAZ' yaz_xml_include_simple (YAZ 4.0.1).
1171
1172 --- 1.1.0 2010/01/20
1173
1174 Package based on YAZ version 4 and YAZ++ 1.2.0. It now includes a
1175 development package to facilitate 3rd party Metaproxy modules.
1176
1177 --- 1.0.23 2010/01/04
1178
1179 Filter virt_db: Close backend filter session when Init rejected is received
1180 from it (in which case it's not really closed yet). This will ensure we don't
1181 run out of resources such as FDs in this case.
1182
1183 sru_z3950 filter: Accept any database (including those not listed).
1184
1185 --- 1.0.22 2009/12/03
1186
1187 Prepare for 64-bit YAZ. yazproxy will still work with YAZ++ 1.1.4 or
1188 later which means YAZ 3.0.47 or later.
1189
1190 --- 1.0.20 2009/11/19
1191
1192 For filter virt_db, the database is a glob pattern and the virtual
1193 database sections are consulted in the order given.
1194
1195 --- 1.0.19 2009/07/08
1196
1197 For filter multi, the target (for routing) may be given as a glob-pattern.
1198
1199 More documentation for filters virt_db and multi.
1200
1201 Update schema to allow for no database in sru_z3950 filter.
1202
1203 --- 1.0.18 2009/06/30
1204
1205 Added limit filter to put sleep (penalty) for heavy use.
1206
1207 Filter frontend_net may be configured to limit the number of new connections
1208 from same IP to some value (connect-max).
1209
1210 Fixed the load_balance filter.
1211
1212 --- 1.0.17 2009/06/16
1213
1214 Fix path for metaproxy executable for Debian init.d script.
1215
1216 --- 1.0.16 2009/06/10
1217
1218 SRU to Z39.50 filter honors x-username and x-password. If only
1219 x-username is given that translates to open authentication (Z39.50v2). If
1220 both x-username and x-password is present that translates to idPass
1221 authentication (Z39.50v3).
1222
1223 New facility to change current working directory (-w).
1224
1225 Update to upstream skeleton of init.d script. Should fix bug #2619.
1226
1227 Filter session_shared now caches records (used to only cache connections
1228 and result sets).
1229
1230 Filter session_shared now invalidates a Z39.50 session if a server
1231 returns -1 hits. This facility was also part of yazproxy and gets around
1232 a bug in Voyager-based Z39.50 servers.
1233
1234 --- 1.0.15 2008/11/18
1235
1236 Fixed reference counting bug in Z39.50 client module (could cause SEGV).
1237
1238 --- 1.0.14 2008/06/09
1239
1240 Fixed the value of SRU record schema in searchRetrieve response. It was set
1241 to a fixed value of "dc" before.
1242
1243 Serialize identical SRU requests. This is useful if HTTP client software
1244 fires identical requests against metaproxy.
1245
1246 Allow Z39.50 target to be specified for SRU requests by using SRU extra
1247 parameter x-target. Allows SRU to contact arbitrary Z39.50 targets and
1248 avoid static configuration. This facility is handled by the sru_z3950 module
1249 and the z3950_client module.
1250
1251 Allow maximum number of sockets to be used for a Z39.50 client by the
1252 use of SRU extra parameter x-max-sockets. This facility is handled by the
1253 sru_z3950 module and the z3950_client module.
1254
1255 --- 1.0.13.1 2008/02/29
1256
1257 Simplified check for Boost libraries.
1258
1259 --- 1.0.13 2008/02/29
1260
1261 First Debian package.
1262
1263 The sru_z9350 filter now recognizes SRU parameter z-target as being
1264 a ZURL of the form host/database . 
1265
1266 Mergetype may be specified for filter 'multi'.
1267
1268 --- 1.0.12 2007/09/19
1269
1270 Fixed problem in Makefile WRT library specifictions. This could produce
1271 linker errors (when they should not happen).
1272
1273 Fixed bug #1341: MetaProxy returning different results. Problem was that
1274 fix-up of record database did not normalize the database name.
1275
1276 Documentation updates for Windows compilation.
1277
1278 --- 1.0.11 2007/06/14
1279
1280 Fixed problem with logfile being truncated.
1281
1282 --- 1.0.10 2007/05/23
1283
1284 Fixed bug #1136: Access rights not enforced.
1285
1286 Extension for log module. The log category 'access' logs more details.
1287 New category 'user-access' added which is simlar to 'access' but adds
1288 the Z39.50 user as for all entries in a session.
1289
1290 Switched to GPL v2.
1291
1292 Added support for configurable default/force target/vhost for module Z39.50
1293 client module.
1294
1295 --- 1.0.8 2007/01/25
1296
1297 Implemented filter, session_shared, which optimizes usage of Z39.50
1298 sessions and result sets.
1299
1300 New filter, record_transform, which converts MARC/XML records.
1301
1302 New filter, sru_z3950, which converts SRU to Z39.50 packages.
1303
1304 New filter, load_balance, in development.
1305
1306 New filter, zeerex_xplain.
1307
1308 XML framework for config files started.
1309
1310 Master RelaxNG Compact schema's are found in xml/schema/*.rnc,
1311 RelaxNG XML schemas and XML Schema's are generated from RNC syntax.
1312 XML config files are checked against RNG and XML Schema's.
1313
1314 XSLT transformation framework added in xml/xslt/*.xsl, consisting mainly of 
1315 LOC Marc21 stylesheets found at http://www.loc.gov/marcxml/xslt.
1316 Added stylesheet explain2cqlpqftxt.xsl which transforms a standard SRU ZeeReX 
1317 explain record to YAZ CQL-to-PQF text config file. 
1318
1319 --- 1.0.7 2006/11/07
1320
1321 Added 'timeout' setting for filter frontend_net which specifies the number
1322 of seconds a session is idle before it is closed. Default timeout is
1323 300 (5 minutes).
1324
1325 --- 1.0.6 2006/07/07
1326
1327 Database name in records returned set for virt_db/multi filters.
1328
1329 Filter session_shared now functional.
1330
1331 Log filter can be configured to write to a given file using 'filename'
1332 element. Also information category can be specified with 'category'. If
1333 filename is omitted, the log filter writes to stdout. See etc/config5.xml
1334 for example.
1335
1336 --- 1.0.5 2006/05/16
1337
1338 Fixed compilation on Windows.
1339
1340 --- 1.0.4 2006/05/16
1341
1342 Added documentation for the hidenavailable option for the multi filter.
1343
1344 --- 1.0.3 2006/05/16
1345
1346 Fixed bug #573: Hide errors for individual servers. If the element
1347 'hideunavailable' is given in the configuration, individual servers
1348 being unavailable are hidden (unless all are unavailable). 
1349
1350 Fixed bug #574: Database names are recognised case-sensitively.
1351
1352 Fixed bug #567: Fix up database name in Name-Plus-Record.
1353
1354 Fixed bug #568: Update win/makefile for VS 2005.
1355
1356 Fixed bug #569: Some options throws unknown exception.
1357
1358 --- 1.0.2 2006/04/28
1359
1360 More information about virtual hosts. The 'etc' directory is part of the
1361 distribution tar.
1362
1363 --- 1.0.1 2006/04/27
1364
1365 Build instructions for Windows. NMake makefile part of distribution tar.
1366
1367 --- 1.0.0 2006/04/24
1368
1369 More documentation.
1370
1371 Filters functional: auth_simple, backend_test, frontend_net, http_file,
1372  log, multi, query_rewrite, template, virt_db, z3950_client.
1373
1374 Filters in development: session_shared.
1375
1376 Pseudo-filters: template, dl
1377
1378 --- 0.9 2006/03/27