Week4: fmincon wrapping nonlin_min

Time flies.. A third of the way through already..

fmincon/nonlin_min is the most elaborate function of all that I have previously 

implemented so before actual coding I would like to thoroughly check the the 

mapping of arguments and options. 

[x,fval,exitflag,output,lambda,grad,hessian] = fmincon (fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options)

[x,fval,exitflag,output] = nonlin_min (fun,x0,settings)

A,b Aeq, beq- Linear inequality and equality constraints

Inequality constraints:

Matlab standard: A * x - b <= 0 ,

Octave standard: m.' * x  + v >= 0. 

This implies: m=-A.' , v=b.

Set in Octave using 

optimset ("inequc", {m,v})

Similar for equality constraints:

optimset ("equc", {m,v})

lb, ub- Lower and upper bounds

Set in Octave using optimset

 optimset ("lbound", ..., "ubound",...)

nonlcon- Nonliner constraint function handle 

In Matlab, nonlinear constraints are given in a function with the following format

function [c,ceq,gradc,gradceq] = mycon(x)

c = ...     % Compute nonlinear inequalities at x.  

ceq = ...   % Compute nonlinear equalities at x.

% Optional output arguments:

gradc = ...   % Gradient of c(x).

gradceq = ...   % Gradient of ceq(x).

options = optimoptions('fmincon','GradConstr','on')

Alternative to nonlcon in nonlin_min

  optimset ("equc", {constraint_function})

Options- Options common to both fmincon and nonlin_min

User-supplied Gradient

In Matlab, the objective function must return the second output when the 

GradObj option is set:

optimset('GradObj','on')

Octave:

optimset("objf_grad",@fun)

User-supplied Hessian

In Matlab, the objective function must return the third output when the Hessian 

option is set:

optimset('Hessian','user-supplied')

Octave:

optimset("objf_hessian",@fun)

Lambda- returned as a structure in Matlab but as a vector field of the "output" 

ouput argument in Octave.

Things to investigate:

1. Algorithm mapping. 

2. Exitflag mapping.

3. Setting gradc (the gradient of general equality/inequality functions). The second 

entry for the equc/inequc setting implements this feature in Octave as stated by 

optim_doc but I was unable to make it work properly.

4. Returning additional statistics (Hessian, Gradient)- I used 

residmin_stat/curvefit_stat previously for lsqnonlin and lsqcurvefit. No such function for nonlin_min.

5. Rearranging values of lambda in the fields of a structure.

P.s. this week I spent quite some time with Mercurial and how to possibly work in the optim package. There was a slight miscommunication/confusion but it is clear now and I will continue to publish my code on github..