DLLを経由しEXCEL VBAから参照渡しを使うには ByRef を利用する

VBA

Declare Function Foo Lib "test.dll" (ByRef result As Long) As Long

VC++

extern "C" __declspec(dllexport) void __stdcall Foo(long &result);