分析:(1)利用函數是奇函數,建立方程關系解a,b.(2)利用定義法證明函數的單調性.
(3)利用函數的奇偶性將不等式轉化為f(mx2+x-3)>-f(x2-mx+3m)=f(-x2+mx-3m),然后利用單調性解不等式.
解答:解:(1)∵
f(x)=是R上的奇函數,f(0)=0,
即
=0,解得a=1.
∴
f(x)=,
又f(-1)=-f(1),
∴
=-,∴b=2,經檢驗符合題意.
∴a=1,b=2.
(2)由(1)可知
f(x)==-+,
設x
1<x
2,
f(x1)-f(x2)=,
∵y=2
x在R單調遞增,∴
2x2>2x1>0,
∴f(x
1)>f(x
2),
即f(x)在(-∞,+∞)上為減函數.
(3)∵f(x)在(-∞,+∞)上為減函數,且為奇函數,
∴原不等式等價為f(mx
2+x-3)>-f(x
2-mx+3m)=f(-x
2+mx-3m),
∴(m+1)x
2+(1-m)x+3(m-1)<0
①m=-1時,不等式2x-6<0,即x<3,不符合題意.
②m≠-1時,要使不等式恒成立,則
,解得
m<-.
綜上,
m<-.
點評:本題主要考查函數奇偶性的應用,利用定義法證明函數的單調性,以及函數單調性和奇偶性的綜合應用,利用函數的奇偶性將不等式進行轉化是解決本題的關鍵.