Solr是什么?
Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。
同类产品:基于Lucene框架的搜索引擎有很多,如 Solr,Elastic Search,Nutch等
对中文的支持 : 对于中文用户来说,最关心的问题是其是否支持中文的 全文检索 。但通过后面对于Lucene的结构的介绍,你会了解到由于Lucene良好架构设计,对中文的支持只需对其语言词法分析接口进行扩展就能实现对中文检索的支持。
一、下载安装:
本文假设你对 Java 有初中级以上水平,因此不再介绍Java相关环境的配置(jdk1.7及以上版本)。直接官网下载解压缩solr,目录如下:
在example目录有start.jar文件,启动: java -jar start.jar。
浏览器访问:,你看到的就是solr的管理界面
二、索引数据:
服务启动后,目前你看到的界面没有任何数据,你可以通过POSTing命令向Solr中添加(更新)文档,删除文档,在exampledocs目录包含一些示例文件,运行命令:
java -jar post.jar solr.xml monitor.xml
上面的命令是向solr添加了两份文档,打开这两个文件看看里面是什么内容,solr.xml里面的内容是:
<add>
<doc>
<field name=”id”>SOLR1000</field>
<field name=”name”>Solr, the Enterprise Search Server</field>
<field name=”manu”>Apache Software Foundation</field>
<field name=”cat”>software</field>
<field name=”cat”>search</field>
<field name=”features”>Advanced Full-Text Search Capabilities using Lucene</field>
<field name=”features”>Optimized for High Volume Web Traffic</field>
<field name=”features”>Standards Based Open Interfaces – XML and HTTP</field>
<field name=”features”>Comprehensive HTML Administration Interfaces</field>
<field name=”features”>Scalability – Efficient Replication to other Solr Search Servers</field>
<field name=”features”>Flexible and Adaptable with XML configuration and schema </field>
<field name=”features”>Good unicode support: héllo (hello with an accent over the e)</field>
<field name=”price”>0</field>
<field name=”popularity”>10</field>
<field name=”inStock”>true</field>
<field name=”incubationdate_dt”>2006-01-17T00:00:00.000Z</field>
</doc>
</add>
表示向索引中添加一个文档,文档就是用来搜索的数据源,现在就可以通过管理界面搜索关键字”solr”,具体步骤是:
点击页面下的Execute Query按钮后右侧就会显示查询结果,这个结果就是刚才导入进去的solr.xml的json格式的展示结果。solr支持丰富的查询语法,比如:现在想搜索字段name里面的关键字”Search”就可以用语法name:search,当然如果你搜索name:xxx就没有返回结果了,因为文档中没有这样的内容。
三、数据导入:
导入数据到Solr的方式也是多种多样的:
可以使用DIH(DataImportHandler)从数据库导入数据
支持CSV文件导入,因此Excel数据也能轻松导入
支持JSON格式文档
二进制文档比如:Word、PDF
还能以编程的方式来自定义导入
四、更新数据:
如果同一份文档solr.xml重复导入会出现什么情况呢?实际上solr会根据文档的字段id来唯一标识文档,如果导入的文档的id已经存在solr中,那么这份文档就被最新导入的同id的文档自动替换。你可以自己尝试试验一下,观察替换前后管理界面的几个参数:Num Docs,Max Doc,Deleted Docs的变化。
numDocs:当前系统中的文档数量,它有可能大于xml文件个数,因为一个xml文件可能有多个<doc>标签。
maxDoc:maxDoc有可能比numDocs的值要大,比如重复post同一份文件后,maxDoc值就增大了。
deletedDocs:重复post的文件会替换掉老的文档,同时deltedDocs的值也会加1,不过这只是逻辑上的删除,并没有真正从索引中移除掉
五、删除数据:
通过id删除指定的文档,或者通过一个查询来删除匹配的文档
java -Ddata=args -jar post.jar “<delete><id>SOLR1000</id></delete>”
java -Ddata=args -jar post.jar “<delete><query>name:DDR</query></delete>”
此时solr.xml文档从索引中删除了,再次搜”solr”时不再返回结果。当然solr也有数据库中的事务,执行删除命令的时候事务自动提交了,文档就会立即从索引中删除。你也可以把 commit 设置为 false ,手动提交事务。
java -Ddata=args -Dcommit=false -jar post.jar “<delete><id>3007WFP</id></delete>”
执行完上面的命令时文档并没有真正删除,还是可以继续搜索相关结果,最后可以通过命令:
java -jar post.jar –
提交事务,文档就彻底删除了。现在把刚刚删除的文件重新导入Solr中来,继续我们的学习。
删除所有数据:
删除指定数据
多条件删除
AND name:zhang</query></delete>&commit=true
六、查询数据:
查询数据都是通过HTTP的GET请求获取的,搜索关键字用参数q指定,另外还可以指定很多可选的参数来控制信息的返回,例如:用fl指定返回的字段,比如f1=name,那么返回的数据就只包括name字段的内容
七、排序:
Solr提供排序的功能,通过参数sort来指定,它支持正序、倒序,或者多个字段排序
q=video&sort=price desc
q=video&sort=price asc
q=video&sort=inStock asc, price desc
默认条件下,Solr根据socre 倒序排列,socre是一条搜索记录根据相关度计算出来的一个分数。
八、高亮:
网页搜索中,为了突出搜索结果,可能会对匹配的关键字高亮出来,Solr提供了很好的支持,只要指定参数:
hl=true #开启高亮功能
hl.fl=name #指定需要高亮的字段
返回的内容中包含:
“highlighting”:{
“SOLR1000”:{
“features”:[“Advanced Full-Text <em>Search</em> Capabilities using Lucene”]
}
}
九、文本分析:
文本字段通过把文本分割成单词以及运用各种转换方法(如:小写转换、复数移除、词干提取)后被索引,schema.xml文件中定义了字段在索引中,这些字段将作用于其中.
默认情况下搜索”power-shot”是不能匹配”powershot”的,通过修改schema.xml文件(solr/example/solr/collection1/conf目录),把features和text字段替换成”text_en_splitting”类型,就能索引到了。
<field name=”features” type=”text_en_splitting” indexed=”true” stored=”true” multiValued=”true”/>
…
<field name=”text” type=”text_en_splitting” indexed=”true” stored=”false” multiValued=”true”/>
修改完后重启solr,然后重新导入文档
java -jar post.jar *.xml
现在就可以匹配了
power-shot—>Powershot
features:recharing—>Rechargeable
1 gigabyte –> 1G
今天,Solr的使用指北就到这里。对于其搜索原理,可收藏本文后查看: 这么说吧,Lucene很简单,其实就是个框架,用于全文检索用的 。本头条号内有多个专题,如【数据结构】、【netty专题】、【dubbo专题】、【mysql优化专题】、【redis专题】、【高并发专题】等优质好文,适合3-5年(12-18k)经验的程序员阅读,头条大屌们可关注后静下心来查看专题文章。