You are viewing a plain text version of this content. The canonical link for it is here.
Posted to solr-user@lucene.apache.org by Thomas Woodard <gt...@hotmail.com> on 2009/12/02 19:22:25 UTC
no error delta fail with DataImportHandler
I'm trying to get delta indexing set up. My configuration allows a full index no problem, but when I create a test delta of a single record, the delta import finds the record but then does nothing. I can only assume I have something subtly wrong with my configuration, but according to the wiki, my configuration should be valid. What I am trying to do is have a single delta detected on the top level entity trigger a rebuild of everything under that entity, the same as the first example in the wiki. Any help would be greatly appreciated.
<dataConfig>
<dataSource name="prodcat" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:oci:@XXX"
user="XXX" password="XXX" autoCommit="false" transactionIsolation="TRANSACTION_READ_COMMITTED"/>
<document>
<entity name="product" dataSource="prodcat" query="
select dp.product_id, dp.display_name, dp.long_description, gp.orientation
from dcs_product dp, gl_product gp
where dp.product_id = gp.product_id" transformer="ClobTransformer,HTMLStripTransformer"
deltaImportQuery="select dp.product_id, dp.display_name, dp.long_description, gp.orientation
from dcs_product dp, gl_product gp
where dp.product_id = gp.product_id
AND dp.product_id = '${dataimporter.delta.id}'"
deltaQuery="select product_id from gl_product_modified where last_modified > TO_DATE('${dataimporter.last_index_time}', 'yyyy-mm-dd hh:mi:ss')"
rootEntity="false"
pk="PRODUCT_ID">
<!-- COLUMN NAMES ARE CASE SENSITIVE. THEY NEED TO BE ALL CAPS OR EVERYTHING FAILS -->
<field column="PRODUCT_ID" name="product_id"/>
<field column="DISPLAY_NAME" name="name"/>
<field column="LONG_DESCRIPTION" name="long_description" clob="true" stripHTML="true" />
<field column="ORIENTATION" name="orientation"/>
<entity name="sku" dataSource="prodcat" query="select ds.sku_id, ds.sku_type, ds.on_sale, '${product.PRODUCT_ID}' || '_' || ds.sku_id as unique_id
from dcs_prd_chldsku dpc, dcs_sku ds
where dpc.product_id = '${product.PRODUCT_ID}'
and dpc.sku_id = ds.sku_id"
rootEntity="true" pk="PRODUCT_ID, SKU_ID">
<field column="SKU_ID" name="sku_id"/>
<field column="SKU_TYPE" name="sku_type"/>
<field column="ON_SALE" name="on_sale"/>
<field column="UNIQUE_ID" name="unique_id"/>
<entity name="catalog" dataSource="prodcat" query="select pc.catalog_id
from gl_prd_catalog pc, gl_sku_catalog sc
where pc.product_id = '${product.PRODUCT_ID}' and sc.sku_id = '${sku.SKU_ID}' and pc.catalog_id = sc.catalog_id" pk="SKU_ID, CATALOG_ID">
<field column="CATALOG_ID" name="catalogs"/>
</entity>
<entity name="price" dataSource="prodcat" query="select ds.list_price as price
from dcs_sku ds
where ds.sku_id = '${sku.SKU_ID}'
and ds.on_sale = 0
UNION
select ds.sale_price as price
from dcs_sku ds
where ds.sku_id = '${sku.SKU_ID}'
and ds.on_sale = 1"
pk="SKU_ID">
<field column="PRICE" name="price"/>
</entity>
</entity>
<entity name="studio" dataSource="prodcat" query="select gs.name from gl_product_studio gps, gl_studio gs where gps.studio_id = gs.studio_id and gps.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID">
<field column="NAME" name="studio"/>
</entity>
<entity name="star" dataSource="prodcat" query="select gc.name from gl_contributor gc, gl_product_contributor gpc
where gc.contributor_id = gpc.contributor_id and gpc.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, CONTRIBUTOR_ID">
<field column="NAME" name="stars"/>
</entity>
<entity name="director" dataSource="prodcat" query="select gc.name from gl_contributor gc, gl_product_director gpd
where gc.contributor_id = gpd.contributor_id and gpd.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, CONTRIBUTOR_ID">
<field column="NAME" name="directors"/>
</entity>
<entity name="keyword" dataSource="prodcat" query="select dcs_category.display_name as keyword_name
from dcs_cat_chldprd, dcs_category, gl_category
where gl_category.availability = 0
and gl_category.exclude_in_vivisimo = 0
and dcs_category.category_id = gl_category.category_id
and dcs_cat_chldprd.category_id = dcs_category.category_id
and dcs_cat_chldprd.child_prd_id = '${product.PRODUCT_ID}'
union
select display_name as keyword_name
from gl_product_scene ps, gl_scene_tag st, gl_tag tag
where ps.scene_id = st.scene_id
and st.tag_id = tag.tag_id
and tag.type in (0,1)
and ps.product_id = '${product.PRODUCT_ID}'
union
select display_name as keyword_name
from gl_product_scene ps, gl_scene_tag st, gl_tag tag
where ps.scene_id = st.scene_id
and st.tag_id = tag.tag_id
and tag.type = 2
and ps.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, KEYWORD_NAME">
<field column="KEYWORD_NAME" name="keywords"/>
</entity>
</entity>
</document>
</dataConfig>
_________________________________________________________________
Windows Live Hotmail gives you a free,exclusive gift.
http://www.microsoft.com/windows/windowslive/hotmail_bl1/hotmail_bl1.aspx?ocid=PID23879::T:WLMTAGL:ON:WL:en-ww:WM_IMHM_7:092009
Re: no error delta fail with DataImportHandler
Posted by Noble Paul നോബിള് नोब्ळ् <no...@corp.aol.com>.
probably you can try out this
http://wiki.apache.org/solr/DataImportHandlerFaq#fullimportdelta
and it may give you more info on what is happeining
On Thu, Dec 3, 2009 at 10:58 PM, Thomas Woodard <gt...@hotmail.com> wrote:
>
> Unfortunately that isn't it. I have tried id, product_id, and PRODUCT_ID, and they all produce the same result. It finds the modified item, but then does nothing.
>
> INFO: Running ModifiedRowKey() for Entity: product
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.JdbcDataSource$1 call
> INFO: Creating a connection for entity product with URL: jdbc:oracle:oci:@dev.eline.com
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.JdbcDataSource$1 call
> INFO: Time taken for getConnection(): 283
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder collectDelta
> INFO: Completed ModifiedRowKey for Entity: product rows obtained : 1
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder collectDelta
> INFO: Completed DeletedRowKey for Entity: product rows obtained : 0
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder collectDelta
> INFO: Completed parentDeltaQuery for Entity: product
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder doDelta
> INFO: Delta Import completed successfully
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder execute
> INFO: Time taken = 0:0:0.404
>
>
>> From: noble.paul@corp.aol.com
>> Date: Thu, 3 Dec 2009 12:50:15 +0530
>> Subject: Re: no error delta fail with DataImportHandler
>> To: solr-user@lucene.apache.org
>>
>> the deltaQuery select 'product_id' and your deltaImportQuery uses
>> ${dataimporter.delta.id}
>> I guess it should have been ${dataimporter.delta. product_id}
>>
>> On Wed, Dec 2, 2009 at 11:52 PM, Thomas Woodard <gt...@hotmail.com> wrote:
>> >
>> > I'm trying to get delta indexing set up. My configuration allows a full index no problem, but when I create a test delta of a single record, the delta import finds the record but then does nothing. I can only assume I have something subtly wrong with my configuration, but according to the wiki, my configuration should be valid. What I am trying to do is have a single delta detected on the top level entity trigger a rebuild of everything under that entity, the same as the first example in the wiki. Any help would be greatly appreciated.
>> >
>> > <dataConfig>
>> > á á<dataSource name="prodcat" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:oci:@XXX"
>> > á áuser="XXX" password="XXX" autoCommit="false" transactionIsolation="TRANSACTION_READ_COMMITTED"/>
>> >
>> > á á<document>
>> > á á á á<entity name="product" dataSource="prodcat" query="
>> > á á á áselect dp.product_id, dp.display_name, dp.long_description, gp.orientation
>> > á á á áfrom dcs_product dp, gl_product gp
>> > á á á áwhere dp.product_id = gp.product_id" transformer="ClobTransformer,HTMLStripTransformer"
>> > á á á ádeltaImportQuery="select dp.product_id, dp.display_name, dp.long_description, gp.orientation
>> > á á á áfrom dcs_product dp, gl_product gp
>> > á á á áwhere dp.product_id = gp.product_id
>> > á á á áAND dp.product_id = '${dataimporter.delta.id}'"
>> > á á á ádeltaQuery="select product_id from gl_product_modified where last_modified > TO_DATE('${dataimporter.last_index_time}', 'yyyy-mm-dd hh:mi:ss')"
>> > á á á árootEntity="false"
>> > á á á ápk="PRODUCT_ID">
>> > á á á á á á<!-- COLUMN NAMES ARE CASE SENSITIVE. THEY NEED TO BE ALL CAPS OR EVERYTHING FAILS -->
>> > á á á á á á<field column="PRODUCT_ID" name="product_id"/>
>> > á á á á á á<field column="DISPLAY_NAME" name="name"/>
>> > á á á á á á<field column="LONG_DESCRIPTION" name="long_description" clob="true" stripHTML="true" />
>> > á á á á á á<field column="ORIENTATION" name="orientation"/>
>> >
>> > á á á á á á<entity name="sku" dataSource="prodcat" query="select ds.sku_id, ds.sku_type, ds.on_sale, '${product.PRODUCT_ID}' || '_' || ds.sku_id as unique_id
>> > á á á áfrom dcs_prd_chldsku dpc, dcs_sku ds
>> > á á á áwhere dpc.product_id = '${product.PRODUCT_ID}'
>> > á á á áand dpc.sku_id = ds.sku_id"
>> > á á á árootEntity="true" pk="PRODUCT_ID, SKU_ID">
>> > á á á á á á á á<field column="SKU_ID" name="sku_id"/>
>> > á á á á á á á á<field column="SKU_TYPE" name="sku_type"/>
>> > á á á á á á á á<field column="ON_SALE" name="on_sale"/>
>> > á á á á á á á á<field column="UNIQUE_ID" name="unique_id"/>
>> >
>> > á á á á á á á á<entity name="catalog" dataSource="prodcat" query="select pc.catalog_id
>> > á á á á á á á á á á á á á áfrom gl_prd_catalog pc, gl_sku_catalog sc
>> > á á á á á á á á á á á á á áwhere pc.product_id = '${product.PRODUCT_ID}' and sc.sku_id = '${sku.SKU_ID}' and pc.catalog_id = sc.catalog_id" pk="SKU_ID, CATALOG_ID">
>> > á á á á á á á á á á á á<field column="CATALOG_ID" name="catalogs"/>
>> > á á á á á á á á</entity>
>> >
>> > á á á á á á á á<entity name="price" dataSource="prodcat" query="select ds.list_price as price
>> > á á á á á á á á á á á á á áfrom dcs_sku ds
>> > á á á á á á á á á á á á á áwhere ds.sku_id = '${sku.SKU_ID}'
>> > á á á á á á á á á á á á á áand ds.on_sale = 0
>> > á á á á á á á á á á á á á áUNION
>> > á á á á á á á á á á á á á áselect ds.sale_price as price
>> > á á á á á á á á á á á á á áfrom dcs_sku ds
>> > á á á á á á á á á á á á á áwhere ds.sku_id = '${sku.SKU_ID}'
>> > á á á á á á á á á á á á á áand ds.on_sale = 1"
>> > á á á á á á á á á á á á á ápk="SKU_ID">
>> > á á á á á á á á á á á á<field column="PRICE" name="price"/>
>> > á á á á á á á á</entity>
>> > á á á á á á</entity>
>> >
>> > á á á á á á<entity name="studio" dataSource="prodcat" query="select gs.name from gl_product_studio gps, gl_studio gs where gps.studio_id = gs.studio_id and gps.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID">
>> > á á á á á á á á<field column="NAME" name="studio"/>
>> > á á á á á á</entity>
>> >
>> > á á á á á á<entity name="star" dataSource="prodcat" query="select gc.name from gl_contributor gc, gl_product_contributor gpc
>> > á á á á á á á áwhere gc.contributor_id = gpc.contributor_id and gpc.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, CONTRIBUTOR_ID">
>> > á á á á á á á á<field column="NAME" name="stars"/>
>> > á á á á á á</entity>
>> >
>> > á á á á á á<entity name="director" dataSource="prodcat" query="select gc.name from gl_contributor gc, gl_product_director gpd
>> > á á á á á á á áwhere gc.contributor_id = gpd.contributor_id and gpd.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, CONTRIBUTOR_ID">
>> > á á á á á á á á<field column="NAME" name="directors"/>
>> > á á á á á á</entity>
>> >
>> > á á á á á á<entity name="keyword" dataSource="prodcat" query="select dcs_category.display_name as keyword_name
>> > á á á á á á á á á á á áfrom dcs_cat_chldprd, dcs_category, gl_category
>> > á á á á á á á á á á á áwhere gl_category.availability = 0
>> > á á á á á á á á á á á áand gl_category.exclude_in_vivisimo = 0
>> > á á á á á á á á á á á áand dcs_category.category_id = gl_category.category_id
>> > á á á á á á á á á á á á á áand dcs_cat_chldprd.category_id = dcs_category.category_id
>> > á á á á á á á á á á á á á áand dcs_cat_chldprd.child_prd_id = '${product.PRODUCT_ID}'
>> > á á á á á á á á á áunion
>> > á á á á á á á á á áselect display_name as keyword_name
>> > á á á á á á á á á á á áfrom gl_product_scene ps, gl_scene_tag st, gl_tag tag
>> > á á á á á á á á á á á áwhere ps.scene_id = st.scene_id
>> > á á á á á á á á á á á á á áand st.tag_id = tag.tag_id
>> > á á á á á á á á á á á á á áand tag.type in (0,1)
>> > á á á á á á á á á á á á á áand ps.product_id = '${product.PRODUCT_ID}'
>> > á á á á á á á á á áunion
>> > á á á á á á á á á áselect display_name as keyword_name
>> > á á á á á á á á á á á áfrom gl_product_scene ps, gl_scene_tag st, gl_tag tag
>> > á á á á á á á á á á á áwhere ps.scene_id = st.scene_id
>> > á á á á á á á á á á á á á áand st.tag_id = tag.tag_id
>> > á á á á á á á á á á á á á áand tag.type = 2
>> > á á á á á á á á á á á á á áand ps.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, KEYWORD_NAME">
>> > á á á á á á á á<field column="KEYWORD_NAME" name="keywords"/>
>> > á á á á á á</entity>
>> > á á á á</entity>
>> > á á</document>
>> > </dataConfig>
>> >
>> >
>> > _________________________________________________________________
>> > Windows Live Hotmail gives you a free,exclusive ágift.
>> > http://www.microsoft.com/windows/windowslive/hotmail_bl1/hotmail_bl1.aspx?ocid=PID23879::T:WLMTAGL:ON:WL:en-ww:WM_IMHM_7:092009
>>
>>
>>
>> --
>> -----------------------------------------------------
>> Noble Paul | Principal Engineer| AOL | http://aol.com
>
> _________________________________________________________________
> Windows 7: Unclutter your desktop. Learn more.
> http://www.microsoft.com/windows/windows-7/videos-tours.aspx?h=7sec&slideid=1&media=aero-shake-7second&listid=1&stop=1&ocid=PID24727::T:WLMTAGL:ON:WL:en-US:WWL_WIN_7secdemo:122009
--
-----------------------------------------------------
Noble Paul | Principal Engineer| AOL | http://aol.com
RE: no error delta fail with DataImportHandler
Posted by Thomas Woodard <gt...@hotmail.com>.
Unfortunately that isn't it. I have tried id, product_id, and PRODUCT_ID, and they all produce the same result. It finds the modified item, but then does nothing.
INFO: Running ModifiedRowKey() for Entity: product
Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.JdbcDataSource$1 call
INFO: Creating a connection for entity product with URL: jdbc:oracle:oci:@dev.eline.com
Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.JdbcDataSource$1 call
INFO: Time taken for getConnection(): 283
Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder collectDelta
INFO: Completed ModifiedRowKey for Entity: product rows obtained : 1
Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder collectDelta
INFO: Completed DeletedRowKey for Entity: product rows obtained : 0
Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder collectDelta
INFO: Completed parentDeltaQuery for Entity: product
Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder doDelta
INFO: Delta Import completed successfully
Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder execute
INFO: Time taken = 0:0:0.404
> From: noble.paul@corp.aol.com
> Date: Thu, 3 Dec 2009 12:50:15 +0530
> Subject: Re: no error delta fail with DataImportHandler
> To: solr-user@lucene.apache.org
>
> the deltaQuery select 'product_id' and your deltaImportQuery uses
> ${dataimporter.delta.id}
> I guess it should have been ${dataimporter.delta. product_id}
>
> On Wed, Dec 2, 2009 at 11:52 PM, Thomas Woodard <gt...@hotmail.com> wrote:
> >
> > I'm trying to get delta indexing set up. My configuration allows a full index no problem, but when I create a test delta of a single record, the delta import finds the record but then does nothing. I can only assume I have something subtly wrong with my configuration, but according to the wiki, my configuration should be valid. What I am trying to do is have a single delta detected on the top level entity trigger a rebuild of everything under that entity, the same as the first example in the wiki. Any help would be greatly appreciated.
> >
> > <dataConfig>
> > á á<dataSource name="prodcat" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:oci:@XXX"
> > á áuser="XXX" password="XXX" autoCommit="false" transactionIsolation="TRANSACTION_READ_COMMITTED"/>
> >
> > á á<document>
> > á á á á<entity name="product" dataSource="prodcat" query="
> > á á á áselect dp.product_id, dp.display_name, dp.long_description, gp.orientation
> > á á á áfrom dcs_product dp, gl_product gp
> > á á á áwhere dp.product_id = gp.product_id" transformer="ClobTransformer,HTMLStripTransformer"
> > á á á ádeltaImportQuery="select dp.product_id, dp.display_name, dp.long_description, gp.orientation
> > á á á áfrom dcs_product dp, gl_product gp
> > á á á áwhere dp.product_id = gp.product_id
> > á á á áAND dp.product_id = '${dataimporter.delta.id}'"
> > á á á ádeltaQuery="select product_id from gl_product_modified where last_modified > TO_DATE('${dataimporter.last_index_time}', 'yyyy-mm-dd hh:mi:ss')"
> > á á á árootEntity="false"
> > á á á ápk="PRODUCT_ID">
> > á á á á á á<!-- COLUMN NAMES ARE CASE SENSITIVE. THEY NEED TO BE ALL CAPS OR EVERYTHING FAILS -->
> > á á á á á á<field column="PRODUCT_ID" name="product_id"/>
> > á á á á á á<field column="DISPLAY_NAME" name="name"/>
> > á á á á á á<field column="LONG_DESCRIPTION" name="long_description" clob="true" stripHTML="true" />
> > á á á á á á<field column="ORIENTATION" name="orientation"/>
> >
> > á á á á á á<entity name="sku" dataSource="prodcat" query="select ds.sku_id, ds.sku_type, ds.on_sale, '${product.PRODUCT_ID}' || '_' || ds.sku_id as unique_id
> > á á á áfrom dcs_prd_chldsku dpc, dcs_sku ds
> > á á á áwhere dpc.product_id = '${product.PRODUCT_ID}'
> > á á á áand dpc.sku_id = ds.sku_id"
> > á á á árootEntity="true" pk="PRODUCT_ID, SKU_ID">
> > á á á á á á á á<field column="SKU_ID" name="sku_id"/>
> > á á á á á á á á<field column="SKU_TYPE" name="sku_type"/>
> > á á á á á á á á<field column="ON_SALE" name="on_sale"/>
> > á á á á á á á á<field column="UNIQUE_ID" name="unique_id"/>
> >
> > á á á á á á á á<entity name="catalog" dataSource="prodcat" query="select pc.catalog_id
> > á á á á á á á á á á á á á áfrom gl_prd_catalog pc, gl_sku_catalog sc
> > á á á á á á á á á á á á á áwhere pc.product_id = '${product.PRODUCT_ID}' and sc.sku_id = '${sku.SKU_ID}' and pc.catalog_id = sc.catalog_id" pk="SKU_ID, CATALOG_ID">
> > á á á á á á á á á á á á<field column="CATALOG_ID" name="catalogs"/>
> > á á á á á á á á</entity>
> >
> > á á á á á á á á<entity name="price" dataSource="prodcat" query="select ds.list_price as price
> > á á á á á á á á á á á á á áfrom dcs_sku ds
> > á á á á á á á á á á á á á áwhere ds.sku_id = '${sku.SKU_ID}'
> > á á á á á á á á á á á á á áand ds.on_sale = 0
> > á á á á á á á á á á á á á áUNION
> > á á á á á á á á á á á á á áselect ds.sale_price as price
> > á á á á á á á á á á á á á áfrom dcs_sku ds
> > á á á á á á á á á á á á á áwhere ds.sku_id = '${sku.SKU_ID}'
> > á á á á á á á á á á á á á áand ds.on_sale = 1"
> > á á á á á á á á á á á á á ápk="SKU_ID">
> > á á á á á á á á á á á á<field column="PRICE" name="price"/>
> > á á á á á á á á</entity>
> > á á á á á á</entity>
> >
> > á á á á á á<entity name="studio" dataSource="prodcat" query="select gs.name from gl_product_studio gps, gl_studio gs where gps.studio_id = gs.studio_id and gps.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID">
> > á á á á á á á á<field column="NAME" name="studio"/>
> > á á á á á á</entity>
> >
> > á á á á á á<entity name="star" dataSource="prodcat" query="select gc.name from gl_contributor gc, gl_product_contributor gpc
> > á á á á á á á áwhere gc.contributor_id = gpc.contributor_id and gpc.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, CONTRIBUTOR_ID">
> > á á á á á á á á<field column="NAME" name="stars"/>
> > á á á á á á</entity>
> >
> > á á á á á á<entity name="director" dataSource="prodcat" query="select gc.name from gl_contributor gc, gl_product_director gpd
> > á á á á á á á áwhere gc.contributor_id = gpd.contributor_id and gpd.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, CONTRIBUTOR_ID">
> > á á á á á á á á<field column="NAME" name="directors"/>
> > á á á á á á</entity>
> >
> > á á á á á á<entity name="keyword" dataSource="prodcat" query="select dcs_category.display_name as keyword_name
> > á á á á á á á á á á á áfrom dcs_cat_chldprd, dcs_category, gl_category
> > á á á á á á á á á á á áwhere gl_category.availability = 0
> > á á á á á á á á á á á áand gl_category.exclude_in_vivisimo = 0
> > á á á á á á á á á á á áand dcs_category.category_id = gl_category.category_id
> > á á á á á á á á á á á á á áand dcs_cat_chldprd.category_id = dcs_category.category_id
> > á á á á á á á á á á á á á áand dcs_cat_chldprd.child_prd_id = '${product.PRODUCT_ID}'
> > á á á á á á á á á áunion
> > á á á á á á á á á áselect display_name as keyword_name
> > á á á á á á á á á á á áfrom gl_product_scene ps, gl_scene_tag st, gl_tag tag
> > á á á á á á á á á á á áwhere ps.scene_id = st.scene_id
> > á á á á á á á á á á á á á áand st.tag_id = tag.tag_id
> > á á á á á á á á á á á á á áand tag.type in (0,1)
> > á á á á á á á á á á á á á áand ps.product_id = '${product.PRODUCT_ID}'
> > á á á á á á á á á áunion
> > á á á á á á á á á áselect display_name as keyword_name
> > á á á á á á á á á á á áfrom gl_product_scene ps, gl_scene_tag st, gl_tag tag
> > á á á á á á á á á á á áwhere ps.scene_id = st.scene_id
> > á á á á á á á á á á á á á áand st.tag_id = tag.tag_id
> > á á á á á á á á á á á á á áand tag.type = 2
> > á á á á á á á á á á á á á áand ps.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, KEYWORD_NAME">
> > á á á á á á á á<field column="KEYWORD_NAME" name="keywords"/>
> > á á á á á á</entity>
> > á á á á</entity>
> > á á</document>
> > </dataConfig>
> >
> >
> > _________________________________________________________________
> > Windows Live Hotmail gives you a free,exclusive ágift.
> > http://www.microsoft.com/windows/windowslive/hotmail_bl1/hotmail_bl1.aspx?ocid=PID23879::T:WLMTAGL:ON:WL:en-ww:WM_IMHM_7:092009
>
>
>
> --
> -----------------------------------------------------
> Noble Paul | Principal Engineer| AOL | http://aol.com
_________________________________________________________________
Windows 7: Unclutter your desktop. Learn more.
http://www.microsoft.com/windows/windows-7/videos-tours.aspx?h=7sec&slideid=1&media=aero-shake-7second&listid=1&stop=1&ocid=PID24727::T:WLMTAGL:ON:WL:en-US:WWL_WIN_7secdemo:122009
Re: no error delta fail with DataImportHandler
Posted by Noble Paul നോബിള് नोब्ळ् <no...@corp.aol.com>.
the deltaQuery select 'product_id' and your deltaImportQuery uses
${dataimporter.delta.id}
I guess it should have been ${dataimporter.delta. product_id}
On Wed, Dec 2, 2009 at 11:52 PM, Thomas Woodard <gt...@hotmail.com> wrote:
>
> I'm trying to get delta indexing set up. My configuration allows a full index no problem, but when I create a test delta of a single record, the delta import finds the record but then does nothing. I can only assume I have something subtly wrong with my configuration, but according to the wiki, my configuration should be valid. What I am trying to do is have a single delta detected on the top level entity trigger a rebuild of everything under that entity, the same as the first example in the wiki. Any help would be greatly appreciated.
>
> <dataConfig>
> <dataSource name="prodcat" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:oci:@XXX"
> user="XXX" password="XXX" autoCommit="false" transactionIsolation="TRANSACTION_READ_COMMITTED"/>
>
> <document>
> <entity name="product" dataSource="prodcat" query="
> select dp.product_id, dp.display_name, dp.long_description, gp.orientation
> from dcs_product dp, gl_product gp
> where dp.product_id = gp.product_id" transformer="ClobTransformer,HTMLStripTransformer"
> deltaImportQuery="select dp.product_id, dp.display_name, dp.long_description, gp.orientation
> from dcs_product dp, gl_product gp
> where dp.product_id = gp.product_id
> AND dp.product_id = '${dataimporter.delta.id}'"
> deltaQuery="select product_id from gl_product_modified where last_modified > TO_DATE('${dataimporter.last_index_time}', 'yyyy-mm-dd hh:mi:ss')"
> rootEntity="false"
> pk="PRODUCT_ID">
> <!-- COLUMN NAMES ARE CASE SENSITIVE. THEY NEED TO BE ALL CAPS OR EVERYTHING FAILS -->
> <field column="PRODUCT_ID" name="product_id"/>
> <field column="DISPLAY_NAME" name="name"/>
> <field column="LONG_DESCRIPTION" name="long_description" clob="true" stripHTML="true" />
> <field column="ORIENTATION" name="orientation"/>
>
> <entity name="sku" dataSource="prodcat" query="select ds.sku_id, ds.sku_type, ds.on_sale, '${product.PRODUCT_ID}' || '_' || ds.sku_id as unique_id
> from dcs_prd_chldsku dpc, dcs_sku ds
> where dpc.product_id = '${product.PRODUCT_ID}'
> and dpc.sku_id = ds.sku_id"
> rootEntity="true" pk="PRODUCT_ID, SKU_ID">
> <field column="SKU_ID" name="sku_id"/>
> <field column="SKU_TYPE" name="sku_type"/>
> <field column="ON_SALE" name="on_sale"/>
> <field column="UNIQUE_ID" name="unique_id"/>
>
> <entity name="catalog" dataSource="prodcat" query="select pc.catalog_id
> from gl_prd_catalog pc, gl_sku_catalog sc
> where pc.product_id = '${product.PRODUCT_ID}' and sc.sku_id = '${sku.SKU_ID}' and pc.catalog_id = sc.catalog_id" pk="SKU_ID, CATALOG_ID">
> <field column="CATALOG_ID" name="catalogs"/>
> </entity>
>
> <entity name="price" dataSource="prodcat" query="select ds.list_price as price
> from dcs_sku ds
> where ds.sku_id = '${sku.SKU_ID}'
> and ds.on_sale = 0
> UNION
> select ds.sale_price as price
> from dcs_sku ds
> where ds.sku_id = '${sku.SKU_ID}'
> and ds.on_sale = 1"
> pk="SKU_ID">
> <field column="PRICE" name="price"/>
> </entity>
> </entity>
>
> <entity name="studio" dataSource="prodcat" query="select gs.name from gl_product_studio gps, gl_studio gs where gps.studio_id = gs.studio_id and gps.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID">
> <field column="NAME" name="studio"/>
> </entity>
>
> <entity name="star" dataSource="prodcat" query="select gc.name from gl_contributor gc, gl_product_contributor gpc
> where gc.contributor_id = gpc.contributor_id and gpc.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, CONTRIBUTOR_ID">
> <field column="NAME" name="stars"/>
> </entity>
>
> <entity name="director" dataSource="prodcat" query="select gc.name from gl_contributor gc, gl_product_director gpd
> where gc.contributor_id = gpd.contributor_id and gpd.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, CONTRIBUTOR_ID">
> <field column="NAME" name="directors"/>
> </entity>
>
> <entity name="keyword" dataSource="prodcat" query="select dcs_category.display_name as keyword_name
> from dcs_cat_chldprd, dcs_category, gl_category
> where gl_category.availability = 0
> and gl_category.exclude_in_vivisimo = 0
> and dcs_category.category_id = gl_category.category_id
> and dcs_cat_chldprd.category_id = dcs_category.category_id
> and dcs_cat_chldprd.child_prd_id = '${product.PRODUCT_ID}'
> union
> select display_name as keyword_name
> from gl_product_scene ps, gl_scene_tag st, gl_tag tag
> where ps.scene_id = st.scene_id
> and st.tag_id = tag.tag_id
> and tag.type in (0,1)
> and ps.product_id = '${product.PRODUCT_ID}'
> union
> select display_name as keyword_name
> from gl_product_scene ps, gl_scene_tag st, gl_tag tag
> where ps.scene_id = st.scene_id
> and st.tag_id = tag.tag_id
> and tag.type = 2
> and ps.product_id = '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, KEYWORD_NAME">
> <field column="KEYWORD_NAME" name="keywords"/>
> </entity>
> </entity>
> </document>
> </dataConfig>
>
>
> _________________________________________________________________
> Windows Live Hotmail gives you a free,exclusive gift.
> http://www.microsoft.com/windows/windowslive/hotmail_bl1/hotmail_bl1.aspx?ocid=PID23879::T:WLMTAGL:ON:WL:en-ww:WM_IMHM_7:092009
--
-----------------------------------------------------
Noble Paul | Principal Engineer| AOL | http://aol.com