Part 2: Queries
We have a few different set of queries that are run:
- Delta Query
- Image Delta Query
- Full or "Master List" Query
The Delta query does the bulk of the work. It looks like this in rope:
(MatrixModifiedDT=<time>+)
The <time> value is changed depending on the inputs, this is a quick example for a currently running board:
(MatrixModifiedDT=2021-09-16T19:03:55Z+)
This query is saying 'give me all data for listings newer than 2021-09-16T19:03:55Z+.
To start, we will send a query using their Modification Timestamp field asking for Listing Keys. This is an example:
Class=RESI&Count=1&Format=COMPACT&Query=(MatrixModifiedDT%3d2021-09-15T19:39:53Z%2b)&QueryType=DMQL2&SearchType=Property&Select=Matrix_Unique_ID&StandardNames=0
This query will return data that is a list of IDs.
Then we will send a query asking for the data from the Listing Keys. This is an example:
Class=RESI&Count=1&Format=COMPACT-DECODED&Query=(Matrix_Unique_ID%3d15800366)|(Matrix_Unique_ID%3d16030011)|(Matrix_Unique_ID%3d14845007)|(Matrix_Unique_ID%3d16149301)|(Matrix_Unique_ID%3d16159610)|(Matrix_Unique_ID%3d15625860)|(Matrix_Unique_ID%3d16064265)|(Matrix_Unique_ID%3d16086366)|(Matrix_Unique_ID%3d15625961)|(Matrix_Unique_ID%3d16158846)|(Matrix_Unique_ID%3d16146604)|(Matrix_Unique_ID%3d16146457)|(Matrix_Unique_ID%3d16109258)|(Matrix_Unique_ID%3d15634368)|(Matrix_Unique_ID%3d15635291)|(Matrix_Unique_ID%3d16090905)|(Matrix_Unique_ID%3d16155902)|(Matrix_Unique_ID%3d16144290)|(Matrix_Unique_ID%3d15792058)|(Matrix_Unique_ID%3d15617142)|(Matrix_Unique_ID%3d16101743)|(Matrix_Unique_ID%3d16025336)|(Matrix_Unique_ID%3d15522649)|(Matrix_Unique_ID%3d16026423)|(Matrix_Unique_ID%3d16160484)|(Matrix_Unique_ID%3d16163679)|(Matrix_Unique_ID%3d15717269)|(Matrix_Unique_ID%3d15635893)|(Matrix_Unique_ID%3d16044327)|(Matrix_Unique_ID%3d15648190)|(Matrix_Unique_ID%3d16156254)|(Matrix_Unique_ID%3d16107815)|(Matrix_Unique_ID%3d16165379)|(Matrix_Unique_ID%3d15997220)|(Matrix_Unique_ID%3d16163312)|(Matrix_Unique_ID%3d16153831)|(Matrix_Unique_ID%3d16162720)|(Matrix_Unique_ID%3d16156096)|(Matrix_Unique_ID%3d15642660)|(Matrix_Unique_ID%3d15635348)|(Matrix_Unique_ID%3d16143712)|(Matrix_Unique_ID%3d15634533)|(Matrix_Unique_ID%3d15625190)|(Matrix_Unique_ID%3d15634670)|(Matrix_Unique_ID%3d16121678)|(Matrix_Unique_ID%3d16129582)|(Matrix_Unique_ID%3d15631359)|(Matrix_Unique_ID%3d16057012)|(Matrix_Unique_ID%3d16043967)|(Matrix_Unique_ID%3d15981477)|(Matrix_Unique_ID%3d16156500)|(Matrix_Unique_ID%3d15997019)|(Matrix_Unique_ID%3d16068964)|(Matrix_Unique_ID%3d16123880)|(Matrix_Unique_ID%3d16116230)|(Matrix_Unique_ID%3d16127049)|(Matrix_Unique_ID%3d16079672)|(Matrix_Unique_ID%3d15418837)|(Matrix_Unique_ID%3d16143846)|(Matrix_Unique_ID%3d16165296)|(Matrix_Unique_ID%3d15631570)|(Matrix_Unique_ID%3d15691650)|(Matrix_Unique_ID%3d15635928)|(Matrix_Unique_ID%3d16151257)|(Matrix_Unique_ID%3d15628568)|(Matrix_Unique_ID%3d15715388)|(Matrix_Unique_ID%3d16165382)|(Matrix_Unique_ID%3d15970653)|(Matrix_Unique_ID%3d16064538)|(Matrix_Unique_ID%3d15821344)|(Matrix_Unique_ID%3d16073058)|(Matrix_Unique_ID%3d15600605)|(Matrix_Unique_ID%3d16097711)|(Matrix_Unique_ID%3d16129265)|(Matrix_Unique_ID%3d16047788)|(Matrix_Unique_ID%3d15575218)|(Matrix_Unique_ID%3d15631703)|(Matrix_Unique_ID%3d15624736)|(Matrix_Unique_ID%3d15627128)|(Matrix_Unique_ID%3d16152107)|(Matrix_Unique_ID%3d15612122)|(Matrix_Unique_ID%3d15619936)|(Matrix_Unique_ID%3d15635731)|(Matrix_Unique_ID%3d16073255)|(Matrix_Unique_ID%3d16132941)|(Matrix_Unique_ID%3d16069280)|(Matrix_Unique_ID%3d16037487)|(Matrix_Unique_ID%3d15778752)|(Matrix_Unique_ID%3d16132146)|(Matrix_Unique_ID%3d15633227)|(Matrix_Unique_ID%3d15633923)|(Matrix_Unique_ID%3d16163931)|(Matrix_Unique_ID%3d15562465)|(Matrix_Unique_ID%3d15635858)|(Matrix_Unique_ID%3d16116181)|(Matrix_Unique_ID%3d16165772)|(Matrix_Unique_ID%3d16146311)|(Matrix_Unique_ID%3d15714913)|(Matrix_Unique_ID%3d15530558)|(Matrix_Unique_ID%3d15715434)|(Matrix_Unique_ID%3d15407313)|(Matrix_Unique_ID%3d15522012)|(Matrix_Unique_ID%3d16025945)|(Matrix_Unique_ID%3d15526688)|(Matrix_Unique_ID%3d15600537)|(Matrix_Unique_ID%3d16127115)|(Matrix_Unique_ID%3d15958430)|(Matrix_Unique_ID%3d16101911)|(Matrix_Unique_ID%3d15627187)|(Matrix_Unique_ID%3d15648467)|(Matrix_Unique_ID%3d16163762)|(Matrix_Unique_ID%3d16037301)|(Matrix_Unique_ID%3d16068603)|(Matrix_Unique_ID%3d16116318)|(Matrix_Unique_ID%3d16154444)|(Matrix_Unique_ID%3d16033155)|(Matrix_Unique_ID%3d15630610)|(Matrix_Unique_ID%3d16163895)|(Matrix_Unique_ID%3d15672600)|(Matrix_Unique_ID%3d16146806)|(Matrix_Unique_ID%3d16127422)|(Matrix_Unique_ID%3d16146594)|(Matrix_Unique_ID%3d15634881)|(Matrix_Unique_ID%3d16152401)|(Matrix_Unique_ID%3d16165474)|(Matrix_Unique_ID%3d16162423)|(Matrix_Unique_ID%3d15737685)|(Matrix_Unique_ID%3d15663790)|(Matrix_Unique_ID%3d16098842)|(Matrix_Unique_ID%3d16103817)|(Matrix_Unique_ID%3d16089272)|(Matrix_Unique_ID%3d16153273)|(Matrix_Unique_ID%3d16126838)|(Matrix_Unique_ID%3d16084591)|(Matrix_Unique_ID%3d16129312)|(Matrix_Unique_ID%3d16080086)|(Matrix_Unique_ID%3d16152328)|(Matrix_Unique_ID%3d15935678)|(Matrix_Unique_ID%3d16165848)|(Matrix_Unique_ID%3d15941623)|(Matrix_Unique_ID%3d15980205)|(Matrix_Unique_ID%3d16160555)|(Matrix_Unique_ID%3d16165728)|(Matrix_Unique_ID%3d16091405)|(Matrix_Unique_ID%3d16159552)|(Matrix_Unique_ID%3d15614365)|(Matrix_Unique_ID%3d15626077)|(Matrix_Unique_ID%3d15879262)|(Matrix_Unique_ID%3d16001709)|(Matrix_Unique_ID%3d16056052)|(Matrix_Unique_ID%3d15723420)|(Matrix_Unique_ID%3d16094202)|(Matrix_Unique_ID%3d16166258)|(Matrix_Unique_ID%3d16078445)|(Matrix_Unique_ID%3d16124701)|(Matrix_Unique_ID%3d16120059)|(Matrix_Unique_ID%3d15494266)|(Matrix_Unique_ID%3d16149582)|(Matrix_Unique_ID%3d16146036)|(Matrix_Unique_ID%3d16156451)|(Matrix_Unique_ID%3d16149850)|(Matrix_Unique_ID%3d16025314)|(Matrix_Unique_ID%3d15997137)|(Matrix_Unique_ID%3d16040976)|(Matrix_Unique_ID%3d16092551)|(Matrix_Unique_ID%3d16094738)|(Matrix_Unique_ID%3d15622034)|(Matrix_Unique_ID%3d15633106)|(Matrix_Unique_ID%3d16097699)|(Matrix_Unique_ID%3d16161558)|(Matrix_Unique_ID%3d16096273)|(Matrix_Unique_ID%3d15623165)|(Matrix_Unique_ID%3d15601455)|(Matrix_Unique_ID%3d16146967)|(Matrix_Unique_ID%3d15627996)|(Matrix_Unique_ID%3d16086813)|(Matrix_Unique_ID%3d16089998)|(Matrix_Unique_ID%3d16144267)|(Matrix_Unique_ID%3d16166626)|(Matrix_Unique_ID%3d16068927)|(Matrix_Unique_ID%3d15616704)|(Matrix_Unique_ID%3d16083329)|(Matrix_Unique_ID%3d16124796)|(Matrix_Unique_ID%3d15585010)|(Matrix_Unique_ID%3d15584691)|(Matrix_Unique_ID%3d15628790)|(Matrix_Unique_ID%3d16152108)|(Matrix_Unique_ID%3d16023436)|(Matrix_Unique_ID%3d16151620)|(Matrix_Unique_ID%3d16166331)|(Matrix_Unique_ID%3d16163159)|(Matrix_Unique_ID%3d16113543)|(Matrix_Unique_ID%3d16166876)|(Matrix_Unique_ID%3d16165150)|(Matrix_Unique_ID%3d16167166)|(Matrix_Unique_ID%3d15614051)|(Matrix_Unique_ID%3d16165851)|(Matrix_Unique_ID%3d15635316)|(Matrix_Unique_ID%3d16157261)|(Matrix_Unique_ID%3d16111405)|(Matrix_Unique_ID%3d16050888)|(Matrix_Unique_ID%3d16166063)|(Matrix_Unique_ID%3d16131812)|(Matrix_Unique_ID%3d15970145)|(Matrix_Unique_ID%3d16143616)|(Matrix_Unique_ID%3d15636076)|(Matrix_Unique_ID%3d16099244)|(Matrix_Unique_ID%3d16161370)|(Matrix_Unique_ID%3d16155622)|(Matrix_Unique_ID%3d15618601)|(Matrix_Unique_ID%3d15766076)|(Matrix_Unique_ID%3d16160159)|(Matrix_Unique_ID%3d15572347)|(Matrix_Unique_ID%3d15548701)|(Matrix_Unique_ID%3d15635454)|(Matrix_Unique_ID%3d16101141)|(Matrix_Unique_ID%3d16073353)|(Matrix_Unique_ID%3d16125512)|(Matrix_Unique_ID%3d16144453)|(Matrix_Unique_ID%3d16165811)|(Matrix_Unique_ID%3d15553220)|(Matrix_Unique_ID%3d16154860)|(Matrix_Unique_ID%3d16157849)|(Matrix_Unique_ID%3d16154658)|(Matrix_Unique_ID%3d16158540)|(Matrix_Unique_ID%3d15627765)|(Matrix_Unique_ID%3d16038823)|(Matrix_Unique_ID%3d15635317)|(Matrix_Unique_ID%3d16007188)|(Matrix_Unique_ID%3d16154214)|(Matrix_Unique_ID%3d16089928)|(Matrix_Unique_ID%3d15633943)|(Matrix_Unique_ID%3d16101142)|(Matrix_Unique_ID%3d16145265)|(Matrix_Unique_ID%3d16161856)|(Matrix_Unique_ID%3d15610546)|(Matrix_Unique_ID%3d16132783)|(Matrix_Unique_ID%3d15614823)|(Matrix_Unique_ID%3d16149579)|(Matrix_Unique_ID%3d16108354)|(Matrix_Unique_ID%3d16038057)|(Matrix_Unique_ID%3d15655063)|(Matrix_Unique_ID%3d15628606)|(Matrix_Unique_ID%3d15632578)|(Matrix_Unique_ID%3d16039312)|(Matrix_Unique_ID%3d16166437)|(Matrix_Unique_ID%3d15572705)|(Matrix_Unique_ID%3d16147535)|(Matrix_Unique_ID%3d16102570)|(Matrix_Unique_ID%3d16157813)|(Matrix_Unique_ID%3d16159617)|(Matrix_Unique_ID%3d16122648)|(Matrix_Unique_ID%3d15633248)|(Matrix_Unique_ID%3d16156903)|(Matrix_Unique_ID%3d15632849)|(Matrix_Unique_ID%3d16110820)|(Matrix_Unique_ID%3d16150955)|(Matrix_Unique_ID%3d15634506)|(Matrix_Unique_ID%3d16167130)|(Matrix_Unique_ID%3d15543040)|(Matrix_Unique_ID%3d16104358)|(Matrix_Unique_ID%3d16133384)|(Matrix_Unique_ID%3d16166970)|(Matrix_Unique_ID%3d15666681)|(Matrix_Unique_ID%3d15562359)|(Matrix_Unique_ID%3d15633115)|(Matrix_Unique_ID%3d15625557)|(Matrix_Unique_ID%3d16161843)|(Matrix_Unique_ID%3d16101625)|(Matrix_Unique_ID%3d15566108)|(Matrix_Unique_ID%3d16165320)|(Matrix_Unique_ID%3d16034614)|(Matrix_Unique_ID%3d15569623)|(Matrix_Unique_ID%3d16166032)|(Matrix_Unique_ID%3d15633131)|(Matrix_Unique_ID%3d16150672)|(Matrix_Unique_ID%3d15645727)|(Matrix_Unique_ID%3d15935679)|(Matrix_Unique_ID%3d16167210)|(Matrix_Unique_ID%3d15764375)|(Matrix_Unique_ID%3d16158267)|(Matrix_Unique_ID%3d15612181)|(Matrix_Unique_ID%3d16161439)|(Matrix_Unique_ID%3d15635732)|(Matrix_Unique_ID%3d16145901)|(Matrix_Unique_ID%3d16155959)|(Matrix_Unique_ID%3d16153153)|(Matrix_Unique_ID%3d16073035)|(Matrix_Unique_ID%3d15522747)|(Matrix_Unique_ID%3d16146379)|(Matrix_Unique_ID%3d15619940)|(Matrix_Unique_ID%3d16129559)|(Matrix_Unique_ID%3d16166279)|(Matrix_Unique_ID%3d16061718)|(Matrix_Unique_ID%3d16150956)|(Matrix_Unique_ID%3d15944994)|(Matrix_Unique_ID%3d16131567)|(Matrix_Unique_ID%3d16146267)|(Matrix_Unique_ID%3d16099295)|(Matrix_Unique_ID%3d16151583)&QueryType=DMQL2&SearchType=Property&StandardNames=0
The Image delta query does the same logic as above, except it's targeting the image timestamp field.
The Master list query is used for the verify pull. It's essentially a way to ask for 'all the listings in this feed' and is also similar to above but with different inputs.