You are viewing a plain text version of this content. The canonical link for it is here.
Posted to issues@flink.apache.org by GitBox <gi...@apache.org> on 2020/02/19 10:32:56 UTC
[GitHub] [flink] dianfu commented on a change in pull request #11118:
[FLINK-16072][python] Optimize the performance of the write/read null mask
dianfu commented on a change in pull request #11118: [FLINK-16072][python] Optimize the performance of the write/read null mask
URL: https://github.com/apache/flink/pull/11118#discussion_r381193279
##########
File path: flink-python/pyflink/fn_execution/coder_impl.py
##########
@@ -25,56 +25,331 @@
class FlattenRowCoderImpl(StreamCoderImpl):
+ null_mask_search_table = ((False, False, False, False, False, False, False, False),
+ (False, False, False, False, False, False, False, True),
+ (False, False, False, False, False, False, True, False),
+ (False, False, False, False, False, False, True, True),
+ (False, False, False, False, False, True, False, False),
+ (False, False, False, False, False, True, False, True),
+ (False, False, False, False, False, True, True, False),
+ (False, False, False, False, False, True, True, True),
+ (False, False, False, False, True, False, False, False),
+ (False, False, False, False, True, False, False, True),
+ (False, False, False, False, True, False, True, False),
+ (False, False, False, False, True, False, True, True),
+ (False, False, False, False, True, True, False, False),
+ (False, False, False, False, True, True, False, True),
+ (False, False, False, False, True, True, True, False),
+ (False, False, False, False, True, True, True, True),
+ (False, False, False, True, False, False, False, False),
+ (False, False, False, True, False, False, False, True),
+ (False, False, False, True, False, False, True, False),
+ (False, False, False, True, False, False, True, True),
+ (False, False, False, True, False, True, False, False),
+ (False, False, False, True, False, True, False, True),
+ (False, False, False, True, False, True, True, False),
+ (False, False, False, True, False, True, True, True),
+ (False, False, False, True, True, False, False, False),
+ (False, False, False, True, True, False, False, True),
+ (False, False, False, True, True, False, True, False),
+ (False, False, False, True, True, False, True, True),
+ (False, False, False, True, True, True, False, False),
+ (False, False, False, True, True, True, False, True),
+ (False, False, False, True, True, True, True, False),
+ (False, False, False, True, True, True, True, True),
+ (False, False, True, False, False, False, False, False),
+ (False, False, True, False, False, False, False, True),
+ (False, False, True, False, False, False, True, False),
+ (False, False, True, False, False, False, True, True),
+ (False, False, True, False, False, True, False, False),
+ (False, False, True, False, False, True, False, True),
+ (False, False, True, False, False, True, True, False),
+ (False, False, True, False, False, True, True, True),
+ (False, False, True, False, True, False, False, False),
+ (False, False, True, False, True, False, False, True),
+ (False, False, True, False, True, False, True, False),
+ (False, False, True, False, True, False, True, True),
+ (False, False, True, False, True, True, False, False),
+ (False, False, True, False, True, True, False, True),
+ (False, False, True, False, True, True, True, False),
+ (False, False, True, False, True, True, True, True),
+ (False, False, True, True, False, False, False, False),
+ (False, False, True, True, False, False, False, True),
+ (False, False, True, True, False, False, True, False),
+ (False, False, True, True, False, False, True, True),
+ (False, False, True, True, False, True, False, False),
+ (False, False, True, True, False, True, False, True),
+ (False, False, True, True, False, True, True, False),
+ (False, False, True, True, False, True, True, True),
+ (False, False, True, True, True, False, False, False),
+ (False, False, True, True, True, False, False, True),
+ (False, False, True, True, True, False, True, False),
+ (False, False, True, True, True, False, True, True),
+ (False, False, True, True, True, True, False, False),
+ (False, False, True, True, True, True, False, True),
+ (False, False, True, True, True, True, True, False),
+ (False, False, True, True, True, True, True, True),
+ (False, True, False, False, False, False, False, False),
+ (False, True, False, False, False, False, False, True),
+ (False, True, False, False, False, False, True, False),
+ (False, True, False, False, False, False, True, True),
+ (False, True, False, False, False, True, False, False),
+ (False, True, False, False, False, True, False, True),
+ (False, True, False, False, False, True, True, False),
+ (False, True, False, False, False, True, True, True),
+ (False, True, False, False, True, False, False, False),
+ (False, True, False, False, True, False, False, True),
+ (False, True, False, False, True, False, True, False),
+ (False, True, False, False, True, False, True, True),
+ (False, True, False, False, True, True, False, False),
+ (False, True, False, False, True, True, False, True),
+ (False, True, False, False, True, True, True, False),
+ (False, True, False, False, True, True, True, True),
+ (False, True, False, True, False, False, False, False),
+ (False, True, False, True, False, False, False, True),
+ (False, True, False, True, False, False, True, False),
+ (False, True, False, True, False, False, True, True),
+ (False, True, False, True, False, True, False, False),
+ (False, True, False, True, False, True, False, True),
+ (False, True, False, True, False, True, True, False),
+ (False, True, False, True, False, True, True, True),
+ (False, True, False, True, True, False, False, False),
+ (False, True, False, True, True, False, False, True),
+ (False, True, False, True, True, False, True, False),
+ (False, True, False, True, True, False, True, True),
+ (False, True, False, True, True, True, False, False),
+ (False, True, False, True, True, True, False, True),
+ (False, True, False, True, True, True, True, False),
+ (False, True, False, True, True, True, True, True),
+ (False, True, True, False, False, False, False, False),
+ (False, True, True, False, False, False, False, True),
+ (False, True, True, False, False, False, True, False),
+ (False, True, True, False, False, False, True, True),
+ (False, True, True, False, False, True, False, False),
+ (False, True, True, False, False, True, False, True),
+ (False, True, True, False, False, True, True, False),
+ (False, True, True, False, False, True, True, True),
+ (False, True, True, False, True, False, False, False),
+ (False, True, True, False, True, False, False, True),
+ (False, True, True, False, True, False, True, False),
+ (False, True, True, False, True, False, True, True),
+ (False, True, True, False, True, True, False, False),
+ (False, True, True, False, True, True, False, True),
+ (False, True, True, False, True, True, True, False),
+ (False, True, True, False, True, True, True, True),
+ (False, True, True, True, False, False, False, False),
+ (False, True, True, True, False, False, False, True),
+ (False, True, True, True, False, False, True, False),
+ (False, True, True, True, False, False, True, True),
+ (False, True, True, True, False, True, False, False),
+ (False, True, True, True, False, True, False, True),
+ (False, True, True, True, False, True, True, False),
+ (False, True, True, True, False, True, True, True),
+ (False, True, True, True, True, False, False, False),
+ (False, True, True, True, True, False, False, True),
+ (False, True, True, True, True, False, True, False),
+ (False, True, True, True, True, False, True, True),
+ (False, True, True, True, True, True, False, False),
+ (False, True, True, True, True, True, False, True),
+ (False, True, True, True, True, True, True, False),
+ (False, True, True, True, True, True, True, True),
+ (True, False, False, False, False, False, False, False),
+ (True, False, False, False, False, False, False, True),
+ (True, False, False, False, False, False, True, False),
+ (True, False, False, False, False, False, True, True),
+ (True, False, False, False, False, True, False, False),
+ (True, False, False, False, False, True, False, True),
+ (True, False, False, False, False, True, True, False),
+ (True, False, False, False, False, True, True, True),
+ (True, False, False, False, True, False, False, False),
+ (True, False, False, False, True, False, False, True),
+ (True, False, False, False, True, False, True, False),
+ (True, False, False, False, True, False, True, True),
+ (True, False, False, False, True, True, False, False),
+ (True, False, False, False, True, True, False, True),
+ (True, False, False, False, True, True, True, False),
+ (True, False, False, False, True, True, True, True),
+ (True, False, False, True, False, False, False, False),
+ (True, False, False, True, False, False, False, True),
+ (True, False, False, True, False, False, True, False),
+ (True, False, False, True, False, False, True, True),
+ (True, False, False, True, False, True, False, False),
+ (True, False, False, True, False, True, False, True),
+ (True, False, False, True, False, True, True, False),
+ (True, False, False, True, False, True, True, True),
+ (True, False, False, True, True, False, False, False),
+ (True, False, False, True, True, False, False, True),
+ (True, False, False, True, True, False, True, False),
+ (True, False, False, True, True, False, True, True),
+ (True, False, False, True, True, True, False, False),
+ (True, False, False, True, True, True, False, True),
+ (True, False, False, True, True, True, True, False),
+ (True, False, False, True, True, True, True, True),
+ (True, False, True, False, False, False, False, False),
+ (True, False, True, False, False, False, False, True),
+ (True, False, True, False, False, False, True, False),
+ (True, False, True, False, False, False, True, True),
+ (True, False, True, False, False, True, False, False),
+ (True, False, True, False, False, True, False, True),
+ (True, False, True, False, False, True, True, False),
+ (True, False, True, False, False, True, True, True),
+ (True, False, True, False, True, False, False, False),
+ (True, False, True, False, True, False, False, True),
+ (True, False, True, False, True, False, True, False),
+ (True, False, True, False, True, False, True, True),
+ (True, False, True, False, True, True, False, False),
+ (True, False, True, False, True, True, False, True),
+ (True, False, True, False, True, True, True, False),
+ (True, False, True, False, True, True, True, True),
+ (True, False, True, True, False, False, False, False),
+ (True, False, True, True, False, False, False, True),
+ (True, False, True, True, False, False, True, False),
+ (True, False, True, True, False, False, True, True),
+ (True, False, True, True, False, True, False, False),
+ (True, False, True, True, False, True, False, True),
+ (True, False, True, True, False, True, True, False),
+ (True, False, True, True, False, True, True, True),
+ (True, False, True, True, True, False, False, False),
+ (True, False, True, True, True, False, False, True),
+ (True, False, True, True, True, False, True, False),
+ (True, False, True, True, True, False, True, True),
+ (True, False, True, True, True, True, False, False),
+ (True, False, True, True, True, True, False, True),
+ (True, False, True, True, True, True, True, False),
+ (True, False, True, True, True, True, True, True),
+ (True, True, False, False, False, False, False, False),
+ (True, True, False, False, False, False, False, True),
+ (True, True, False, False, False, False, True, False),
+ (True, True, False, False, False, False, True, True),
+ (True, True, False, False, False, True, False, False),
+ (True, True, False, False, False, True, False, True),
+ (True, True, False, False, False, True, True, False),
+ (True, True, False, False, False, True, True, True),
+ (True, True, False, False, True, False, False, False),
+ (True, True, False, False, True, False, False, True),
+ (True, True, False, False, True, False, True, False),
+ (True, True, False, False, True, False, True, True),
+ (True, True, False, False, True, True, False, False),
+ (True, True, False, False, True, True, False, True),
+ (True, True, False, False, True, True, True, False),
+ (True, True, False, False, True, True, True, True),
+ (True, True, False, True, False, False, False, False),
+ (True, True, False, True, False, False, False, True),
+ (True, True, False, True, False, False, True, False),
+ (True, True, False, True, False, False, True, True),
+ (True, True, False, True, False, True, False, False),
+ (True, True, False, True, False, True, False, True),
+ (True, True, False, True, False, True, True, False),
+ (True, True, False, True, False, True, True, True),
+ (True, True, False, True, True, False, False, False),
+ (True, True, False, True, True, False, False, True),
+ (True, True, False, True, True, False, True, False),
+ (True, True, False, True, True, False, True, True),
+ (True, True, False, True, True, True, False, False),
+ (True, True, False, True, True, True, False, True),
+ (True, True, False, True, True, True, True, False),
+ (True, True, False, True, True, True, True, True),
+ (True, True, True, False, False, False, False, False),
+ (True, True, True, False, False, False, False, True),
+ (True, True, True, False, False, False, True, False),
+ (True, True, True, False, False, False, True, True),
+ (True, True, True, False, False, True, False, False),
+ (True, True, True, False, False, True, False, True),
+ (True, True, True, False, False, True, True, False),
+ (True, True, True, False, False, True, True, True),
+ (True, True, True, False, True, False, False, False),
+ (True, True, True, False, True, False, False, True),
+ (True, True, True, False, True, False, True, False),
+ (True, True, True, False, True, False, True, True),
+ (True, True, True, False, True, True, False, False),
+ (True, True, True, False, True, True, False, True),
+ (True, True, True, False, True, True, True, False),
+ (True, True, True, False, True, True, True, True),
+ (True, True, True, True, False, False, False, False),
+ (True, True, True, True, False, False, False, True),
+ (True, True, True, True, False, False, True, False),
+ (True, True, True, True, False, False, True, True),
+ (True, True, True, True, False, True, False, False),
+ (True, True, True, True, False, True, False, True),
+ (True, True, True, True, False, True, True, False),
+ (True, True, True, True, False, True, True, True),
+ (True, True, True, True, True, False, False, False),
+ (True, True, True, True, True, False, False, True),
+ (True, True, True, True, True, False, True, False),
+ (True, True, True, True, True, False, True, True),
+ (True, True, True, True, True, True, False, False),
+ (True, True, True, True, True, True, False, True),
+ (True, True, True, True, True, True, True, False),
+ (True, True, True, True, True, True, True, True))
+
+ null_byte_search_table = (0x80, 0x40, 0x20, 0x10, 0x08, 0x04, 0x02, 0x01)
def __init__(self, field_coders):
self._field_coders = field_coders
self._filed_count = len(field_coders)
+ self._complete_byte_num = self._filed_count // 8
Review comment:
What about renamed to _leading_bytes_num
----------------------------------------------------------------
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
With regards,
Apache Git Services