App Engine memcache/ndb.get_multi的性能问题

在使用ndb.get_multi()App Engine(Python)从Memcache中获取多个密钥时,我发现性能非常差.

我正在获取~500个小对象,所有这些对象都在memcache中.如果我这样做ndb.get_multi(keys),需要1500毫秒或更长时间.以下是App Stats的典型输出:

和

如您所见,所有数据都是从memcache提供的.据报道,大部分时间都在RPC调用之外.但是,我的代码尽可能少,所以如果花费在CPU上的时间必须在ndb内部:

# Get set of keys for items. This runs very quickly.
item_keys = memcache.get(items_memcache_key)
# Get ~500 small items from memcache. This is very slow (~1500ms).
items = ndb.get_multi(item_keys)

您在App Stats中看到的第一个memcache.get是获取一组键的单次提取.第二个memcache.get是ndb.get_multi调用.

我提取的项目非常简单:

class Item(ndb.Model):
    name = ndb.StringProperty(indexed=False)
    image_url = ndb.StringProperty(indexed=False)
    image_width = ndb.IntegerProperty(indexed=False)
    image_height = ndb.IntegerProperty(indexed=False)

这是某种已知的ndb性能问题吗？与反序列化成本有关吗？或者它是一个memcache问题？

我发现如果不是取出500个对象,而是将所有数据聚合成一个blob,我的函数在20ms而不是> 1500ms运行:

# Get set of keys for items. This runs very quickly.
item_keys = memcache.get(items_memcache_key)
# Get individual item data.
# If we get all the data from memcache as a single blob it is very fast (~20ms).
item_data = memcache.get(items_data_key)
if not item_data:
    items = ndb.get_multi(item_keys)
    flat_data = json.dumps([{'name': item.name} for item in items])
    memcache.add(items_data_key, flat_data)

这很有趣,但对我来说并不是真正的解决方案,因为我需要获取的项目集不是静态的.

我看到的表现是典型的还是预期的？所有这些测量都在默认的App Engine生产配置(F1实例,共享内存缓存)上.是否反序列化成本？或者由于从memcache中获取多个键可能？我不认为问题是实例加速时间.我使用time.clock()调用逐行分析代码,我看到大致相似的数字(比我在AppStats中看到的快3倍,但仍然非常慢).这是一个典型的配置文件:

# Fetch keys: 20 ms
# ndb.get_multi: 500 ms
# Number of keys is 521, fetch time per key is 0.96 ms

更新:出于兴趣,我还对此进行了分析,将所有应用引擎性能设置增加到最大值(F4实例,2400Mhz,专用内存缓存).表现并没有好多少.在更快的实例上,App Stats时序现在与我的time.clock()配置文件匹配(所以500ms来获取500个小对象而不是1500ms).但是,它看起来似乎非常缓慢.