具有存储器层级的三维电路系统和方法与流程

1.本公开涉及电子电路，并且更具体地涉及具有存储器层级的三维电路和系统。

背景技术：

2.诸如现场可编程门阵列(fpga)之类的可编程逻辑集成电路(ic)可以在ic的核心逻辑区域中包括结构存储器电路(例如，随机存取存储器和触发器(flip-flop))。结构存储器电路可以具有低存储器容量、低存储器访问延迟和高存储器访问带宽，因为结构存储器电路靠近核心逻辑区域中的可编程逻辑电路和数字信号处理电路。fpga典型地能够访问fpga的外围设备或其他ic中的附加存储器电路(称为海岸线(shoreline)存储器)。海岸线存储器(例如，双倍数据速率存储器高带宽存储器)可以具有高存储器容量、高存储器访问延迟和低存储器访问带宽。
附图说明
3.图1示出了根据实施例的包括主集成电路(ic)管芯的电路系统的示例，该主ic管芯包括具有结构存储器电路的核心逻辑区域和包含海岸线存储器电路的外围区域。
4.图2示出了根据实施例的电路系统的示例，该电路系统包括在主集成电路(ic)管芯中具有结构存储器电路的核心逻辑区域、包括海岸线存储器电路的外围区域以及包括含水层存储器(aquifer memory)的垂直堆叠的存储器ic管芯。
5.图3示出了根据实施例的电路系统的示例，该电路系统包括在主集成电路(ic)管芯中具有结构存储器电路的核心逻辑区域、包括海岸线存储器电路的外围区域以及包括被组织为扇区的存储器电路的垂直堆叠的存储器ic管芯。
6.图4示出了根据另一实施例的存储器ic管芯的示例，该存储器ic管芯包含耦合到主ic管芯中的逻辑扇区的含水层存储器电路。
7.图5示出了根据另一实施例的包含高速缓存控制器预取电路的存储器ic管芯的示例，该高速缓存控制器预取电路耦合在含水层存储器中的存储器电路的两个不同级别之间。
8.图6示出了根据实施例的包括核心逻辑区域的电路系统的示例，该核心逻辑区域具有可以访问存储器ic管芯中的含水层存储器的存储器直接访问电路。
9.图7示出了根据实施例的在存储器ic管芯中具有含水层存储器和片上网络(noc)的扇区的示例。
10.图8示出了根据实施例的图6的示例性电路系统，该示例性电路系统具有映射到存储器ic管芯中的物理地址空间的访问器电路。
11.图9示出了根据实施例的主ic管芯的核心逻辑区域的示例，该核心逻辑区域具有存储器、逻辑、互连和数字信号处理电路。
12.图10示出了根据实施例的主ic管芯的核心逻辑区域的另一示例，该核心逻辑区域具有连接到垂直堆叠的存储器ic管芯中的含水层存储器的三维(3d)输入/输出(io)驱动器
电路。
13.图11示出了根据实施例的电路系统的示例，该电路系统包括在主ic管芯中的核心逻辑区域和具有到核心逻辑区域中的结构存储器电路的直接连接的含水层存储器。
14.图12示出了根据另一实施例的电路系统的示例，该电路系统包括核心逻辑区域、海岸线存储器电路和存储器ic管芯，该存储器ic管芯包括被组织为扇区的存储器电路和耦合到海岸线存储器电路的片上网络。
具体实施方式
15.集成电路(ic)封装中的电路系统可以包括在主集成电路管芯中的结构存储器电路和在附加集成电路管芯中和/或在主ic管芯的外围区域中的一个或多个海岸线存储器电路。图1示出了根据实施例的包含主ic管芯的电路系统100的示例，该主ic管芯包括具有结构存储器电路的核心逻辑区域101和包含海岸线存储器电路的外围区域。图1的电路系统100包括具有结构存储器电路111-114的核心逻辑区域101和具有海岸线存储器电路102-109的外围区域。图1中在核心逻辑区域101中仅示出了4个结构存储器电路111-114作为示例。例如，核心逻辑区域101可以具有更多或更少的结构存储器电路(例如，数十、数百或数千个结构存储器电路)。图1中仅示出8个海岸线存储器电路102-109作为示例。电路系统100可以具有任何数量的海岸线存储器电路。
16.核心逻辑区域101在主集成电路(ic)管芯中。主ic管芯可以是例如诸如fpga之类的可编程逻辑ic、微处理器ic、图形处理单元(gpu)、专用ic或其他类型的ic。海岸线存储器电路102-109中的一个或多个可以在主ic管芯的外围区域中。海岸线存储器电路102-109中的一个或多个可以在(例如，通过ic封装、桥或中介层(interposer))耦合到主ic管芯的一个或多个单独的ic管芯中。在一些实施例中，海岸线存储器电路中的一些可以在主ic管芯中，并且海岸线存储器电路中的其他一些可以在一个或多个单独的存储器ic管芯中。核心逻辑区域101还可以包括执行逻辑功能的逻辑电路。在核心逻辑区域101中的逻辑电路可以访问核心逻辑区域中的结构存储器电路111-114，并且可以访问海岸线存储器电路102-109。
17.然而，在海岸线存储器(例如，某种类型的高带宽存储器(hbm))与结构存储器(例如，20,480位可编程结构存储器)之间可能存在存储器容量差距、延迟差距和存储器带宽差距(每个有若干数量级)。可以通过添加更多存储器的实例(例如，hbm)来向海岸线存储器添加存储器容量和存储器访问带宽。然而，添加更多的海岸线存储器电路是昂贵的，并且受到带宽壁(bandwidth wall)的限制，带宽壁的特征在于两个主要分量。第一分量是可以容纳海岸线存储器的主ic管芯的有限周长。第二分量是在海岸线存储器与结构存储器之间的连接的长物理距离(例如，平均10毫米或更多)。这些长的物理连接可能要求大量的功率使用(例如，大于100瓦或更多)。海岸线存储器的功耗是长物理连接和激活(即，访问位)的组合，其加起来限制了带宽壁以及ic管芯的有限周长。
18.可以通过使用较大的存储器电路(例如，具有144千比特)将存储器容量添加到结构存储器中。在主ic管芯的核心逻辑区域中添加较大的存储器电路可能要求减少在核心逻辑区域中较小存储器电路的量。而且，在核心逻辑区域中添加较大的存储电路受到核心逻辑区域容量的限制，其可以称为容量壁(capacity wall)。核心逻辑区域可以包含位于逻辑
电路(包括数字信号处理(dsp)电路)之间的高度分布的存储器电路。在核心逻辑区域中的逻辑电路可以执行使用靠近核心逻辑区域中的逻辑电路的存储器电路的高带宽计算。在给定在核心逻辑区域中的电路的空间组织的情况下，可以向核心逻辑区域添加多少存储器电路是有限制的。
19.即使利用标准修改，带宽壁和容量壁在结构存储器与海岸线存储器之间仍然具有2-3个数量级的差距。根据本文公开的一些实施例，三维电路系统包括一个或多个存储器集成电路(ic)管芯，该一个或多个存储器ic管芯包括以垂直堆叠配置耦合到主ic管芯的存储器电路(本文称为含水层存储器)。含水层存储器提供了附加的存储器容量和存储器访问带宽，这可以克服上面讨论的带宽壁和容量壁。含水层存储器可以与主集成电路(ic)管芯以及位于单独的ic管芯中的海岸线存储器中的一个或多个海岸线存储器位于相同的ic封装中。含水层存储器为在主ic芯片上执行的逻辑功能提供附加的存储器容量和存储器访问带宽。含水层存储器可以包括耦合到主集成电路(ic)管芯的一个或多个ic管芯。
20.在整个说明书和权利要求书中，术语“连接”是指在没有任何中间设备的情况下，在连接的电路之间的直接电连接。术语“耦合”是指在电路之间的直接电连接或者通过一个或多个无源或有源中间设备的间接电连接。术语“电路”可以指被布置为相互协作以提供期望的功能的一个或多个无源和/或有源电组件。
21.图2示出了根据实施例的三维(3d)电路系统200的示例，该3d电路系统200包括在主集成电路(ic)管芯中具有结构存储器电路的核心逻辑区域101、在主ic管芯周围包括海岸线存储器电路102-109的外围区域、含水层存储器201以及在含水层存储器201周围包括海岸线存储器电路221-224的外围区域。含水层存储器201可以包括一个或多个集成电路(ic)管芯。图2的核心逻辑区域101和海岸线存储器电路102-109也在图1中示出。因此，核心逻辑区域101包括结构存储器电路，例如，未在图2中示出的结构存储器电路111-114。主ic管芯的长(length)和宽(width)位于沿图2中示出的x轴和y轴的平面中。海岸线存储器电路102-109的长和宽位于沿x轴和y轴的与主ic管芯相同的平面中。含水层存储器201的长和宽位于沿x轴和y轴的与主ic管芯的平面平行的平面中。如果含水层存储器201包括多个ic管芯，则ic管芯位于沿x轴和y轴的相同平面中，并且可以例如通过封装衬底、互连桥或中介层耦合在一起。海岸线存储器电路221-224的长和宽位于沿x轴和y轴的与含水层存储器201相同的平面中。
22.含水层存储器201和主ic管芯以垂直堆叠配置耦合在一起。在图2的实施例中，含水层存储器201在主ic管芯下方。在其他实施例中，含水层存储器201可以在主ic管芯上方。含水层存储器201通过直接导电的管芯到管芯连接210耦合到主ic管芯中的核心逻辑区域101。直接管芯到管芯连接210平行于图2中示出的z轴，并且垂直于主ic芯片的平面。图2中仅示出了16个直接管芯到管芯连接210作为示例。与图2中示出的16个连接210相比，电路系统200可以包括更多或更少的直接管芯到管芯连接210。直接管芯到管芯连接210可以包括例如在主ic管芯和含水层存储器201中的连接(例如，通过硅通孔)，以及将主ic管芯连接到含水层存储器201的连接，例如，导电凸块、混合键合连接、磁耦合连接或热压键合连接。
23.海岸线存储器电路221-224可以例如在包括含水层存储器201的单个ic管芯的外围区域中。可替代地，海岸线存储器电路221-224可以在4个或更多个ic管芯中，这些ic管芯与包含含水层存储器201的一个或多个ic管芯分开。海岸线存储器电路221-224中的每一个
可以例如包括一个或多个ic管芯。海岸线存储器电路221-224位于含水层存储器201的外围周围。
24.在一些实施例中，含水层存储器201可以具有大于结构存储器的存储器容量且小于海岸线存储器(例如，海岸线存储器102-109和221-224)的存储器容量的存储器容量。含水层存储器201可以具有小于结构存储器的存储器访问带宽且大于海岸线存储器102-109和221-224的存储器访问带宽的存储器访问带宽。因此，含水层存储器201的存储器容量和存储器访问带宽可以突破带宽壁和容量壁。因为含水层存储器以垂直堆叠配置耦合到主ic管芯，所以含水层存储器可以提供比海岸线存储器更高的存储器访问带宽，这可以允许电路系统移动超出带宽壁。含水层存储器201具有容纳大量存储器电路的大管芯面积(例如，相当于主ic管芯的管芯大小)。在含水层存储器201中的存储器电路可以提供足够的存储器容量以移动超出容量壁。
25.根据本文公开的一些实施例，用于电子电路系统的三维(3d)存储器子系统由三类存储器组成，这三类存储器共同实现用于主ic管芯中的空间计算的高存储器容量、高存储器访问带宽、低延迟和性能高效的存储器层级。空间计算可以指代由在主ic管芯的核心逻辑区域的相同区域中的一组逻辑电路执行的计算，这些逻辑电路依赖于访问存储器电路来执行计算。第一类存储器包括海岸线存储器电路(例如，存储器电路102-109和221-224)，这些海岸线存储器电路驻留在主ic管芯的外围中、驻留在与主ic管芯相邻并位于与主ic管芯的长和宽在同一平面中的其他ic管芯中、驻留在包含含水层存储器201的ic管芯的外围中、和/或驻留在与含水层存储器201相邻并位于与含水层存储器201的长和宽在同一平面内的其他ic管芯中，如图1-2中示出的。第一类存储器比第二类存储器和第三类存储器具有更高的存储器容量、更高的存储器访问延迟和更低的内存访问带宽(例如corporation的optane
tm
存储器、双倍数据速率(ddr)存储器和高带宽存储器(hbm))。第二类存储器包括在一个或多个存储器集成电路(ic)管芯中的存储器电路(称为含水层存储器)，这些存储器电路以垂直堆叠布置在主ic管芯顶部或下方。含水层存储器通过直接连接耦合到主ic管芯。第二类中的含水层存储器可以具有介于第一类存储器和第三类存储器之间的中等存储器容量、中等存储器延迟和中等存储器访问带宽。第三类存储器包括结构存储器电路(例如，存储器电路111-114)，这些结构存储器电路驻留在主ic管芯的核心逻辑区域101中。第三类存储器电路可以比第一类存储器和第二类存储器具有更低的存储器容量、更低的存储器访问延迟和更高的存储器访问带宽(例如，随机存取存储器、逻辑阵列块中的存储器电路和算术逻辑模块中的触发器)。第三类存储器电路位于执行空间计算的主ic管芯的核心逻辑区域101中的逻辑电路(例如，可编程逻辑电路和数字信号处理(dsp)电路)附近。
26.根据一些实施例，提供用于具有三类存储器的存储器层级的方法和装置，其可以通过优化在存储器电路之间的物理距离和主ic管芯中的空间计算来改进存储器约束的空间计算的功率和性能。在存储器层级中的三类存储器可以包括海岸线存储器、含水层存储器和结构存储器。另外地，三类存储器中的每一类存储器都可以在每一类存储器内具有内部存储器层级。存储器层级还可以优化电路系统中存储器电路的存储器容量、存储器访问带宽和延迟。可以组织在三个类内和跨三个类的存储器层级，使得每个存储器电路更接近发生在主ic管芯的核心逻辑区域中的空间计算。存储器层级可以改进空间计算的功率和性能。还提供了通过直接替换主ic管芯的核心逻辑区域中的知识产权功能来实现存储器层级
和空间计算的方法和装置。
27.在存储器层级中，存储器内容可以移动到更接近发生在主ic管芯的核心逻辑区域中的空间计算的更小和更快的存储器，同时使用层级中更慢和更大的存储器来获得容量扩展。在一些实施例中，在存储器层级中使用存储器缓存架构。在一些实施例中，在存储器层级中的三类存储器之间的数据移动由软件控制。在一些实施例中，在存储器层级中的数据移动由核心逻辑区域中的可编程逻辑电路来协调。
28.图3示出了根据实施例的3d电路系统300的示例，该3d电路系统300包括在主集成电路(ic)管芯中具有结构存储器电路的核心逻辑区域101、包括海岸线存储器电路102-109的外围区域以及包括被组织为扇区的存储器电路301的存储器ic管芯305。存储器ic管芯305是含水层存储器201的示例。图3示出了图1-2的主ic管芯以及存储器ic管芯305的示例的进一步细节。在图3的实施例中，主ic管芯的核心逻辑区域101包括被布置为10行8列的80个逻辑扇区。以10行8列布置的80个逻辑扇区仅作为示例示出。在其他实施例中，核心逻辑区域101可以具有任何数量的逻辑扇区的行和列。逻辑扇区中的每一个可以包括例如逻辑电路(例如，可编程逻辑电路，例如，组合逻辑电路和顺序逻辑电路、数字信号处理电路等)和结构存储器电路。
29.在图3的实施例中，存储器ic管芯305中的含水层存储器位于存储器电路301中。在图3的示例中，存储器电路301在ic管芯305中被组织为10行8列，总共有80个存储器电路301。但是，存储器ic管芯305可以具有任何数量的存储器电路301，并且核心逻辑区域101可以具有任何数量的逻辑扇区310。存储器ic管芯305中的存储器电路301沿z轴与主ic管芯的核心逻辑区域101中的逻辑扇区310对齐，如图3中示出的，使得存储器电路301中的每一个在逻辑扇区310中的对应一个的正下方并与其对齐。存储器电路301通过80个导电直接管芯到管芯连接302(其在图3中被示为虚线)耦合到逻辑扇区310。直接管芯到管芯连接302平行于图3中示出的z轴。在存储器ic管芯305中的存储器电路301中的每一个通过直接管芯到管芯连接302中的一个耦合到逻辑扇区310中的对应一个并与其通信。直接管芯到管芯连接302可以例如包括主ic管芯和存储器ic管芯305中的连接(例如，通过硅通孔)、主ic管芯和存储器ic管芯305的表面上的导电焊盘、以及将主ic管芯上的导电焊盘连接到存储器ic管芯305上的导电焊盘的导电连接。在图3的实施例的情况下，可以设计或改装主ic管芯以与存储器ic管芯305中的含水层存储器一起使用。在一些实施例中，存储器电路301中的两个或更多个可以通过存储器ic管芯305中的片上网络(noc)320(例如，在存储器电路301的行和列之间的一条或多条导线或总线)彼此通信。noc 320可以将ic管芯305中的存储器电路301耦合在一起。noc 320允许主ic管芯中的逻辑扇区310访问不在正在访问的逻辑扇区310正下方的存储器电路301中的含水层存储器。
30.图4示出了根据另一实施例的存储器ic管芯400的示例，该存储器ic管芯400包含耦合到主ic管芯中的逻辑扇区的含水层存储器电路。存储器ic管芯400是图2的含水层存储器201的示例。在图4的实施例中，存储器ic管芯400包括在存储器电路的2个级别(l1和l2)中的含水层存储器。在存储器ic管芯400中的含水层存储器的第一级(l1)中的存储器电路402a-402g分别直接耦合到主ic管芯的对应逻辑扇区310中的存储器直接访问(mda)电路403a-403g。虽然图4中示出了7个l1存储器电路402a-402g作为示例，但存储器ic管芯400可以具有任何数量的l1存储器电路。如图4中示出的，在主ic管芯中的逻辑扇区310中的每一
个仅可以通过在该逻辑扇区310正下方的l1存储器电路402的mda电路403访问该l1存储器电路402，因为存储器ic管芯400不包含耦合到存储器电路的noc。在一些实施例中，逻辑扇区310可以具有与含水层存储器中的n个对应的存储器电路402对齐的数量为n的端口(即，0到n-1)。
31.如图4中示出的，在存储器ic管芯400中的含水层存储器的第二级(l2)中的存储器电路401耦合到第一级(l1)中的存储器电路402a-402g中的每一个。在一些实施例中，l2存储器电路401被分区，使得l1存储器电路402a-402g中的每一个具有对l2存储器电路401中的分区中的一个的专有访问。对存储器电路401中的分区的访问受到存储器ic管芯400中的配置控制器电路404和/或在ic管芯400外部的配置控制器电路405中的静态或动态配置的控制。配置控制器404耦合到存储器电路401，并且配置控制器405耦合到配置控制器电路404。l2存储器电路401是可寻址的，并且l1存储器电路402a-402g中的每一个可以包含l2存储器电路401的子部分。
32.图5示出了根据另一实施例的包含高速缓存控制器预取电路的存储器ic管芯500的示例，该高速缓存控制器预取电路耦合在含水层存储器中的存储器电路的两个不同级别之间。存储器ic管芯500是图2的含水层存储器201的示例。在图5的实施例中，存储器ic管芯500包括第一级(l1)存储器电路402a-402g、第二级(l2)存储器电路401和本文关于图4公开的配置控制器404。ic管芯500还包括n个存储器/高速缓存控制器预取引擎电路[0]-[n-1]501a-501g。存储器/高速缓存控制器预取引擎电路501a-501g是在主ic管芯的逻辑扇区310中的mda电路403a-403g与存储器电路401-402中的含水层存储器之间的接口。mda电路403a-403g分别通过管芯间连接511a-511g直接耦合到存储器/高速缓存控制器预取引擎电路501a-501g，从而旁路存储器电路402a-402g。例如，连接511a-511g可以包括在主ic管芯和存储器ic管芯500中的连接、在主ic管芯和存储器ic管芯500的表面上的导电焊盘、以及将主ic管芯上的导电焊盘连接到存储器ic管芯500上的导电焊盘的导电连接。在一些实施例中，存储器/高速缓存控制器预取引擎电路501a-501g可以分别由主ic管芯的逻辑扇区310中的mda电路403a-403g经由管芯间连接511a-511g控制。
[0033]
如上面所提到的，三类存储器(即，海岸线、含水层和结构存储器)中的每一类存储器可以具有内部存储器层级。例如，海岸线存储器可以包括optane
tm
、ddr和hbm存储器；含水层存储器可以包括l1存储器电路402和l2存储器电路401；以及结构存储器可以包括144千比特存储器、20千比特存储器、逻辑阵列块(lab)中的存储器和算术逻辑模块(alm)中的触发器。
[0034]
mda电路403a-403g可以使存储器/高速缓存控制器预取引擎电路501a-501g预取存储在存储器电路401或402a-402g的两个级别中的一个级别中的数据，并将预取的数据传送到存储器电路401或402a-402g的另一级别或者传送到mda电路403a-403g。在一些实施例中，l2存储器电路401被分区为专有存储器分区，这些专有存储器分区可由对应的l1存储器电路402a-402g在相应的mda电路403a-403g的控制下访问。在一些实施例中，l2存储器电路401允许l1存储器电路402a-402g中的任何一个访问其存储器分区。在这些实施例中，使用存储器/高速缓存控制器预取引擎电路501a-501g在存储器电路401的分区之间采用高速缓存一致性机制。在一些实施例中，存储器ic管芯500具有在含水层存储器中多于两级存储器电路的层级。在这些实施例中，在含水层存储器中的存储器电路的三级或更多级之间的数
据移动由主ic管芯中的高速缓存架构、软件和/或可编程逻辑电路控制。在一些实施例中，在含水层存储器内的存储器层级可以包括存储器电路的三级或更多级(即，l1、l2、l3等)。
[0035]
图6示出了根据实施例的电路系统600的示例，该电路系统600包括在主集成电路(ic)管芯中具有结构存储器电路的核心逻辑区域101、包括海岸线存储器电路102-109的外围区域以及包括被组织为扇区620的存储器电路的存储器ic管芯610。存储器ic管芯610是图2的含水层存储器201的示例。存储器ic管芯610以垂直堆叠配置耦合到主ic管芯。在图6的示例中，存储器ic管芯610包括被布置为8列10行的存储器电路的80个扇区620。然而，存储器ic管芯610可以包括任何数量的存储器电路扇区。在存储器ic管芯610中的存储器电路的80个扇区620中的每一个扇区包括在含水层存储器中的8个l1存储器电路和在含水层存储器中的l2存储器电路。在扇区620中的每一个扇区中的l1存储器电路中的每一个耦合到主ic管芯的核心逻辑区域101中的扇区310中的一个扇区中的存储器直接访问(mda)电路，如本文例如关于图5所公开的。在核心逻辑区域101中的逻辑电路的扇区310中的每个扇区可以包括mda电路中的一个或多个。在一些实施例中，逻辑电路的扇区310中的每个扇区可以包括mda电路中的8个mda电路。
[0036]
图6示出了核心逻辑区域101中的mda电路中的11个mda电路作为说明性示例，包括mda电路611a-611e。核心逻辑区域101中的mda电路中的每一个可以访问存储器ic管芯610的含水层存储器中的l1存储器电路以及存储器ic管芯610的含水层存储器中的l2存储器电路的一个或多个分区。作为示例，核心逻辑区域101中的扇区310a具有8个mda电路。扇区310a中的8个mda电路中的每一个可以直接访问在正在访问的mda电路正下方的存储器ic管芯610中的扇区620a中的l2存储器电路的8个专有分区中的一个分区。作为更具体的示例，扇区310a中的mda电路611a和611b分别可以直接访问扇区620a中的l2存储器电路的专有分区601a和601b。作为另一示例，核心逻辑区域101中的扇区310b中的mda电路611c可以访问存储器ic管芯610的扇区620b中的l2存储器电路的8个分区中的每一个分区。作为又一示例，在核心逻辑区域101的扇区310c中的mda电路611d可以访问存储器ic管芯610的扇区620c中的l2存储器电路的2个分区601d，并且扇区310c中的mda电路611e可以访问扇区620c中的l2存储器电路的6个分区601e。在一些实施例中，mda电路可以允许在核心逻辑区域101中的结构存储器电路、逻辑电路和dsp电路访问在存储器ic管芯610的含水层存储器中的l2存储器电路的一个或多个专有分区。在一些实施例中，l2存储器电路的分区的数量可以大于访问mda电路的数量。例如，如果扇区中有8个mda电路，则l2存储器电路可以具有32个分区，这些分区可由8个mda电路按照配置指示进行访问。
[0037]
图7示出了根据实施例的在存储器ic管芯中具有含水层存储器和片上网络(noc)的扇区700的示例。图7的扇区700和noc在存储器ic管芯(例如，ic管芯305、ic管芯610或含水层存储器201中的存储器ic管芯)中。图7的noc包括路由器电路711以及水平和垂直导线或总线712-713。扇区700包括n个l1存储器电路702a-702g、l2存储器电路703、noc桥电路704、存储器映射单元(mmu)电路705和配置电路706。存储器ic管芯通过沿z轴的管芯到管芯连接720耦合到主ic管芯。主ic管芯包括n个存储器直接访问(mda)电路701a-701g和端口707。主ic管芯可以具有一个或多个端口707。端口707中的每一个耦合到在具有含水层存储器的不同扇区中mmu电路705。mda电路701a-701g分别通过管芯到管芯连接720a-720g耦合到l1存储器电路702a-702g，并且可以直接访问l1存储器电路702a-702g。l1存储器电路
702a-702g耦合到l2存储器电路703的终端。如上面所讨论的，mda电路701a-701g和l1存储器电路702a-702g可以访问l2存储器电路703的专有分区。
[0038]
l2存储器电路703可以通过noc访问在存储器ic管芯中的含水层存储器的其他扇区中的任一个扇区中的l1存储器电路和l2存储器电路。例如，在图3的实施例中，在存储器ic管芯305中的扇区中的一个扇区中的存储器电路301中的任一个可以通过noc 320(例如，图7中示出的noc)访问在存储器ic管芯305中的存储器电路301的其他扇区中的任一个扇区中的存储器电路。noc桥电路704可以将l2存储电路703耦合到noc中的路由器711，如图7中示出的。在noc桥704中的虚线是在路由器711与扇区700中的电路之间的连接的示例。扇区700可以通过noc桥704、路由器711以及noc中的导线和总线(例如，导线/总线712-713)在存储器电路703与存储器ic管芯中的存储器电路的其他扇区之间传送数据。noc耦合到存储器ic管芯中的存储器电路的其他扇区中的每一个，例如，如图3中示出的。
[0039]
图7的实施例中的主ic管芯包括一个或多个端口707，该一个或多个端口707经由mmu 705提供对扇区700中的存储器电路702-703的访问。在每个端口707与每个mmu 705之间可能存在1:1的关联。在一些实施例中，在存储器ic芯片中的含水层存储器具有一个物理地址空间。mmu电路705允许用户在假设在存储器ic管芯的含水层存储器中实现的电路设计的逻辑地址空间的情况下定义电路设计。在一些实施例中，存储器映射单元(mmu)电路705提供逻辑到物理地址转换和访问控制，以由主ic管芯的核心逻辑区域101中的电路设计经由端口707访问包括存储器电路702-703的含水层存储器。mmu电路705还提供安全性以不允许由核心逻辑区域101中的电路对存储器ic管芯中的含水层存储器进行未经授权的访问，包括不允许对存储器电路702-703进行未经授权的访问。在一些实施例中，图7的noc允许核心逻辑区域101中的逻辑电路的扇区访问存储器ic管芯中的含水层存储器的扇区中的数据，这些扇区受制于mmu电路705的约束(例如，安全规则)而不在访问数据的核心逻辑区域101中的扇区正下方。这些实施例消除了在核心逻辑区域101中的扇区之间传输数据的需要，该数据已经从不在访问数据的核心逻辑区域101中的扇区的正下方的存储器ic管芯中的扇区访问。
[0040]
图8示出了根据实施例的图6的示例性电路系统600，该电路系统600具有映射到存储器ic管芯610中的物理地址空间的访问器电路。访问器电路可以是高级可扩展接口(axi)电路或任何类型的存储器映射接口电路。图8示出了在核心逻辑区域101中的mda电路中的11个mda电路作为说明性示例，包括mda电路611a-611e。在核心逻辑区域101中的mda电路中的每一个可以访问存储器ic管芯610的含水层存储器中的l1存储器电路以及存储器ic管芯610的含水层存储器中的l2存储器电路的一个或多个分区。mda电路中的每一个可以(例如，通过noc)访问存储器ic管芯610的扇区620中的两个或更多个扇区中的l1存储器电路和/或l2存储器电路。
[0041]
在一些实施例中，在主ic管芯中的访问器电路可以访问存储器ic管芯610中的存储器电路。在这些实施例中，软件编译器利用核心逻辑区域101中的对应的结构存储器、逻辑电路和dsp来映射mda电路和访问器电路。每个mda电路被分配有在存储器ic管芯610中的垂直对齐的含水层存储器中的l2存储器的专有分区。每个mda电路可以被分配给存储器ic管芯610的含水层存储器中的物理地址空间的一部分。每个访问器电路可以被分配给存储器ic管芯610的含水层存储器中的物理地址空间的一部分。在一些实施例中，被分配给一个
访问器电路的物理地址空间与被分配给另一访问器电路的物理地址空间重叠。在一些实施例中，被分配给访问器电路的物理地址空间与被分配给mda电路的物理地址空间重叠。在一些实施例中，访问器电路具有由耦合到访问器电路的mmu电路705实施的源地址转换和访问约束。
[0042]
作为示例，核心逻辑区域101中的扇区310d包括访问器电路611f。访问器电路611f被分配给存储器ic管芯610的区域801a中(含水层存储器的)l1和/或l2存储器电路的物理地址空间，该区域801a包括12个完整扇区620和17个附加扇区620的部分，包括扇区620b和620c的部分。在扇区620b-620c的部分中，被分配给访问器电路611f的物理地址空间与被分配给mda电路611c-611e的物理地址空间重叠。存储器ic管芯610的区域801a由在图8中向右倾斜的对角线示出。
[0043]
作为另一示例，图8示出了主ic管芯的核心逻辑区域101的扇区310e中的访问器电路611g。访问器电路611g被分配给存储器ic管芯610的区域801b中(含水层存储器的)l1和/或l2存储器电路的物理地址空间，该区域801b包括8个完整扇区620和15个附加扇区620的部分。被分配给访问器电路611g的地址空间还包括不与区域801b相邻的扇区620d中的l1/l2含水层存储器。存储器ic管芯610的扇区620d和区域801b由与图8中的区域801a的对角线正交的对角线示出。如图8中的交叉影线所示，被分配给区域801b中的访问器电路611g的物理地址空间与被分配给区域801a中的访问器电路611f的物理地址空间重叠。被分配给区域801b中的访问器电路611g的物理地址空间也与被分配给扇区620a的一部分中的4个mda电路的物理地址空间重叠。
[0044]
图9示出了根据实施例的具有存储器、逻辑、互连和数字信号处理电路的主ic管芯的核心逻辑区域101的示例。在图9的实施例中，主ic管芯是可编程逻辑集成电路(ic)，例如，现场可编程门阵列(fpga)。在图9的实施例中，核心逻辑区域101包括位于列901、903、906、908、910和912中的互连(in)(包括电线和互连电路)。核心逻辑区域101包括在位于列902、904、907和909中的逻辑阵列块(lab)中的可编程逻辑电路和存储器电路。lab还可以包括一个或多个算术逻辑模块(alm)。例如，alm可以包含可编程查表电路和触发器。核心逻辑区域101还包括位于列905中的结构存储器(mem)电路和位于列911中的数字信号处理(dsp)电路。因此，结构存储器和dsp电路在核心逻辑区域101中lab外部的单独列中。在列901、903、906、908、910和912中的互连可以被编程以将在图9中示出的列中选定的逻辑阵列块(lab)、数字信号处理(dsp)电路和结构存储器电路耦合在一起。
[0045]
核心逻辑区域101提供计算近存储器能力，如图9中示出的，其中列911中的dsp电路位于列905中的结构存储器电路和列909中的lab中的存储器附近。核心逻辑区域101还包括互连921-930和互连941-949，这些互联被示为图9中的双向箭头。互连921-930和互连941-949可以被实现为短的垂直和/或水平电线。互连921-930和互连941-949可以是可编程的或不可编程的。可以对互连921-930进行编程以将列911中的dsp电路中的一个或多个耦合到列905中的结构存储器电路中的一个或多个，使得可以经由互连921-930中的一个或多个互联在这些列中的电路之间传送数据。可以对互连941-949进行编程以将列911中的dsp电路中的一个或多个耦合到列909中的逻辑阵列块(lab)中的一个或多个lab中的存储器电路，使得可以经由互连941-949中的一个或多个互联在这些列中的电路之间传送数据。而且，列905中的结构存储器电路和列902、904、907和909中的逻辑阵列块(lab)中的存储器电
路(包括触发器)在lab中的逻辑电路附近。可编程逻辑ic的核心逻辑区域101中的存储器电路和计算逻辑电路的分布式性质为列905中的结构存储器电路提供高带宽和低延迟连接。然而，结构存储器电路的容量是有限的。
[0046]
在一些实施例中，包含图9的核心逻辑区域101的可编程逻辑ic提供了专门的计算近存储器能力，使得列911中的dsp电路是专门的dsp电路。在这些实施例中，列911中的专用dsp电路中的一个或多个被设计和/或配置用于计算人工智能(ai)和机器学习算法，例如，人工神经网络。在一些实施例中，列911中被设计和/或配置用于计算ai和机器学习算法的专用dsp电路可能受存储器约束并要求更大量的存储器。在列911中的专用dsp电路可以通过互连921-930访问列905中的结构存储器电路。在列911中的专用dsp电路可以通过互连941-949访问列909中的lab中的存储器电路。
[0047]
图10示出了根据实施例的主ic管芯的核心逻辑区域101的另一示例，该核心逻辑区域101具有连接到垂直堆叠的存储器ic管芯中的含水层存储器的三维(3d)输入/输出(io)驱动器电路。图10的核心逻辑区域101包括本文关于图9公开的列901-912中的互连、lab、存储器电路和dsp电路。图10的核心逻辑区域101还包括本文关于图9公开的互连941-942、944-945、947-948和921-930。
[0048]
在图10的实施例中，图9中的lab的列907中的一个被替换为3d io驱动器电路的列1001。图10的列1001中的3d io驱动器电路提供在核心逻辑区域101中的电路与一个或多个存储器ic管芯(例如，存储器ic管芯305)中的含水层存储器中的存储器电路之间的直接连接。
[0049]
在图10的实施例中，核心逻辑区域101包括互连1011-1013、1021-1022和1031-1033，这些互联耦合到列1001中的3d io驱动器电路。互连1011-1013、1021-1022和1031-1033可以被实现为短的垂直和/或水平电线。互连1011-1013、1021-1022和1031-1033可以是可编程的或不可编程的。这些互连可以被添加到现有的fpga架构中。在其他实施例中，可以使用现有的可编程互连。在一些实施例中，可以对互连1011-1013进行编程以将列911中的dsp电路中的一个或多个耦合到列1001中的3d io驱动器电路，使得列911中的dsp电路中的一个或多个可以通过互连1011-1013和列1001中的3d io驱动器电路来访问存储器ic管芯中的含水层存储器。在一些实施例中，图10的核心逻辑区域101的列911中的dsp电路中的一个或多个可以被设计和/或配置用于计算人工智能(ai)和机器学习算法。在这些实施例中，ai dsp电路可以通过互连1011-1013和列1001中的3d io驱动器电路来访问存储器ic管芯中的含水层存储器。
[0050]
在一些实施例中，可以对互连1021-1022进行编程以将列905中的结构存储器电路中的一个或多个耦合到列1001中的3d io驱动器电路，使得列905中的结构存储器电路中的一个或多个可以通过互连1021-1022和列1001中的3d io驱动器电路来访问存储器ic管芯中的含水层存储器。在一些实施例中，可以对互连1031-1033进行编程以将列909中的lab中的逻辑电路和/或存储器电路中的一个或多个耦合到列1001中的3d io驱动器电路，使得列909中的逻辑和/或存储器电路中的一个或多个可以通过互连1031-1033和列1001中的3d io驱动器电路来访问存储器ic管芯中的含水层存储器。
[0051]
图11示出了根据实施例的电路系统1100的示例，该电路系统1100包括在主ic管芯中的核心逻辑区域101和具有到核心逻辑区域101中的结构存储器电路的直接连接的含水
层存储器1101。主ic管芯和含水层存储器1101垂直堆叠。含水层存储器1101可以包括一个或多个存储器ic管芯。图11中的核心逻辑区101包括以列布置的lab、互连(in)和dsp电路，与图9-10的实施例一样。图11中的核心逻辑区101还包括结构存储器电路的列1111，类似于图9-10中的结构存储器电路的列905。在图11的实施例中，结构存储器电路的列1111还包括跨越列1111的长的互连1112。例如，如果主ic管芯是可编程逻辑ic，则互连1112可以是可编程互连。在一些实施例中，互连1112可以直接耦合到结构存储器电路而不耦合到可编程互连。
[0052]
电路系统1100还包括含水层存储器1101和4个直接管芯到管芯连接1102-1105。存储器ic管芯305、400、500和610是含水层存储器1101的示例。直接管芯到管芯连接1102-1105是在垂直堆叠的主ic管芯与含水层存储器1101之间的导电连接。管芯到管芯连接1102-1105平行于z轴。直接管芯到管芯连接1102-1105耦合到列1111中的互连1112。直接管芯到管芯连接1102-1105将含水层存储器1101中的存储器电路通过互连1112耦合到核心逻辑区域101的列1111中的结构存储器电路，以允许在含水层存储器与结构存储器电路之间的直接数据传送。图11的实施例避免了必须使用核心逻辑区域101的其他列中的互连来将结构存储器电路耦合到含水层存储器1101。
[0053]
图12示出了根据另一实施例的电路系统1200的示例，该电路系统1200包括在主ic管芯中的核心逻辑区域101、包括海岸线存储器电路102-109的外围区域以及存储器ic管芯，该存储器ic管芯包括被组织为扇区的存储器电路和扇区之间的片上网络。存储器ic管芯1201是存储器ic管芯610和含水层存储器1101的示例。在图12的实施例中，在存储器ic管芯1201中的含水层存储器包括扇区1202中的存储器电路。在图12的示例中，扇区1202被组织为ic管芯1201中的10行8列的扇区，总共有80个扇区1202。但是，存储器ic管芯1201可以具有任何数量的存储器电路的扇区1202。在存储器ic管芯1201中的存储器电路的扇区1202与主ic管芯的核心逻辑区域101中的逻辑扇区垂直对齐。
[0054]
存储器ic管芯1201包括片上网络(noc)1203。在图12的示例中，noc 1203包括在扇区1202的行和列之间的7个垂直的导电互连和路由器组和9个水平的导电互连和路由器组(例如，如图7中示出的)。在其他实施例中，可以在noc中使用任何数量的垂直和水平的导电互连组。扇区1202中的存储器电路耦合到noc 1203。在一些实施例中，扇区1202中的两个或更多个扇区中的存储器电路可以通过存储器ic管芯1201中的noc 1203相互通信。在图12的实施例中，noc 1203中的在扇区1202的行和列之间的垂直和水平的互连组延伸超出扇区1202边缘到存储器ic管芯1201的外围区域。
[0055]
电路系统1200还包括直接管芯到管芯连接1211(在图12中示为虚线)，该直接管芯到管芯连接1211耦合到存储器ic管芯1201的外围区域中noc 1203的16个垂直和水平组中的每一个的每一端。直接管芯到管芯连接1211平行于图12的z轴。直接管芯到管芯连接1211将noc 1203的垂直和水平组耦合到海岸线存储器电路102-109。直接管芯到管芯连接1211和noc 1203允许在存储器ic管芯1201的扇区1202中的含水层存储器与海岸线存储器电路102-109之间的直接数据传送。直接管芯到管芯连接1211可以包括例如在主ic管芯和存储器ic管芯1201中的导体(例如，通过硅通孔)和将主ic管芯连接到存储器ic管芯1201的外部导电连接。
[0056]
在一些实施例中，应用可以使用本文公开的存储器层级来通过存储器层级再填充
数据以避免由存储器容量、存储器访问带宽和存储器延迟限制引起的任何存储器瓶颈。在一些实施例中，如果含水层存储器和结构存储器的存储器容量、带宽、延迟和再填充率足以满足应用领域的需要，则可以从电路系统中移除海岸线存储器电路中的一个或多个。对海岸线存储器电路中的一个或多个的移除降低了成本、ic封装面积和电路板面积。
[0057]
在一些实施例中，如果其余的存储器电路的存储器容量、带宽、延迟和再填充率足以满足应用领域的需要，则仅从电路系统中移除ddr海岸线存储器电路。在一些实施例中，如果其余的存储器电路的存储器容量、带宽、延迟和再填充率足以满足应用领域的需要，则从电路系统中移除optane
tm
和hbm海岸线存储器电路中的一个或两者。在本文公开的所有实施例中，含水层存储器提供中间存储器，该中间存储器可以帮助增加存储器再填充率，并且使得能够在特定应用领域场景中减少海岸线存储器电路的数量。
[0058]
在一些实施例中，在存储器ic管芯中的含水层存储器解压缩从海岸线存储器电路接收到的数据以增加来自海岸线存储器电路的有效带宽，并增加海岸线存储器电路的有效存储器容量。在一些实施例中，含水层存储器压缩传送到海岸线存储器电路的数据以增加到海岸线存储器电路的有效带宽，并增加海岸线存储器电路的有效存储器容量。在一些实施例中，对在含水层存储器与海岸线存储器电路之间传送的数据的压缩和解压缩专门用于应用领域。
[0059]
在一些实施例中，含水层存储器在将数据发送到结构存储器之前解压缩数据以增加含水层存储器的有效存储器容量。在一些实施例中，含水层存储器压缩从结构存储器接收到的数据以增加含水层存储器的有效存储器容量。在一些实施例中，对在含水层存储器结构存储器之间传送的数据的压缩和解压缩专门用于应用领域。
[0060]
在一些实施例中，在核心逻辑区域101中的电路解压缩从含水层存储器接收到的数据，以增加传送到结构存储器的数据的有效带宽，并增加含水层存储器的有效存储器容量。在一些实施例中，在核心逻辑区域101中的电路压缩传送到含水层存储器的数据以增加从结构存储器传送的数据的有效带宽，并增加含水层存储器的有效存储器容量。在一些实施例中，对在含水层存储器与核心逻辑区域101之间传输的数据的压缩和解压缩专门用于应用领域。
[0061]
以下示例涉及进一步的实施例。示例1是一种电路系统，包括：包括核心逻辑区域的第一集成电路管芯，其中，核心逻辑区域包括第一存储器电路和逻辑电路；包括第二存储器电路的第二集成电路管芯，其中，第一集成电路管芯和第二集成电路管芯以垂直堆叠配置耦合在一起；以及包括第三存储器电路的第三集成电路管芯，其中，第三集成电路管芯耦合到第一集成电路管芯并且驻留在第一集成电路管芯的平面中，其中，逻辑电路被耦合以访问第一存储器电路、第二存储器电路和第三存储器电路，其中，第三存储器电路具有比第二存储器电路更大的存储器容量和更小的存储器访问带宽，并且其中，第二存储器电路具有比第一存储器电路更大的存储器容量和更小的存储器访问带宽。
[0062]
在示例2中，示例1的电路系统可以可选地包括：其中，核心逻辑区域还包括：数字信号处理电路，该数字信号处理电路被耦合以访问第一存储器电路、第二存储器电路和第三存储器电路，并且其中，第一集成电路管芯还包括输入/输出电路，该输入/输出电路将逻辑电路、第一存储器电路和数字信号处理电路通过管芯到管芯连接耦合到第二存储器电路，该管芯到管芯连接垂直于第一集成电路管芯的平面。
[0063]
在示例3中，示例1-2中任一项的电路系统还可以可选地包括：包括第四存储器电路和附加逻辑电路的第四集成电路管芯，其中，第一存储器电路具有比第四存储器电路更大的存储器容量和更小的存储器访问带宽；包括第五存储器电路的第五集成电路管芯，其中，第二存储器电路具有比第五存储器电路更大的存储器容量和更小的存储器访问带宽，第四集成电路管芯和第五集成电路管芯以垂直堆叠配置耦合在一起；以及包括第六存储器电路的第六集成电路管芯，其中，第三存储器电路具有比第六存储器电路更大的存储器容量和更小的存储器访问带宽，其中，第六集成电路管芯耦合到第四集成电路管芯，并且驻留在第四集成电路管芯的平面中，并且其中，附加逻辑电路被耦合以访问第四存储器电路、第五存储器电路和第六存储器电路。
[0064]
在示例4中，示例1-3中任一项的电路系统可以可选地包括：其中，逻辑电路被布置在第一扇区中，其中，第二存储器电路被布置在第二扇区中，并且其中，第一扇区中的每一个第一扇区通过管芯到管芯连接耦合到第二扇区中的一个第二扇区，该管芯到管芯连接垂直于第一集成电路管芯的平面并且耦合到第一集成电路管芯和第二集成电路管芯。
[0065]
在示例5中，示例1-4中任一项的电路系统可以可选地包括：其中，第二存储器电路中的每一个第二存储器电路包括第一级存储器和第二级存储器，其中，核心逻辑区域还包括存储器直接访问电路，并且其中，存储器直接访问电路中的每一个存储器直接访问电路能够访问第二存储器电路中的一个第二存储器电路中的第二级存储器的分区和第一级存储器中的一个。
[0066]
在示例6中，示例5的电路系统可以可选地包括：其中，第二集成电路管芯还包括存储器控制器预取引擎电路，其中，存储器控制器预取引擎电路中的每一个存储器控制器预取引擎电路耦合到第二存储器电路中的一个第二存储器电路，并且其中，存储器控制器预取引擎电路中的每一个存储器控制器预取引擎电路预取存储在第二存储器电路中的一个第二存储器电路中的第一级存储器和第二级存储器中的一个中的数据。
[0067]
在示例7中，示例1-6中任一项的电路系统可以可选地包括：其中，第二存储器电路被布置在扇区中，其中，第二集成电路管芯还包括片上网络和耦合到片上网络的桥电路，其中，桥电路中的每一个桥电路耦合到扇区中的一个扇区中的第二存储器电路中的至少一个第二存储器电路，并且其中，片上网络和桥电路被配置为在包含第二存储器电路的扇区之间传送数据。
[0068]
在示例8中，示例7的电路系统可以可选地包括：其中，片上网络通过管芯到管芯连接耦合到第三存储器电路，该管芯到管芯连接垂直于第一集成电路管芯的平面。
[0069]
在示例9中，示例1-8中任一项的电路系统可以可选地包括：其中，第一存储器电路通过第一集成电路管芯中的互连并且通过管芯到管芯连接耦合到第二存储器电路，该管芯到管芯连接垂直于第一集成电路管芯的平面。
[0070]
在示例10中，示例1-9中任一项的电路系统可以可选地包括：其中，第一集成电路管芯还包括访问器电路，该访问器电路通过在第一集成电路管芯与第二集成电路管芯之间的管芯到管芯连接来访问第二存储器电路，其中，访问器电路中的每一个访问器电路被分配给第二存储器电路中的物理地址空间，并且其中，被分配给访问器电路中的第一访问器电路的物理地址空间与被分配给访问器电路中的第二访问器电路的物理地址空间重叠。
[0071]
在示例11中，示例10的电路系统可以可选地包括：其中，第二集成电路管芯还包括
存储器映射电路，该存储器映射电路将从第一集成电路管芯接收到的逻辑地址空间映射到第二存储器电路中的物理地址空间，并且其中，存储器映射电路提供从核心逻辑区域到第二存储器电路的访问控制。
[0072]
在示例12中，示例1-11中任一项的电路系统可以可选地包括：其中，软件编译器针对工作负载确定第一集成电路管芯和第二集成电路管芯中的资源的最佳使用和配置，并且其中，软件编译器将核心逻辑区域中的逻辑资源与第二存储器电路物理对齐，以在运行时期间使存储器访问带宽最大化。
[0073]
在示例13中，示例1-12中任一项的电路系统可以可选地包括：其中，第二集成电路管芯还包括计算逻辑电路。
[0074]
示例14是一种三维电路系统，包括：包括核心逻辑区域和外围区域的第一集成电路管芯，其中，核心逻辑区域包括第一存储器电路和逻辑电路，并且其中，外围区域包括第二存储器电路；以及包括第三存储器电路的第二集成电路管芯，其中，第一集成电路管芯和第二集成电路管芯以垂直堆叠配置耦合在一起，其中，逻辑电路被耦合以访问第一存储器电路、第二存储器电路和第三存储器电路，其中，第二存储器电路具有比第三存储器电路更大的存储器容量和更小的存储器访问带宽，并且其中，第三存储器电路具有比第一存储器电路更大的存储器容量和更小的存储器访问带宽。
[0075]
在示例15中，示例14的三维电路系统可以可选地包括：其中，第三存储器电路中的每一个第三存储器电路包括第一级存储器和第二级存储器，其中，核心逻辑区域还包括存储器直接访问电路，并且其中，存储器直接访问电路中的每一个存储器直接访问电路能够访问第三存储器电路中的一个第三存储器电路中的第二级存储器的分区和第一级存储器中的一个。
[0076]
在示例16中，示例15的三维电路系统可以可选地包括：其中，第二集成电路管芯还包括耦合到第三存储器电路的存储器控制器预取引擎电路，并且其中，存储器控制器预取引擎电路中的每一个存储器控制器预取引擎电路预取存储在第三存储器电路中的数据并且将预取的数据提供给存储器直接访问电路中的一个存储器直接访问电路。
[0077]
在示例17中，示例14-16中任一项的三维电路系统可以可选地包括：其中，第三存储器电路被布置在扇区中，其中，第二集成电路管芯还包括片上网络和耦合到片上网络的桥电路，其中，桥电路中的每一个桥电路耦合到扇区中的一个扇区中的第三存储器电路中的一个第三存储器电路，并且其中，片上网络和桥电路被配置为在扇区中的第三存储器电路之间传送数据。
[0078]
在示例18中，示例17的三维电路系统可以可选地包括：其中，片上网络通过管芯到管芯连接耦合到第二存储器电路，该管芯到管芯连接垂直于第一集成电路管芯的平面。
[0079]
在示例19中，示例14-18中任一项的三维电路系统还可以可选地包括：第四存储器电路，第四存储器电路位于第三存储器电路的外围周围并且驻留在第二集成电路管芯的平面中，其中，逻辑电路被耦合以访问第四存储器电路，并且其中，第四存储器电路具有比第一存储器电路和第三存储器电路更大的存储器容量和更小的存储器访问带宽。
[0080]
示例20是一种用于制造三维电路系统的方法，该方法包括：提供包括核心逻辑区域的第一集成电路管芯，其中，核心逻辑区域包括第一存储器电路和逻辑电路；提供包括第二存储器电路的第二集成电路管芯，其中，第一集成电路管芯和第二集成电路管芯通过管
芯到管芯连接耦合在一起，该管芯到管芯连接垂直于沿第一集成电路管芯的长和宽的平面；以及提供位于平面中的第三存储器电路，其中，逻辑电路被耦合以访问第一存储器电路、第二存储器电路和第三存储器电路，其中，第三存储器电路具有比第二存储器电路更大的存储器容量和更小的存储器访问带宽，并且其中，第二存储器电路具有比第一存储器电路更大的存储器容量和更小的存储器访问带宽。
[0081]
在示例21中，示例20的方法可以可选地包括：其中，第三存储器电路在第三集成电路管芯中，并且其中，第三集成电路管芯的长和宽在平面内。
[0082]
在示例22中，示例20的方法可以可选地包括：其中，第三存储器电路在第一集成电路管芯的外围区域中。
[0083]
在示例23中，示例20-22中任一项的方法可以可选地包括：其中，逻辑电路被布置在第一扇区中，其中，第二存储器电路被布置在第二扇区中，并且其中，第一扇区中的每一个第一扇区通过管芯到管芯连接中的一个管芯到管芯连接耦合到第二扇区中的一个第二扇区。
[0084]
已经出于说明的目的而呈现了示例性实施例的前述描述。前述描述并非旨在穷举或限制本文所公开的示例。前述仅是对本公开的原理的说明，并且本领域技术人员可以进行各种修改。前述实施例可以单独实现或以任何组合实现。

技术特征：

1.一种电路系统，包括：包括核心逻辑区域的第一集成电路管芯，其中，所述核心逻辑区域包括第一存储器电路和逻辑电路；包括第二存储器电路的第二集成电路管芯，其中，所述第一集成电路管芯和所述第二集成电路管芯以垂直堆叠配置耦合在一起；以及包括第三存储器电路的第三集成电路管芯，其中，所述第三集成电路管芯耦合到所述第一集成电路管芯并且驻留在所述第一集成电路管芯的平面中，其中，所述逻辑电路被耦合以访问所述第一存储器电路、所述第二存储器电路和所述第三存储器电路，其中，所述第三存储器电路具有比所述第二存储器电路更大的存储器容量和更小的存储器访问带宽，并且其中，所述第二存储器电路具有比所述第一存储器电路更大的存储器容量和更小的存储器访问带宽。2.根据权利要求1所述的电路系统，其中，所述核心逻辑区域还包括：数字信号处理电路，所述数字信号处理电路被耦合以访问所述第一存储器电路、所述第二存储器电路和所述第三存储器电路，并且其中，所述第一集成电路管芯还包括输入/输出电路，所述输入/输出电路将所述逻辑电路、所述第一存储器电路和所述数字信号处理电路通过管芯到管芯连接耦合到所述第二存储器电路，所述管芯到管芯连接垂直于所述第一集成电路管芯的所述平面。3.根据权利要求1-2中任一项所述的电路系统，还包括：包括第四存储器电路和附加逻辑电路的第四集成电路管芯，其中，所述第一存储器电路具有比所述第四存储器电路更大的存储器容量和更小的存储器访问带宽；包括第五存储器电路的第五集成电路管芯，其中，所述第二存储器电路具有比所述第五存储器电路更大的存储器容量和更小的存储器访问带宽，所述第四集成电路管芯和所述第五集成电路管芯以垂直堆叠配置耦合在一起；以及包括第六存储器电路的第六集成电路管芯，其中，所述第三存储器电路具有比所述第六存储器电路更大的存储器容量和更小的存储器访问带宽，其中，所述第六集成电路管芯耦合到所述第四集成电路管芯，并且驻留在所述第四集成电路管芯的平面中，并且其中，所述附加逻辑电路被耦合以访问所述第四存储器电路、所述第五存储器电路和所述第六存储器电路。4.根据权利要求1-2中任一项所述的电路系统，其中，所述逻辑电路被布置在第一扇区中，其中，所述第二存储器电路被布置在第二扇区中，并且其中，所述第一扇区中的每一个第一扇区通过管芯到管芯连接耦合到所述第二扇区中的一个第二扇区，所述管芯到管芯连接垂直于所述第一集成电路管芯的所述平面并且耦合到所述第一集成电路管芯和所述第二集成电路管芯。5.根据权利要求1-2中任一项所述的电路系统，其中，所述第二存储器电路中的每一个第二存储器电路包括第一级存储器和第二级存储器，其中，所述核心逻辑区域还包括存储器直接访问电路，并且其中，所述存储器直接访问电路中的每一个存储器直接访问电路能够访问所述第二存储器电路中的一个第二存储器电路中的所述第二级存储器的分区和所述第一级存储器中的一个。6.根据权利要求5所述的电路系统，其中，所述第二集成电路管芯还包括存储器控制器
预取引擎电路，其中，所述存储器控制器预取引擎电路中的每一个存储器控制器预取引擎电路耦合到所述第二存储器电路中的一个第二存储器电路，并且其中，所述存储器控制器预取引擎电路中的每一个存储器控制器预取引擎电路预取存储在所述第二存储器电路中的一个第二存储器电路中的所述第一级存储器和所述第二级存储器中的一个中的数据。7.根据权利要求1所述的电路系统，其中，所述第二存储器电路被布置在扇区中，其中，所述第二集成电路管芯还包括片上网络和耦合到所述片上网络的桥电路，其中，所述桥电路中的每一个桥电路耦合到所述扇区中的一个扇区中的所述第二存储器电路中的至少一个第二存储器电路，并且其中，所述片上网络和所述桥电路被配置为在包含所述第二存储器电路的所述扇区之间传送数据。8.根据权利要求7所述的电路系统，其中，所述片上网络通过管芯到管芯连接耦合到所述第三存储器电路，所述管芯到管芯连接垂直于所述第一集成电路管芯的所述平面。9.根据权利要求1-2或7中任一项所述的电路系统，其中，所述第一存储器电路通过所述第一集成电路管芯中的互连并且通过管芯到管芯连接耦合到所述第二存储器电路，所述管芯到管芯连接垂直于所述第一集成电路管芯的所述平面。10.根据权利要求1-2或7中任一项所述的电路系统，其中，所述第一集成电路管芯还包括访问器电路，所述访问器电路通过在所述第一集成电路管芯与所述第二集成电路管芯之间的管芯到管芯连接来访问所述第二存储器电路，其中，所述访问器电路中的每一个访问器电路被分配给所述第二存储器电路中的物理地址空间，并且其中，被分配给所述访问器电路中的第一访问器电路的物理地址空间与被分配给所述访问器电路中的第二访问器电路的物理地址空间重叠。11.根据权利要求10所述的电路系统，其中，所述第二集成电路管芯还包括存储器映射电路，所述存储器映射电路将从所述第一集成电路管芯接收到的逻辑地址空间映射到所述第二存储器电路中的物理地址空间，并且其中，所述存储器映射电路提供从所述核心逻辑区域到所述第二存储器电路的访问控制。12.根据权利要求1-2或7-8中任一项所述的电路系统，其中，软件编译器针对工作负载确定所述第一集成电路管芯和所述第二集成电路管芯中的资源的最佳使用和配置，并且其中，所述软件编译器将所述核心逻辑区域中的逻辑资源与所述第二存储器电路物理对齐，以在运行时期间使存储器访问带宽最大化。13.根据权利要求1-2或7-8中任一项所述的电路系统，其中，所述第二集成电路管芯还包括计算逻辑电路。14.一种三维电路系统，包括：包括核心逻辑区域和外围区域的第一集成电路管芯，其中，所述核心逻辑区域包括第一存储器电路和逻辑电路，并且其中，所述外围区域包括第二存储器电路；以及包括第三存储器电路的第二集成电路管芯，其中，所述第一集成电路管芯和所述第二集成电路管芯以垂直堆叠配置耦合在一起，其中，所述逻辑电路被耦合以访问所述第一存储器电路、所述第二存储器电路和所述第三存储器电路，其中，所述第二存储器电路具有比所述第三存储器电路更大的存储器容量和更小的存储器访问带宽，并且其中，所述第三存储器电路具有比所述第一存储器电路更大的存储器容量和更小的存储器访问带宽。15.根据权利要求14所述的三维电路系统，其中，所述第三存储器电路中的每一个第三
存储器电路包括第一级存储器和第二级存储器，其中，所述核心逻辑区域还包括存储器直接访问电路，并且其中，所述存储器直接访问电路中的每一个存储器直接访问电路能够访问所述第三存储器电路中的一个第三存储器电路中的所述第二级存储器的分区和所述第一级存储器中的一个。16.根据权利要求15所述的三维电路系统，其中，所述第二集成电路管芯还包括耦合到所述第三存储器电路的存储器控制器预取引擎电路，并且其中，所述存储器控制器预取引擎电路中的每一个存储器控制器预取引擎电路预取存储在所述第三存储器电路中的数据并且将预取的数据提供给所述存储器直接访问电路中的一个存储器直接访问电路。17.根据权利要求14-16中任一项所述的三维电路系统，其中，所述第三存储器电路被布置在扇区中，其中，所述第二集成电路管芯还包括片上网络和耦合到所述片上网络的桥电路，其中，所述桥电路中的每一个桥电路耦合到所述扇区中的一个扇区中的所述第三存储器电路中的一个第三存储器电路，并且其中，所述片上网络和所述桥电路被配置为在所述扇区中的所述第三存储器电路之间传送数据。18.根据权利要求17所述的三维电路系统，其中，所述片上网络通过管芯到管芯连接耦合到所述第二存储器电路，所述管芯到管芯连接垂直于所述第一集成电路管芯的平面。19.根据权利要求14-16中任一项所述的三维电路系统，还包括：第四存储器电路，所述第四存储器电路位于所述第三存储器电路的外围周围并且驻留在所述第二集成电路管芯的平面中，其中，所述逻辑电路被耦合以访问所述第四存储器电路，并且其中，所述第四存储器电路具有比所述第一存储器电路和所述第三存储器电路更大的存储器容量和更小的存储器访问带宽。20.一种用于制造三维电路系统的方法，所述方法包括：提供包括核心逻辑区域的第一集成电路管芯，其中，所述核心逻辑区域包括第一存储器电路和逻辑电路；提供包括第二存储器电路的第二集成电路管芯，其中，所述第一集成电路管芯和所述第二集成电路管芯通过管芯到管芯连接耦合在一起，所述管芯到管芯连接垂直于沿所述第一集成电路管芯的长和宽的平面；以及提供位于所述平面中的第三存储器电路，其中，所述逻辑电路被耦合以访问所述第一存储器电路、所述第二存储器电路和所述第三存储器电路，其中，所述第三存储器电路具有比所述第二存储器电路更大的存储器容量和更小的存储器访问带宽，并且其中，所述第二存储器电路具有比所述第一存储器电路更大的存储器容量和更小的存储器访问带宽。21.根据权利要求20所述的方法，其中，所述第三存储器电路在第三集成电路管芯中，并且其中，所述第三集成电路管芯的长和宽在所述平面内。22.根据权利要求20所述的方法，其中，所述第三存储器电路在所述第一集成电路管芯的外围区域中。23.根据权利要求20-22中任一项所述的方法，其中，所述逻辑电路被布置在第一扇区中，其中，所述第二存储器电路被布置在第二扇区中，并且其中，所述第一扇区中的每一个第一扇区通过所述管芯到管芯连接中的一个管芯到管芯连接耦合到所述第二扇区中的一个第二扇区。

技术总结

一种三维电路系统包括具有核心逻辑区域的第一集成电路管芯，该核心逻辑区域具有第一存储器电路和逻辑电路。该三维电路系统包括具有第二存储器电路的第二集成电路管芯。第一集成电路管芯和第二集成电路管芯以垂直堆叠配置耦合在一起。该三维电路系统包括耦合到第一集成电路管芯的第三存储器电路。该第三存储器电路驻留在第一集成电路管芯的平面中。逻辑电路被耦合以访问第一存储器电路、第二存储器电路和第三存储器电路，并且数据可以在第一存储器、第二存储器和第三存储器之间移动。第三存储器电路具有比第二存储器电路更大的存储器容量和更小的存储器访问带宽。第二存储器电路具有比第一存储器电路更大的存储器容量和更小的存储器访问带宽。小的存储器访问带宽。小的存储器访问带宽。